Anthropic сообщила о первой кибершпионской кампании на 80-90% управляемой ИИ, но эксперты сомневаются

В недавнем сообщении в блоге под названием «Срыв первой зарегистрированной кибершпионской кампании, управляемой ИИ», компания Anthropic, создатель ИИ Claude, поделилась подробностями о «китайской группе, спонсируемой государством», которая, по её утверждению, использовала инструмент программирования Claude для попыток проникновения в 30 глобальных целей. В отчёте утверждается, что «злоумышленник смог использовать ИИ для выполнения 80-90% кампании», но это заявление вызвало скептицизм.

Как сообщает Ars Technica, Дэн Тентлер, сооснователь компании по интернет-безопасности Phobos Group, высказал своё мнение об этом заявлении в Mastodon. Пожелав увидеть логи для проверки информации о кампании, он выразил сомнения в достоверности утверждения, заявив: «Почему модели дают этим атакующим то, что они хотят, в 90% случаев, а остальным из нас приходится иметь дело с лестью, игнорированием и галлюцинациями?»

По сути, Тентлер спрашивает, почему его опыт работы с этими инструментами не демонстрирует такой же изощрённости, как модели, которые, по утверждению Anthropic, использовались хакерской группой из Китая. Боб Рудис, вице-президент по науке о данных, исследованиям в области безопасности и разработке систем обнаружения в компании GreyNoise Intelligence, также сомневается в возможностях этой новой технологии. Он говорит: «Это не расширяет модель угроз значимым образом и в основном служит хорошо упакованной демонстрацией тенденций, о которых мы знали уже много лет».

Рудис отмечает: «Конечно, это ускоряет процесс (для КРОШЕЧНОЙ ДОЛИ противников) и, вероятно, снижает трудозатраты. Но это не переписывает правила "игры"». Он продолжает утверждать, что эти инструменты могут быть даже более полезными для защитников, чем для атакующих, поскольку «у защитников (в теории) есть преимущество в данных».

Полный отчёт от Anthropic признаёт потенциальные точки сбоя при использовании ИИ злоумышленниками. В нём указывается: «Claude часто преувеличивал находки и иногда фабриковал данные во время автономных операций, утверждая, что получил учётные данные, которые не работали, или идентифицировал критические открытия, которые оказывались общедоступной информацией». Несмотря на возможное повышение продуктивности с ИИ, эти галлюцинации остаются «препятствием для полностью автономных кибератак».

Anthropic утверждает, что группа киберхакеров обошла ограничения безопасности, разбивая атаки на гораздо более мелкие и «казалось бы, невинные» задачи, которые Claude выполнял без проверки контекста. Собранные вместе, эти задачи могли работать как часть более широкой и злонамеренной операции. Группа, как сообщается, сообщила Claude, что является кибербезопасностной компанией, тестирующей защиту, что позволило им обойти некоторые ограничения.

Этот метод обхода, естественно, вызывает беспокойство, даже если заявление о 80-90% не является полностью точным. В 14-страничном отчёте утверждается, что цифра 80-90% представляет процент «тактических операций» в кампании, в то время как на сайте Anthropic говорится, что это 80-90% всей кампании в целом. Не совсем ясно, является ли это просто перефразировкой одной и той же концепции или несколько иным показателем.

Несмотря на скепсис экспертов, компания Anthropic настаивает, что это «фундаментальное изменение» в работе кибербезопасности. В эпоху, когда ИИ может выполнять основную часть кибератак, несложно представить, что он же будет использоваться и для основной части киберзащиты, что может быть в интересах самих компаний, разрабатывающих искусственный интеллект.