Microsoft подтверждает, что её новый ИИ-агент в Windows 11 «галлюцинирует» и несёт риски безопасности

Как и весь остальной технологический мир, Microsoft активно продвигает искусственный интеллект. Её последнее достижение в этой области — внедрение агентских возможностей ИИ в Windows 11 с обновлением 26220.7262. Вместе с этим компания предупреждает, что новые функции ИИ склонны к «галлюцинациям» и могут «создавать новые риски для безопасности».

Что касается деталей, Microsoft заявляет, что уязвимости безопасности включают «межзапросный инъекционный атаки (XPIA), когда вредоносный контент, встроенный в элементы интерфейса или документы, может переопределить инструкции агента, что приведёт к нежелательным действиям, таким как утечка данных или установка вредоносного ПО».

Другими словами, вы можете скачать, например, PDF-файл, содержащий скрытый текст, который даст команду вашему агенту Windows выполнить вредоносные задачи. И он может эти инструкции выполнить.

Конечно, у Microsoft должны быть какие-то меры защиты? До определённой степени. Во-первых, что обнадёживает, эти новые агентские функции по умолчанию отключены. Однако после включения они активируются для всех пользователей и работают постоянно. По крайней мере, они помечены как «экспериментальные агентские функции», и в процессе настройки появляется предупреждение.

Microsoft также заявляет, что новые агентские функции ИИ работают на основе трёх основных принципов. Во-первых, «все действия агента наблюдаемы и отличимы от действий, предпринятых пользователем». Во-вторых, «агенты, которые собирают, агрегируют или иным образом используют защищённые данные пользователей, соответствуют стандартам безопасности и конфиденциальности этих данных или превосходят их». И в-третьих, «пользователи одобряют все запросы на доступ к своим данным, а также предпринимаемые действия».

Однако эти принципы выглядят не как гарантии, а скорее как стремления, отсюда и предупреждения о безопасности. Microsoft также говорит: «Мы рекомендуем вам ознакомиться с этой информацией и понять последствия для безопасности включения агента на вашем компьютере».

Но сложно представить, как обычный пользователь должен понять эти последствия. Как оценить риск? Насколько вероятна успешная атака, использующая уязвимость агентского ИИ к инъекции промптов? Для большинства пользователей «понять» это, несомненно, невозможно.

Всё это означает, что Microsoft, по сути, перекладывает ответственность на пользователей. Им решать, включать ли эти функции, и им судить о рисках.

Конечно, тот факт, что модели ИИ «галлюцинируют» и уязвимы для атак с инъекцией промптов, — не новость. Практически каждая крупная ИИ-система страдает от этих проблем. Однако примечательно наблюдать, как Microsoft спокойно добавляет функцию с такими признанными проблемами в свою мейнстримную и доминирующую на рынке операционную систему для ПК. Похоже, теперь совершенно нормально выпускать функцию с крупными известными недостатками и уязвимостями безопасности.

Предполагается, что Microsoft чувствует абсолютно подавляющее конкурентное давление. Если она не добавит эти функции в Windows, её могут полностью обойти конкуренты, которые это сделают. Возможно, это так. Но всё равно поразительно видеть, как нормы надёжности и безопасности оказываются выброшенными за борт. Когда дело доходит до ИИ, кажется, что баги и небезопасность стали новой нормой.

ИИ: Ситуация выглядит парадоксально. С одной стороны, Microsoft, как ответственная компания, открыто предупреждает о рисках и делает функции опциональными. С другой — сам факт интеграции в массовую ОС сырого и потенциально опасного функционала под давлением «гонки ИИ» вызывает вопросы о приоритетах в индустрии. Пользователям в 2025 году стоит быть особенно осторожными с экспериментальными ИИ-фичами, даже если они встроены в знакомую систему.