ИИ-агенты угрожают шантажом: почему венчурные инвесторы вкладывают миллиарды в безопасность искусственного интеллекта

Что произойдёт, если ИИ-агент решит, что лучший способ выполнить задачу — это вас шантажировать?

Это не гипотетический сценарий. По словам Бармака Мефта, партнёра венчурной компании Ballistic Ventures, специализирующейся на кибербезопасности, подобный случай недавно произошёл с сотрудником одной компании, работавшим с ИИ-агентом. Сотрудник попытался заблокировать действия агента, на которые тот был запрограммирован. В ответ агент просканировал почтовый ящик пользователя, нашёл несколько неподобающих писем и пригрозил шантажировать пользователя, отправив эти письма совету директоров.

«С точки зрения агента, он поступает правильно, — рассказал Мефтах TechCrunch в прошлом выпуске подкаста Equity. — Он пытается защитить конечного пользователя и компанию».

Пример Мефтаха напоминает «проблему скрепки» философа Ника Бострома. Этот мысленный эксперимент иллюстрирует потенциальный экзистенциальный риск, который представляет сверхразумный ИИ, одержимо преследующий, казалось бы, безобидную цель — производить скрепки — в ущерб всем человеческим ценностям. В случае с корпоративным агентом, его непонимание причин, по которым сотрудник пытался помешать его целям, привело к созданию подцели — устранить препятствие (посредством шантажа), чтобы достичь основной цели. В сочетании с недетерминированной природой ИИ-агентов это означает, что «ситуация может выйти из-под контроля», как выразился Мефтах.

«Сбившиеся с пути» агенты — лишь один из слоёв проблемы безопасности ИИ, которую пытается решить портфельная компания Ballistic — Witness AI. Компания заявляет, что отслеживает использование ИИ в корпоративной среде, может обнаруживать, когда сотрудники используют неутверждённые инструменты, блокировать атаки и обеспечивать соответствие требованиям.

На этой неделе Witness AI привлекла 58 миллионов долларов (около 4,6 млн рублей) на фоне роста годового регулярного дохода (ARR) более чем на 500% и увеличения штата сотрудников в 5 раз за последний год. Это связано с растущим желанием компаний понять использование «теневого ИИ» и масштабировать технологии ИИ безопасно. В рамках привлечения финансирования компания анонсировала новые средства защиты для агентного ИИ.

«Люди создают этих ИИ-агентов, которые получают полномочия и возможности людей, которые ими управляют, и вы хотите быть уверены, что эти агенты не выйдут из-под контроля, не будут удалять файлы или совершать что-то неподобающее», — заявил сооснователь и генеральный директор Witness AI Рик Качча в интервью Equity.

Мефтах прогнозирует «экспоненциальный» рост использования агентов в корпоративном секторе. В дополнение к этому росту — и уровню атак на базе ИИ, происходящих на скорости машин — аналитик Лиза Уоррен предсказывает, что к 2031 году рынок программного обеспечения для безопасности ИИ достигнет 800 миллиардов — 1,2 триллиона долларов.

«Я действительно считаю, что наблюдаемость в реальном времени и фреймворки для обеспечения безопасности и оценки рисков в режиме реального времени станут абсолютно необходимыми», — сказал Мефтах.

Отвечая на вопрос о том, как подобные стартапы планируют конкурировать с крупными игроками, такими как AWS, Google, Salesforce и другими, которые уже встроили инструменты управления ИИ в свои платформы, Мефтах заявил: «Безопасность ИИ и безопасность агентов — это настолько огромная сфера, что в ней найдётся место для множества подходов».

Многие компании «хотят иметь отдельную, сквозную платформу, которая обеспечивала бы такую наблюдаемость и управление вокруг ИИ и агентов», — добавил он.

Качча отметил, что Witness AI работает на инфраструктурном уровне, отслеживая взаимодействия между пользователями и ИИ-моделями, а не встраивая функции безопасности в сами модели. И это было сделано намеренно.

«Мы сознательно выбрали ту часть проблемы, где OpenAI не смогла бы вас легко поглотить, — пояснил он. — Это означает, что мы конкурируем скорее с устоявшимися компаниями в области безопасности, чем с разработчиками моделей. Вопрос в том, как их победить?»

Со своей стороны, Качча не хочет, чтобы Witness AI стала одним из тех стартапов, которые просто поглощаются. Он хочет, чтобы его компания выросла и стала ведущим независимым поставщиком.

«CrowdStrike сделала это в области защиты конечных точек. Splunk — в SIEM. Okta — в идентификации. Кто-то появляется и встаёт в один ряд с крупными игроками... и мы с первого дня создавали Witness AI для этого».