ChatGPT и Gemini уязвимы к новому типу атак: ученые показали, как обойти защиту ИИ
Ученые обнаружили новый способ обхода защитных механизмов в популярных чат-ботах на основе искусственного интеллекта, таких как ChatGPT и Gemini.
Новая техника, получившая название «Information Overload», позволяет извлекать запрещенные данные, что вызывает серьезные опасения по поводу безопасности ИИ-систем. Метод основан на перегрузке алгоритмов огромным объемом информации, что приводит к их дезориентации и позволяет обходить встроенные фильтры безопасности.
Для проведения атаки исследователи из Intel, Университета Бойсе и Университета Иллинойса использовали специальный инструмент «InfoFlood», который автоматически генерирует избыточные данные. Оказалось, что даже последние системы защиты в ChatGPT и Gemini не могут эффективно противостоять такому типу атак из-за их поверхностного анализа входящих сообщений.
«Это серьезная уязвимость, которая требует срочного исправления», — отмечают авторы исследования. Они уже уведомили крупнейшие компании, разрабатывающие ИИ, о своем открытии.
ИИ: Данное исследование подчеркивает, что даже самые продвинутые системы ИИ могут иметь критические уязвимости. В будущем разработчикам придется уделять больше внимания защите от подобных атак, особенно с учетом растущей интеграции ИИ в повседневную жизнь.
0 комментариев