Хакеры используют ChatGPT и LLM для кибератак

12 октября 2024, 22:46 / Технологии → Новости / Технологии

Если есть один признак того, что ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

приносит больше проблем, чем пользы, OpenAI подтверждает, что произошло более двадцати кибератак, все из которых были созданы с помощью ChatGPT

Thumbnail: ChatGPT ChatGPT — чат-бот с искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме, поддерживающий запросы на естественных языках. ChatGPT — большая языковая модель, для тренировки которой использовались методы обучения с учителем и обучения с подкреплением. Данный чат-бот основывается на другой языковой модели от OpenAI — GPT-3.5 — улучшенной версии модели GPT-3. 14 марта 2023 года была выпущена языковая модель GPT-4, доступная тестировщикам и платным подписчикам ChatGPT Plus. Википедия

. Отчет подтверждает, что генеративный ИИ использовался для проведения фишинговых атак, отладки и разработки вредоносного ПО, а также для осуществления другой вредоносной деятельности.

Отчет подтверждает две кибератаки с использованием генеративного ИИ ChatGPT. Cisco Talos сообщила о первой в ноябре 2024 года, ее использовали китайские злоумышленники, нацеленные на азиатские правительства. Эта атака использовала метод целевого фишинга под названием «SweetSpecter», который включает в себя ZIP-файл с вредоносным файлом, который при загрузке и открытии создает цепочку заражения в системе пользователя. OpenAI обнаружила, что SweetSpecter был создан с использованием нескольких учетных записей, которые использовали ChatGPT для разработки скриптов и обнаружения уязвимостей с помощью инструмента LLM.

Вторая кибератака с использованием искусственного интеллекта была совершена иранской группой под названием «CyberAv3ngers», которая использовала ChatGPT для эксплуатации уязвимостей и кражи паролей пользователей с компьютеров на базе macOS. Третья атака, возглавляемая другой иранской группой под названием Storm-0817, использовала ChatGPT для разработки вредоносного ПО для Android. Вредоносное ПО похищало списки контактов, извлекало журналы вызовов и историю браузера, получало точное местоположение устройства и получало доступ к файлам на зараженных устройствах.

Все эти атаки использовали существующие методы для разработки вредоносного ПО, и, согласно отчету, не было никаких признаков того, что ChatGPT создал существенно новое вредоносное ПО. Независимо от этого, это показывает, как легко злоумышленникам обмануть службы генеративного ИИ, чтобы создать вредоносные инструменты для атак. Это открывает новую банку червей, показывая, что любому человеку с необходимыми знаниями проще запустить ChatGPT, чтобы сделать что-то со злым умыслом. Хотя есть исследователи безопасности, которые обнаруживают такие потенциальные эксплойты, чтобы сообщить о них и исправить их, такие атаки создают необходимость обсуждения ограничений реализации генеративного ИИ.

На данный момент OpenAI заключает, что продолжит совершенствовать свой ИИ, чтобы предотвратить использование таких методов. В то же время компания будет работать с внутренними командами по безопасности и защите. Компания также заявила, что продолжит делиться своими выводами с коллегами из отрасли и исследовательским сообществом, чтобы предотвратить возникновение подобной ситуации.

Хотя это происходит с OpenAI, было бы контрпродуктивно, если бы крупные игроки с их собственными платформами генеративного ИИ не использовали защиту, чтобы избежать таких атак. Однако, зная, что предотвратить такие атаки сложно, соответствующие компании ИИ нуждаются в мерах безопасности, чтобы предотвращать проблемы, а не устранять их.

Источник: Tomshardware.com