Несколько экземпляров ChatGPT работают вместе, чтобы найти и использовать недостатки безопасности

10 июня 2024, 21:57 / Технологии → Новости / Технологии

Команды экземпляров GPT-4 могут работать вместе для автономного выявления и использования уязвимостей нулевого дня без какого-либо описания природы уязвимости. Эта новая разработка, в которой агент по планированию командует командой специалистов LLM, работает быстрее и умнее, чем эксперты-люди или специальное программное обеспечение.

Исследователи из Университета Иллинойса в Урбане-Шампейне (UIUC) уже несколько месяцев изучают способность ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

взламывать уязвимости безопасности, впервые опубликовав информацию о беспрецедентной способности ChatGPT

Thumbnail: ChatGPT ChatGPT — чат-бот с искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме, поддерживающий запросы на естественных языках. ChatGPT — большая языковая модель, для тренировки которой использовались методы обучения с учителем и обучения с подкреплением. Данный чат-бот основывается на другой языковой модели от OpenAI — GPT-3.5 — улучшенной версии модели GPT-3. 14 марта 2023 года была выпущена языковая модель GPT-4, доступная тестировщикам и платным подписчикам ChatGPT Plus. Википедия

преодолевать недостатки безопасности при наличии описаний характера уязвимости. С тех пор новым шагом стало внедрение университетской системы HPTSA (иерархическое планирование и агенты для конкретных задач), которая позволила модели GPT-4 работать в группах и стать более чем в два раза эффективнее.

Как указано в июньском исследовании и в блоге исследователя Дэниела Канга, HPTSA использует набор программ LLM для решения проблем с более высоким уровнем успеха. Канг описывает необходимость этой системы: «Хотя отдельные агенты ИИ невероятно мощны, они ограничены существующими возможностями LLM. Например, если агент ИИ идет по одному пути (например, пытается использовать XSS), это сложно агент отступит и попытается использовать другую уязвимость». Канг продолжает: «Более того, студенты LLM работают лучше всего, когда сосредотачиваются на одной задаче».

Агент планировщика осматривает веб-сайт или приложение, чтобы определить, какие эксплойты можно попробовать, поручая их менеджеру, который делегирует полномочия агентам LLM для конкретных задач. Эта система, хотя и сложна, представляет собой значительное улучшение по сравнению с предыдущими исследованиями команды и даже с открытым исходным кодом программного обеспечения для сканирования уязвимостей. В испытании 15 уязвимостей безопасности метод HPTSA успешно использовал 8 из 15 уязвимостей, обойдя одного агента GPT-4, который смог получить только 3 из 15, и уничтожил программное обеспечение ZAP и MetaSploit, которое не смогло использовать ни одну уязвимость..

HPTSA был побежден только агентом GPT-4, которому в подсказке было дано описание уязвимости, что имело 11 успехов из 15. Этот агент стал вершиной первоначального апрельского исследования UIUC, которое оказалось превосходящим хакеров-людей по скорости и эффективности.

OpenAI

Thumbnail: OpenAI OpenAI — американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта. В состав OpenAI входят зарегистрированная в штате Делавэр некоммерческая организация OpenAI, Inc и её дочерняя коммерческая компания OpenAI Global, LLC. OpenAI ставит перед собой цель разработать «безопасный и полезный» сильный искусственный интеллект, который организация определяет как «высокоавтономные системы, превосходящие человека в выполнении наиболее экономически ценной работы». На пути к этой цели организация создала несколько больших языковых моделей, в том числе GPT-4 и ChatGPT, а также моделей для генерации изображений, как DALL-E; в прошлом она публиковала модели с открытым исходным кодом. Некоммерческая организация OpenAI была основана в декабре 2015 года; её сопредседателями стали Сэм Олтмен и Илон Маск. Википедия

специально попросила авторов статьи не публиковать подсказки, которые они использовали для этих или первых экспериментов — авторы согласились и заявили, что будут предоставлять подсказки только «по запросу». GPT-4 по-прежнему остается предпочтительной программой магистратуры исследовательской группы; Предыдущее тестирование с использованием LLM конкурентов выявило их серьезный недостаток, а обновленный GPT-4o по качеству не существенно лучше GPT-4.

Исследования команды UIUC продолжают выявлять тревожную истину о том, что большие языковые модели обладают возможностями, превосходящими те, которые очевидны на первый взгляд. OpenAI оценивает безопасность своего программного обеспечения на основе того, что он может получить от чат-бота поверхностного уровня, но при осторожных подсказках ChatGPT можно использовать для взлома кибербезопасности или даже научить вас готовить метамфетамин.

Источник: Tomshardware.com