Искусственный интеллект Claude Mythos, названный «самым мощным», обвиняют в преувеличении возможностей

Недавно компания Anthropic представила модель искусственного интеллекта Claude Mythos Preview, которую окрестили самой мощной в мире. Разработчик заявил, что модель настолько сильна, что не будет открыта для публичного использования, и запустил программу Project Glasswing для ограниченного тестирования с участием таких гигантов, как Amazon AWS, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, Linux Foundation, Microsoft, NVIDIA и Palo Alto Networks.

Анонс вызвал серьёзную озабоченность в финансовом секторе: Федеральная резервная система США и Банк Англии, среди прочих, собрали экспертов для оценки потенциального влияния Mythos на финансовую безопасность.

Основная заявленная способность Mythos — поиск уязвимостей в программном обеспечении. Anthropic привела примеры, в том числе обнаружение критической уязвимости в системе OpenBSD, которая оставалась незамеченной людьми в течение 27 лет.

Однако, как выяснило издание Tom's Hardware, реальные возможности модели могут быть сильно преувеличены. Заявленные «тысячи обнаруженных уязвимостей» основаны на экстраполяции данных всего из 198 отчётов ручного аудита с точностью около 90%, в то время как остальные тысячи отчётов не прошли ручную проверку.

В ходе тестирования более 7000 стеков программного обеспечения с открытым исходным кодом Mythos обнаружила около 600 уязвимостей, приводящих к сбоям, но лишь примерно 10 из них были проверены и классифицированы как критические.

Многие из помеченных уязвимостей существуют в устаревшем, легаси-софте или не могут быть реально использованы в условиях существующих многоуровневых систем защиты.

Независимый анализ от Red Hat также показал, что значительная часть помеченных проблем относится к функциональным дефектам, а не к уязвимостям безопасности. Таким образом, главной задачей для специалистов становится фильтрация действительно опасных угроз из огромного массива данных, сгенерированных ИИ.

Хотя цифра в тысячи найденных проблем технически верна, их практическая ценность и уровень угрозы оказались гораздо ниже рекламируемых. Более того, утверждение о том, что модель «слишком мощная для публичного доступа», также подвергается сомнению: Mythos уже доступна через облачные платформы Microsoft и Amazon, хотя и по очень высокой цене, что намекает на коммерческие, а не этические причины ограничения доступа.

Интересный факт: несмотря на то, что модели Anthropic, включая Claude, долгое время считались одними из лучших для программирования, в последнее время в сообществе разработчиков растёт недовольство из-за случаев «отупения» моделей (снижения качества ответов). Кроме того, компания регулярно использует провокационные маркетинговые заявления, например, о том, что ИИ может обрести сознание, что перекликается с частыми заявлениями Сэма Альтмана из OpenAI о достижении или близости к Искусственному Общему Интеллекту (AGI).