Probably привлек $9 млн на создание более надежного ИИ

По мере того как языковые модели становятся всё мощнее, галлюцинации по-прежнему упорно избегают. Ошибки возникают даже в самых умных моделях, и, хотя существуют способы их выявления, отрасль всё ещё ищет наилучший подход.

Стартап Probably, который только что привлек $9 млн (~720 000 рублей) начального финансирования от Andreessen Horowitz, пытается создать более строгий метод обнаружения таких ошибок.

Как объясняет основатель Питер Элиас (на фото выше), цель компании — предотвратить попадание галлюцинаций и простых фактических ошибок к пользователю, добившись точности в 99,99%, что обычно достижимо в детерминированных системах, но гораздо сложнее реализовать с помощью ИИ. Как оказалось, достижение такого уровня точности с LLM требует пересмотра многих базовых принципов AI-инженерии.

Первый продукт Probably — это инструмент для анализа данных, созданный для быстрого получения ответов из сложных наборов данных. Каждый результат сопровождается цитатой и аудиторским следом того, как он был получен, что становится всё более распространенной практикой среди AI-инструментов.

Однако для предотвращения ошибок в этих сводках потребовалась сложная система управления, которую Элиас описывает как «экзоскелет для науки о данных». Первичные ответы LLM проверяются детерминированной системой валидации, которая отбрасывает любые результаты, не соответствующие набору данных. Ключевой момент: LLM была обучена взаимодействовать с валидатором, а вся система оптимизирована для быстрых и точных ответов, сообщила компания.

«Что мы поняли в процессе разработки: чем лучше ваша инженерия обвязки, тем слабее может быть модель, — говорит Элиас. — Если вы сможете достаточно хорошо уточнить контекст, модели не придется сильно стараться, чтобы сделать всё правильно. По сути, это упражнение по уменьшению неоднозначности».

Это позволяет инструменту Probably для анализа данных работать на значительно меньших AI-моделях. Элиас утверждает, что текущая версия работает на модели, которая «на четыре класса слабее передовых моделей», что означает возможность запуска на локальном оборудовании (то есть на настольном компьютере, а не в дата-центре), что значительно снижает затраты на токены, связанные с использованием ИИ.

Это своевременная идея в период, когда затраты на токены растут, а многие клиенты пересматривают свои бюджеты на ИИ. И, по словам Элиаса, его идея не ограничивается анализом данных: тот же движок можно расширить для таких сценариев, как бухгалтерский учет или медицинские услуги — как выразился Элиас, «любой сценарий, чувствительный к точности».

«Мне кажется очень интересным, что большие AI-лаборатории даже не пытались этого сделать, — говорит Элиас. — У них нет стимула, потому что они зарабатывают деньги тем больше, чем чаще вам приходится исправлять модель».