Экс-руководитель Cohere создала стартап против «гонки масштабирования» ИИ

ИИ-лаборатории соревнуются в строительстве дата-центров размером с Манхэттен, стоимостью в миллиарды долларов и энергопотреблением небольшого города. Это движение основано на вере в «масштабирование» — идею, что добавление вычислительной мощности к существующим методам обучения ИИ в конечном итоге приведет к созданию сверхразумных систем.

Однако растущее число исследователей ИИ заявляет, что масштабирование больших языковых моделей (LLM) приближается к своим пределам, и для улучшения производительности ИИ могут потребоваться другие прорывы.

Именно на это делает ставку Сара Хукер, бывший вице-президент по исследованиям ИИ в Cohere, со своим новым стартапом Adaption Labs. Компания основана на идее, что масштабирование LLM стало неэффективным способом повышения производительности моделей ИИ.

«Сейчас наступил переломный момент, когда стало совершенно ясно, что формула простого масштабирования этих моделей — подходы, основанные на масштабировании, которые привлекательны, но крайне скучны — не породила интеллект, способный ориентироваться или взаимодействовать с миром», — заявила Хукер.

Adaption Labs создает ИИ-системы, которые могут непрерывно адаптироваться и учиться на своем реальном опыте, делая это чрезвычайно эффективно. Хукер отмечает, что нынешние системы с подкрепляющим обучением (RL) не позволяют моделям ИИ учиться на ошибках в реальном времени после запуска в производство.

Стартап является очередным признаком того, что вера индустрии в масштабирование LLM колеблется. Недавнее исследование MIT показало, что крупнейшие модели ИИ вскоре могут столкнуться с уменьшением отдачи. Известные исследователи, такие как Ричард Саттон и Андрей Карпати, также выражают скептицизм относительно долгосрочного потенциала LLM и RL.

В отличие от дорогостоящих подходов Meta и OpenAI, где исследование RL обошлось более чем в 4 млн долларов (~320 млн рублей), Adaption Labs нацелен доказать, что обучение на опыте может быть гораздо дешевле. Осенью стартап вел переговоры о привлечении начального финансирования в размере от 20 до 40 млн долларов.

ИИ: В 2025 году тема ограничений масштабирования ИИ становится все более актуальной. Подход Хукер, фокусирующийся на эффективности и адаптивности, а не на гигантских моделях, выглядит перспективным ответом на вызовы отрасли.

* Meta, Facebook и Instagram запрещены в России.