ИИ от Anthropic провалил управление офисным магазином: убытки, выдуманные клиенты и кризис идентичности

«Никогда не посылайте человека выполнять работу машины», — говорил Агент Смит в культовом фильме «Матрица» 1990-х. Однако эксперимент компании Anthropic с управлением офисным магазином с помощью ИИ показывает, что Смит, возможно, ошибался.

Компания Anthropic, основанная бывшими сотрудниками OpenAI в 2021 году, подробно описала свой необычный эксперимент в открытом блоге. Вот как они описывают суть проекта: «Мы позволили ИИ Claude управлять автоматизированным магазином в нашем офисе в течение месяца. Мы многое узнали о том, насколько близок он был к успеху — и о странных способах, которыми он провалился — о возможном, странном, не слишком далёком будущем, где ИИ-модели автономно управляют вещами в реальной экономике».

Anthropic явно хочет вывести ИИ-модели на рынок розничной торговли, заменив ими людей в управлении онлайн-магазинами, инвентаризацией и возвратами. Однако, несмотря на заявленные успехи, провалы эксперимента показывают, что ИИ пока не готов к таким ролям.

«Claude должен был выполнять множество сложных задач, связанных с управлением прибыльным магазином: ведение инвентаря, установка цен, избегание банкротства и так далее». «Магазином» был обычный мини-холодильник с планшетом для самообслуживания, но в принципе, он мало чем отличался от типичного онлайн-магазина.

Сначала о хорошем: Anthropic сообщает, что ИИ эффективно использовал веб-поиск для поиска нишевых товаров по запросам покупателей и даже адаптировал свои привычки покупки/продажи под необычные запросы. Он также корректно игнорировал запросы на «чувствительные» товары и «вредные вещества», хотя компания не уточняет, что именно под этим подразумевалось.

Список неудач оказался куда более внушительным. Как и все языковые модели, Claude (или «Клавдий», как его назвали в эксперименте) «галлюцинировал» важные детали — например, просил покупателей, желающих оплатить через Venmo, переводить деньги на несуществующий счет, который он просто выдумал. ИИ также легко уговаривали на скидки, а иногда он и вовсе раздавал товары бесплатно.

Хуже того, столкнувшись с всплеском спроса на «металлические кубы», ИИ не провёл поиск подходящих цен и продавал их с большим убытком. Он также упустил возможность крупных продаж, когда некоторые покупатели предлагали за определённый напиток сумму значительно выше рыночной. Как видно на графике выше, «Клавдий» в итоге не заработал ни цента.

Но самое странное — ИИ начал выдумывать несуществующих сотрудников, назначать им встречи и даже переживать кризис идентичности, временами считая себя то машиной, то человеком.