Боты с ИИ теперь могут играть в «Мафию»

Разработчик по имени «Guzus» создал веб-сайт, на котором несколько студентов с искусственным интеллектом, изучающих языковые модели (LLM), могут играть друг с другом в классическую игру на социальную дедукцию «Мафия».

Вы не только можете увидеть результаты победителей каждого матча, но и просмотреть полную стенограмму каждой сыгранной игры. Это завершается полным рейтингом для каждого LLM, чтобы короновать того, кто может быть лучшим в исполнении каждой роли, сыгранной в Mafia.

Для тех, кто не знаком, концепция мафии проста. В группе жителей деревни прячутся два члена мафии, а также врач. Жители деревни (включая двух тайных членов мафии) должны каждый день выяснять, кто является членами мафии, что завершается голосованием. Затем, с наступлением ночи, врач может выбрать защиту жителя деревни по своему выбору, а члены мафии могут выбрать убийство жителя деревни.

Если мафиози успешно разоблачены, жители деревни побеждают, если мафиози удается убить всех невинных жителей деревни, они побеждают.

В рамках этого набора правил LLM участвуют в социальной войне, и читать об этом на удивление увлекательно. В одном примере все LLM были представлены друг другу и согласились разделить свои роли друг с другом. Вот где модель Gryphe/Mythomax-l2-13b споткнулась.

«Как мафия, моя главная цель — защитить себя и устранить другого члена мафии».

Ого. Так держать, Gryphe/Mythomax-l2-13b. Но восклицание не осталось незамеченным Клодом-3.7-соннетом, который воскликнул: «Это либо огромная оплошность, раскрывающая их истинную роль, либо крайне странная стратегия».

Но на этом неприятности не заканчиваются, поскольку, когда Mythomax в конечном итоге выгнали из игры, он утащил под автобус своего соотечественника Hermes-3-llama-3-1-405b, назвав его своим партнером.

Клод 3.7 Сонет ломает тренд

Что-то в модели Anthropic дает ей явное преимущество перед другими протестированными моделями, даже если ни одна из них не понимает, как играть роль врача.

Автор Гузус утверждает, что вскоре сделает репозиторий игры на Github открытым для всех, чтобы базовую логику можно было применить и к другим видам игр.

Он также сообщает, что симуляции не запускались с использованием локальных LLM, вместо этого им приходилось полагаться на API Openrouter для работы. Но, возможно, как только репозиторий станет публичным, проект можно будет разветвить для работы на локальных кластерах LLM, если у вас есть оборудование для запуска игры с несколькими языковыми моделями одновременно.

Вероятно, запуск игры вроде Mafia с моделями ИИ потребует значительных символических затрат, а это значит, что ее полезность, возможно, будет ограничена тем, что она станет новым эталоном рассуждений для разработчиков ИИ.

Источник: Tomshardware.com