ChatGPT вызвал на шахматный поединок Atari 2600 и потерпел сокрушительное поражение

Инженер, экспериментируя с ChatGPT, обнаружил, что передовая языковая модель OpenAI оказалась слишком самоуверенной в своих шахматных способностях. Более того, именно ChatGPT сам предложил инженеру Citrix Роберту Карузо устроить матч против базовой шахматной программы, чтобы проверить, «как быстро» он одержит победу. В итоге ИИ был разгромлен Atari 2600.

Для начала стоит уточнить: современные шахматные движки, такие как Stockfish, уже давно превосходят лучших игроков-людей. Существуют и ИИ-движки, например, от DeepMind. Однако ChatGPT 4o, несмотря на лидерство среди языковых моделей, не является шахматным движком.

Тем не менее, можно было ожидать чего-то более впечатляющего. Обсуждая с ChatGPT историю ИИ в шахматах, Карузо рассказал в LinkedIn, что ИИ сам вызвался сыграть против Atari Chess: «Он хотел узнать, как быстро сможет победить игру, которая просчитывает всего 1-2 хода вперед на процессоре с частотой 1,19 МГц».

И что же?

«ChatGPT был полностью разгромлен даже на начальном уровне, — говорит Карузо. — Несмотря на предоставленную раскладку доски для идентификации фигур, ChatGPT путал ладьи со слонами, пропускал вилки пешками и постоянно терял ориентацию в позиции. Сначала он винил в этом абстрактные иконки Atari, но даже после перехода на стандартную шахматную нотацию ситуация не улучшилась. Его ошибки были настолько грубыми, что его бы осмеяли даже в шахматном кружке для третьеклассников».

Video Chess — одна из самых примитивных шахматных программ, что объясняется эпохой её создания: главной задачей разработчиков было уместить движок в 4 КБ памяти (что вдвое больше стандартного объёма для других игр Atari VCS). Программа просто перебирает возможные ходы в текущей позиции, но не строит долгосрочную стратегию.

Таким образом, даже среднестатистический игрок-человек без труда обыграл бы Video Chess. Однако ChatGPT в течение 90 минут «приходилось останавливать, чтобы предотвратить катастрофические ходы, и исправлять его представление о доске по несколько раз за ход. Он постоянно обещал, что улучшится, „если мы начнём заново“. В конце концов, даже ChatGPT признал поражение — и сдался с поникшей головой».

Источник: pcgamer.com