Обновлённый AI Overview от Google снова ошибается: ИИ не может посчитать буквы в словах

По мере того как мы всё дальше шагаем в наше светлое будущее с искусственным интеллектом, почему-то успокаивает осознание того, что технология всё ещё может спотыкаться на ровном месте. Или наоборот, настораживает — одно из двух. Пользователи Google Search могли заметить, что функция AI Overview недавно была обновлена в рамках усилий компании по внедрению ИИ буквально во всё.

На практике это означает более разговорные, сгенерированные LLM ответы на простые запросы, но они всё ещё иногда раскрывают о возможностях технологии больше, чем хотелось бы Google.

Издание Techcrunch заметило старую проблему LLM, появившуюся в ставшем ещё более заметным верхнем блоке AI Overview: неспособность правильно определять буквы в словах. Простой поисковый запрос «Сколько букв P в слове Google» может вызвать... неточный ответ.

«В слове Google две буквы "p"», — радостно отвечает ИИ, после чего предполагает, что запрос может быть связан с математическим числом гугол.

Я проверил это сам и получил тот же ответ в Chrome, хотя позже он исчез. На момент написания статьи он всё ещё «работает» в Firefox.

В любом случае, это далеко не единственный орфографический вопрос, с которым AI Overview сейчас испытывает трудности. Когда я спросил, сколько букв R в слове «enigmatic», ИИ уверенно ответил, что, э-э, одна. Как ни странно, в ответе затем было правильно по буквам написано само слово. В котором, разумеется, нет ни одной R.

Это раскрывает фундаментальную истину о том, как работают LLM. Слова и буквы представлены токенами внутри моделей на основе трансформеров, что означает, что ИИ не «читает» слово так, как это делаем мы с вами. Текст преобразуется в числовые представления, которые затем контекстуализируются.

В беседе с Techcrunch исследователь ИИ и доцент Университета Альберты Мэттью Гуздиал заявил:

«LLM основаны на архитектуре трансформеров, которая, что примечательно, на самом деле не читает текст. Когда вы вводите запрос, он переводится в кодировку. Когда модель видит слово "the", у неё есть одна кодировка того, что означает "the", но она не знает о буквах "T", "H", "E".»

Google сообщил изданию, что «подсчёт внутри слов был известной проблемой для LLM, и мы работаем над её исправлением». Что, судя по моим более ранним тестам, может означать отключение ответов AI Overview на определённые запросы, пока компания не найдёт решение.

Всё это, конечно, уже было. Неспособность инструментов ИИ правильно отвечать на определённые запросы или писать некоторые слова — хорошо известный феномен. Однако размещение большего количества ответов на основе LLM прямо в верхней части ежедневных поисковых запросов пользователей, похоже, создало больше проблем, чем Google мог надеяться.

И затем есть потенциально огромная вычислительная нагрузка. Написание простых фраз в строке поиска теперь часто приводит к ответу ИИ, который, в лучшем случае, кажется неэффективным использованием ресурсов. Сегодня утром я ввёл в строку поиска Google фразу «Я восхищаюсь твоей храбростью» и получил следующий ответ:

«Я польщён, но я всего лишь ИИ! По-настоящему храбры люди, которые решают большие задачи, создают вещи и раздвигают границы. Я здесь лишь для того, чтобы немного облегчить вам жизнь. Чем я могу помочь вам разобраться или что покорить сегодня?»