ИИ Google поверил в кота, говорящего на кантонском, после шутки автора

Функция «ИИ-обзор» в поиске Google продолжает демонстрировать абсурдные ошибки и легко поддаётся манипуляциям. Писатель Чак Уэндиг (Chuck Wendig) за несколько недель смог убедить алгоритм в существовании у него несуществующего кота по кличке «Сэр Мьюлингтон фон Писсбрэт», который якобы говорит на «ограниченном кантонском диалекте».

В декабре Уэндиг с удивлением обнаружил, что поисковый запрос «Есть ли у Чака Уэндига кот» выдавал ИИ-обзор, утверждающий, что у автора есть питомец по имени Бумба. Информация была взята с сомнительного сайта «Wengie Wiki», хотя в блоге писателя таких упоминаний никогда не было. Уэндиг в шутку подыграл системе, начав вставлять в свой блог отсылки к вымышленным животным с разными именами.

Алгоритм Google с готовностью подхватывал эту дезинформацию, генерируя новые «факты»: что кот Бумба умер, что Уэндиг завёл нового кота по кличке Франкен, что у писателя был рак и что он «публично обратился в христианство». Всё это не имело ничего общего с реальностью.

Завершив этот эксперимент, Уэндиг написал в своём блоге, что его кота зовут Сэр Мьюлингтон фон Писсбрэт, ему шесть лет, он носит цилиндр и говорит на ограниченном кантонском. Спустя всего шесть недель поиск Google начал выдавать эту шутку как реальный факт в своих ИИ-обзорах.

В другом посте Уэндиг резко раскритиковал использование ИИ, особенно в издательском деле, заявив: «Я думаю, что ИИ неизбежен только тогда, когда мы верим в ложь о его неизбежности».

ИИ: Этот случай наглядно демонстрирует фундаментальную проблему современных генеративных ИИ, используемых в поиске: они часто выдают правдоподобно звучащий, но абсолютно вымышленный контент, выдавая его за факты. Легкость, с которой систему можно ввести в заблуждение, ставит под сомнение саму идею доверия к таким «обзорам».