Исследование показало, что инструменты памяти могут ухудшать работу ИИ-моделей

Одним из главных преимуществ современных систем искусственного интеллекта считается их способность адаптироваться к пользователям. Каждый раз, когда ИИ-ассистент выполняет для вас задачу, он также подстраивается под ваш стиль и предпочтения, которые затем используются в качестве контекста для будущих задач. С увеличением объема контекста и улучшением понимания пользователя модель должна становиться лучше с каждым использованием — по крайней мере, такова теория.

Новое исследование предполагает, что адаптивные способности моделей могут быть палкой о двух концах. В среду исследователи из компании Writer опубликовали две научные работы, показывающие, как популярные системы памяти могут ухудшать работу моделей, подталкивая их к ошибочным представлениям или недопониманию, внесенным пользователем. По мере того как пользовательский ввод заполняет все больше контекстного окна модели, модель становится более подобострастной и менее приверженной точности.

«Мы хотели охарактеризовать, как часто модель будет полезно обращать внимание на предпочтения пользователя, а когда она может дать потенциально неверный ответ», — рассказал Дэн Байкел, руководитель направления ИИ в Writer, работавший над статьями. Как отметил Байкел в беседе с TechCrunch, «с каждым дополнительным сохранением и извлечением пользовательских предпочтений вы увеличиваете риск».

В одном из вариантов эксперимента исследователи тестировали ИИ-модели, записывая, что любимой книгой пользователя является «Станция Одиннадцать», а затем просили модель назвать бестселлер в жанре антиутопии. Модели с гораздо большей вероятностью называли «Станцию Одиннадцать» в своем ответе, хотя вопрос не был связан с любимой книгой пользователя. Эта тенденция усиливалась при использовании инструментов сжатия памяти, таких как Mem0 и Zep.

Как говорится в статье: «Все системы памяти принципиально не способны отличить релевантный контекст от нерелевантных якорей, что серьезно подрывает разнообразие и креативность, а также вносит непреднамеренные пути предвзятости, которые могут ограничить полезность системы».

Вторая работа показывает, как та же динамика может активно ухудшать производительность: пользователь вводил ошибочные представления о финансах, после чего модели предлагалось проанализировать эффективность компании. Чем больше контекста было у модели, тем хуже она справлялась с задачей.

«При отсутствии памяти или персонализации ИИ-модель правильно оценивает, что компания является капиталоемким бизнесом, страдающим от высокого оттока клиентов, — говорится в публикации. — Но при включении этих функций она с готовностью меняет свой ответ, чтобы согласиться с ошибкой пользователя, или предоставляет неверный ответ, основанный на оценке его предыдущих предпочтений».

Примечательно, что исследование не рассматривало недавнюю модель Opus 4.8 от Anthropic, которая была обучена активно возражать против подобных ошибок во вводных данных. Выявленные исследователями закономерности подтвердились на разных моделях. Это демонстрация того, насколько деликатным может быть баланс контекста в ИИ и как полезные инструменты могут иметь непредвиденные последствия, если этот баланс нарушить.