Исследование: ИИ-чаты научились анализировать язык на уровне лингвистов

Автор: Unsplash/CC0 Public Domain

Исследователи из Калифорнийского университета в Беркли обнаружили, что крупные языковые модели приобрели «металингвистические способности» — ключевую особенность человеческого языка и мышления, ранее не наблюдавшуюся у других видов.

Современные ИИ-чаты, такие как ChatGPT, теперь могут анализировать предложения на уровне профессиональных лингвистов. Это открытие не только демонстрирует прогресс в развитии искусственного интеллекта, но и ставит под сомнение уникальность человеческой способности осмысленно работать с языком.

Хотя ИИ-платформы по сути являются сложными системами предсказания, обученными на огромных массивах текстовых данных, новое исследование показывает, что они начали демонстрировать признаки настоящего понимания языковых структур.

«Способность глубоко анализировать слова и структуру предложений всегда считалась отличительной чертой человеческого познания, — объясняет Гашпер Бегуш, доцент лингвистики в Беркли и ведущий автор исследования. — Но теперь металингвистика — умение рассуждать о языке — становится доступной и для ИИ-чатов».

«Наши результаты показывают, что самые продвинутые языковые модели начинают преодолевать этот разрыв. Они не только используют язык, но и могут анализировать его организацию»

Учёные протестировали несколько версий ChatGPT и Llama 3.1 от Meta, предложив им проанализировать 120 сложных предложений, определить их лингвистические особенности и построить синтаксические деревья — визуальные схемы структуры предложений.

Например, в предложении «Элиза хотела, чтобы её выгнали» модели должны были обнаружить структурную неоднозначность: хочет ли Элиза, чтобы кого-то удалили, или чтобы сняли гипс?

Ранние версии ChatGPT и Llama не справились с этой задачей, но более совершенная модель OpenAI o1 не только выявила двусмысленность, но и точно её визуализировала.

Особый интерес исследователей вызвала способность ИИ распознавать рекурсию — ключевую особенность человеческого языка, впервые описанную Ноамом Хомским. Рекурсия позволяет встраивать фразы внутрь других фраз, создавая потенциально бесконечные конструкции.

Модель o1 успешно идентифицировала рекурсию в предложении «Неопознанные летающие объекты могут иметь противоречивые характеристики» и даже усложнила его, добавив новый рекурсивный элемент: «Неопознанные недавно замеченные летающие объекты...»

«Это очень значимо, — отмечает Бегуш. — В этих моделях мы видим одну из тех редких способностей, которые считались исключительно человеческими»

Исследователи подчёркивают, что их методология может стать новым стандартом для оценки лингвистических способностей ИИ, помогая отделить реальные достижения от маркетинговых преувеличений.

Дополнительная информация: Gasper Begus et al, Large linguistic models: Investigating LLMs' metalinguistic abilities, IEEE Transactions on Artificial Intelligence (2025). DOI: 10.1109/TAI.2025.3575745

Источник: University of California - Berkeley

* Meta, Facebook и Instagram запрещены в России.