DeepSeek тестирует новую языковую модель с контекстом в 1 миллион символов

Китайская компания DeepSeek официально подтвердила тестирование новой архитектуры языковой модели с увеличенной длиной контекста. Как сообщается, веб-версия и мобильное приложение сервиса получили обновление, которое позволяет модели обрабатывать до 1 миллиона символов контекста.

Это представляет собой семикратное улучшение по сравнению с предыдущим поколением моделей серии V3, которые поддерживали контекст размером 128 тысяч символов. Увеличение длины контекста критически важно для длинных диалогов и работы с большими документами, так как позволяет модели «помнить» больше предыдущей информации.

При этом компания подчеркнула, что API-сервис для разработчиков остаётся без изменений и по-прежнему использует модель серии V3.2 с поддержкой контекста в 128 КБ.

Согласно данным, новая модель является текстовой, а её ключевым улучшением стали именно контекстные возможности. Несмотря на сообщения пользователей об улучшении в программировании и скорости генерации текста, аналитики отмечают, что эта модель, вероятно, не является полноценным DeepSeek V4.

Предполагается, что это облегчённая версия — V4 Lite, с количеством параметров около 200 миллиардов, что значительно меньше, чем 670 миллиардов у серии V3. Это объясняет, почему некоторые её возможности могут уступать предыдущему поколению. Текущий релиз рассматривается как пробный запуск новой архитектуры.

Ожидается, что полноценная модель DeepSeek V4 будет обладать 1,5 триллионами параметров и будет использовать новые технологии, исследованные компанией, такие как Engram и mHC, что может привести к значительному скачку в производительности при сохранении экономичности.

Интересный факт: Гонка за увеличением контекста — один из ключевых трендов в развитии больших языковых моделей. В 2025 году модель Anthropic Claude 3 уже поддерживала контекст до 1 миллиона токенов. Увеличение «окна внимания» модели позволяет ей эффективнее работать с длинными техническими документами, литературными произведениями и вести продолжительные, связные диалоги, что открывает новые возможности для корпоративного и исследовательского применения.