OpenAI представила открытые модели gpt-oss-20b и gpt-oss-120b для локального запуска на видеокартах RTX
Если вам нравится идея использования ИИ на вашем компьютере, но вы не хотите делиться своими данными с облачными сервисами, локальная языковая модель (LLM) может стать отличным решением. OpenAI совместно с Nvidia представила две новые модели — gpt-oss-20b и gpt-oss-120b, которые можно запускать локально при наличии достаточно мощного железа.
Модели доступны для загрузки через сайт Nvidia или Hugging Face. Также можно протестировать облачную демо-версию на gpt-oss.com, где доступны различные уровни рассуждений.
Особенность этих моделей в том, что они имеют открытые веса (open-weight). Веса — это значения, определяющие связи между нейронными сетями и параметрами. Доступ к ним позволяет лучше понять, как работает ИИ, и тонко настраивать его под свои нужды.
| Название модели | Блоки трансформера | Всего параметров | Активные параметры на токен | Число экспертов | Активные эксперты на токен | Длина контекста |
| gpt-oss-20b | 24 | 20B | 3.6B | 32 | 4 | 128K |
| gpt-oss-120b | 36 | 117B | 5.1B | 128 | 4 | 128k |
Обе модели относятся к категории reasoning models, то есть они «размышляют» перед тем, как дать ответ. Такие модели лежат в основе так называемого агентного ИИ, который разбивает сложные задачи на цепочки более простых. При этом они не заменят GPT-5 — будущую облачную версию от OpenAI.
Модель gpt-oss-120b может работать на видеокартах с 80 ГБ памяти, таких как профессиональные RTX Pro. Однако для домашних ПК это пока слишком требовательное решение.
0 комментариев