ПК с ИИ на базе NVIDIA GeForce RTX 50 ускоряют DeepSeek

Новый класс моделей, которые рассуждают
Модели рассуждений — это новый класс больших языковых моделей ( LLM), которые тратят больше времени на «мышление» и «размышление» для решения сложных проблем, описывая при этом шаги, необходимые для решения задачи. Основной принцип заключается в том, что любую проблему можно решить с помощью глубоких размышлений, рассуждений и времени, точно так же, как люди решают проблемы. Затрачивая больше времени — и, следовательно, вычислений — на проблему, LLM может давать лучшие результаты. Это явление известно как масштабирование времени тестирования, когда модель динамически выделяет вычислительные ресурсы во время вывода для рассуждения о проблемах. Модели рассуждений могут улучшить пользовательский опыт на ПК, глубоко понимая потребности пользователя, предпринимая действия от его имени и позволяя ему предоставлять обратную связь о мыслительном процессе модели, — разблокируя агентские рабочие процессы для решения сложных многоэтапных задач, таких как анализ маркетинговых исследований, выполнение сложных математических задач, отладка кода и многое другое.

Отличие DeepSeek
Семейство очищенных моделей DeepSeek-R1 основано на большой модели смешанной модели экспертов (MoE) с 671 миллиардом параметров. Модели MoE состоят из нескольких меньших экспертных моделей для решения сложных задач. Модели DeepSeek дополнительно разделяют работу и назначают подзадачи меньшим наборам экспертов. DeepSeek использовал технику, называемую дистилляцией, для создания семейства из шести меньших моделей студентов — в диапазоне от 1,5 до 70 миллиардов параметров — из большой модели DeepSeek с 671 миллиардом параметров. Возможности рассуждения большей модели DeepSeek-R1 с 671 миллиардом параметров были переданы меньшим моделям студентов Llama и Qwen, что привело к мощным, меньшим моделям рассуждения, которые работают локально на ПК RTX AI с высокой производительностью.

Пиковая производительность на RTX
Скорость вывода имеет решающее значение для этого нового класса моделей рассуждений. Графические процессоры GeForce RTX 50 Series, созданные с использованием специализированных тензорных ядер пятого поколения, основаны на той же архитектуре графических процессоров NVIDIA Blackwell, которая подпитывает ведущие мировые инновации в области ИИ в центрах обработки данных. RTX полностью ускоряет DeepSeek, предлагая максимальную производительность вывода на ПК.

Пропускная способность семейства моделей Deepseek-R1 на графических процессорах ПК:

Испытайте DeepSeek на RTX в популярных инструментах
Платформа RTX AI от NVIDIA предлагает самый широкий выбор инструментов ИИ, наборов для разработки ПО и моделей, открывая доступ к возможностям DeepSeek-R1 на более чем 100 миллионах ПК NVIDIA RTX AI по всему миру, включая те, которые работают на базе графических процессоров GeForce RTX серии 50. Высокопроизводительные графические процессоры RTX делают возможности ИИ всегда доступными — даже без подключения к Интернету — и обеспечивают низкую задержку и повышенную конфиденциальность, поскольку пользователям не нужно загружать конфиденциальные материалы или предоставлять свои запросы онлайн-сервису.

Испытайте мощь DeepSeek-R1 и RTX AI PCs через обширную экосистему программного обеспечения, включая Llama.cpp, Ollama, LM Studio, AnythingLLM, Jan.AI, GPT4All и OpenWebUI, для вывода. Плюс используйте Unsloth для тонкой настройки моделей с пользовательскими данными.

Источник: NVIDIA