Phison расширяет возможности расширения памяти графического процессора aiDAPTIV+

Phison также расширила возможности aiDAPTIV+ для работы на периферийных вычислительных устройствах на базе платформы NVIDIA Jetson для улучшенного генеративного вывода ИИ на периферии и в робототехнических развертываниях. С сегодняшним анонсом новые и текущие пользователи aiDAPTIV+ могут рассчитывать на новое промежуточное программное обеспечение aiDAPTIVLink 3.0, которое обеспечит более быстрый вызов времени до первого токена (TTFT) и увеличит длину токена для большего контекста, улучшая производительность и точность вывода. Эти расширения откроют доступ для пользователей, начиная от студентов университетов и профессионалов в области ИИ, обучающихся для подготовки LLM, или исследователей, раскрывающих более глубокие идеи в своих собственных данных с помощью ПК, вплоть до инженеров-производственников, автоматизирующих улучшения на заводе с помощью периферийных устройств.

С распространением вариантов использования ИИ и обработки на периферии резко возрос спрос на будущих талантливых разработчиков ИИ. Разработчикам требуется практический доступ к решениям по обучению LLM, чтобы научиться создавать приложения для завтрашнего дня, в то время как лица, принимающие решения в строго регулируемых государственных, исследовательских, медицинских и промышленных организациях, ищут локальные, безопасные устройства, которые они могут использовать для обучения на собственных данных. Помимо этого, фокус также сместился в сторону улучшения отклика и точности вывода LLM, при этом многие организации требуют лучших на рынке решений по предсказуемой цене. aiDAPTIV+ — это бюджетная возможность расширения памяти GPU, позволяющая пользователям обучать LLM с помощью своих данных в локальной защищенной сети «замкнутого цикла», при этом предоставляя простой пользовательский интерфейс для взаимодействия с данными и постановки вопросов о них.

«aiDAPTIV+ теперь эквивалентен тому, чтобы иметь эксперта по вашим собственным данным в вашем рюкзаке в любое время», — сказал Майкл Ву, генеральный директор и президент Phison US. «Вы не только можете обучаться и делать выводы на собственных тонко настроенных или поддерживающих RAG LLM, но и затем пожинать плоды инсайтов. Это может привести к вашему следующему применению, будь то новаторская фармацевтика, более умная модель финансового прогнозирования или методология ускорения выпуска продукции на уровне устройств».

«Опираясь на динамику прошлогодней учебной рабочей станции ИИ с aiDAPTIV+ на GTC, мы расширили наше сотрудничество с Phison, чтобы еще больше повысить производительность ИИ, представив ноутбук для проверки концепции, который обеспечивает как мощный вывод ИИ на периферии, так и обучение модели на устройстве из любой точки мира», — сказал Уоллес Сантос, генеральный директор Maingear. «Это переносит возможности локального ИИ на компактную мобильную платформу, предоставляя компаниям, преподавателям и студентам экономически эффективный инструмент для разработки моделей ИИ без сложности традиционной инфраструктуры центров обработки данных».

Новые и расширенные возможности aiDAPTIV+ включают:

Ноутбук AI-серии ML от Maingear с интеграцией aiDAPTIV+ для LLMOps
Это стратегическое партнерство представляет первый в отрасли потребительский ноутбук, который поддерживает обучение LLM и улучшенный вывод до 8B параметров моделей. Концепция ноутбука Maingear AI будет продемонстрирована с использованием aiDAPTIVCache SSD, промежуточного программного обеспечения aiDAPTIVLink и набора функций Pro Suite GUI «все в одном» для LLMOps, включая захват, тонкую настройку, RAG, мониторинг, проверку и вывод. Теперь клиенты могут зарегистрироваться в Maingear, чтобы получать уведомления о заказе и доступности доставки.

aiDAPTIVLink Middleware 3.0
Последнее обновление обеспечивает улучшенный вывод, предоставляя более быстрый ответ на отзыв TTFT и больший контекст, увеличивая длину токена для более точных ответов. Эта поддержка более длинной длины токена позволяет пользователю использовать более сложные, подробные подсказки для запроса LLM, доступного с апреля 2025 года.

Выводы ИИ для Интернета вещей с помощью aiDAPTIV+
aiDAPTIV+ теперь поддерживает варианты использования периферийных вычислений и робототехники благодаря проверке Phison устройств на базе NVIDIA Jetson. aiDAPTIV+ усиливает возможности логического вывода и обучения LLM на основе LoRA на этих устройствах с помощью aiDAPTIVCache SSD, который будет доступен в апреле 2025 года. Это открывает новые возможности обработки в различных вариантах использования, включая автономные транспортные средства, диагностику в здравоохранении, промышленную автоматизацию, аналитику розничной торговли, мониторинг окружающей среды, телекоммуникации, интеллектуальное наблюдение и сельское хозяйство.

Чтобы узнать больше, посетите Phison на NVIDIA GTC, стенд 2224, чтобы увидеть демонстрации ноутбука Maingear AI и возможностей вывода AI aiDAPTIV+ для периферийных вычислений. Для получения дополнительной информации об aiDAPTIV+ посетите веб-сайт.

Источник: Techpowerup.com