SambaNova запускает самую быструю платформу искусственного интеллекта на базе своего чипа SN40L

11 сентября 2024, 13:57 / Технологии → Новости / Технологии

SambaNova Systems, поставщик самых быстрых и эффективных чипов и моделей ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, анонсировала SambaNova Cloud, самую быструю в мире службу вывода ИИ, работающую на скорости ее чипа ИИ SN40L. Разработчики могут бесплатно войти в систему через API сегодня — без листа ожидания — и создать свои собственные генеративные приложения ИИ, используя как самую большую и производительную модель Llama 3.1 405B, так и молниеносную Llama 3.1 70B. SambaNova Cloud запускает Llama 3.1 70B со скоростью 461 токен в секунду (t/s) и 405B со скоростью 132 t/s с полной точностью.

«SambaNova Cloud — самый быстрый API-сервис для разработчиков. Мы обеспечиваем рекордную скорость и полную 16-битную точность — все это благодаря самому быстрому в мире чипу ИИ», — сказал Родриго Лян, генеральный директор

Генеральный директор (англ. Director-general или General director, нем. Generaldirektor) — директор, высшая административная должность, широко используемая во многих странах мира, но, иногда, в различных значениях. Согласно определениям российских терминологических словарей (напр. Википедия

SambaNova Systems. «SambaNova Cloud предоставляет самые точные модели с открытым исходным кодом огромному сообществу разработчиков на скоростях, которых они никогда не испытывали раньше».

В этом году Meta

Ме́та — многозначный термин. Википедия

выпустила Llama 3.1 в трех форм-факторах — 8B, 70B и 405B. Модель 405B — это жемчужина для разработчиков, предлагающая высококонкурентную альтернативу лучшим моделям с закрытым исходным кодом от OpenAI

Thumbnail: OpenAI OpenAI — американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта. В состав OpenAI входят зарегистрированная в штате Делавэр некоммерческая организация OpenAI, Inc и её дочерняя коммерческая компания OpenAI Global, LLC. OpenAI ставит перед собой цель разработать «безопасный и полезный» сильный искусственный интеллект, который организация определяет как «высокоавтономные системы, превосходящие человека в выполнении наиболее экономически ценной работы». На пути к этой цели организация создала несколько больших языковых моделей, в том числе GPT-4 и ChatGPT, а также моделей для генерации изображений, как DALL-E; в прошлом она публиковала модели с открытым исходным кодом. Некоммерческая организация OpenAI была основана в декабре 2015 года; её сопредседателями стали Сэм Олтмен и Илон Маск. Википедия

, Anthropic и Google. Модели Llama 3.1 от Meta являются самыми популярными моделями с открытым исходным кодом, а Llama 3.1 405B является самой интеллектуальной, по словам Meta, предлагая гибкость в том, как модель может использоваться и развертываться.

Модель с наивысшей точностью воспроизведения — SambaNova работает на частоте 405B при 132 T/S
«Конкуренты сегодня не предлагают разработчикам модель 405B из-за своих неэффективных чипов. Поставщики, работающие на графических процессорах NVIDIA, снижают точность этой модели, нанося вред ее точности и запуская ее на недопустимо низких скоростях», — продолжил Лян. «Только SambaNova запускает 405B — лучшую из созданных моделей с открытым исходным кодом — с полной точностью и скоростью 132 токена в секунду».

Llama 3.1 405B — это чрезвычайно большая модель — самая большая модель frontier open-weights, выпущенная на сегодняшний день. Размер означает, что стоимость

Сто́имость — экономический термин, имеющий несколько разных значений: в экономической теории величину соотношений (пропорцию) при добровольном обмене товарами называют «меновой стоимостью», но природу и суть стоимости разные экономические школы видят по-своему; в бухгалтерском учёте и статистике — выраженная в деньгах величина затрат на приобретение или изготовление объекта, ранее стоимость в бухгалтерском учёте также могла пониматься как «результат умножения (таксировки) количества товаров на цену одной товарной единицы»; в повседневной речи — цена товара («Сколько сто́ят спички?»), затраты на приобретение («Мне это стоило 1 000 рублей.»), близка к терминам затраты, себестоимость. Википедия

и сложность ее развертывания высоки, а скорость, с которой она обслуживается, ниже по сравнению с моделями меньшего размера. Чипы

SN40L от SambaNova снижают эту стоимость и сложность по сравнению с NVIDIA H100 и уменьшают компромисс скорости модели, поскольку чипы обслуживают ее на более высоких скоростях.

«Рабочие процессы агентов обеспечивают превосходные результаты для многих приложений. Поскольку для получения конечного результата им необходимо обрабатывать большое количество токенов, быстрая генерация токенов имеет решающее значение. Лучшей открытой моделью весов на сегодняшний день является Llama 3.1 405B, а SambaNova — единственный поставщик, который запускает эту модель с точностью 16 бит и скоростью более 100 токенов в секунду. Это впечатляющее техническое достижение открывает захватывающие возможности для разработчиков, использующих LLM», — заявил доктор Эндрю Нг, основатель DeepLearning.AI, управляющий генеральный партнер AI Fund и внештатный профессор кафедры компьютерных наук Стэнфордского университета.

Независимые тесты оценивают SambaNova Cloud как самую быструю платформу вывода искусственного интеллекта
«Artificial Analysis провела независимый сравнительный анализ SambaNova, зафиксировав рекордную скорость в 132 выходных токена в секунду на своей конечной точке облачного API Llama 3.1 405B. Это самая высокая выходная скорость, доступная для этого уровня интеллекта среди всех конечных точек, отслеживаемых Artificial Analysis, превышающая скорость передовых моделей, предлагаемых OpenAI, Anthropic и Google. Конечные точки Llama 3.1 от SambaNova будут поддерживать зависящие от скорости варианты использования ИИ, в том числе для приложений, требующих ответов в реальном времени или использующих агентные подходы к использованию языковых моделей», — сказал Джордж Кэмерон, соучредитель Artificial Analysis.

Первая платформа для агентного ИИ - SambaNova запускает Llama 3.1 70B на 461 T/S
Llama 3.1 70B считается моделью с наивысшей точностью для вариантов использования агентного ИИ, требующих высокой скорости и низкой задержки. Ее размер делает ее пригодной для тонкой настройки, производя экспертные модели, которые можно объединять в многоагентные системы, подходящие для решения сложных задач.

SambaNova Cloud позволяет разработчикам запускать модели Llama 3.1 70B со скоростью 461 транзакция/с и создавать агентские приложения, работающие с непревзойденной скоростью.

«Как ведущий сторонник интерактивных SaaS-решений для повышения эффективности продаж на базе ИИ, Bigtincan рада сотрудничать с SambaNova. Благодаря впечатляющей производительности SambaNova мы можем достичь повышения эффективности Bigtincan SearchAI до 300%, что позволит нам запускать самые мощные модели с открытым исходным кодом, такие как Llama во всех ее конфигурациях, и агентские рабочие процессы ИИ с непревзойденной скоростью и эффективностью», — сказал Дэвид Кин, генеральный директор Bigtincan Solutions, SaaS-компании, котирующейся на ASX.

«Как ведущая платформа для создания автономных агентов кодирования, Blackbox AI рада сотрудничать с SambaNova. Интегрируя SambaNova Cloud, мы выводим нашу платформу на новый уровень, позволяя миллионам разработчиков, использующих Blackbox AI сегодня, создавать продукты с беспрецедентной скоростью, что еще больше укрепляет наши позиции как платформы, к которой обращаются разработчики по всему миру», — заявил Роберт Ризк, генеральный директор Blackbox AI.

«Поскольку ИИ переходит от впечатляющих демонстраций к реальным бизнес-потребностям, стоимость и производительность выходят на первый план», — сказал Алекс Ратнер, генеральный директор и соучредитель Snorkel AI. «SambaNova Cloud упростит и ускорит разработку для разработчиков с помощью впечатляющей модели 405B от Llama. Доступный и высокоскоростной вывод SambaNova в сочетании с программной разработкой ИИ, ориентированной на данные, от Snorkel — это фантастическая модель для создания успеха ИИ».

Быстрый API SambaNova быстро внедряется с момента запуска в начале июля. С помощью SambaNova Cloud разработчики могут добавлять собственные контрольные точки, быстро переключаться между моделями Llama, автоматизировать рабочие процессы с помощью цепочки подсказок ИИ и использовать существующие точно настроенные модели с высокой скоростью вывода. Он быстро станет решением для вывода, которое подойдет разработчикам, которым требуется мощность 405B, полная гибкость и скорость.

Сегодня SambaNova Cloud доступен на трех уровнях: Free, Developer и Enterprise.

Бесплатный уровень (доступен сегодня): предлагает бесплатный доступ к API всем, кто входит в систему
Уровень разработчика (будет доступен к концу 2024 г.): позволяет разработчикам создавать модели с более высокими лимитами скорости с моделями Llama 3.1 8B, 70B и 405B
Уровень Enterprise (доступен сегодня): предоставляет корпоративным клиентам возможность масштабирования с более высокими ограничениями скорости для поддержки производственных рабочих нагрузок.

Впечатляющая производительность SambaNova Cloud стала возможной благодаря чипу SambaNova SN40L AI. Благодаря уникальной запатентованной конструкции потока данных и трехуровневой архитектуре памяти SN40L может быстрее и эффективнее управлять моделями AI.

Источник: SambaNova