AMD представляет свою первую модель малого языка AMD-135M
Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия
Читайте также:ASRock официально представляет материнские платы на чипсетах AMD X870E и X870Оверклокер из MSI подтверждает, что модули CUDIMM работают с процессорами AMD Ryzen 8000 и 9000Ошибка материнской платы AMD X670E снижает скорость SSD PCIe 5.0 до PCIe 1.0AMD Ryzen 9 9950X3D и 9900X3D будут оснащены 3D V-cache на обоих чипсетах CCDКитайский процессор Zhaoxin KX-7000 не может превзойти старые чипы Intel и AMD
Таким образом, AMD представила свою первую модель малого языка AMD-135M, которая относится к семейству Llama и нацелена на частные бизнес-развертывания. Неясно, имеет ли новая модель какое-либо отношение к недавнему приобретению компанией Silo AI (поскольку сделка должна быть завершена и одобрена различными органами, так что, вероятно, нет), но это явный шаг в направлении удовлетворения потребностей конкретных клиентов с помощью предварительно обученной модели, созданной AMD, — с использованием оборудования AMD для вывода.
Основная причина, по которой модели AMD быстры, заключается в том, что они используют так называемое спекулятивное декодирование. Спекулятивное декодирование представляет собой меньшую «черновую модель», которая генерирует несколько токенов-кандидатов за один прямой проход. Затем токены передаются в большую, более точную «целевую модель», которая проверяет или исправляет их. С одной стороны, этот подход позволяет генерировать несколько токенов одновременно, но с другой стороны, это происходит за счет мощности из-за увеличения транзакций данных.
Новый релиз AMD представлен в двух версиях: AMD-Llama-135M и AMD-Llama-135M-code, каждая из которых разработана для оптимизации определенных задач путем ускорения производительности вывода с помощью технологии спекулятивного декодирования, что является логичным решением для службы ИИ на основе моделей на небольшом языке. Каким-то образом обе версии преобладают в тестах производительности, проводимых AMD.
- Базовая модель AMD-Llama-135M была обучена с нуля на 670 миллиардах токенов общих данных. Этот процесс занял шесть дней с использованием четырех 8-канальных узлов AMD Instinct MI250 (в номенклатуре AMD это просто «четыре узла AMD MI250»).
- Кроме того, код AMD-Llama-135M был доработан с использованием дополнительных 20 миллиардов токенов, специально предназначенных для кодирования, что позволило выполнить эту задачу за четыре дня с использованием того же оборудования.
AMD считает, что дальнейшие оптимизации могут привести к еще лучшей производительности. Тем не менее, поскольку компания делится результатами тестов своих графических процессоров предыдущего поколения, мы можем только догадываться, на что способны ее нынешнее поколение (MI300X) и следующее поколение (MI325X).
Источник: Tomshardware.com
0 комментариев