Microsoft работает над 1-битной моделью LLM
Microsoft Corporation (произносится «ма́йкрософт»; как правило, именуется просто Microsoft; распространено сокращение MS) — одна из крупнейших транснациональных компаний по производству проприетарного программного обеспечения для различного рода вычислительной техники — персональных компьютеров, игровых приставок, КПК, мобильных телефонов и прочего, разработчик наиболее широко распространённой на данный момент в мире программной платформы — семейства операционных систем Windows. Подразделения компании также производят семейство игровых консолей Xbox, а также аксессуары для персональных компьютеров (клавиатуры, мыши и т. д.). C 2012 года производит собственный планшетный компьютер — Surface. Википедия
Читайте также:Влияние Baldur’s Gate 3 на индустрию игрАксессуары для Xbox в стиле DOOM: The Dark Ages представлены компанией MicrosoftОшибка Outlook Classic увеличивает загрузку ЦПАвтор слухов о ремейке Oblivion удалил аккаунтыЗвук запуска Windows 95 от Microsoft увековечен в Библиотеке Конгресса
Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.
Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами.
Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия
Читайте также:Micron реорганизует подразделения для развития ИИDUG Nomad — мобильный центр обработки данных с иммерсионным охлаждением для периферийного ИИADATA усиливает позиции на рынке корпоративного хранения данныхЕС запускает инициативу «ИИ-гигафабрика»Разработчики Total War: Warhammer 3 сообщили о будущих улучшениях искусственного интеллекта
Bitnets используют 1-битные веса с всего тремя возможными значениями: -1, 0 и +1. Это экономит много памяти по сравнению с основными моделями ИИ с 32-битными или 16-битными форматами с плавающей точкой, позволяя им работать гораздо эффективнее и требовать меньше памяти и вычислительной мощности. Однако простота Bitnet имеет один недостаток — она менее точна по сравнению с более крупными моделями ИИ. Однако BitNet b1.58 2B4T компенсирует это своими огромными тренировочными данными, которые, по оценкам, составляют более 33 миллионов книг.
Команда, стоящая за этой легкой моделью, сравнила ее с ведущими основными моделями, включая LLaMa 3.2 1B от Meta, Gemma 3 1B от Google и Qwen 2.5 1.5B от Alibaba. BitNet b1.58 2B4T показал относительно хорошие результаты по сравнению с этими моделями в большинстве тестов и даже занял высшие позиции в нескольких бенчмарках. Что еще более важно, он потреблял всего 400 МБ невстроенной памяти — менее 30% от того, что использовала следующая самая маленькая модель (Gemma 3 1B), что составляет 1,4 ГБ.
Однако LLM должен использовать фреймворк вывода bitnet.cpp, чтобы он мог работать эффективно. Команда специально заявила, что эта модель не получит прироста производительности и эффективности «при использовании ее со стандартной библиотекой трансформаторов, даже с требуемым форком».
Вам нужно будет взять фреймворк, доступный на GitHub, если вы хотите воспользоваться его преимуществами на легком оборудовании. Репозиторий описывает bitnet.cpp как предложение «набора оптимизированных ядер, которые поддерживают быстрый и без потерь вывод 1,58-битных моделей на CPU (с поддержкой NPU и GPU в будущем). Хотя в настоящее время он не поддерживает специфичное для AI оборудование, он все равно позволяет любому человеку с компьютером экспериментировать с AI без необходимости использования дорогостоящих компонентов.
Модели ИИ часто критикуют за то, что они требуют слишком много энергии для обучения и работы. Но легкие LLM, такие как BitNet b1.58 2B4T, могли бы помочь нам запускать модели ИИ локально на менее мощном оборудовании. Это могло бы снизить нашу зависимость от огромных центров обработки данных и даже дать людям без доступа к новейшим процессорам со встроенными NPU и самым мощным GPU возможность использовать искусственный интеллект.
Источник: Tomshardware.com
0 комментариев