Программное обеспечение Exo позволяет создать домашний кластер ИИ

18 июля 2024, 18:26 / Технологии → Новости / Технологии

Крупные разработчики ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, такие как OpenAI, команда Google Gemini и люди, стоящие за Microsoft Copilot, имеют в своем распоряжении огромные центры обработки данных для рабочих нагрузок ИИ. Благодаря работе команды разработчиков новое программное обеспечение позволит вам запустить собственный кластер искусственного интеллекта дома, используя существующие смартфоны, планшеты и компьютеры.

Экспериментальное программное обеспечение exo разделяет вашу большую языковую модель (LLM), чтобы использовать некоторые или все ваши домашние компьютерные устройства для запуска вашего личного чат-бота или другого проекта искусственного интеллекта. Это могут быть ваши телефоны и планшеты Android, а также компьютеры под управлением macOS или Linux.

В результате вы можете использовать различные устройства вместе, чтобы в модели искусственного интеллекта они выглядели как один мощный графический процессор. Разработчик продемонстрировал демоверсию программного обеспечения, работающего под управлением Llama-3-70B дома, на iPhone 15 Pro Max, iPad Pro M4, Galaxy S24 Ultra, MacBook Pro M2, MacBook Pro M3 и двух видеокартах MSI Nvidia GTX 4090. видеокарты.

Программное обеспечение exo совместимо с Llama и другими популярными моделями искусственного интеллекта. Он также включает в себя, посредством изменения одной строки в приложении, ChatGPT-совместимый API для запуска моделей. Для компиляции и запуска программного обеспечения вам потребуются только совместимые устройства с Python 3.12.0 или более поздней версии.

После компиляции и запуска exo автоматически обнаруживает устройства в вашей сети и включает их в кластер. Он обеспечивает равенство устройств с помощью одноранговых соединений. Хотя exo поддерживает различные стратегии секционирования для распределения работы между устройствами, по умолчанию он использует кольцевую схему с взвешиванием памяти, которая распределяет рабочую нагрузку в зависимости от объема памяти каждого устройства.

Программное обеспечение exo также поддерживает iOS, но разработчики говорят, что код требует некоторой доработки, чтобы быть готовым к массовому использованию. Версия для iOS удалена, но доступ к ней будет открыт для тех, кто напишет электронное письмо ведущему разработчику.

Разработчики также планируют дальнейшие доработки и функции. У них также есть программа вознаграждений за помощь в добавлении новых функций и совместимости. На момент написания этой статьи они включали поддержку LLaVa, пакетных запросов, модуля радиосети и поддержку параллельного вывода конвейеров. В своем нынешнем состоянии он уже выглядит как крутой проект для экспериментов.

Источник: Tomshardware.com