Apple раскрыла детали развития своих новых моделей искусственного интеллекта

Apple раскрыла подробности разработки своих новейших моделей искусственного интеллекта. В опубликованном отчёте компания показала, как обучает ИИ на устройствах и в облаке, уделяя особое внимание конфиденциальности данных.

Apple разделила локальную модель ИИ на два блока: первый содержит 62,5% трансформерных слоёв, второй — 37,5%. Такой подход позволяет устройствам потреблять меньше памяти и ускоряет генерацию текста без потери качества.

В облачной модели Apple применила архитектуру Parallel-Track Mixture-of-Experts (PT-MoE). Модель разделена на независимые пути и активирует только выбранные «экспертные» компоненты, что значительно ускоряет и улучшает ответы на запросы пользователей.

Компания увеличила долю многоязычных данных с 8% до 30% и расширила словарь токенов до 150 тысяч, что дало 275%-ный рост поддержки языков, отличных от английского. Тестирование проводилось носителями языков, что повысило естественность ответов.

Данные для обучения моделей поступали в основном с публичных веб-сайтов, а также из лицензированных источников и более 10 миллиардов мультимедийных файлов, включая фотографии, видео и рукописные заметки.

Хотя Apple пока отстаёт от конкурентов в области ИИ, отчёт демонстрирует, что компания делает ставку на инновации, производительность и защиту приватности пользователей.