Разработчик внедрил GPT-2 в Excel, чтобы показать как «думает» искусственный интеллект

17 марта 2024, 15:12 / Технологии → Новости / Технологии

Разработчик программного обеспечения и заядлый любитель электронных таблиц Ишан Ананд внедрил GPT-2 в Microsoft Excel. Еще более удивительно то, что это работает, давая представление о том, как работают большие языковые модели (LLM) и как базовая архитектура Transformer выполняет интеллектуальное предсказание следующего токена. «Если вы можете понять электронную таблицу, вы сможете понять ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

», — говорит Ананд. Таблица размером 1,25 ГБ доступна на GitHub, чтобы каждый мог ее загрузить и проверить.

Естественно, эта реализация GPT-2 в электронных таблицах несколько отстает от LLM, доступных в 2024 году, но GPT-2 был самым современным не так давно (в 2019 году) и привлек множество внимания. Важно помнить, что GPT-2 — это не что-то чтобы пообщаться, как это было до эпохи «ChatGPT». ChatGPT

Thumbnail: ChatGPT ChatGPT — чат-бот с искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме, поддерживающий запросы на естественных языках. ChatGPT — большая языковая модель, для тренировки которой использовались методы обучения с учителем и обучения с подкреплением. Данный чат-бот основывается на другой языковой модели от OpenAI — GPT-3.5 — улучшенной версии модели GPT-3. 14 марта 2023 года была выпущена языковая модель GPT-4, доступная тестировщикам и платным подписчикам ChatGPT Plus. Википедия

появился в результате проделанной работы над GPT-3 в 2022 году. Более того, Ананд использует здесь малую модель GPT-2, поскольку двоичный файл Microsoft Excel XLSB насчитывает 124 миллиона параметров, а полная версия GPT-2 использовала 1,5 миллиарда параметров, в то время как GPT-3 поднял планку до 175 миллиардов параметров, а GPT-4 до чудовищных 1,76 триллиона параметров.

GPT-2 работает в основном над интеллектуальным «предсказанием следующего токена», когда языковая модель архитектуры Transformer завершает ввод наиболее вероятной следующей части последовательности. Эта электронная таблица может обрабатывать всего 10 входных токенов, что очень мало по сравнению со 128 000 токенами, которые может обрабатывать GPT-4 Turbo. Тем не менее, это подходит для демонстрации, и Ананд утверждает, что его «введение low-code» идеально подходит в качестве основы LLM для таких специалистов, как технические руководители, маркетологи, менеджеры по продуктам, законодатели в области ИИ, специалисты по этике, а также для разработчиков и ученых новичков в ИИ. Ананд утверждает, что та же самая архитектура Transformer остается «основой для ChatGPT OpenAI, Claude от Anthropic, Bard/Gemini от Google и многих других LLM».

Выше вы можете увидеть, как Ананд объясняет свою реализацию электронной таблицы с GPT-2. При работе с несколькими листами первый лист содержит любую подсказку, которую вы хотите ввести (но помните об ограничении в 10 подсказок). Затем он рассказывает нам о токенизации слов, позициях и весах текста, итеративном уточнении предсказания следующего слова и, наконец, выборе выходного токена — предсказанного последнего слова последовательности.

Выше мы упоминали об относительно компактном LLM, используемом GPT-2 Small. Несмотря на использование LLM, который, возможно, не будет классифицирован как таковой в 2024 году, Ананд все еще расширяет возможности приложения Excel. Разработчик предостерегает от попыток использовать этот файл Excel на Mac (частые сбои и зависания) или от попыток загрузить его в одно из облачных приложений для работы с электронными таблицами, поскольку он не будет работать. Также рекомендуется использовать последнюю версию Excel. Помните, что эта таблица — в основном образовательное упражнение и развлечение для Ананда. Наконец, одним из преимуществ использования Excel на вашем ПК является то, что этот LLM работает на 100% локально, без вызовов API в облако.