Бывший директор Tesla AI воспроизводит GPT-2 за 24 часа всего за 672 доллара

Еще одна вещь, которая значительно ускорила обучение llm.c, это то, что он напрямую реализовал обучение GPT. Карпати сказал: «Поскольку llm.c представляет собой прямую реализацию обучения GPT на C/CUDA, требования минимальны — нет необходимости в средах conda, интерпретаторах Python, установках pip и т. д. При необходимости вы разворачиваете узел облачного графического процессора. установите NVIDIA cuDNN, NCCL/MPI, загрузите фрагменты данных.bin, скомпилируйте и запустите, и все будет готово за считанные минуты». Он добавил: «Затем вы ждете 24 часа и наслаждаетесь отрывками об англоговорящих единорогах в Андах».

Проект llm.c начал свою жизнь как часть обучающего видео, но вскоре превратился в нечто, что Карпати построил с нуля после того, как он «застрял в некоторых вещах PyTorch». Это показывает страсть Андрея к искусственному интеллекту и то, на что он был готов пойти, чтобы завершить свой проект. Тем не менее, он добился этого не в одиночку, поскольку его поддержали несколько разработчиков со всего мира.

Обучение искусственному интеллекту не становится дешевле

Достижения в области оборудования, программного обеспечения и данных обучения не означают, что передовое обучение искусственному интеллекту становится дешевле. Генеральный директор Anthropic Дарио Амодей заявил, что модели ИИ, обучаемые сегодня, уже стоят 1 миллиард долларов, а более дорогие модели достигнут 100 миллиардов долларов уже в 2025 году.

Это потому, что, хотя оборудование становится более мощным, оно также становится и дороже. Например, Nvidia H100 сейчас стоит 40 000 долларов за штуку. Тем не менее, ожидается, что AI-чипы Blackwell следующего поколения будут стоить 70 000 долларов, а полная серверная стойка будет стоить 3 000 000 долларов и выше, если только мы не найдем аппаратные прорывы, такие как чип Sohu AI, ASIC, предназначенный только для трансформаторов.

Помимо финансовых последствий, растущие требования к мощности центров обработки данных искусственного интеллекта также начинают беспокоить некоторых экспертов. Всего один чип H100, работающий со средним годовым коэффициентом использования 61%, потребляет 3,7 МВтч электроэнергии в год. Учитывая, что Nvidia и все другие игроки продали в прошлом году более 3,8 миллиона графических процессоров AI, это составляет 14,3 ТВтч электроэнергии в год — достаточно, чтобы обеспечить питанием 1,3 миллиона средних американских домохозяйств.

Но даже несмотря на все деньги и власть, вложенные в ИИ, генеральный директор Google DeepMind говорит, что нынешние модели по-прежнему находятся на уровне IQ кошки. Таким образом, нам все еще необходимо инвестировать еще миллиарды долларов в будущие модели. Но если вы хотите попытаться создать свой собственный LLM, используя старые модели, вам не обязательно иметь 12 цифр на своем банковском счете — достаточно ума, необходимого для создания языка, и нескольких сотен долларов.

Источник: Tomshardware.com