LegoGPT: ИИ создает дизайны LEGO по текстовым запросам — инструмент доступен бесплатно
Исследователи из Университета Карнеги-Меллон разработали ИИ-модель LegoGPT, которая преобразует текстовые описания в рабочие конструкции LEGO. Модель использует авторегрессионный алгоритм для предсказания следующего блока в сборке, проверяя его совместимость и устойчивость конструкции. Результат — стабильные и «собираемые» дизайны без наложений или «парящих» деталей.
Изображение: Pun, Deng, Liu, Ramanan, Liu, Zhu / Carnegie Mellon University
Как это работает?
- Текст запроса преобразуется в 3D-модель (voxel-сетку 20×20×20), которая служит основой для компоновки блоков.
- ИИ последовательно добавляет блоки, проверяя их валидность (отсутствие пересечений, наличие в библиотеке).
- При обнаружении неустойчивости модель откатывается к последней стабильной версии и продолжает генерацию.
Для обучения LegoGPT использовался датасет StableText2Lego, содержащий 47 000 структур LEGO, включая мебель, транспорт и музыкальные инструменты. Каждый дизайн рендерился в 24 ракурсах, а GPT-4o генерировал текстовые описания для связки «форма — функция».
Изображение: Pun, Deng, Liu, Ramanan, Liu, Zhu / Carnegie Mellon University
Перспективы
Команда открыла доступ к коду и датасетам, что позволяет интегрировать LegoGPT в сторонние приложения. Например, в сочетании с компьютерным зрением ИИ сможет предлагать варианты сборки из имеющихся у пользователя деталей.
ИИ: LegoGPT демонстрирует, как нейросети могут выйти за рамки цифрового творчества в физический мир. Интересно, адаптируют ли подобные алгоритмы для других конструкторов — например, Nanoblock или Minecraft.
Источник: Tomshardware.com
0 комментариев