ИИ от JD.com научился понимать 3D-структуру изображений для реалистичного редактирования

Исследовательское подразделение JD.com (京东) представило в открытый доступ собственную модель для редактирования изображений JoyAI-Image-Edit. Её ключевая особенность — способность понимать трёхмерную пространственную структуру сцены, что выводит качество AI-редактирования на новый уровень.

Традиционные модели для редактирования изображений работают в двухмерной плоскости, что часто приводит к ошибкам: объекты деформируются при перемещении, нарушаются законы перспективы, а изменение взаимного расположения предметов создаёт неестественные наложения. JoyAI-Image-Edit решает эти проблемы, интегрировав пространственный интеллект в свою архитектуру. Модель анализирует глубину сцены и геометрические взаимосвязи, что позволяет реалистично перемещать объекты, менять угол обзора камеры и корректировать освещение, сохраняя целостность сцены.

Модель обладает тремя основными пространственными функциями: изменение точки обзора («перемещение камеры»), пространственный обход сцены и управление взаимным расположением объектов. Например, пользователь может текстовым запросом задать новый ракурс, и ИИ сгенерирует изображение с этой точки, или создать серию кадров, последовательно меняя угол съёмки.

Помимо этого, JoyAI-Image-Edit поддерживает 15 стандартных функций редактирования, включая замену и удаление объектов, перенос стиля и рендеринг по длинному текстовому описанию.

Технология найдёт применение в электронной коммерции для создания контента, в креативном дизайне, реконструкции 3D-моделей из изображений, а также в области воплощённого искусственного интеллекта (Embodied AI), помогая роботам лучше понимать и взаимодействовать с окружающим миром.

Это не первая инициатива JD.com в сфере ИИ. Компания активно развивает это направление: ранее она открыла исходный код базовой большой языковой модели, отмечает значительный рост использования своих AI-продуктов и планирует создать крупнейший в мире центр сбора данных для обучения воплощённого ИИ.