Google добавила в приложение Gemini функцию генерации музыки на основе Lyria 3

Компания Google объявила в среду о добавлении функции генерации музыки в приложение Gemini. Для работы функции используется музыкальная модель Lyria 3 от DeepMind, которая всё ещё находится в стадии бета-тестирования.

Чтобы воспользоваться функцией, пользователю нужно описать песню, которую он хочет создать, после чего приложение сгенерирует трек вместе с текстом. Например, можно попросить Gemini создать «комичный R&B-трек о носке, который ищет свою пару», и приложение создаст 30-секундную композицию вместе с обложкой, сделанной Nano Banana.

Google также сообщила, что можно загрузить фотографию или видео, и инструмент на базе искусственного интеллекта создаст песню, соответствующую настроению медиафайла.

Компания заявила, что Lyria 3 улучшает предыдущее поколение моделей, создавая более реалистичные и сложные музыкальные треки. Пользователи также могут изменять и контролировать другие элементы, такие как стиль, вокал и темп.

Помимо внедрения Lyria 3 в приложение Gemini, Google делает модель доступной для создателей контента на YouTube через функцию Dream Track — инструмент, помогающий создавать треки с помощью ИИ. До сих пор эта опция была доступна только создателям YouTube в США. Но с этим релизом Google расширяет доступность Dream Track по всему миру.

Google пояснила, что прямое копирование стиля конкретного артиста невозможно, но если добавить имя исполнителя в запрос, Gemini создаст трек в похожем стиле или настроении.

«Генерация музыки с Lyria 3 предназначена для оригинального самовыражения, а не для имитации существующих артистов. Если ваш запрос содержит имя конкретного исполнителя, Gemini воспримет это как широкое творческое вдохновение и создаст трек, который разделяет похожий стиль или настроение. У нас также есть фильтры для проверки выходных данных на соответствие существующему контенту», — говорится в сообщении компании в блоге.

Google отметила, что все песни, созданные с помощью модели Lyria 3, будут содержать водяной знак SynthID для идентификации контента, созданного ИИ. Компания также добавила возможности для идентификации сгенерированной ИИ музыки с помощью SynthID внутри Gemini. Пользователи смогут загружать треки и спрашивать Gemini, созданы ли они искусственным интеллектом.

Функция генерации музыки становится доступной для всех пользователей Gemini старше 18 лет по всему миру с поддержкой английского, немецкого, испанского, французского, хинди, японского, корейского и португальского языков.

Генерация музыки с помощью ИИ вызывает неоднозначную реакцию среди артистов и слушателей. С одной стороны, такие компании, как YouTube и Spotify, внедряют ИИ и заключают контракты с музыкальными лейблами для монетизации такой музыки. С другой стороны, компании, разрабатывающие модели и инструменты ИИ, сталкиваются с исками от музыкальной индустрии из-за авторских прав на обучающие материалы. Такие платформы, как Deezer, уже опубликовали инструменты для маркировки музыки, созданной ИИ, чтобы ограничить мошеннические потоки такого контента.

Интересный факт: Модель Lyria, лежащая в основе новой функции, была впервые представлена DeepMind в конце 2023 года и сразу же привлекла внимание способностью создавать высококачественную музыку с вокалом и инструментами. В 2024 году Google интегрировала её в экспериментальный сервис MusicFX, а теперь выводит технологию на массовый уровень через своё флагманское ИИ-приложение.