ИИ-технология Google MusicLM обучалась на наборе данных из 280 000 часов музыки и может создавать особо сложные композиции (например, для таких текстовых запросов, как «волшебная джазовая песня с незабываемым соло на саксофоне и сольный певец» или «берлинское техно 90-х с низким басом и сильными ударными»).
Своим глубоким обучением MusicLM, собственно, и отличается от других систем ИИ для генерирования песен – Riffusion, Dance Diffusion, собственный AudioML от Google и Jukebox от OpenAI несколько ограничены техническими возможностями и меньшим количеством использованных данных.
Музыкальные продукты MusicLM, на удивление, звучат очень подобно тем, что мог бы создать человек-композитор. К примеру, в этом фрагменте инструмент реализовал запрос «Вызывает чувство затерянности в пространстве»:
А здесь – «Основной саундтрек аркадной игры»:
Исследователи Google говорят, что MusicLM может взять несколько запросов, написанных последовательно (например, время медитировать, время просыпаться, время бегать, время выложиться на 100%) и создать своего рода мелодическую историю продолжительностью до нескольких минут – идеально подходит для саундтрека к фильму.
Ниже результат MusicLM для запросов: «электронная песня, играющая в видеоигре; песня для медитации, которую играют у реки; огонь; фейерверк».
MusicLM также можно управлять с помощью комбинации изображения и текста или генерировать аудио, которое воспроизводится определенным типом инструмента в определенном жанре. Можно выбрать даже уровень опыта «музыканта», также система способна создавать музыку, вдохновленную местами, эпохами или требованиями (например, мотивационная музыка для тренировок).
Но MusicLM небезупречна — некоторые образцы обладают искаженным качеством, что является неизбежным побочным эффектом процесса обучения. И хотя технически MusicLM может генерировать человеческий вокал, он звучит не слишком убедительно.
В то же время, Google не спешит выпускать инструмент, учитывая этические проблемы, с которыми он может столкнуться. MusicLM, как и другие системы, использовала в обучении защищенный авторским правом материал, а в ходе эксперимента оказалось, что около 1% результатов были непосредственно воспроизведены из песен, на которых тренировалась система.
Если предположить, что MusicLM или подобная система однажды станет доступной, юридических проблем не миновать — даже если технология позиционируется как инструмент, помогающий артистам, а не заменяющий их.
- С определенными скандалами уже сталкивались более простые ИИ — в 2020 году звукозаписывающий лейбл Jay-Z подал жалобу на авторские права на YouTube-канал Vocal Synthesis за использование искусственного интеллекта для создания кавер-версий песен, таких как «We Didn’t Start the Fire» Билли Джоэла. YouTube сначала их убрал, но впоследствии восстановил, признав запросы на удаление «неполными».
- Недавно одна американская группа с помощью ИИ-инструмента добавила в свою песню голос Jay-Z, а ютуб-блогер Grandayy создал пародийный трек о котах, звучащий искусственным голосом Эминема. Большое распространение получил и трек «Heart on My Sleeve» с синтезированными ИИ голосами The Weeknd и Дрейка — песня впоследствии была добавлена на Spotify и Apple Music, с чем активно боролась Universal Music Group.
Источник: Techcrunch
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.