ИИ-технология Google MusicLM обучалась на наборе данных из 280 000 часов музыки и может создавать особо сложные композиции (например, для таких текстовых запросов, как «волшебная джазовая песня с незабываемым соло на саксофоне и сольный певец» или «берлинское техно 90-х с низким басом и сильными ударными»).
Своим глубоким обучением MusicLM, собственно, и отличается от других систем ИИ для генерирования песен – Riffusion, Dance Diffusion, собственный AudioML от Google и Jukebox от OpenAI несколько ограничены техническими возможностями и меньшим количеством использованных данных.
Музыкальные продукты MusicLM, на удивление, звучат очень подобно тем, что мог бы создать человек-композитор. К примеру, в этом фрагменте инструмент реализовал запрос «Вызывает чувство затерянности в пространстве»:
А здесь – «Основной саундтрек аркадной игры»:
Исследователи Google говорят, что MusicLM может взять несколько запросов, написанных последовательно (например, время медитировать, время просыпаться, время бегать, время выложиться на 100%) и создать своего рода мелодическую историю продолжительностью до нескольких минут – идеально подходит для саундтрека к фильму.
Ниже результат MusicLM для запросов: «электронная песня, играющая в видеоигре; песня для медитации, которую играют у реки; огонь; фейерверк».
MusicLM также можно управлять с помощью комбинации изображения и текста или генерировать аудио, которое воспроизводится определенным типом инструмента в определенном жанре. Можно выбрать даже уровень опыта «музыканта», также система способна создавать музыку, вдохновленную местами, эпохами или требованиями (например, мотивационная музыка для тренировок).
Но MusicLM небезупречна — некоторые образцы обладают искаженным качеством, что является неизбежным побочным эффектом процесса обучения. И хотя технически MusicLM может генерировать человеческий вокал, он звучит не слишком убедительно.
В то же время, Google не спешит выпускать инструмент, учитывая этические проблемы, с которыми он может столкнуться. MusicLM, как и другие системы, использовала в обучении защищенный авторским правом материал, а в ходе эксперимента оказалось, что около 1% результатов были непосредственно воспроизведены из песен, на которых тренировалась система.
Если предположить, что MusicLM или подобная система однажды станет доступной, юридических проблем не миновать — даже если технология позиционируется как инструмент, помогающий артистам, а не заменяющий их.
Источник: Techcrunch