Meta выпустила новую модель искусственного интеллекта с открытым кодом под названием AudioCraft, позволяющую создавать музыку и звуки с помощью текстовых подсказок.
Модель состоит из трех «подмоделей», которые предназначены для разных сфер генерации звуков:
Ниже можно прослушать образцы аудио, созданные AudioCraft. В целом, звучит неплохо, хотя и порой несколько искусственно:
Текстовая подсказка: свист и ветер
Текстовая подсказка: приближающиеся и удаляющиеся звуки сирены и жужжание двигателя
Текстовая подсказка: танцевальный поп-трек с запоминающимися мелодиями; тропическими перкуссиями и бодрыми ритмами; идеально подходит для пляжа.
Meta – не единственная компания, объединившая музыку с ИИ. Google создала MusicLM – большую языковую модель, которая генерирует минутные звуки на основе текстовых подсказок, однако она доступна только исследователям. Остальные инструменты уже стали причиной недовольства музыкальных студий – таких, как созданная ИИ песня, в которой звучат голос Дрейка и The Weeknd. Некоторые музыканты наоборот поощряют использовать их вокал как основу, например певица Граймс.
В настоящее время произведения AudioCraft звучат как «лифтовая музыка», которую можно использовать для фона, а не создания хита. Хотя Meta верит, что ее модель сможет положить начало новой волне песен, так же как синтезаторы, которые стали популярными когда-то и изменили музыку.
Компания говорит, что AudioCraft нуждается в открытом коде, чтобы диверсифицировать данные, используемые для его обучения.
«Мы понимаем, что наборам данных, используемых для обучения наших моделей, не хватает разнообразия. В частности, использованный набор содержит большую часть музыки в западном стиле и только пары аудио-текста с текстом и метаданными, написанными на английском языке», — говорят в Meta.
Источник: The Verge