Meta выпустила новую модель искусственного интеллекта с открытым кодом под названием AudioCraft, позволяющую создавать музыку и звуки с помощью текстовых подсказок.
Модель состоит из трех «подмоделей», которые предназначены для разных сфер генерации звуков:
- MusicGen – модель, использующая текстовые данные для создания музыки и обученная на 20 000 часах музыки, «принадлежащая Meta или лицензированная специально для этой цели». Инструмент TextToSample для генерации семплов, о котором мы писали вчера, тоже работает с ее помощью.
- AudioGen – модель, создающая аудио из письменных подсказок, имитируя, например лай собак или звук шагов.
- EnCodec – улучшенная версия декодера Meta, позволяющая создавать звуки с меньшим количеством артефактов.
Ниже можно прослушать образцы аудио, созданные AudioCraft. В целом, звучит неплохо, хотя и порой несколько искусственно:
Текстовая подсказка: свист и ветер
Текстовая подсказка: приближающиеся и удаляющиеся звуки сирены и жужжание двигателя
Текстовая подсказка: танцевальный поп-трек с запоминающимися мелодиями; тропическими перкуссиями и бодрыми ритмами; идеально подходит для пляжа.
Meta – не единственная компания, объединившая музыку с ИИ. Google создала MusicLM – большую языковую модель, которая генерирует минутные звуки на основе текстовых подсказок, однако она доступна только исследователям. Остальные инструменты уже стали причиной недовольства музыкальных студий – таких, как созданная ИИ песня, в которой звучат голос Дрейка и The Weeknd. Некоторые музыканты наоборот поощряют использовать их вокал как основу, например певица Граймс.
В настоящее время произведения AudioCraft звучат как «лифтовая музыка», которую можно использовать для фона, а не создания хита. Хотя Meta верит, что ее модель сможет положить начало новой волне песен, так же как синтезаторы, которые стали популярными когда-то и изменили музыку.
Компания говорит, что AudioCraft нуждается в открытом коде, чтобы диверсифицировать данные, используемые для его обучения.
«Мы понимаем, что наборам данных, используемых для обучения наших моделей, не хватает разнообразия. В частности, использованный набор содержит большую часть музыки в западном стиле и только пары аудио-текста с текстом и метаданными, написанными на английском языке», — говорят в Meta.
Источник: The Verge
