Разделение композиции на вокал и аккомпанемент всегда было непростой задачей. Существуют несколько способов сделать это, но, во-первых, процесс занимает достаточно много времени, а во-вторых, результаты зачастую далеки от совершенства. Новый ИИ-инструмент с открытым исходным кодом выполняет эту задачу проще и быстрее.
Spleeter (так называется программное обеспечение) было разработано музыкальным стриминговым сервисом Deezer для исследовательских целей. На днях компания разместила программу на Github, чтобы каждый мог её скачать и попробовать. Spleeter делит аудиофайл на отдельные звуковые дорожки. При использовании достаточно производительного GPU утилита может делать это в 100 раз быстрее, чем в режиме реального времени. Работа программы показана на примере композиции Scatman.
Энди Байо (Andy Baio) протестировал Spleeter и написал отличный пост в своём блоге со множеством собственных примеров. Он отметил, что уровень ошибок, выдаваемый утилитой, крайне низкий по сравнению с другими аналогичными программами. По его словам, она будет особенно полезной для тех, кто создаёт мэшапы. Инструмент чрезвычайно эффективный, но, чтобы им воспользоваться, нужны определённые технические знания, в частности умение работать с программной библиотекой для машинного обучения Google TensorFlow, на базе которой проходило обучение Spleeter.
nobody should have this kind of power pic.twitter.com/4vbl2MGK4Z
— Andy Baio (@waxpancake) November 5, 2019
Spleeter – ещё один пример того, как инструменты на основе искусственного интеллекта могут упростить творческую работу. На текущий момент машинное обучение используется для автоматизации многих трудоёмких задач: от удаления фонов на изображениях до масштабирования текстур в старых играх. И всё чаще эти инструменты встречаются в потребительских продуктах, например, в Adobe Photoshop. Тем не менее Deezer не планирует превращать Spleeter в потребительский инструмент, поскольку могут возникнуть проблемы с авторскими правами. Сама компания нашла ему применение для целого ряда сложных исследовательских задач, которые помогают улучшить работу потокового сервиса.
Источник: The Verge