Исследователи сервиса Deezer разработали систему искусственного интеллекта, которая способна ассоциировать определённые песни с различным настроением и активностью.
Чтобы определить музыкальное настроение песни, команда рассматривала как аудиосигнал, так и текст песни. Для начала они подавали аудиосигналы в нейронную сеть, а также модели, которые воссоздавали языковое значение слов. Затем, чтобы научить систему ИИ определять настроение песни, они использовали базу Million Song Dataset (MSD), которая представляет собой коллекцию метаданных для более чем 1 млн современных песен. В частности, они использовали набор данных Last.fm, который присваивает идентификаторы трекам из более чем 500 тыс. уникальных тегов. Многие из этих тегов связаны с настроением, и более 14 000 английских слов из этих тегов использовались для рейтингов, сопоставляющих, насколько отрицательным или положительным является слово, а также насколько спокойным или энергичным является слово для обучения системы.
База Million Song Database содержит только метаданные песен, а не сами музыкальные композиции, так что команде исследователей затем пришлось объединить эту информацию с собственным каталогом Deezer, используя в качестве идентификаторов названия песен, имена исполнителей и альбомов. Около 60% результирующего набора данных (18 644 композиции) использовалось для обучения системы ИИ, а остальное треки применялись для проверки и дальнейшего тестирования системы.
В конце концов, исследователи пришли к выводу, что система искусственного интеллекта лучше выявляет, насколько спокойной или энергичной является песня, чем более традиционные подходы, которые не использовали ИИ и выполняли примерно то же самое. Исследователи полагают, что повышение эффективности достигается благодаря одновременному анализу и сопоставлению о музыке и тексте песен.
Источник: The Verge