ШІ-технологія Google MusicLM навчалась на наборі даних з 280 000 годин музики й може створювати особливо складні композиції (наприклад, для таких текстових запитів, як «чарівна джазова пісня з незабутнім соло на саксофоні та сольний співак» або «берлінське техно 90-х з низьким басом і сильними ударними»).
Своїм глибоким навчанням MusicLM власне і відрізняється від інших систем ШІ для генерування пісень – Riffusion, Dance Diffusion, власний AudioML від Google і Jukebox від OpenAI дещо обмежені технічними можливостями та меншою кількістю використаних даних.
Музичні продукти MusicLM, на диво, звучать дуже подібно до тих, що могла б створити людина-композитор. Наприклад, у цьому фрагменті інструмент реалізував запит «Викликає відчуття загубленості в просторі»:
А тут – «Основний саундтрек аркадної гри»:
Дослідники Google кажуть, що MusicLM може взяти кілька описів, написаних послідовно (наприклад, «час медитувати», «час прокидатися», «час бігати», «час викластися на 100%») і створити свого роду мелодійну «історію» тривалістю до кількох хвилин — ідеально підходить для саундтреку до фільму.
Нижче результат MusicLM для запитів: «електронна пісня, яка грає у відеогрі», «пісня для медитації, яку грають біля річки», «вогонь», «феєрверк».
MusicLM також можна керувати за допомогою комбінації зображення та тексту або генерувати аудіо, яке «відтворюється» певним типом інструменту в певному жанрі. Можна обрати навіть рівень досвіду «музиканта», також система здатна створювати музику, натхненну місцями, епохами чи вимогами (наприклад, мотиваційна музика для тренувань).
Але MusicLM не бездоганна — деякі зразки мають спотворену якість, що є неминучим побічним ефектом процесу навчання. І хоча технічно MusicLM може генерувати людський вокал, він звучить не надто переконливо.
Водночас Google не поспішає випускати інструмент, враховуючи етичні проблеми, з якими він може стикнутися. MusicLM, як і інші системи, використовувала у навчанні захищений авторським правом матеріал, а під час експерименту виявилось, що близько 1% результатів були безпосередньо відтворені з пісень, на яких тренувалася система.
Якщо припустити, що MusicLM або подібна система одного разу стане доступною, юридичних проблем не оминути — навіть якщо технологія позиціюється як інструмент, який допомагає артистам, а не замінює їх.
Джерело: Techcrunch