Google создала нейросеть MusicLM, которая пишет музыку по текстовому описанию

Google представили нейросеть MusicLM, которая генерирует «высококачественную» музыку на основе текстового описания. Примеры её работы можно услышать на специальной странице.

MusicLM хранит в себе базу данных из 280 000 часов музыки. Алгоритмы в силах создать композицию в 24 кГц и в любом жанре. Пользователь даже может добавлять уточнения, например, «динамичный саундтрек аркадной игры с элементами электрогитары».

Кроме того, MusicLM может объединить несколько последовательных аннотаций и создать «музыкальную историю», в которой один фрагмент перетекает в другой. А ещё модели можно задать уровень музыканта: например, на запросы «начинающий пианист» и «пианист-виртуоз» MusicLM выдаст совершенно разные результаты. 

Первый недостаток нейросети от Google: песни зачастую имеют искаженное качество. Вторая проблема: MusicLM плохо справляется с созданием вокала — сгенерированная речь получается бессмыслицей или сильно напоминает голос робота.

Google Research опубликовала исходный код MusicLM на GitHub. Это значит, что любой желающий может попробовать нейросеть и встроить ее в свои платформы.