«Робот сочинит симфонию?» Как генерировать музыку при помощи нейросетей и что с ними не так

Если в 2022–2023 годах мир больше удивлялся возможностям генеративных ИИ в иллюстрациях и видео, то с 2024-го одним из основных модных трендов стала генерированная музыка. Нейросети способны написать мелодию и текст, аранжировать любую песню в том или ином музыкальном стиле или выдать музыкальную «импровизацию». Казалось бы, в 2025-м бум нейрохитов обеспечен, но не всё так просто и радужно. В подводных камнях сгенерированной ИИ музыки «Секрет» разобрался вместе с экспертами.

Существует предметное деление по «специализации» нейросетей. Глава отдела исследований в области ИИ дирекции разработки и развития цифровой платформы Университета-2035 Ярослав Селиверстов перечислил основные виды:

  1. Трансформеры (MusicLM, Jukebox). Эти ребята хороши для создания последовательностей: мелодии, текст. Они умеют работать с длинными связями в музыке, что позволяет создавать более сложные композиции.
  2. GAN (Jukedeck и другие). Используются, чтобы музыка звучала максимально реалистично, имитируя инструменты.
  3. Diffusion-модели (Riffusion, Stable Audio): Сейчас это хайп. Генерируют аудио, постепенно «очищая» шум. В 2023–2024 годах – это один из самых популярных подходов.

В общем, всё то, что раньше делали специально обученные люди с помощью специальных программ, в которых было сложно разобраться новичку, сейчас может попробовать сделать любой пользователь, способный внятно сформулировать свой запрос нейросетке.

Нейросетей для генерации музыки сейчас представлено довольно много, и умеют они уже значительно больше, чем пару лет назад, когда они только появлялись. С их помощью уже удаётся создавать вполне слушательные композиции, которые легко спутать с «человеческим» исполнением.

«Основными проблемами генерации музыки с помощью ИИ остаются два вопроса — оригинальности и интеллектуальной собственности. Во-первых, сложно установить авторство такой композиции, так как ИИ использует уже созданные фрагменты текстов и мелодий для создания новых композиций. Во-вторых, ИИ может позаимствовать достаточно большой фрагмент мелодии или текста, что будет нарушать авторские права других музыкантов/музыканта.
Также можно отметить, что цифровые площадки, размещающие музыку, негативно относятся к композициям, созданным с помощью ИИ,/ по вышеописанными причинам. Такой подход — один из барьеров для распространения музыки, нарушающей авторские права», — считает заместитель директора по трансферу технологий Центра компетенций НТИ по направлению «Технологии хранения и анализа больших данных» на базе МГУ имени М.В. Ломоносова Тимофей Воронин.

Сами музыканты, впрочем, относятся к конкуренции со стороны ИИ довольно скептически. Эксперты признают, что, несмотря на все успехи, в ближайшем будущем нейросети живых исполнителей всё-таки не заменят.

«ИИ штампует троекратно переваренный метамодерновый продукт, который мало того, что звучит максимально синтетически, так ещё и не несет по итогу никакой смысловой нагрузки. Даже если попытаться её заложить с помощью ограничений и уточнения контекста в промте, можно получить разочарование. Пока что креативное произведение, использующее отсылки и двусмысленный сатирический контекст, лучше человека не сделает никто», — считает эксперт Клубов мышления Алексей Федоров.

При этом эксперты признают, что некоторые из этих нюансов рядовому слушателю часто незаметны и малозначимы.

«Вкус — дело тонкое. Как оценить, «хорошая» музыка или нет? У каждого свои понятия о прекрасном, так что объективных метрик тут нет», — отметил Ярослав Селиверстов.

Источник: Секрет фирмы

Автор: Danil Serbin