Riffusion — це штучна нейронна мережа, розроблена Сетом Форсгреном і Гайком Мартіросом, яка генерує музику, використовуючи зображення звуку замість аудіо. Модель була створена шляхом донавчання існуючої Stable Diffusion, відкритої моделі для генерації зображень за текстовими запитами, на спектрограмах. Це дозволяє моделі використовувати текстові запити для створення зображень, які потім можна перетворити в аудіофайли через зворотне перетворення Фур'є. Хоча ці файли тривають лише кілька секунд, модель також здатна використовувати латентний простір між вихідними даними для інтерполяції різних аудіофайлів. Цей процес здійснюється за допомогою функціональності Stable Diffusion, відомої як img2img.
Згенерована музика описується як «дещо неземна» і навряд чи зможе замінити музику, створену людьми. Модель стала доступною 15 грудня 2022 року. Її код опубліковано на GitHub. Riffusion є однією з багатьох моделей, створених на основі Stable Diffusion.
У грудні 2022 року Mubert аналогічно використав Stable Diffusion для перетворення тексту на музику. У січні 2023 року Google опублікувала статтю про власний генератор текст-у-музику під назвою MusicLM.
Примітки