Искусственный интеллект Riffusion генерирует музыку по текстовым подсказкам

Энтузиасты Сет Форсгрен и Хайк Мартирос разработали нейросеть Riffusion, которая генерирует музыку на основе текстовых подсказок. Она обучается и накапливает информацию о музыке при помощи сонограмм – визуальной формы представления звуков. Данный формат принципиально отличается от нотной записи и

Читайте также - Инвестирование в искусственный интеллект - инвестирование в ИИ. Современные технологии плотно вошли в жизнь человека. Они применяются в различных отраслях промышленности. В частности, это относится к искусственному интеллекту и гибридным облачным решениям, которые предлагает компания IBM.

Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель имеет свой цвет, который означает амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать ИИ придумать и озвучить «джаз с нотками летнего дождя».

Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи могут создавать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Строго говоря, большинство созданных Riffusion мелодий звучат довольно странно, зато это прекрасный пример весьма перспективной технологии манипуляции звуками в реальном времени.