sensuous original network invents audio
План работы:
-До 17 февраля: Определиться с вариантом представления музыки и необходимым софтом для проекта.
- Выбрать варианта представления музыки
Вероятно, основой всего будет midi формат и GUitarPro, которая умеет его воспроизводить.
Также есть вариант использоывть drumpad, нужно найти приложения, способные сохранять и заружать музыку, а также чтобы формат был удобным для представления. - Достать семплы для обучения и научиться переводить их в численное представление и обратно.
-До 3 марта: Написать простую модель, которая может создавать семплы.
- Попробовать модели из лабораторных работ
Это может быть обычный встроенный LSTM, нужно проверить как он работает. - Важно чтобы модель умела правильно преобразовывать сэмплы, то есть считывать их, генерировать и переводить обратно в музыку
-До 17 марта: Улучшить модель, на выходе должен получаться звук, похожий на что-то реальное.
- Реализовать модели из статей о уже существующих подобных проектах.
Нужно разобраться в статье, которая была приведена на семинаре - Найти еще статьи о подобных экспериментах
Статья:
"This Time with Feeling: Learning Expressive Musical Performance"
-До 20 марта: Подготовить проект к презентации, сделать несколько сэмплов.
- Нужно продумать интерфейс программы.
Скорее всего будет просто скрипт, который подгружает файлы из папки и обучается на них, затем загружает случайные сэмплы в другую папку - Сгенерировать несколько сэмплов обученных на разных композиторах/жанрах музыки