Automatic recognition of musical notation from audio data

Název práce: Automatické rozpoznávání hudební notace ze zvukových dat Autor: Marek Čermák Katedra / Ústav: Katedra softwarového inženýrství Vedoucí bakalářské práce: doc. RNDr. Jakub Lokoč, Ph.D. Abstrakt: Cílem této práce je návrh a implementace aplikace využívající konvoluční neuronové sítě k tvorbě hudební notace ze zvukových dat. Aplikace je schopná učit neuronovou síť pomocí vstupních souborů ve formátu MIDI (Musical Instrument Digital Interface) a spárovat jednotlivé úseky hudby s jejich zvukovou podobou. Učení neuronové sítě může probíhat na uživatelem specifikované kolekci souborů MIDI či na náhodně generované hudbě. Každému nástroji ve standardu MIDI může být přiřazena síť, jejímž výstupem jsou přehrávané noty v daném časovém úseku. Postupným procházením zvukových dat generuje síť úseky aktivních not, které jsou následně spojeny do výsledného souboru. Součástí aplikace je také rozpoznávání slov ze zvuku pomocí externí služby. Klíčová slova: hudební notace, neuronová síť, hluboké učení, rozpoznání zvuku, MIDITitle: Automatic recognition of musical notation from audio data Author: Marek Čermák Department: Department of Software Engineering Supervisor: doc. RNDr. Jakub Lokoč, Ph.D. Abstract: The goal of this thesis is the design and implementation of an application using convolutional neural networks to generate musical notation from audio data. The application is able to train a neural network using input files in the MIDI (Musical Instrument Digital Interface) format and pair all sections of the music with their audio form. The training of the neural network can be performed on a user- specified collection of MIDI files or on randomly generated music. Each instrument in the MIDI standard can be assigned a network whose output are the notes playing in the given time section. Continuously iterating over the audio data, the network generates sections of active notes which are then concatenated into the output file. The application is also capable of recognizing words from audio using an external service. Keywords: musical notation, neural network, deep learning, audio recognition, MIDIKatedra softwarového inženýrstvíDepartment of Software EngineeringFaculty of Mathematics and PhysicsMatematicko-fyzikální fakult