Multi-Instrument Automatic Music Transcription with Deep Learning

Automatisk transkribering av musikk går ut på å bruke datamaskiner til å transformere lydfiler til en symbolsk representasjon, som MIDI-filer («Musical Instrument Digital Interface») eller noter. Denne oppgaven er den musikalske versjonen av tale til tekst og er vel så nyttig som tekst er for naturlig språk. Noter hjelper musikere å lære musikk og brukes også under fremføringer. Digitale representasjoner av musikk kan brukes til å remikse musikk eller lage nye arrangementer og for å analysere akkordprogresjoner og andre strukturer i musikken. Automatisk transkribering av musikk har lenge blitt sett på som en av de vanskeligste oppgavene innenfor digital signalbehandling, men med utviklingen av dyp læring har problemet nesten blitt løst for piano med en state-of-the-art note-F1-verdi på 96,72. Målet med denne masteroppgaven er å utvide transkriberingen til et flerinstrumentmiljø. Den første gruppen eksperimenter i denne oppgaven undersøker ulike arkitekturer og effekten av å separere lydfilene med eksisterende modeller på forhånd. Disse eksperimentene viser at den eksisterende enkeltinstrumentarkitekturen fungerer godt i et flerinstrumentmiljø. Resultatene blir enda bedre med en kombinert musikkseparerings- og transkriberingsarkitektur. Separering av lydfilene på forhånd ga ikke bedre resultater, men modellen var heller ikke finjustert på datasettet brukt i eksperimentene. Et annet eksperiment viser at det er mulig å trene en universell transkriberingsmodell. Denne modellen er trent på lydfiler av et fullt band og klarer å transkribere enkeltinstrumenter med en note-F1-verdi på 90,6 på piano og 95,8 bass – rett bak state-of-the-art-verdiene for piano. Resultatene varierer likevel mye mellom ulike instrumenttyper, og note-med-slutt-resultatene ligger langt bak state-of-the-art for alle instrumenttypene utenom bass. I det siste eksperimentet er det trent en modell som transkriberer alle instrumenter på én gang og klassifiserer notene som piano, gitar, bass, trommer og annet. Alle modellene kjører i 5-10 ganger sanntid på CPU og 10-100 ganger på GPU. Alle eksperimentene er utført på det MIDI-genererte datasettet Slakh. Gjennom arbeidet med dette datasettet har flere feil ble funnet og rapportert til de som lagde datasettet. En effektiv datalaster i maskinlæringsverktøyet PyTorch har blitt laget som tar høyde for disse feilene og gjør det lett for andre å reprodusere eksperimentene