Optical music recognition: overview, challenges, and possibilities

Tämän opinnäytetyön tavoitteena on luoda yleiskuva OMR:stä (Optical Music Recognition) sekä käsitellä siihen liittyviä haasteita ja mahdollisuuksia. OMR on tutkimusalue, joka tutkii kuinka tunnistaa tietojenkäsittelyn menetelmin musiikkia sekä käsinkirjoitetuista, että painetuista asiakirjoista. Tutkimusalueena se liittyy läheisesti konenäköön, koneoppimiseen, syväoppimiseen, musiikkitieteeseen ja musiikkitietojen hakuun. OMR ei sinänsä edistä näitä tutkimusalueita vaan käyttää niiden tarjoamaa tietoa ja osaamista. Näin ollen OMR esimerkiksi määrittelee, millaista tietoa voidaan hakea musiikkiasikirjoista, miten haut tulisi suunnitella ja toteuttaa, sekä etsii ratkaisuja ajankohtaisiin tunnistamiseen liittyviin ongelmiin. OMR edesauttaa kulttuuriperintömme ylläpitämistä ja edistää esimerkiksi musiikkikasvatuksessa, säveltaiteessa ja musiikintutkimuksessa käytettävää tietotekniikkaa. Käytännön tasolla OMR luo edellytyksiä esimerkiksi laajojen musiikitietokantojen sisällön analysoinnille, tarjoaa mahdollisuuksia arkistoitujen nuottikirjoitusten julkaisulle esimerkiksi MusicXML-, MIDI- ja MEI-formaatissa, sekä erityisesti keskittyy luomaan malleja ja käytäntöjä, joiden avulla voidaan kehittää ohjelmistoja automaattisen musiikintunnistuksen tarpeisiin. OMR:ää on tutkittu vuosikymmenien ajan, mutta vielä ei ole pystytty kehittämään järjestelmää, joka selviytyy kaikista musiikin tunnistamiseen liittyvistä haasteista. Nämä haasteet puolestaan johtuvat nuottikirjoituksen monimutkaisuudesta sekä siitä, että ei ole olemassa riittävän tehokkaita menetelmiä ja algoritmeja, joilla ratkaista nuottikirjoitukseen liittyvää kompleksisuutta. Musiikki on kehittynyt vuosisatojen saatossa monimutkaiseksi visuaaliseksi kieleksi, jolla on oma sanasto, syntaksi ja semantiikka. Kuten muissakin kielissä, myös sillä omat vivahteet, murteet ja tyylilajit. Lisäksi musiikin jatkuva kehitys tuo mukanaan uusia ilmaisumuotoja. Nuottikirjoitus sisältää myös suuren määrän yksittäisiä musiikkisymboleja, jotka asiayhteyden ja tilanteen mukaan tulkitaan eri tavalla ja joiden merkitys vaihtelee sen mukaan, mihin muuhun symboliin nämä ovat liitettynä. OMR on vuosien ajan pääasiassa keskittynyt musiikin tunnistamiseen liittyvien tarkoin määriteltyjen ongelmien ratkaisemiseen. Kuitenkin viimeaikainen kehitys kone- ja syväoppimisessa mahdollistanee tehokkaammat ja täsmällisemmät menetelmät musiikin tunnistusta varten.The objective of this thesis is to provide an overview of OMR (Optical Music Recognition) and address the challenges and possibilities related to it. OMR is a field of research that investigates how to recognize music notation from printed and hand-written documents and to transform them into digital format. It is closely related to computer vision, machine learning, deep learning, musicology, and music information retrieval. It does not advance any of these fields, but it uses the knowledge they provide. Thus, OMR focuses, for example, on specifying what kind of information can be retrieved from music notation, how the retrieval is to be designed and executed, and what the constraints related to specific forms of notation are. Advances in OMR contribute, for instance, to the preservation of cultural heritage, music education, music composition and practice, as well as research in musicology. In practice, some possible applications include the creation of searchable music databases for musicological analysis, the publication of archived music scores, and especially the development of software for the automatic recognition of printed and handwritten music notation as well as the encoding of the output into formats such as MusicXML, MIDI or MEI. OMR has been researched for decades but still no computer system is able to overcome all the challenges related to music recognition. These challenges are directly related to the complexity of music notation and the lack of effective methods and algorithms capable of dealing with these problems. Music notation has evolved over the centuries into a sophisticated visual language that has its own vocabulary, syntax, and semantics, and as any other language it also has its own practices, dialects, and styles. Furthermore, developments in music continuously introduce new forms of expression. Music notation also encompasses a vast amount of music symbols that are interpreted differently depending on the context and circumstance they are presented in as well as the relationship they have to other symbols. Due to the lack of proper technologies to solve these challenges, OMR has mainly focused on solving very specific and well-defined problems that serve limited purposes in music recognition. Nonetheless, recent advances in machine learning and deep learning could greatly improve the recognition process in the future. All in all, end-to-end OMR systems are still to be considered a problem to be solved