Computational Audio Content Analysis in Everyday Environments

Arjen ympäristömme ovat täynnä ääniä jotka auttavat ihmisiä ymmärtämään mitä heidän ympärillään tapahtuu, ja sitä kautta näillä äänillä on keskeinen rooli tiedon hankinnassa ympäristöstämme. Ihmiset muodostavat vahvoja assosiaatioita ympäristössä olevien fyysisten tapahtumien sekä niiden tuottamien äänten välille. Näitä assosiaatioita kuvataan tekstuaalisilla nimikkeillä, äänitapahtumilla, ja näiden assosiaatioiden avulla voimme ymmärtää, tunnistaa ja tulkita äänien takana olevat käsitteet. Esimerkkejä tällaisista äänitapahtumista ovat muun muassa koiran haukkuminen, ihmisen huutaminen tai auton ohi ajaminen. Tämä väitöskirja käsittelee laskennallisia menetelmiä äänisisällön analyysiin jokapäiväisissä ympäristöissä. Lisääntyneen digitaalisen äänen käytön myötä automaattisesta äänisisällön analyysistä on tullut yhä tarpeellisempaa. Äänen sisältöanalyysi mahdollistaa syvällisen ymmärryksen siitä mitä ympäristössä tapahtuu hetkellä jolloin ääni tallennettiin, ja tämä puolestaan mahdollistaa sovelluksia jotka reagoivat tarkasti tapahtumiin ympäristössä. Väitöskirjassa ehdotetut menetelmät keskittyvät äänitapahtumien havaitsemiseen, laskennalliseen tehtävään jossa tavoitteena on tunnistaa äänitapahtuma sekä löytää ajanhetki jolloin se on aktiivinen äänisignaalissa. Väitöskirjatyö keskittyy kehittämään menetelmiä jotka pystyvät käsittelemään suurta joukkoa tunnistettavia ääniluokkia ja havaitsemaan useita ääniluokkia yhtä aikaa. Lisäksi työ paneutuu näiden menetelmien suorituskyvyn arviointiin. Tässä väitöskirjassa esitelty työ keskittyy sellaisten menetelmien kehittämiseen jotka mahdollistavat useiden päällekkäisten äänitapahtuminen havaitsemisen sekä robustien akustisten mallien oppimisen äänisignaaleista jotka sisältävät päällekkäisiä ääniä. Työ lähtee liikkeelle Markovin piilomalli (HMM) pohjaisesta tekniikasta yhden hallitsevan äänitapahtuman havaitsemiseen kulloisenakin ajanhetkenä josta työ etenee polyfoniseen havaitsemiseen käyttäen joko useita Viterbi-iteraatioita tai käyttäen äänilähteiden erottelua esiprosessointimenetelmänä. Nämä polyfoniset äänitapahtumien havaitsemisjärjestelmät perustuvat joukkoon generatiivisia luokittelijoita jotka tuottavat useita ääniluokkanimikkeitä samalle ajan hetkelle. Tämä lähestymistapa kaksinkertaisti tai joissakin tapauksissa jopa kolminkertaisti äänitapahtumien havaitsemisen tarkkuuden. Vaihtoehtoisena lähestymistapana polyfoninen havaitseminen toteutettiin myös käyttämällä ääniluokkakohtaisia aktiivisuuden ilmaisimia. Kunkin äänitapahtumaluokan aktiivisuus havaittiin itsenäisesti, ja yhdistämällä luokkakohtaiset tapahtumasarjat muodostettiin polyfoninen tunnistustulos. Polyfoninen havaitseminen lisäsi menetelmien soveltuvuutta jokapäivisissä ympäristöissä huomattavasti. Menetelmien suorituskyvyn arviointiin väitöskirja ehdottaa uutta suorituskykymittaa joka ottaa huomioon äänitapahtumien polyfonian. Uusi suorituskykymitta, segmenttipohjainen F-score, tarjoaa tarkat määritelmät oikeille ja virheellisille havainnoille sekä soveltuu paremmin polyfonisten annotaatioiden ja järjestelmä ulostulojen vertailuun kuin aikaisemmin alalla käytetyt suorituskykymitat. Ehdotetusta mitasta on muodostunut sittemmin yksi vakiintuneista suorituskykymitoista tutkimusalalla. Osa väitöskirjasta käsittelee äänitapahtumia osana äänimaisemaa käyttäen tapahtumien yhtäaikaista esiintyvyyttä kontekstuaalisena tietona. Tätä tietoa käytettiin sekä äänitapahtumien havaitsemisessa että äänimaisemien luokittelussa. Äänitapahtumien havaitsemisessa kontekstuaalista tietoa käytettiin rajaamaan mahdollisten äänitapahtumaluokkien joukko ensin tunnistamalla äänimaisemaluokka. Tämä lähestymistapa mahdollisti kontekstista riippuvien akustisten mallien sekä äänitapahtumien esiintyvyystodennäköisyyksien hyödyntämisen. Lähestymistapa lisäsi tasaisesti suorituskykyä kaikissa testatuissa äänimaisematyypeissä sekä mahdollisti järjestelmän toiminnan helpon laajentamisen uuden tyyppisiin äänimaisemiin. Äänimaisemien luokittelussa kontekstuaalista tietoa hyödynnettiin havaitsemalla maisemalle tyypillisiä äänitapahtumia. Tämä lähestymistapa saavutti saman tasoisen suorituskyvyn kuin perinteinen lähestymistapa, joka perustuu äänimaiseman yleiseen akustiseen sisältöön. Näiden kahden lähestymistavan yhdistäminen tuotti merkittävän suorituskyvyn kasvun. Väitöskirja sisältää merkittävän panoksen tutkimusalan avoimen tieteen työkalujen kehitykseen. Väitöskirjatyössä on luotu standardoituja protokollia äänitapahtumien havainnoinnin tarkkuuden arviointiin sekä julkaistu avoimia äänitietokantoja, avoimia vertailu-järjestelmiä ja avoimen lähdekoodin työkaluja.Our everyday environments are full of sounds that have a vital role in providing us information and allowing us to understand what is happening around us. Humans have formed strong associations between physical events in their environment and the sounds that these events produce. Such associations are described using textual labels, sound events, and they allow us to understand, recognize, and interpret the concepts behind sounds. Examples of such sound events are dog barking, person shouting or car passing by. This thesis deals with computational methods for audio content analysis of everyday environments. Along with the increased usage of digital audio in our everyday life, automatic audio content analysis has become a more and more pursued ability. Content analysis enables an in-depth understanding of what was happening in the environment when the audio was captured, and this further facilitates applications that can accurately react to the events in the environment. The methods proposed in this thesis focus on sound event detection, the task of recognizing and temporally locating sound events within an audio signal, and include aspects related to development of methods dealing with a large set of sound classes, detection of multiple sounds, and evaluation of such methods. The work presented in this thesis focuses on developing methods that allow the detection of multiple overlapping sound events and robust acoustic model training based on mixture audio containing overlapping sounds. Starting with an HMM-based approach for prominent sound event detection, the work advanced by extending it into polyphonic detection using multiple Viterbi iterations or sound source separation. These polyphonic sound event detection systems were based on a collection of generative classifiers to produce multiple labels for the same time instance, which doubled or in some cases tripled the detection performance. As an alternative approach, polyphonic detection was implemented using class-wise activity detectors in which the activity of each event class was detected independently and class-wise event sequences were merged to produce the polyphonic system output. The polyphonic detection increased applicability of the methods in everyday environments substantially. For evaluation of methods, the work proposed a new metric for polyphonic sound event detection which takes into account the polyphony. The new metric, a segmentbased F-score, provides rigorous definitions for the correct and erroneous detections, besides being more suitable for comparing polyphonic annotation and polyphonic system output than the previously used metrics and has since become one of the standard metrics in the research field. Part of this thesis includes studying sound events as a constituent part of the acoustic scene based on contextual information provided by their co-occurrence. This information was used for both sound event detection and acoustic scene classification. In sound event detection, context information was used to identify the acoustic scene in order to narrow down the selection of possible sound event classes based on this information, which allowed use of context-dependent acoustic models and event priors. This approach provided moderate yet consistent performance increase across all tested acoustic scene types, and enabled the detection system to be easily expanded to new scenes. In acoustic scene classification, the scenes were identified based on the distinctive and scene-specific sound events detected, with performance comparable to traditional approaches, while the fusion of these two approaches showed a significant further increase in the performance. The thesis also includes significant contribution to the development of tools for open research in the field, such as standardized evaluation protocols, and release of open datasets, benchmark systems, and open-source tools