Modeling the Interpretability of an End-to-End Automatic Speech Recognition System Adapted to Norwegian Speech

Formålet med dette arbeidet var å modellere tolkbarheten til et automatisk talegjenkjenningssystem trent på norsk tale. Systemet er et ende-til-ende dypt nevralt nettverk som tar inn taledata og er trent for å gi ut ortografisk tekst. Gjennom fonem- og grafemklassifikasjon analyserte vi den fonetiske og ortografiske representasjonen av de ulike lagene til det dype nettverket. Resultatene våre viser at den fonetiske representasjonen forbedres for de nederste lagene, før den degraderes for de øverste lagene av systemet. Den ortografiske representasjonen forbedres gradvis jo høyere opp i systemet vi kommer, med en betydelig forbedring for det siste laget. Dette indikerer at de øverste lagene er mer fokusert på grafemer, som er plausibelt siden systemet er trent til å gi ut ortografisk tekst. Resultatene våre indikerer at systemet implisitt lærer fonetisk representasjon, selv om dette ikke blir lært direkte gjennom treningsmetoden - den fokuserer på den ortografiske representasjonen. For en videre analyse av systemets funksjonalitet undersøkte vi om informasjonen som er lagret i modellen er dialektavhengig, ved å teste systemet på spontan tale fra tolv ulike dialektgrupper. Dialektene fra de sørøstlige områdene av Norge ga lavest feilrate, mens dialektene fra Vest- og Midt-Norge ga høyest feilrate. Resultatene ser ut til å ha en tydelig sammenheng med dialektvariasjoner, da dialektene som ga lavest feilrate er de som har flest fellestrekk med Bokmål, mens de med høyest feilrate er de som skiller seg mest fra Bokmål. Dette ble verifisert ved å analysere enkelte funksjonsord og verb som brukes mye i det norske språket, og som varierer betydelig mellom ulike dialekter. Resultatene viser at systemet oppnår en lav feilrate når ordene er uttalt på lignende måte som den skriftlige Bokmålsformen, men har betydelige problemer med å gjenkjenne ordet for dialektvarianter som skiller seg ut fra Bokmålsformen. Dette er rimelig da systemet er finjustert på taledata fra opplest Bokmåltekst. For å forbedre talegjenkjenningssystemer for norske dialekter, anbefaler vi at treningsdataen består av mer spontan tale som innebærer flere dialektuttrykk, og at språkmodellene som brukes til dekoding burde bli trent med en mer balansert mengde Nynorsk og Bokmål tekst