Sonifiering av Twitterhashtags med earcons baserade på vokalformanter

The amount of notifications we receive from our digital devices is higher today than ever, often causing distress in users constantly having to move their devices into the center of attention, digesting the information received visually. By using earcons, a sonic abstraction of the underlying information, we can give the users an understanding of what information is received by allowing them to digest in auditorily. This can be seen as a potential part of a concept called calm technologies, allowing users to keep one thing in the center of attention, while simultaneously monitoring others in the periphery of attention. Using hashtags from Twitter as the underlying data, a sonic abstraction is made by mapping the vowels contained in a hashtag to a melody, and enhancing the formant frequencies of these vowels. This gives rise to the question if it is possible to sonify data based on Twitter hashtags with the use of formant synthesis to help users identify different tweets, exploring if earcons are prone to become a calm technology, allowing users to retake control of their attention. A methodology is described, with a mapping of several phonetic vowels containing the fundamental frequency, f0, the first two formant frequencies, f1 and f2, for each vowel, as well as a rhythmic mapping based on the hashtags’ syllables as well as where the emphasis lies. It is shown that participants clearly recognize the melody related to each hashtag, but that the effect of the formant synthesis cannot be strengthened at a high significance level. This evokes discussion of how the formant frequencies can be made more distinguishable and how a further mapping of formant synthesis together with other musical parameters could be made to create earcons that are intuitively understandable and that could embody even more information. Antalet notifikationer vi mottar från våra digitala enheter är högre idag än någonsin innan, vilket ofta orsakar negativa känslor hos användare, som måste flytta sitt fokus till den digital enheten för att ta emot informationen visuellt. Genom att använda earcons, en audiell abstraktion av den underliggande informationen, kan vi ge användaren en uppfattning av vilken typ av information som har mottagits genom att enbart låta dem höra den. Detta kan potentiellt ses som en del av ett koncept som kallas calm technologies, vilket är olika typer av teknik som låter användaren ha en sak i fokus, men samtidigt övervaka andra saker i uppmärksamhetens periferi. Med hashtags från Twitter som den underliggande datan skapas en audiell abstraktion genom att mappa vokalerna i en hashtag till en melodi, där även vokalernas formantfrekvenser förstärks. Detta ger upphov till frågan om det är möjligt att sonifiera data baserat på twitterhashtags med hjälp av formantsyntes, för att underlätta användarnas identifiering av olika tweets, och på så sätt utforska om den här sortens earcons har möjlighet att användas som en typ av calm technology. En metod beskrivs, med en mappning av flertalet fonetiska vokaler, där fonationsfrekvensen, f0, de två första formantfrekvenserna, f1 och f2, samt en rytmisk mappning baserat på hashtagens stavelser och dess betoning framställs. Det påvisas att deltagarna i studien känner igen melodin relaterad till varje hashtag, men att effekten av formantsyntesen ej kan styrkas på en tillräckligt hög signifikansnivå. Detta väcker en diskussion angående hur formantfrekvenserna kan göras tydligare, och hur en vidare mappning för formantsyntes tillsammans med andra musikaliska parametrar kan utformas för att skapa earcons som är intuitivt förståeliga och som kan innehålla ännu mer information