Automatic audio sample finder for music creation : Melodic audio segmentation using DSP and machine learning

In the field of audio signal processing, there have always been attempts to cre- ate tools which help musicians by automating processes for music creation or analysis, and the electronic music industry is still playing an important role in the combination of software engineering and music. In the age of sample based synthesizers and sequencers, creating and using high quality and unique audio sample packages is a crucial part for composing songs.Nowadays, there are hundreds of audio applications and editors that provide the sufficient tools for songwriters and DJs to find and edit audio samples and create their own signature packages for their performances. However, these applications do not offer automated solutions to extract melodic loop or drum samples. Therefore, the whole procedure of extracting euphonious and unique samples can be quite time consuming. To decide which part of the song is good enough to be used as a separate loop or drum sound is highly subjective, so to fully automate this mechanism is really challenging. However, having a good balance between fully automated processes and freedom for additional editing can result to a useful tool, which can still save a lot of time for the users.In this paper, I present the research and implementation of a cross-platform (Windows, macOS, Linux) desktop application which automatically extracts melodic motifs and percussion sections from songs for loop and drum sam- ples. Furthermore, the app also provides classification of the extracted drum samples in five categories (kick, snare, clap, open hi-hat and closed hi-hat) and allows the user to do additional editing on the samples. The software is devel- oped as a part of an internship at a Swedish audio company, called Teenage Engineering, therefore the application converts the final sample package into a single file which is supported by the company’s OP-Z sequencer and synthe-sizer device.Inom ämnet av ljudprocessering har det alltid gjorts försök att framställa verk- tyg som hjälper musiker genom att automatisera processer för att skapa el- ler analysera musik, och den elektroniska musikindustrin spelar en viktig roll då de kombinerar programvarutekniken och musik. I dagens musikindustri är samplingsbaserade syntar, sequencers, användning av högkvalitativa och uni- ka ljudpaket en avgörande del för att komponera låtar.Numera finns det hundratals ljudapplikationer och redigeringsprogram som ger tillräckligt med verktyg till låtskrivare och DJ:s för att hitta och redigera ljud och skapa sina egna signature packages för sina konserter. Dessa appli- kationer erbjuder emellertid inte automatiserade lösningar för framställningen av melodiska slingor eller trum samples. Därför kan hela förfarandet i proces- sen att skapa unika samples vara ganska tidskrävande. Att avgöra vilken del av låten som är tillräckligt bra för att använda som en separat slinga eller åter- kommande trumljud är mycket subjektivt, så att helt automatisera musikpro- duktionen är väldigt utmanande. Att ha en bra balans mellan de helautomatiska processerna och möjlighet för ytterligare redigering kan emellertid resultera i ett användbart verktyg som kan spara mycket tid för användarna.I denna avhandling presenterar jag forskning och implementering av en korsplatt- forms (Windows, macOS, Linux) applikation som automatiskt framställer me- lodier och slagverkssektioner för låtar. Dessutom tillhandahåller appen också klassificering av de skapade trum samples i fem kategorier (kick, snare, klapp, öppen hi-hat och sluten hi-hat). Detta tillåter användaren att göra ytterligare redigering i sampelsen. Mjukvaran utvecklas som en del av ett projekt hos det svenska ljudföretaget Teenage Engineering. Applikationen konverterar det slutliga sample package till en enda fil som stöds av företagets OP-Z sequenceroch synthesizer-enhet