ANALYSE MULTIMODALE: estimation informée du contenu et séparation des sources audio

This dissertation proposes the study of multimodal learning in the context of musical signals. Throughout, we focus on the interaction between audio signals and text information. Among the many text sources related to music that can be used (e.g. reviews, metadata, or social network feedback), we concentrate on lyrics. The singing voice directly connects the audio signal and the text information in a unique way, combining melody and lyrics where a linguistic dimension complements the abstraction of musical instruments. Our study focuses on the audio and lyrics interaction for targeting source separation and informed content estimation.Real-world stimuli are produced by complex phenomena and their constant interaction in various domains. Our understanding learns useful abstractions that fuse different modalities into a joint representation. Multimodal learning describes methods that analyse phenomena from different modalities and their interaction in order to tackle complex tasks. This results in better and richer representations that improve the performance of the current machine learning methods.To develop our multimodal analysis, we need first to address the lack of data containing singing voice with aligned lyrics. This data is mandatory to develop our ideas. Therefore, we investigate how to create such a dataset automatically leveraging resources from the World Wide Web. Creating this type of dataset is a challenge in itself that raises many research questions. We are constantly working with the classic ``chicken or the egg'' problem: acquiring and cleaning this data requires accurate models, but it is difficult to train models without data. We propose to use the teacher-student paradigm to develop a method where dataset creation and model learning are not seen as independent tasks but rather as complementary efforts. In this process, non-expert karaoke time-aligned lyrics and notes describe the lyrics as a sequence of time-aligned notes with their associated textual information. We then link each annotation to the correct audio and globally align the annotations to it. For this purpose, we use the normalized cross-correlation between the voice annotation sequence and the singing voice probability vector automatically, which is obtained using a deep convolutional neural network. Using the collected data we progressively improve that model. Every time we have an improved version, we can in turn correct and enhance the data.Collecting data from the Internet comes with a price and it is error-prone. We propose a novel data cleansing (a well-studied topic for cleaning erroneous labels in datasets) to identify automatically any errors which remain, allowing us to estimate the overall accuracy of the dataset, select points that are correct, and improve erroneous data. Our model is trained by automatically contrasting likely correct label pairs against local deformations of them. We demonstrate that the accuracy of a transcription model improves greatly when trained on filtered data with our proposed strategy compared with the accuracy when trained using the original dataset. After developing the dataset, we center our efforts in exploring the interaction between lyrics and audio in two different tasks.First, we improve lyric segmentation by combining lyrics and audio using a model-agnostic early fusion approach. As a pre-processing step, we create a coordinate representation as self-similarity matrices (SMMs) of the same dimensions for both domains. This allows us to easy adapt an existing deep neural model to capture the structure of both domains. Through experiments, we show that each domain captures complementary information that benefit the overall performance.Secondly, we explore the problem of music source separation (i.e. to isolate the different instruments that appear in an audio mixture) using conditioned learning. In this paradigm, we aim to effectively control data-driven models by context information. We present a novel approach based on the U-Net that implements conditioned learning using Feature-wise Linear Modulation (FiLM). We first formalise the problem as a multitask source separation using weak conditioning. In this scenario, our method performs several instrument separations with a single model without losing performance, adding just a small number of parameters. This shows that we can effectively control a generic neural network with some external information. We then hypothesize that knowing the aligned phonetic information is beneficial for the vocal separation task and investigate how we can integrate conditioning mechanisms into informed-source separation using strong conditioning. We adapt the FiLM technique for improving vocal source separation once we know the aligned phonetic sequence. We show that our strategy outperforms the standard non-conditioned architecture.Finally, we summarise our contributions highlighting the main research questions we approach and our proposed answers. We discuss in detail potential future work, addressing each task individually. We propose new use cases of our dataset as well as ways of improving its reliability, and analyze our conditional approach and the different strategies to improve it.Cette thèse propose l'étude de l'apprentissage multimodal dans le contexte de signaux musicaux. Tout au long de ce manuscrit, nous nous concentrerons sur l'interaction entre les signaux audio et les informations textuelles.Parmi les nombreuses sources de texte liées à la musique qui peuvent être utilisées (par exemple les critiques, les métadonnées ou les commentaires des réseaux sociaux), nous nous concentrerons sur les paroles.La voix chantée relie directement le signal audio et les informations textuelles d'une manière unique, combinant mélodie et paroles où une dimension linguistique complète l'abstraction des instruments de musique.Notre étude se focalise sur l'interaction audio et paroles pour cibler la séparation de sources et l'estimation de contenu informé.Les stimuli du monde réel sont produits par des phénomènes complexes et leur interaction constante dans divers domaines. Notre compréhension apprend des abstractions utiles qui fusionnent différentes modalités en une représentation conjointe. L'apprentissage multimodal décrit des méthodes qui analysent les phénomènes de différentes modalités et leur interaction afin de s'attaquer à des tâches complexes. Il en résulte des représentations meilleures et plus riches qui améliorent les performances des méthodes d'apprentissage automatique actuelles.Pour développer notre analyse multimodale, nous devons d'abord remédier au manque de données contenant une voix chantée avec des paroles alignées. Ces données sont obligatoires pour développer nos idées. Par conséquent, nous étudierons comment créer une telle base de données en exploitant automatiquement les ressources du World Wide Web. La création de ce type de base de données est un défi en soi qui soulève de nombreuses questions de recherche. Nous travaillons constamment avec le paradoxe classique de la `` poule ou de l'œuf '': l'acquisition et le nettoyage de ces données nécessitent des modèles précis, mais il est difficile de former des modèles sans données. Nous proposons d'utiliser le paradigme enseignant-élève pour développer une méthode où la création de bases de données et l'apprentissage de modèles ne sont pas considérés comme des tâches indépendantes mais plutôt comme des efforts complémentaires. Dans ce processus, les paroles et les annotations non-expertes de karaoké décrivent les paroles comme une séquence de notes alignées sur le temps avec leurs informations textuelles associées. Nous lions ensuite chaque annotation à l'audio correct et alignons globalement les annotations dessus.À cette fin, nous utilisons la corrélation croisée normalisée entre la séquence d'annotation vocale et le vecteur de probabilité de la voix chantée automatiquement, qui est obtenue à l'aide d'un réseau de neurones covolutionnel. En utilisant les données collectées, nous améliorons progressivement ce modèle. Chaque fois que nous avons une version améliorée, nous pouvons à chaque itération corriger et améliorer les données.La collecte de données sur Internet a un prix et est sujette aux erreurs. Nous proposons un nouveau nettoyage des données (un sujet bien étudié pour nettoyer les labels erronées dans les base de données) pour identifier automatiquement les erreurs qui subsistent, nous permettant d'estimer la précision globale de l'ensemble de données, de sélectionner les points qui sont corrects et d'améliorer les données erronées.Notre modèle est formé en comparant automatiquement les paires d'étiquettes correctes probables aux déformations locales de celles-ci. Nous démontrons que la précision d'un modèle de transcription s'améliore considérablement lorsqu'il est formé sur des données filtrées avec notre stratégie proposée par rapport à la précision lorsqu'il est formé à l'aide de la base de données d'origine. Après avoir développé la base de données, nous concentrons nos efforts sur l'exploration de l'interaction entre les paroles et l'audio sur deux tâches différentes.Tout d'abord, nous améliorons la segmentation des paroles en combinant les paroles et l'audio en utilisant une approche de fusion précoce indépendante du modèle. En tant qu'étape de prétraitement, nous créons une représentation de coordonnées sous forme de matrices d’auto-similarité (SMM) de mêmes dimensions pour les deux domaines. Cela nous permet d'adapter facilement un modèle neuronal profond existant pour capturer la structure des deux domaines. À travers des expériences, nous montrons que chaque domaine capture des informations complémentaires qui bénéficient à la performance globale.Deuxièmement, nous explorons le problème de la séparation des sources musicales (c'est-à-dire isoler les différents instruments qui apparaissent dans un mélange audio) en utilisant l'apprentissage conditionné. Dans ce paradigme, nous visons à contrôler efficacement les modèles basés sur les données par des informations de contexte. Nous présentons une nouvelle approche basée sur l'U-Net qui met en œuvre l'apprentissage conditionné à l'aide de la modulation linéaire par fonctionnalité (FiLM). Nous formalisons d'abord le problème comme une séparation de source multitâche en utilisant un conditionnement faible. Dans ce scénario, notre méthode effectue plusieurs séparations d'instruments avec un seul modèle sans perte de performances, en ajoutant juste un petit nombre de paramètres. Cela montre que nous pouvons contrôler efficacement un réseau neuronal générique avec des informations externes. Nous émettons ensuite l'hypothèse que la connaissance des informations phonétiques alignées est bénéfique pour la tâche de séparation vocale et nous étudions comment nous pouvons intégrer des mécanismes de conditionnement dans la séparation des sources informées en utilisant un conditionnement fort. Nous adaptons la technique FiLM pour améliorer la séparation des sources vocales une fois que nous connaissons la séquence phonétique alignée. Nous montrons que notre stratégie surpasse l'architecture standard non conditionnée.Enfin, nous résumons nos contributions en mettant en évidence les principales questions de recherche que nous abordons et nos propositions de réponses. Nous discutons en détail des travaux futurs potentiels, en traitant chaque tâche individuellement. Nous proposons de nouveaux cas d'utilisation de notre jeu de données ainsi que des moyens d'améliorer sa fiabilité, et analysons notre approche conditionnelle et les différentes stratégies pour l'améliorer