Évaluation et Production de Plongements de Mots à Partir de Contenus Web Français à Grande Échelle

International audienceDistributed word representations are popularly used in many tasks in natural language processing, adding that pre-trained word vectors on huge text corpus achieved high performance in many different NLP tasks. This paper introduces multiple high-quality word vectors for the French language where two of them are trained on massive crawled French data and the others are trained on an already existing French corpus used to pretrain FlauBERT model. We also evaluate the quality of our proposed word vectors and the existing French word vectors on the French word analogy task. In addition, we do the evaluation on multiple NLU tasks that shows the important performance enhancement of the pre-trained word vectors during this study compaed to the existing and random ones. Finally, we created a demo web application to test and visualize the obtained word embeddings1. The produced French word embeddings are available to the public, along with the fine-tuning code on the NLU tasks2. and the demo code3Les représentations distribuées de mots sont couramment utilisées dans de nombreuses tâches de traitement du langage naturel, en ajoutant que les vecteurs de mots pré-entraînés sur d'énormes corpus de textes ont atteint une performance importante dans de nombreuses tâches NLP. Cet article présente plusieurs vecteurs de mots de qualité supérieure pour la langue française, deux d'entre eux étant entraînés sur des données françaises massives recueillies au cours de cette étude et les autres sur un corpus français déjà existant utilisé pour pré-entraîner le model FlauBERT. Nous évaluons également la qualité de nos vecteurs de mots proposés et des vecteurs de mots français existants sur la tâche d'analogie de mots français. De plus, nous effectuons l'évaluation sur de multiples tâches NLU qui montrent l'amélioration importante des performances des vecteurs de mots pré-entraînés durant cette étude par rapport aux plongements existants et aléatoires. Enfin, nous avons créé une application web pour tester et visualiser les plongements de mots obtenus 1. Ceux derniers sont disponibles au public, ainsi que le code d'affinage sur les tâches NLU 2. et le code de la démonstration 3