Les 10 ans du défi fouille de texte DEFT

cophone qui vise à confronter, sur un même jeu de données, les systèmes produits par plu-sieurs équipes issues de laboratoires de recherche publique ou privée. Les campagnes DEFT se veulent exploratoires et proposent aux participants de travailler sur des thématiques ré-gulièrement renouvellées. L’édition 2014 du défi est la dixième de la série. Cet anniversaire constitue le prétexte pour un premier bilan de la décennie écoulée. Parce que l’organisation de ces campagnes se fait sans financement, deux problématiques ap-paraissent chaque année: (i) l’obtention de corpus librement accessibles et distribuables, et (ii) la constitution des données de références sur chaque tâche de la manière la plus automa-tique possible. Le premier point est complexe à traiter car, sauf exceptions notables, 2 il n’est pas souhaitable d’enfermer une campagne d’évaluation dans le cadre d’un seul et même jeu de données réutilisé chaque année, au risque de ne plus évaluer que des systèmes capables de ne traiter qu’un seul type de corpus (typiquement des articles de presse). La raison du deuxième point est plus pragmatique dans la mesure où il n’est pas envisageable, faute de fi-nancement, d’organiser des campagnes d’annotation humaine de corpus (forcément longues et coûteuses) pour constituer le gold standard