Utiliser les compétences hiérarchiques pour optimiser la sélection des tâches dans le crowdsourcing

A large number of participative applications rely on a crowd to acquire andprocess data. These participative applications are widely known as crowdsourcingplatforms, where amateur enthusiasts are involved in real scientific or commercialprojects that requesters have posted online. Most well-known commercial crowdsourcingplatforms are Amazon MTurk and Crowdflower. Participants there, selectand perform tasks, called microtasks and accept a micropayment in return. Commonchallenges for such platforms are related to the quality of the required answers, theexpertise of the involved crowd, the ease of finding tasks and the respect of tasks’deadlines. Related work focuses on modeling skills as keywords to improve qualitywhile in this work we formalize skills using a hierarchical structure, that can helpsubstituting tasks with similar skills and take advantage of the whole workforce.With extensive synthetic and real datasets, we show a significant improvement inquality when using a hierarchical structure of skills instead of pure keywords. Wealso extend our work to study the impact of a participant’s choice given a list of tasks.While our previous solution focused on improving an overall one-to-one matchingfor tasks and participants, we also examine how participants can choose from aranked list of tasks. Selecting from an enormous list of tasks can be challenging,time-consuming and affects the quality of answers to crowdsourcing platforms.Existing related work concerning crowdsourcing uses neither a taxonomy norranking methods to assist participants. We propose a new model that provides theparticipant with a short list of tasks. This short list takes into account the diversityof the participant’s skills and the task deadlines as well. Our extensive synthetic andreal experiments show that we can meet deadlines, get high-quality answers andkeep the interest of participants high while giving them a choice of well-selected tasks.De nombreuses applications participatives, commerciales et académiques s’appuientsur des volontaires (“la foule”) pour acquérir, désambiguiser et nettoyer desdonnées. Ces applications participatives sont largement connues sous le nom deplates-formes de crowdsourcing où des amateurs peuvent participer à de véritablesprojets scientifiques ou commerciaux. Ainsi, des demandeurs sous-traitent des tâchesen les proposant sur des plates-formes telles qu’Amazon MTurk ou Crowdflower.Puis, des participants en ligne sélectionnent et exécutent ces tâches, appelés microtasks,acceptant un micropaiement en retour. Ces plates-formes sont confrontées àdes défis tels qu’assurer la qualité des réponses acquises, aider les participants àtrouver des tâches pertinentes et intéressantes, tirer parti des compétences expertesparmi la foule, respecter les délais des tâches et promouvoir les participants qui accomplissentle plus de tâches. Cependant, la plupart des plates-formes ne modélisentpas explicitement les compétences des participants, ou se basent simplement sur unedescription en terme de mots-clés. Dans ce travail, nous proposons de formaliser lescompétences des participants au moyen d’une structure hiérarchique, une taxonomie,qui permet naturellement de raisonner sur les compétences (détecter des compétenceséquivalentes, substituer des participants, etc.). Nous montrons comment optimiserla sélection de tâches au moyen de cette taxonomie. Par de nombreuses experiencessynthétiques et réelles, nous montrons qu’il existe une amélioration significative dela qualité lorsque l’considère une structure hiérarchique de compétences au lieu demots-clés purs. Dans une seconde partie, nous étudions le problème du choix destâches par les participants. En effet, choisir parmi une interminable liste de tâchespossibles peut s’avérer difficile et prend beaucoup de temps, et s’avére avoir uneincidence sur la qualité des réponses. Nous proposons une méthode de réduction dunombre de propositions. L’état de l’art n’utilise ni une taxonomie ni des méthodes declassement. Nous proposons un nouveau modèle de classement qui tient compte dela diversité des compétences du participant et l’urgence de la tâche. Des expériencessynthétiques et réelles montre que nous pouvons respecter les délais, obtenir desréponses de haute qualité, garder l’intérêt des participants tout en leur donnant unchoix de tâches ciblé