Bandits-Manchots Combinatoires : du retour utilisateur à la recommandation

International audienceRecently, the COMbinatorial Multi-Armed Bandits (COMMAB) problem has arisen as an active research field. In systems interacting with humans, those reinforcement learning approaches use a feedback strategy as their reward function. On the study of those strategies, this paper present three contributions : 1) We model a feedback strategy as a three-step process, namely : Feedback Identification, Feedback Retrieval and Reward Computing, where each step influences the performances of an agent. 2) Based on this model, we propose a novel Reward Computing process, BUSBC, which significantly increases the global accuracyreachedbyoptimisticCOM-MABalgorithms;3) We conduct an empirical analysis on our approach and several feedback strategies from the literature. Our experiments, conducted on three real-world datasets, confirm our propositions with significant results whether full or partial feedback vector are used.Récemment, le problème des Bandits-Manchots COMbinatoires(COM-MAB)a été sujet de nombreux travaux de recherche. Au sein de systèmes en interaction avec des humains, ces techniques, basées sur un apprentissage par renforcement, exploitent une stratégie de considération du retour utilisateur en guise de fonction de récompense. Dans l’étude de ces stratégies, cet article présente les contributions suivantes : 1) Nous proposons un modèle général de stratégie en trois étapes : Feedback Identification, Feedback Retrieval et Reward Computing, chacune influant sur les performances d’un agent; 2) Suivant ce modèle, nous proposons une nouvelle méthode de Reward Computing, BUSBC, améliorant significativement la précision globale des algorithmes optimistes; 3) Nous réalisons une analyse empirique de notre approche et d’autres stratégies issues de la littérature. Nos expérimentations, réalisées sur trois jeux de données issus d’applications réelles, confirment nos propositions avec des retours utilisateurs complets ou partiels