Accelerating learning in multiagent domains through experience sharing

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019.Essa dissertação contribui para o crescente campo de inteligência artificial e aprendizado de máquina. Aprendizado é um componente essencial do comportamento humano, a faculdade por trás da nossa habilidade de se adaptar. E essa característica única que diferencia seres humanos de outras espécies, e nos permitiu perserverar e dominar o mundo como nos conhecemos. Através de algoritmos de aprendizado, nós buscamos imbuir agentes artificiais com essa mesma capacidade, para que eles possam aprender e se adaptar interagindo com o ambiente, conseguindo desta forma aumentar seu potencial de atingir seus objetivos. Nesse trabalho, nós buscamos resolver o problema de como múltiplos agentes cooperativos aprendendo concomitantemente podem se beneficar de conhecimento compartilhado entre eles. A habilidade de compartilhar conhecimento adquirido, seja instantaneamente ou através de gerações, é peça chave para a nossa evolução. Segue que o compartilhamento de conhecimento entre agentes autônomos pode ser a chave para acelerar conhecimento em sistemas multiagentes cooperativos. Baseado nesse raciocínio, neste trabalho investigamos métodos de compartilhamento de conhecimento que pode efetivamente levar a uma aceleração no aprendizado. A pesquisa é focada na abordagem de transferência de conhecimento através do compartilhamento de experiências. O modelo MultiAgent Cooperative Experience Sharing (MACES) define uma arquitetura que permite troca de experiências entre agentes cooperativos aprendendo concomitantemente. Neste modelo, investigamos diferentes métodos de compartilhamento de experiências que podem levar a aceleração do aprendizado. O modelo é validado em dois problemas diferentes de aprendizado de reforço, um problema de controle clássico e um de navegação. Os resultados apresentados mostram que o MACES é capaz de reduzir em mais da metade o número de episódios necessários para completar uma tarefa através da cooperação de apenas dois agentes, comparado a agentes não cooperativos. O modelo é aplicável a agentes que implementam métodos de aprendizado de reforço profundo.This dissertation is a contribution to the burgeoning field of artificial intelligence and machine learning. Learning is a core component of human behaviour, the faculty behind our ability to adapt. It is the single characteristic that differentiate humans from other species, and has allowed us to persevere and dominate the world as we know. Through learning algorithms, we seek to imbue artificial agents with the same capacity, so they can as well learn and adapt by interacting with the environment, thus enhancing their potential to achieve their goals. In this work, we address the hard problem of how multiple cooperative agents learning concurrently to achieve a goal can benefit from sharing knowledge with each other. Key to our evolution is our ability to share learned knowledge with each other instantaneously and through generations. It follows that knowledge sharing between autonomous and independent agents could as well become the key to accelerate learning in cooperative multiagent settings. Pursuing this line of inquiry, we investigate methods of knowledge sharing that can effectively lead to faster learning. We focus on the approach of transferring knowledge by experience sharing. The proposed MultiAgent Cooperative Experience Sharing (MACES) model defines an architecture that allows experience sharing between concurrently learning cooperative agents. Within MACES, we investigate different methods of experience sharing that can lead to accelerated learning. The proposed model is validated in two different reinforcement learning settings, a classical control and a navigation problem. The results shows that MACES is able to reduce in over a half the number of episodes required to complete a task through cooperation of only two agents, compared to a single agent baseline. The model is applicable to deep reinforcement learning agents