Human-in-the-Loop e Aprendizagem na Negociação Automática: Aplicação num Centro de Controlo Operacional Aéreo

A gestão de um dia de operações é uma tarefa complexa para qualquer companhia aérea, embora existam várias fases de planeamento e escalonamento antecedentes que têm por base técnicas de optimização que permitem a elaboração de um plano operacional optimizado. Essa complexidade é justificada pela existência de eventos inesperados perto do dia da operação que, por serem impossíveis de prever durante as fases anteriormente referidas, podem arruinar todo o plano operacional. Nestes casos é necessário encontrar, o mais rapidamente possível, uma solução que minimize todos os custos e atrasos associados. Essa tarefa é denominada Gestão de Rupturas.O presente trabalho enquadra-se no projecto desenvolvido no Laboratório de Inteligência Artificial e Ciência de Computadores em colaboração com a companhia aérea TAP Portugal, onde foi desenvolvido um sistema multi-agente que visa auxiliar na tarefa de gestão de rupturas. Este sistema tenta encontrar, através da utilização de negociação automática entre agentes, uma solução sub-óptima para o problema inicial do plano operacional. Existem dois tipos de agentes nessa negociação: agentes que apresentam propostas de solução para um problema e um outro agente que avalia essas mesmas propostas e determina qual a melhor solução para o problema específico. A solução vencedora é apresentada a um operador humano.O propósito deste trabalho é apresentar um processo de aprendizagem que permite aos agentes que apresentam propostas de solução aprender, ao longo de sucessivas rondas, as preferências do agente que os avalia. O processo de aprendizagem desenvolvido está adaptado ao ambiente simultaneamente cooperativo e competitivo onde os agentes se encontram.É ainda do âmbito deste trabalho desenvolver um método de avaliação das soluções vencedoras. Esta avaliação é fornecida ao sistema pelo operador humano. A esta interacção dá-se o nome de Human-in-the-Loop, e o seu propósito é permitir ao operador humano influenciar a função de avaliação de soluções e, por conseguinte, a decisão do agente que efectua tais avaliações.Uma das consequências do trabalho desenvolvido é a obtenção de propostas mais adequadas simultaneamente às preferências do agente avaliador e às necessidades do operador humano. Esta melhoria traduz-se na qualidade global das soluções a ser aplicadas no contexto real, que minimizam, tanto quanto possível, os custos e atrasos inerentes à alteração do plano inicial.Os resultados finais deste trabalho foram validados e avaliados por membros do controlo operacional da companhia aérea TAP Portugal. As experiências realizadas permitiram a comparação entre o desempenho das diferentes versões do sistema. Os resultados obtidos permitem afirmar que os objectivos desta dissertação foram atingidos.Este sistema tem vindo a ser desenvolvido com o apoio da companhia aérea TAP Portugal, a qual disponibilizou os recursos necessários ao desenvolvimento do projecto, nomeadamente dados reais relativos ao plano operacional e rupturas ocorridas.Daily operations management is a hard task for every airline company despite the existence of earlier planning and scheduling phases that allow the elaboration of an optimal operational plan. That complexity lays on the existence of unexpected events which happen close to the day of operation. Once they are impossible to preview during the mentioned planning and scheduling phases, their occurrence may ruin the entire operational plan. In these cases it is necessary to find, as soon as possible, a solution minimizing all the costs and delay associated. This task is named as Disruption Management.The present work comes in the sequence of the project being developed at Artificial Intelligence and Computer Science Laboratory in cooperation with the TAP Portugal airline company, where a multi-agent system which aims to help at the disruption management task was developed. This system tries to find, through the use of an automated negotiation between agents, a sub-optimal solution for the operational plan's initial problem. There are two types of agents at this negotiation: agents presenting a solution proposal for a problem and another agent responsible for evaluating these same proposals and determining which is the best solution for a specific problem. The winning solution is presented to an human operator.The purpose of this work is to present a learning process that enables the agents responsible for proposing solutions to learn, along subsequent rounds, the preferences of the agent that is evaluating them. The learning process developed is adapted to the simultaneously cooperative and competitive environment where these agents are.It is also within the scope of this work to create a method of evaluation of the winning solutions. This evaluation shall be provided to the system by the human operator. To this interaction is given the name Human-in-the-Loop and its purpose is to allow the human operator to influence the evaluation function of the solutions and, therefore, the decision of the agent performing such evaluations.One of the consequences of the developed work is the achievement of more adequate solutions to both evaluator agent's preferences and to the human operator's necessities. This improvement reflects itself in the global quality of the solutions to be applied in the real context, which minimize, as much as possible, the costs and delays inherent to the change of the initial plan.The final results of this work were validated and evaluated by members of the operational control center of TAP Portugal airline company. The experiments performed allowed for a comparison between the performance of different versions of the system. The obtained results allow to affirm that the goals of this thesis were accomplished.This system is being developed with the support of the TAP Portugal airline company, which provided the needed resources to the project development, including real data related to the operational plan and occurred disruptions