Modelagem de apoio à decisão para o problema de espera no ar utilizando sistemas multiagentes e aprendizagem por reforço

No domínio de gerenciamento de trafego aéreo existe o problema de espera no ar, o qual acontece quando aeronaves precisam sofrer medidas restritivas enquanto estão em vôo. Pode ocorrer devido ao fechamento do aeroporto, reorganização do fluxo de tráfego ou setores do espaço aéreo congestionados. Logo, as aeronaves em rota precisam descer com o maior nível de segurança possível e, se possível, acarretando os menores impactos no ambiente. Essas atividades são realizadas por controladores de vôo, os quais são responsáveis por verificar o cenário aéreo, analisar possíveis situações de risco, verificar o impacto e aplicar as melhores medidas restritivas. Porém, por melhor que seja o especialista, atuar em um ambiente de tempo real, o que significa detectar, analisar e agir dentro de um intervalo de tempo extremamente reduzido, sem meios que possam efetivamente auxiliar o controlador de vôo no processo de tomada de decisão é um fator a mais de risco para o domínio. Esta pesquisa realizou a modelagem do problema de espera no ar, propôs uma solução e aplicou em dois estudos de casos, utilizando o espaço aéreo do Brasil. O primeiro na FIR-Brasília e FIR-Curitiba e o segundo na FIR-Brasília e FIR-Recife. O modelo, denominado como Air Holding Problem Module, utiliza Sistemas Multiagentes e Aprendizagem por Reforço, na qual foi utilizado o algoritmo Q-Learning para o processo de aprendizado. O sistema pode sugerir ações mais precisas e realistas, baseadas no passado e no conhecimento dos especialistas, prevê o impacto das medidas restritivas sob o cenário local e/ou global e, assim, aumentar o nível de segurança do cenário aéreo, pois ao agir os controladores de vôo já possuem uma previsão dos seus impactos. Os resultados alcançados se mostraram acima dos esperados inicialmente e obtiveram melhores resultados conforme os cenários se tornavam mais críticos. Avaliando os estudos de caso, o primeiro experimento alcançou entre 8% e 47% de melhoria nos cenários locais e entre 0% e 49% de melhoria no cenário global, ou seja, o pior resultado foi igual a abordagem tradicional; no segundo, foi alcançado entre 15% e 57% de melhoria nos cenários locais e entre 41% e 48% de melhoria no cenário global. Além da melhoria no processo de análise, previsão de impactos e sugestões de medidas restritivas, foi possível modelar uma solução computacional para apoiar, de forma efetiva, a tomada de decisão do controlador de vôo. _________________________________________________________________________________ ABSTRACTIn the air traffic management domain there is the air holding problem, which happens when restrictive measures have to be taken while in the flight. This problem may occur due to airport closure, traffic flow reorganization or congested airspace sectors. In this case, aircrafts in flight must land with the highest level of safety possible and, if possible, resulting in the lowest impacts in environment. These activities are performed by flight controllers, which are responsible to confirm airspace scenario and analyze possible risk situations. Therefore, even with a great specialist, take decision in a real time environment which means detect, analyze and act in a time interval extremely short, without any means to support effectively the flight controller in the decision making process is one more factor of risk for the domain. This research accomplished the modeling of air holding problem, offered a solution and applied it in two study cases in Brazil airspace. The first one in FIR-Brasilia and FIR-Curitiba and second one in FIR-Brasilia and FIR-Recife. The model defined as Air Holding Problem Module, uses Multiagent System and Reinforcement Learning with the Q-Learning algorithm for the learning process. The system can suggest more accurate and realistic actions, based on the past and knowledge of the specialists, predict the impact of restrictive measures under the local and global scenario, and then, increase the safety level in the airspace scenario. The results achieved were better as scenarios became more critical. Evaluating the study cases, the first one reached between 8% to 47% of improvement of the level of the local air traffic scenario and between 0% to 49% of improvement in the global scenario. The second one achieved between 15% and 57% improvement in local scenarios and between 41% and 48% improvement in global scenario. Besides the improvement of the analysis process, prediction of impacts and suggestions of restrictive measures, it was possible to create a computational solution to support, in an effective way, the process of decision making of the flight controller