Adaptive learning in agents behaviour: a framework for electricity markets simulation

Electricity markets are complex environments with very particular characteristics. A critical issue regarding these specific characteristics concerns the constant changes they are subject to. This is a result of the electricity markets’ restructuring, which was performed so that the competitiveness could be increased, but it also had exponential implications in the increase of the complexity and unpredictability in those markets scope. The constant growth in markets unpredictability resulted in an amplified need for market intervenient entities in foreseeing market behaviour. The need for understanding the market mechanisms and how the involved players’ interaction affects the outcomes of the markets, contributed to the growth of usage of simulation tools. Multi-agent based software is particularly well fitted to analyze dynamic and adaptive systems with complex interactions among its constituents, such as electricity markets. This dissertation presents ALBidS – Adaptive Learning strategic Bidding System, a multiagent system created to provide decision support to market negotiating players. This system is integrated with the MASCEM electricity market simulator, so that its advantage in supporting a market player can be tested using cases based on real markets’ data. ALBidS considers several different methodologies based on very distinct approaches, to provide alternative suggestions of which are the best actions for the supported player to perform. The approach chosen as the players’ actual action is selected by the employment of reinforcement learning algorithms, which for each different situation, simulation circumstances and context, decides which proposed action is the one with higher possibility of achieving the most success. Some of the considered approaches are supported by a mechanism that creates profiles of competitor players. These profiles are built accordingly to their observed past actions and reactions when faced with specific situations, such as success and failure. The system’s context awareness and simulation circumstances analysis, both in terms of results performance and execution time adaptation, are complementary mechanisms, which endow ALBidS with further adaptation and learning capabilities.Os mercados de electricidade sofreram um processo de reestruturação que originou um aumento considerável da competitividade neste sector e, consequentemente, criou novos desafios na operação das entidades nele envolvidas. De forma a ultrapassar estes desafios é essencial para os profissionais uma compreensão detalhada dos princípios destes mercados e de como gerir os seus investimentos num ambiente tão dinâmico e competitivo. A crescente necessidade de entender estes mecanismos e a forma como a interacção das entidades envolvidas afecta os resultados destes mercados levou a uma grande procura de ferramentas de software, nomeadamente simulação, para analisar possíveis resultados de cada contexto de mercado para as várias entidades participantes. Os sistemas multi-agente são adequados à análise de sistemas dinâmicos e adaptativos com interacções complexas entre os seus constituintes, e portanto, várias ferramentas de modelação dirigidas para o estudo dos mercados reestruturados de electricidade usam este tipo de técnicas. Tirando partido destes simuladores, é possível estudar vários tipos de mercados e a interacção entre as entidades neles envolvidas. No entanto, todos estes simuladores apresentam lacunas no que diz respeito ao apoio à decisão a essas entidades, nomeadamente na gestão dos seus investimentos. Um aspecto tão relevante como é a utilização de todo este suporte de simulação para permitir aos agentes de mercado realmente aprenderem com a experiência de mercado e desenvolveram capacidades para analisar contextos de negociação e adaptar automaticamente os seus comportamentos estratégicos de acordo com as circunstâncias, não é considerado na amplitude que é requerida. É neste âmbito que esta dissertação contribui, utilizando técnicas de inteligência artificial para oferecer um apoio relevante e eficaz às decisões estratégicas das empresas envolvidas nestes tipos de negociação. O principal objectivo deste trabalho é dotar essas entidades de capacidades que lhes permitam apresentar comportamentos inteligentes e adaptativos na sua actuação nos mercados de electricidade de forma a serem capazes de atingir os seus objectivos da melhor forma possível, sendo capazes de reconhecer e actuar em conformidade com os contextos em que estão inseridas. De forma a atingir este objectivo, foi desenvolvido o sistema ALBidS – Adaptive Learning strategic Bidding System (sistema de aprendizagem adaptativa para licitações estratégias). Este sistema está implementado como um sistema multi-agente independente, em que cada agente é responsável pela execução de uma abordagem estratégica diferente. Este sistema está integrado com o simulador MASCEM, para que seja possível testar e validar as contribuições dadas num contexto de simulação de mercados já implementado e consolidado. Sendo este simulador uma ferramenta que simula mercados de electricidade permitindo a utilização de informação obtida a partir de mercados de electricidade reais, garante-se, assim, também que as conclusões retiradas deste trabalho são apoiadas por experimentação baseada em casos reais ou quase reais. A definição das estratégias de oferta dos agentes de mercado é baseada na aprendizagem adaptativa por parte das entidades, considerando o histórico do sistema, através da informação disponível, incluindo informação recolhida durante a utilização do próprio sistema multi-agente. Para isso são propostos e testados vários algoritmos e metodologias de aprendizagem e análise de dados, para que conjuntamente contribuam para que os agentes possam tomar as melhores decisões em cada momento de acordo com o contexto identificado. Um contributo importante do trabalho está na proposta destes algoritmos, na sua combinação e na obtenção de conhecimento relativo à utilização criteriosa dos algoritmos considerados em função do contexto, utilizando o conceito de context awareness. A análise destes contextos é efectuada por um mecanismo desenvolvido para esse efeito, analisando as características específicas de cada dia e período de negociação. São estudados e analisados vários algoritmos baseados em abordagens diversas, para que seja possível contemplar formas distintas de resolver problemas, dependendo de circunstâncias concretas. Entre estas abordagens, podem referir-se: redes neuronais artificiais dinâmicas; teoria de jogos; médias/regressões lineares; abordagens económicas, tendo em conta a análise macroeconómica e sectorial, e também a análise interna das empresas no que diz respeito aos seus investimentos e perspectivas de crescimento; algoritmos de Inteligência Artificial (IA), como os algoritmos Roth-Erev e o Q-Learning de aprendizagem por reforço; uma abordagem baseada na teoria do determinismo, em que são analisadas todas as variáveis intervenientes na obtenção dos resultados pelo simulador; e outras propostas de algoritmos de aprendizagem e análise de dados específicos para determinadas situações, bem como a combinação de algoritmos de tipos diversos. Numa camada superior aos algoritmos mencionados foi implementado um mecanismo de aprendizagem por reforço, baseado em estatísticas e em probabilidades, que é responsável por escolher em cada altura a proposta de licitação que dá mais garantias de sucesso. Com o passar do tempo, vão sendo actualizadas as estatísticas, através da análise dos resultados de cada proposta. Este mecanismo permite que em cada momento sejam escolhidos os algoritmos que estão a ter os melhores resultados para cada situação e contexto. Ao serem considerados vários algoritmos, de naturezas completamente distintas, consegue-se uma maior probabilidade de haver sempre algum a oferecer bons resultados. Existe também a possibilidade de se definir as preferências e parametrizações relativas a cada algoritmo individualmente, e também de se definirem preferências relativas ao desempenho dos algoritmos no que diz respeito à eficiência computacional, permitindo que o utilizador escolha a relação eficiência/probabilidade de sucesso, de acordo com as suas preferências. O sistema excluirá então, automaticamente, os algoritmos que usualmente requerem um maior tempo de processamento, quando esse tempo não corresponde a soluções proporcionalmente melhores. Desta forma, garante-se que o sistema estará a utilizar o seu tempo de processamento em abordagens que oferecem melhores respostas no menor tempo possível. Como apoio ao funcionamento adequado das estratégias implementadas foi criado um mecanismo de definição de perfis dos agentes competidores. Desta forma é possível obter previsões acerca das acções esperadas dos outros agentes participantes no mercado, tendo em conta as suas acções passadas e as reacções verificadas quando confrontados com situações específicas, como o sucesso ou o falhanço