Stochastic and mean field theory of adaptive and power market systems

This thesis investigates control and optimization in large population games, particularly continuous time power markets. The first part of the thesis is mostly theoretical, whereas the second part of the thesis is more application oriented. The last chapter employs the techniques presented in the first part of the thesis in the formulation and analysis of continuous time power markets. The mean field (MF) methodology provides decentralized strategies which yield Nash equilibria for large population games in the asymptotic limit of an infinite (mass) population. The MF best response laws use only the local information of each agent, while the mass effect is calculated offline using statistical information on population parameters. These laws yield approximate equilibria when applied in the finite population. In the first part of the thesis we investigate the stability and equilibrium properties of the overall population in a mean field formulation for three scenarios. First, we consider the problem when the a priori information of each individual, i.e. local information and mass statistics, is absent, and each agent is only allowed to observe a decaying fraction of agents in the population. Each agent estimates its local parameters via the recursive weighted least squares (RWLS) algorithm and the distribution of the mass parameters via maximum likelihood estimation (MLE). Secondly, we consider the problem in the presence of a major agent where in addition to a large population of individual cost minimizer agents, a fraction of the agents are social cost minimizers. Lastly, we investigate coalition formations in the mean field context.The second part of the thesis is devoted to an efficiency analysis of power markets in optimal control and dynamic game frameworks. We begin the analysis of efficiency by modelling the market as a dynamical system with demand and supply processes both in a centralized framework and in a multi-agent setup and we investigate the efficiency and the equilibrium of the market. We provide an efficiency non-volatility no-free-lunch trade-off theorem. We extend the model by adding an intermittent supplier and show that for a sufficiently high intermittent supply volatility, the intermittent supplier might negatively impact the social efficiency. We introduce a novel market mechanism for power markets: we define one price process for supply subject to friction and another invisible price for frictionless ancillary supply and show that (i) the negative efficiency impact of the intermittent supplier due to stochasticity and uncontrollability can be offset, and (ii) the volatility of the price can be decreased with the new double price mechanism.Lastly, we model the power market as a large population dynamic game where suppliers and consumers submit their bids in real-time. The agents are coupled in their dynamics and cost functions through the price process. The control action computation complexity and information exchange requirements for each agent increase as the number of agents in the system increases, and this naturally leads to computational intractability. We apply the mean field methodology to study the limit behaviour of a large population of consumers and suppliers, and present a decentralized algorithm where agents submit their bids solely following the price signal and using statistical information that is measured from the entire population. We show that under some restrictions on the population parameter distributions the proposed algorithm gives rise to a situation where (i) all agent systems are stable, and (ii) the set of controls yields an equilibrium.Cette thèse s'intéresse au contrôle et à l'optimisation dans des jeux à population importante, et plus particulièrement les marchés énergétiques à temps continu. La première partie de la thèse est essentiellement théorique alors que la seconde s'attache davantage à des applications. Le dernier chapitre applique les techniques développées dans la première partie à la formulation et à l'analyse de marchés énergétiques à temps continu.La méthodologie des jeux à champ moyen donne des stratégies décentralisées qui mènent à des équilibres de Nash pour des jeux avec d'importantes populations approchant une masse infinie. Dans cette méthodologie, les lois ayant les meilleures réponses utilisent uniquement une information locale pour chaque agent, alors que l'effet de masse est calculé indépendamment en utilisant des informations statistiques sur les paramètres de population. Ces lois mènent à des équilibres approchés lorsqu'elles sont utilisées sur des populations finies.Dans la première partie de la thèse, nous nous intéressons aux propriétés de stabilité et d'équilibre de la population totale dans trois scénarios de jeux à champ moyen. D'abord, nous considérons le problème où l'information a priori de chaque individu, c'est-à-dire l'information locale et la statistique de masse, est absente et chaque agent est uniquement autorisé à observer une fraction décroissante de la population. Chaque agent estime ses paramètres locaux en utilisant l'algorithme de moindres carrés pondérés récursifs ainsi que la distribution des paramétres de masse par estimation du maximum de vraisemblance.Ensuite, nous considérons le problème sous contrainte d'existence d'un agent majeur où en plus d'une grande population d'agents minimisant leurs coûts individuels, une fraction des agents minimisent le coût social. Enfin, nous explorons la possibilité de coalitions dans le contexte des jeux à champ moyen.Le deuxième partie de la thèse s'attache à l'analyse d'efficacité des marchés énergétiques avec un contrôle optimal et dans le cadre des jeux dynamiques. Nous débutons cette analyse d'efficacité en modélisant le marché en système dynamique avec offres et demandes groupées dans un même cadre et dans une installation multi-agents, et nous analysons l'efficacité et l'équilibre du marché. Nous introduisons un théorème surprenant de compromis "rien n'est gratuit" efficacité-volatilité. Nous élargissons ensuite le modèle en ajoutant un fournisseur intermittent, et nous montrons que pour une volatilité suffisamment importante de ses approvisionnements, il peut avoir un impact négatif sur l'efficacité sociale.Enfin, nous modélisons les marchés énergétiques comme un jeu dynamique de population d'importance où les fournisseurs et les consommateurs soumettent leur offres en temps réel. La dynamique et les fonctions de coûts des agents sont liées par le processus de prix.La complexité de calcul et les exigences de contrôle des mesures d'échange d'informations pour chaque agent augmente en fonction de la croissance du nombre d'agents dans le système, ce qui conduit naturellement à l'insolubilité de calcul. Nous appliquons la méthodologie du champ moyen pour étudier le comportement limite d'une importante population de consommateurs et de fournisseurs, et présentons un algorithme décentralisé où les agents présentent leurs offres uniquement en suivant le signal de prix et en utilisant l'information statistique qui est mesurée à partir de la population entière. Nous montrons que sous certaines restrictions sur les distributions des paramètres de la population, l'algorithme proposé donne lieu à une situation où (i) tous les systèmes d'agents sont stables, et (ii) l'ensemble des contrôles donne lieu à un équilibre