On the optimal and distributed control of stochastic network systems

Call admission and routing control decisions in stochastic loss (circuit-switched) networks with semi Markovian, multi-class, call arrival and general connection time processes are formulated as optimal stochastic control problems. The resulting so-called Hybrid Dynamic Programming equation systems take the form of vectors of partial differential equations with each component associated to a distinct distribution of routed calls over the network (i.e. distinct occupation states). This framework reduces to that of a Markov Decision Process when the traffic is Poisson and the associated computational limitations are approximately those of linear programs. Examples are provided of (i) network state space constructions and controlled state transition processes, (ii) a new closed form solution for a simple network, and (iii) the analysis and illustrative numerical results for a three link network. While the optimal control approach is in general computationally intractable, the current results permit estimates of computational requirements as well as the automatic formulation, or specification, of a range of suboptimal control problems obtained by adequately restricting admissible network routes. Furthermore the results presented constitute an essential foundation for a proposed game theoretic strategy of local optimization and global co-ordination for large loss networks (the Point Process Nash Certainty Equivalence (or Mean Field) Principle, (Ma et. al. 2007-2009)). When it exists, the continuously differentiable value function is a solution to the associated hybrid HJB equations. In general, the smoothness of the value functions and uniqueness of the solutions to the hybrid HJB equations may not hold. In this thesis, viscosity solutions to a general class of hybrid HJB equations are developed and under mild conditions it is shown that the value function is continuous and, further, any continuous value function is the unique viscosity solution to the hybrid HJBL'admission et le routage dans les réseaux de télécommunications sans attente possible sont formulés comme un problème de commande stochastique optimale sous des hypothèses d'arrivées semi-markoviennes d'appels multi-classes, et de durées de connexions de distribution générale. Les équations de la programmation dynamique résultantes, dites équations hybrides de la programmation dynamique prennent la forme d'équations aux dérivées partielles vectorielles où chaque composante est associée à un état particulier d'occupation des routes sur le réseau.Lorsque le trafic est poissonien, cette formulation est équivalente à un problème de décision markovien et les limites de ce que l'on est en mesure de calculer sont approximativement celles associées aux programmes linéaires en général. Des exemples sont présentés illustrant: (i) la construction de l'espace d'état et des équations de transition contrôlées pour un réseau, (ii) une solution analytique nouvelle pour un réseau simple, (iii) une analyse et les résultats numériques pour un réseau à trois lignes.Alors que l'approche de commande optimale se révèle en général non gérable au niveau calculatoire, les résultats courants nous permettent d'une part, d'estimer le niveau de complexité des calculs requis et d'autre part, de formuler de manière automatique, ou de spécifier, un ensemble de problèmes de commandes sous-optimaux obtenus en restreignant de facon adéquate les routes admissibles. Les résultats constituent également la pierre angulaire de notre méthodologie d'optimisation locale avec coordination globale dans un contexte de théorie des jeux et destinée à la gestion des grands réseaux (principe de présomption d'équilibre de Nash pour les processus ponctuels (Ma et al, 2007-2009)).Lorsqu'elle existe et qu'elle est continûment dérivable, la fonction valeur est solution des équations associées de Hamilton-Jacobi-Bellman. Cependant la fonction valeur p