Stability and control of Markovian jump linear systems with horizon defined by a class of stopping times

Resumo: Este trabalho aborda conceitos de estabilidade de segundo momento e um problema de controle ótimo envolvendo sistemas lineares com saltos Markovianos a tempo discreto. No modelo estudado, define-se como ho-rizonte um tempo de parada 't que representa a ocorrência de um número fixo N de falhas ou reparos (TN), ou a ocorrência de uma falha crucial ('t~), após as quais o sistema é paralisado para manutenção. Considera-se ainda, um caso misto intermediário onde 't representa o mínimo entre TN e 't~ . Estes tempos de parada coincidem com algum dos instantes de salto da cadeia de Markov e a informação disponível permite a reconfiguração da ação de controle em cada um destes instantes, na forma de um ganho de realimentação linear. Através do conceito denominado 't-estabilidade estocástica são obtidas condições necessárias e suficientes para a esta-bilidade estocástica do sistema até a ocorrência do tempo de parada 't~. Estas condições conduzem a um teste que se beneficia da estrutura da ca-deia para propor uma decomposição para a verificação de estabilidade em média quadrática, o que neste sentido, induz métodos algorítmicos mais simples. Adcionalmente, a equivalência entre conceitos de 't-estabilidade estocástica de segundo momento é estabelecida para os três tempos de pa-rada discriminados. A solução ótima para o problema de controle linear quadrático (LQ) por realimentação de estado, com ou sem ruído Gaussi-ano, tendo como horizonte os tempos de parada TN ou 't~ é apresentada. Esta solução é dada em termos de um conjunto de equações algébricas de Riccati recursivas ou um conjunto de equaç(les algébricas de Riccati aco-pIadas (EARA). Além disso, aborda-se o problema de controle LQG por realimentação dinâmica de saída via estimação de estadoAbstract: This work deals with second order stability concepts and a stochastic optimal control problem involving discrete-time jump Markov linear sys-tems. The jumps or changes between the system operation modes evolve according to an underlying Markov chain. In the mo deI studied, the pro-blem horizon is defined by a stopping time 't which represents either, the occurrence of a fixed number N of failures or repairs (TN), or the occur-rence of a crucial failure event ('td), after which the system is brought to a halt for maintenance. In addition, an intermediary mixed case for which 't represents the minimum between TN and 'td is also considered. These stopping times coincide with some of the jump times of the Markov state and the information available allows the reconfiguration of the control ac-tion at each jump time, in the form of a linear feedback gain. Using the concept named stochastic 't-stability, equivalent conditions to ensure the stochastic stability of the system until the occurrence of the stopping time 'td is obtained. These conditions lead to a test that benefits from the chain structure for proposing a simpler decomposition algorithm for the mean square stability verification. The work also develops equivalences among second order 't-stability concepts, for alI stopping times considered, that parallels the results for infinite horizon problems. Considering TN and 'td as horizon, the optimal control solution for the linear quadratic (LQ) pro-blem for state feedback, with or without Gaussian noise, is presented. The solution is given in terms of recursions of a set of algebraic Riccati equa-tions or a coupled set of algebraic Riccati equation (CARE). The LQG optimal control problem for dynamic output feedback using state estima-tion is also studie