Sufficient optimality conditions for the control problem of linear stochastic systems

As principais contribuições deste trabalho são a obtenção de condições necessárias e suficientes de otimalidade para o problema de controle de sistemas lineares determinísticos discretos e para certas classes de sistemas lineares estocásticos. Adotamos o método de controle por realimentação de saída, um horizonte de controle finito e um funcional de custo quadrático nas variáveis de estado e de controle. O problema determinístico é solucionado por completo, ou seja, provamos que para qualquer sistema MIMO as condições necessárias de otimalidade são também suficientes. Para tanto, uma versão do Princípio do Máximo Discreto é utilizada. Além disso, analisamos o caso estocástico com ruído aditivo e provamos que o princípio do máximo discreto fornece as condições necessárias de otimalidade para o problema, embora não garanta suficiência. Por fim, em um cenário particular com apenas dois estágios, empregamos uma técnica de parametrização do funcional de custo associado ao sistema linear estocástico com ruído aditivo e provamos que, no caso dos sistemas SISO com matrizes C (saída) e B (entrada) tais que CB = 0, as condições necessárias de otimalidade são também suficientes. Provamos que o mesmo também é válido para a classe dos Sistemas Lineares com Saltos Markovianos (SLSM), no contexto especificado. Com o objetivo de ilustrar numericamente os resultados teóricos obtidos, alguns exemplos numéricos são fornecidos.The main contributions of this work are that the necessary and sufficient optimality conditions for the control problem of discrete linear deterministic systems and some classes of linear stochastic systems are obtained. We adopted the output feedback control method, a finite horizon control and a cost function that is quadratic in the state and control vectors. The deterministic problem is completely solved, that is, we prove that for any MIMO system the necessary optimality conditions are also sufficient. To do so, a formulation of the Discrete Maximum Principle is used. Furthermore, we analyze the stochastic case with additive noise and prove that the discrete maximum principle provides the necessary optimality conditions, though they are not sufficient. Finally, in a particular two-stage scenario, we apply a parametrization technique of the cost function associated with the linear stochastic system with additive noise and prove that, for SISO systems with orthogonal matrices C (output) and B (input) so that CB = 0, the necessary optimality conditions are sufficient too. We prove that under the underlined context the previous statement is also valid in the case of the Markov Jump Linear Systems (MJLS). In order to illustrate the theoretical results obtained, some numerical examples are given