An Efficient Global Optimization Method Based on Multi-Unit Extremum Seeking

RÉSUMÉ: Les problèmes d'optimisation industrielle, telle que la maximisation de la production de produits chimiques et pétrochimiques, montrent généralement plusieurs points optimaux locaux. Le développement de méthode pour la sélection du point optimal global a toujours fait l'objet de nombreuses recherches. Plusieurs techniques déterministes et stochastiques ont été explorées à cette fin. Les techniques stochastiques ne garantissent pas toujours la convergence vers la solution globale, mais sont efficaces pour les dimensions supérieures. D'autre part, les méthodes déterministes se rendent à l'optimum global, mais le défi est d'employer un cloisonnement efficace de l'espace afin de réduire le nombre d'évaluations fonctionnelles. Cette thèse propose une approche originale en matière d'optimisation globale, numérique et déterministe basée sur des techniques d'optimisation locale en temps réel et en particulier, sur des techniques sans modèle appelé les systèmes de commande extrémale. Pour les problèmes sans contrainte, les systèmes de commande extrémale représente le problème d'optimisation comme un contrôle du gradient. La façon dont le gradient est estimé constitue la différence principale entre les différentes alternatives qui sont proposées dans la littérature scientifique. Pour les méthodes de perturbation, un signal d'excitation temporelle est utilisé afin de calculer le gradient. Une alternative existe dans le cadre d'optimisation multi-unité où le gradient est estimé par la différence finie de la sortie de deux unités identiques, mais dont les données d'entré se distinguent par un décalage. Le point de départ de cette recherche a été motivée par les systèmes de commandes extrémales locales. Ces commandes sont basées sur une perturbation qui peut être utilisée comme un outil pour l'optimisation globale des polynômes scalaires du quatrième ordre avec un optimum global. L'objectif de cette thèse est d'étendre ce concept et de développer une technique d'optimisation globale déterministe pour une classe générale de systèmes multi-variables, statiques, non linéaires et continus. Dans cette thèse, il est d'abord démontré que si le décalage est réduit à zéro pour une optimisation multi-unité scalaire, le système converge vers l'optimum global. Le résultat est également étendu aux problèmes scalaires avec contraintes qui sont caractérisés par des régions non-convexes. Dans ce cas, une stratégie de commande de “Switching” est utilisée pour faire face aux contraintes. ABSTRACT: Industrial optimization problems, e.g., maximizing production in chemical and petrochemical facilities, typically exhibit multiple local optimal points and so choosing the global one has always attracted many researchers. Many deterministic and stochastic techniques have been explored towards this end. The stochastic techniques do not always guarantee convergence to the global solution, but fare well computationally for higher dimensions. On the other hand, the deterministic methods get to the global optimum, while the challenge therein is to employ an efficient partitioning of the space in order to reduce the number of functional evaluations. This thesis proposes an original approach to numerical deterministic global optimization based on real-time local optimization techniques (in particular, model-free techniques termed the extremum-seeking schemes). For unconstrained problems, extremum-seeking schemes recast the optimization problem as the control of the gradient. The way the gradient is estimated forms the main difference between different alternatives that are proposed in the literature. In perturbation methods, a temporal excitation signal is used in order to compute the gradient. As an alternative, in the multi-unit optimization framework, the gradient is estimated as the finite difference of the outputs of two identical units driven with the inputs that differ by an offset. The starting point of this research was motivated by the perturbation-based extremum seeking schemes which can be used as a tool for global optimization of scalar fourth order polynomials, with one local and one global optimum. The objective of this thesis is to extend this concept and develop a deterministic global optimization technique for a general class of multi-variable, static, nonlinear and continuous systems. In this thesis, it is first shown that in the scalar multi-unit optimization framework, if the offset is reduced to zero, the scheme converges to the global optimum. The result is also extended to scalar constrained problems, with possible non-convex feasible regions, where a switching control strategy is employed to deal with the constraints. The next step consists of extending the algorithm to more than one variable. For two-input systems, univariate global optimization was repeated on the circumference of a circle of reducing radius. With three variables, the two-variable optimization mentioned above is repeated on the surface of a sphere of reducing radius. Time-scale separation between the various layer