Accelerating the Levenberg-Marquardt method for the minimization of the square of functions with box constraints

Neste trabalho, apresentamos um algoritmo iterativo para a minimização de somas de quadrados de funções suaves, com restrições de caixa. O algoritmo é fortemente inspirado no trabalho de Birgin e Martínez [4]. A diferença principal está na escolha da direção de busca e na introdução de uma nova técnica de aceleração, usada para atualizar o passo. A cada iteração, definimos uma face ativa e resolvemos, nessa face, um subproblema quadrático irrestrito através do método evenberg-Marquardt (ver [26], [28] e [33]), obtendo uma direção de descida e uma aproximação x+ para a solução do problema. Ainda usando apenas as variáveis livres, tentamos acelerar o método definindo uma nova aproximaçaoo xa como combinação linear das últimas p - 1 aproximações da solução e do vetor x+. Os coeficientes desta combinação linear são calculados convenientemente através da resolução de um problema de Quadrados Mínimos com uma restrição de igualdade. O subproblema que determina o passo acelerado leva em conta as informações sobre a função objetivo nessas p soluções aproximadas. Como em [4], executamos uma busca linear ao longo da direção e usamos técnicas de projeção para adicionar novas restrições. Para deixar a face ativa, usamos a direção do gradiente espectral projetado [5]. Experimentos númericos são apresentados para confirmar a eficiência e robustez do novo algoritmoIn this work, we present an active set algorithm for minimizing the sum of squares of smooth functions, with box constraints. The algorithm is highly inspired in the work of Birgin and Mart´inez [4]. The differences are concentrated on the chosen search direction and on the use of an acceleration technique to update the step. At each iteration, we define an active face and solve an unconstrained quadratic subproblem using the Levenberg-Marquardt method (see [26], [28] and [33]), obtaining a descent direction and an approximate solution x+. Using only the free variables, we try to accelerate the method defining a new solution xa as a linear combination of the last p-1 approximate solutions together with x+. The coefficients of this linear combination are conveniently computed solving a constrained least squares problem that takes into account the objective function values of these p approximate solutions. Like in [4], we compute a line search and use projection techniques to add new constraints to the active set. The spectral projected gradient [5] is used to leave the current active face. Numerical experiments confirm that the algorithm is both efficient and robus