Nonlinear conjugate gradient method

V této práci studujeme nelineární metody sdružených gradientů pro nepodmíněnou optimalizaci. Uvádíme možnosti a limity stávajících metod nepodmíněné optimalizace. Teoretické vlastnosti metod sdružených gradientů se porovnávají s dalšími základními algoritmy. Práce porovnává různé varianty nelineárních metod sdružených gradientů. Parametr beta (tzv. conjugate gradient update parameter) má významný vliv na konvergenční vlastnosti nelineárních metod sdružených gradientů. Existuje několik vzorců pro volbu parametru které mají vyhovující konvergenční vlastnosti, nicméně neexistuje optimální volba. V praxi se výkon metody s různými vzorci může výrazně lišit v závislosti na různých problémech. Navrhujeme heuristickou metodu, která automaticky upravuje hodnotu parametru. Experimentální výsledky ukazují, že výkonnost heuristické metody je často blízká výkonnosti nejlepší volby vzorce pro daný problém.In this thesis we study nonlinear conjugate gradient methods for unconstrained optimization. We outline the possibilities and limits of existing methods for unconstrained optimization. Theoretical properties of the conjugate gradient methods are compared with other basic algorithms. The thesis reviews different variants of nonlinear conjugate gradient methods. The conjugate gradient update parameter plays an important role in the convergence properties of nonlinear conjugate gradient method. Several formulas for the conjugate gradient update parameter exist and were proven to have plausible convergence properties. No generally optimal choice exists. In practice, the performance with different choices of the formula can vary significantly on different problems. We propose a heuristic method that automatically adjusts the value of the parameter. Numerical results show that the performance of the heuristic method is often close to the performance of the best choice of the formula for a given problem