Many Objective Bayesian Optimization

Muchosescenarios reales requieren de la optimización de varios objetivos a la vez para la obtención de soluciones que representen el mejor equilibrio entre ellos y, según el escenario, estos objetivos pueden ser muy costosos de evaluar y el número de evaluaciones (posiblemente ruidosas) que podremos hacer será limitado. La optimización Bayesiana (BO) es una clase de métodos de optimización que, modelizando los objetivos con modelos probabilísticos subyacentes como los proceso Gaussianos (GPs), habilita la optimización de funciones cuya expresión analítica es desconocida. La BO multi-objetivo se encarga generalmente de la optimización de hasta tres objetivos pero, hasta donde alcanza nuestro conocimiento, no se ha desarrollado un algoritmo para la BO de muchos (más de tres) objetivos. Por ello, proponemos un algoritmo de BO de muchos objetivos basado en la detección y supresión de GPs que son redundantes por estar correlacionados. Mediante esta eliminación, evitamos la evaluación de objetivos de los que no se adquiere apenas información sobre la localización de los puntos óptimos. Al evitar esta evaluación, se puede ahorrar coste computacional o de recursos de diversa índole. Para la detección de objetivos redundantes proponemos una medida de similitud entre las distribuciones predictivas de los GPs. La medida de similitud es un modelo de suma ponderada donde se tienen en cuenta la distancia entre las medias predictivas, su correlación y la incertidumbre de la predicción. Usando esta medida proponemos un algoritmo de reducción de objetivos que suprime aquéllos que considera redundantes según el criterio de la medida de similitud. Integramos el algoritmo y la medida en Spearmint, una herramienta de software libre de optimización Bayesiana. Los experimentos de juguete, sintéticos y simulando un escenario real realizados sobre la medida de similitud y el algoritmo de optimización Bayesiana de muchos objetivos aportan evidencia empírica para apoyar la hipótesis de su utilidad en escenarios reales. En particular, probamos el algoritmo en el proceso de ajuste de hiperparámetros de una red neuronal en el que nos proponemos minimizar el error, el tiempo de ejecución y el tamaño de la misma. En este escenario, el tiempo y el tamaño son detectados como objetivos redundantes y uno de ellos puede ser reducido. En un escenario real, la no evaluación del tiempo o tamaño de una red neuronal profunda de gran tamaño puede implicar un ahorro de coste computacional, económico y medioambiental