Entrenamiento evolutivo de autoencoders

Pese a que la retropropagación de gradiente es el principal algoritmo de aprendizaje utilizado en Deep Learning, tiene limitaciones como la tendencia a cero de los pesos durante el entrenamiento, el sobre-ajuste o su elevado coste computacional. Estos problemas se tratan con soluciones como el entrenamiento por lotes, el uso de funciones de activación que no saturan para valores elevados, como la ReLU o métodos de inicialización heurísticos. En trabajos previos se ha estudiado la posibilidad de utilizar algoritmos genéticos para llevar a cabo el proceso de entrenamiento con mejores resultados y menor coste que utilizando la retropropagación de gradiente, aunque no se han probado en redes neuronales de tamaño medio o mayores. El objetivo del presente trabajo es implementar un algoritmo genético con codificación real para el entrenamiento evolutivo de autoencoders utilizando el operador de cruce MMX. Así mismo, se evalua su comportamiento en redes con más de un millón de conexiones. Para ello, se proponen dos aportaciones nuevas: realizar un entrenamiento evolutivo por lotes para reducir el coste de cada iteracióon del algoritmo sin afectar a la calidad de las soluciones, y la utilización de los métodos de inicialización heurísticos propuestos por Glorot y He.---ABSTRACT---Backpropagation is the most used training algorithm in Deep Learning, however, it has limitations, such as vanishing or exploding gradient, overfitting and its high computational cost. Those problems are addressed with solutions like batch training, the usage of activations functions that don't saturate on high values, like ReLU, or heuristic initialization methods. Genetic Algorithms using the crossover operator MMX have been used to train neural networks with better results and lower computational costs than using gradient backpropagation, however, those methods have not been tested on medium-sized or big neural networks. The goal of this work is to implement a real-coded genetic algorithm to train autoencoders using the MMX crossover operator and evaluate its behavior in neural networks with more than one million connections. In order to do that, two contributions are proposed: batch evolutionary training to reduce the computational cost per generation without affecting the quality of the solutions and the usage of the heuristic initialization methods proposed by Glorot and He