Análisis Energía-Tiempo de Redes Neuronales Convolucionales Distribuidas en Clusters Heterogéneos para Clasificación de EEGs

El entrenamiento de redes neuronales profundas normalmente conlleva un alto coste computacional. A día de hoy, la forma más común de procesarlas es a través del uso de GPUs por su eficiencia en los algoritmos que implementan este tipo de tareas. Sin embargo, entrenar multitud de redes neuronales, cada una con diferentes hiperparámetros es aún una tarea muy pesada. En general, los clusters cuentan con una o más GPUs por nodo que podrían ser usadas para aprendizaje profundo. Este artículo propone y analiza un procedimiento paralelo y distribuido capaz de entrenar múltiples redes neuronales convolucionales (CNNs) para clasificación de EEGs, tanto en un cluster CPU-GPU heterogéneo como en un PC de escritorio que equipa una NVIDIA TITAN Xp. El procedimiento está implementado en C++ y usa MPI para distribuir dinámicamente los hiperparámetros a través de los nodos del cluster, los cuales son los encargados de entrenar su correspondiente CNN usando Python, Keras y TensorFlow. El algoritmo propuesto ha sido analizado considerando medidas de energía y tiempos de ejecución, mostrando que cuando se utilizan más nodos se obtiene el tiempo de ejecución más bajo y que el algoritmo escala de forma lineal. Sin embargo, el PC de escritorio obtiene los mejores resultados en términos de energía