Exploring the effects of silent data corruption in distributed deep learning training

The profound impact of recent developments in artificial intelligence is unquestionable. The applications of deep learning models are everywhere, from advanced natural language processing to highly accurate prediction of extreme weather. Those models have been continuously increasing in complexity, becoming much more powerful than their original versions. In addition, data to train the models is becoming more available as technological infrastructures sense and collect more readings. Consequently, distributed deep learning training is often times necessary to handle intricate models and massive datasets. Running a distributed training strategy on a supercomputer exposes the models to all the considerations of a large-scale machine; reliability is one of them. As supercomputers integrate a colossal number of components, each fabricated on an ever decreasing feature-size, faults are common during execution of programs. A particular type of fault, silent data corruption, is troublesome because the system does not crash and does not immediately give an evident sign of an error. We set out to explore the effects of that type of faults by inspecting how distributed deep learning training strategies cope with bit-flips that affect their internal data structures. We used checkpoint alteration, a technique that permits the study of this phenomenon on different distributed training platforms and with different deep learning frameworks. We evaluated two distributed learning libraries (Distributed Data Parallel and Horovod) and found out Horovod is slightly more resilient to SDCs. However, fault propagation is similar in both cases, and the model is more sensitive to SDCs than the optimizer.El profundo impacto de los recientes avances en inteligencia artificial es incuestionable. Las aplicaciones de los modelos de aprendizaje profundo están por todas partes, desde el procesamiento avanzado del lenguaje natural hasta la predicción altamente precisa del clima extremo. Esos modelos han ido aumentando continuamente su complejidad, volviéndose mucho más potentes que sus versiones originales. Además, los datos para entrenar los modelos están cada vez más disponibles a medida que las infraestructuras tecnológicas detectan y recogen más lecturas. En consecuencia, el entrenamiento distribuido del aprendizaje profundo es a menudo necesario para manejar modelos intrincados y conjuntos de datos masivos. Ejecutar una estrategia de entrenamiento distribuido en un superordenador expone los modelos a todas las consideraciones de una máquina a gran escala; la fiabilidad es una de ellas. Como los superordenadores integran un número colosal de componentes, cada uno de ellos fabricado con un tamaño de característica cada vez menor, los fallos son habituales durante la ejecución de los programas. Un tipo particular de fallo, la corrupción silenciosa de datos, es problemático porque el sistema no se bloquea y no da inmediatamente una señal evidente de un error. Nos propusimos explorar los efectos de ese tipo de fallos inspeccionando cómo las estrategias de entrenamiento de aprendizaje profundo distribuido hacen frente a los cambios de bits que afectan a sus estructuras de datos internas. Utilizamos la alteración de puntos de control, una técnica que permite estudiar este fenómeno en diferentes plataformas de entrenamiento distribuido y con diferentes marcos de aprendizaje profundo. Evaluamos dos bibliotecas de aprendizaje distribuido (Distributed Data Parallel y Horovod) y descubrimos que Horovod es ligeramente más resistente a los SDC. Sin embargo, la propagación de fallos es similar en ambos casos, y el modelo es más sensible a los SDCs que el optimizador.Centro Nacional de Alta Tecnología, Tecnológico de Costa RicaUniversidad Nacional, Costa RicaSede Regional Brunca, Campus Pérez Zeledó