A mathematical model for feed-forward neural networks : theoretical description and parallel applications.

We present a general model for differentiable feed-forward neural networks. Its general mathematical description includes the standard multi-layer perceptron as well as its common derivatives. These standard structures assume a strong relationship between the network links and the neuron weights. Our generalization takes advantage of the suppression of this assumption. Since our model is especially well-adapted to gradient-based learning algorithms, we present a direct and a backward algorithm that can be used to differentiate the output of the network. Theoretical computation times are estimated for both algorithms. We describe a direct application of this model: a parallelization method that uses the expression of our general backward differentiation to overlap the communication times.Nous présentons un modèle général de réseaux de neurones différentiables non récurrents. Ce modèle inclut l'architecture standard du perceptron multicouche, aussi bien que ses dérivés classiques. Cette architecture standard se base sur une relation forte entre la notion de connexion du réseau et celle de poids des neurones. Notre généralisation tire profit de la suppression de cette relation. Le modèle présenté étant plus particulièrement adapté aux algorithmes d'apprentissage à base de gradient, nous présentons un algorithme direct ainsi qu'un algorithme rétropropagé pour le calcul de la différentielle de la sortie du réseau de neurones. Les temps de calcul des deux algorithmes sont estimés théoriquement. Enfin, nous présentons une des principales applications de ce modèle, basée sur l'algorithme généralisé de rétropropagation : une méthode de parallélisation qui se base sur une connaissance fine des calculs requis par cet algorithme afin d'introduire un recouvrement des communications par les calculs