Learning algorithms for error correction

Channel coding enables reliable communication over unreliable, noisy channels: by encoding messages with redundancy, it is possible to decode the messages in such a way that errors introduced by the channel are corrected. Modern channel codes achieve very low error rates at long block lengths, but long blocks are often not acceptable for low-latency applications.While there exist short block codes with excellent error-correction performance when decoded optimally, designing practical, low-complexity decoding algorithms that can achieve close-to-optimal results for short codes is still an open problem. In this thesis, we explore an approach to decoding short block codes in which the decoder is recast as a machine learning algorithm.After providing the background concepts on error-correcting codes and machine learning, we review the literature on learning algorithms for error correction, with a special emphasis on the recently introduced ``neural belief propagation'' algorithm. We then describe a set of modifications to neural belief propagation which improve its performance and reduce its implementation complexity. We also propose a new syndrome-based output layer for neural error-correcting decoders which takes the code structure into account during training to yield decoders with lower frame error rate.Finally, we suggest some future work.Le codage de canal permet une communication fiable sur des canaux non fiables et bruyants. En ajoutant de la redondance aux messages, il est possible de décoder les messages de telle sorte que les erreurs introduites par le canal soient corrigées. Les codes de canal modernes atteignent des taux d'erreur très faibles à des longueurs de blocs longues, mais les blocs longs ne sont souvent pas acceptables pour les applications à faible latence. Bien qu'il existe des codes en blocs courts avec d'excellentes performances de correction d'erreur lorsqu'ils sont décodés de manière optimale, la conception d'algorithmes de décodage pratiques et peu complexes qui peuvent obtenir des résultats proches de l'optimum pour les codes courts reste un problème ouvert. Dans cette thèse, nous explorons une approche de décodage de codes en blocs courts dans laquelle le décodeur est appréhendé comme un algorithme d'apprentissage automatique. Après avoir fourni les concepts de base sur les codes correcteurs d'erreurs et l'apprentissage automatique, nous passons en revue la littérature sur les algorithmes d'apprentissage pour la correction d'erreurs, en mettant l'accent sur l'algorithme "neural belief propagation" récemment introduit. Nous décrivons ensuite un ensemble de modifications à cet algorithme qui améliorent ses performances et réduisent sa complexité de mise en œuvre. Nous proposons également une nouvelle couche de sortie à base de syndrome pour les décodeurs de correction d'erreur neuronaux qui prend en compte la structure du code pendant l'apprentissage, ce qui permet de réduire le taux d'erreur de trame. Enfin, nous suggérons de pistes de recherche future