Advanced digital signal processing in coherent fiber optic communication systems

To satisfy the explosive growth in global Internet traffic, the development of transmission links that not only have high-capacity but are also flexible, reconfigurable, and adaptive is imperative. The advents of high speed digital-to-analog and analog-to-digital converters, and recent progress in complementary metal–oxide–semiconductor (CMOS) technology has facilitated the development of optical transceivers relying on coherent detection and digital signal processing (DSP) for the compensation of fiber impairments. Next generation coherent optical networks are anticipated to further approach the Shannon limit and deliver 400~Gb/s or 1~Tb/s data rates per channel, while providing flexibility and agility to maximize the utilization of the network resources. This thesis explores novel system architectures and advanced DSP algorithms to fulfill these design targets. Currently, chromatic dispersion (CD) compensation and forward error correction (FEC) decoders are the major power consuming (more than 50%) blocks of a conventional transceiver application-specific integrated circuit (ASIC). This thesis presents the concepts and architectures of multi-sub-band (MSB) signaling for mitigation of CD, and eliminating the need for a CD compensating equalizer in reduced-guard-interval (RGI) orthogonal frequency-division multiplexing (OFDM) and single carrier systems. The performance of the proposed techniques are experimentally evaluated using a leading-edge optical long-haul transmission test-bed. It is shown that the MSB technique, in addition to the evidently lower computational complexity, allows for a highly efficient adaptive rate smart transceiver implementation with lower system overhead and simplified parallelism, while attaining the same or better transmission reach and performance as the conventional transceiver. This is due to its higher tolerance to fiber nonlinearity.With coherent technology and advanced FEC, it is known that the capacity of current fiber optic transmission systems is fundamentally limited by fiber nonlinearities. We have optimized the perturbation based nonlinearity compensation (PB-NLC) equalization scheme and proposed a novel adaptive nonlinear equalizer. The performances of the aforementioned DSP equalization schemes are numerically and experimentally studied. It is found that the optimized technique demonstrates lower computational complexity over conventional PB-NLC. In addition, the proposed adaptive nonlinear equalizer does not require prior calculations of perturbation coefficients and detailed knowledge of the transmission link parameters. It achieves comparable performance to the PB-NLC. Unlike previously studied adaptive nonlinear equalization techniques, our algorithm takes advantage of common symmetries, avoids replication of operations, and only uses a few adaptive nonlinear coefficients. Finally, its computational complexity is smaller than previously proposed adaptive nonlinear equalization schemes, which meets the requirements of next generation optical networks.Pour satisfaire la croissance explosive du trafic Internet mondial, le développement des liaisons de transmission qui ont non seulement une grande capacité, mais qui sont aussi flexibles, reconfigurables, et adaptables est impératif. L'avancement en vitesse des convertisseurs numériques-analogiques et analogiques-numériques, et les progrès récents dans la technologie des semi-conducteurs complémentaires à l'oxyde de métal (CMOS) ont facilité le développement d'émetteurs-récepteurs optiques utilisant la détection cohérente et le traitement numérique du signal (DSP) pour la compensation des détériorations de la fibre. Il est prévu que les réseaux optiques cohérents de la prochaine génération approcheront la limite de Shannon en livrant des débits de données de 400 ~Gb/s ou 1~Tb/s par canal, tout en offrant la flexibilité et l'agilité pour optimiser l'utilisation des ressources du réseau. Cette thèse explore de nouvelles architectures de systèmes et algorithmes DSP pour répondre à ces objectifs de conception.Présentement, la compensation pour la dispersion chromatique (CD) et la correction d'erreur directe (FEC) sont les principales consommatrices d'énergie (plus de 50%) des blocs d'un circuit intégré spécifique (ASIC) d'un émetteur-récepteur. Cette thèse présente les concepts et architectures de signalisation multi-sous-bande (MSB) pour diminuer l'effet de la CD et éliminer la nécessité d'un égaliseur CD dans les systèmes à garde-intervalle réduite (RGI) à multiplexage par répartition en fréquence orthogonale (OFDM). La performance des techniques proposées est expérimentalement évaluée à l'aide d'un banc d'essai de transmission optique à longue distance. Il est démontré que la technique MSB, en plus de réduire la complexité de calcul, permet le traitement en parallèle et rend possible de réaliser un émetteur-récepteur intelligent très efficace avec une faible surcharge. Tout cela en atteignant la même ou une meilleure portée de transmission et de performance que l'émetteur-récepteur classique. Ceci est dû à sa plus grande tolérance à la non-linéarité de la fibre.Avec la technologie cohérente et FEC moderne, il est connu que la capacité des systèmes de transmission à fibre optique est essentiellement limitée par la non-linéarité de la fibre. Nous avons optimisé la technique de compensation de non-linéarité à base de perturbation (PB-NLC) et proposé un nouvel égaliseur de non-linéarité adaptable. La performance de ces algorithmes DSP est numériquement et expérimentalement étudiés. On démontre que la technique optimisée a une complexité de calcul plus faible que la PB-NLC classique. En outre, cet égaliseur non linéaire adaptable ne nécessite pas de calculs antérieurs des coefficients de perturbation et de connaissance détaillée des paramètres de liaison de transmission. Il réalise des performances comparables à la PB-NLC classique. Contrairement aux techniques non linéaires d'égalisation adaptable étudiées précédemment, notre algorithme tire parti des symétries communes, évite la répétition des opérations, et utilise seulement quelques coefficients adaptables. Enfin, sa complexité de calcul est plus petite que des systèmes non linéaires proposés précédemment, il est donc conforme aux exigences des réseaux optiques de la prochaine génération