Adaptation over networks in the presence of transmission errors and correlated observations and noise

Decentralized estimation problems can be found in several applications within the area of multi-agent networks where each agent has access to noisy observations of a common process and the network seeks to estimate a common unknown parameter vector. Adaptive networks consisting of a number of nodes, each of which is equipped with an adaptation rule and communication capabilities, are designed to solve estimation and inference problems in a fully distributed manner. Through the implementation of adaptive networks operating in a collaborative mode, a wide variety of applications such as smart grid, precision agriculture, intelligent transportation systems, disaster relief management, smart cities, etc, would benefit from highly reliable and flexible monitoring and diagnostic systems that rapidly respond to the changing conditions as well as instantaneous faults. Distributed implementation of estimation algorithms has recently been forming an active area of research in the context of distributed adaptive filtering.In the present research, we first examine the problem of distributed estimation over adaptive networks where agents have access to correlated observations. We show that the evolution of the adaptive filter representing the network and its stability in the mean sense do not change compared to the one obtained under the assumption of independent observations. In comparison, the mean-square-error analysis reveals that in the presence of independent measurement noises, the effect of correlated regressors is reflected in higher-order terms of the step-size parameter. When both measurement noises and regressors are spatially correlated, the steady-state performance of diffusion strategies can be considerably affected even when step-sizes are small. If noises and regressors across the agents are all positively (negatively) correlated, the steady-state performance degrades compared to independent scenario. In general, however, the steady-state performance might improve or degrade depending on how regressors and noises are correlated.In this dissertation, we also study adaptation over networks in the presence of errors due to the unreliable data transfer among nodes. In particular, we highlight the impact of transmission errors on the least-mean squares (LMS) adaptive networks. We develop the closed-form expressions for the steady-state mean-square deviation (MSD) which is helpful to assess the effects of the imperfect information flow on the behavior of diffusion LMS algorithms in terms of steady-state error. We also assess sufficient conditions that ensure mean and mean-square stability of diffusion LMS strategies in the presence of transmission errors. To overcome the problem of unreliable data exchange, we implement a random pairwise strategy that improves the performance of the diffusion estimation algorithm in the presence of high transmission error rates, while providing savings in terms of energy and bandwidth by reducing the amount of data exchange among nodes. Additionally, we derive theoretical expressions of the optimum step-size for diffusion least-mean squares (LMS) algorithms. The resulting optimal step-size leads to the largest correction for the distributed LMS adaptive filter from iteration i to iteration i+1. For practical computation, we use time-averaging filters and establish the mean-square stability for adapt-then-combine (ATC) and combine-then-adapt (CTA) strategies. We introduce optimal variable step-size diffusion LMS algorithms with detailed and practical guidelines for their implementation. Simulation results support the analysis and prove that the proposed algorithms significantly improve the performance in both the transient phase and steady-state. The numerical experiments reveal that, compared with the existing approaches, the proposed adaptive algorithms are less sensitive to control parameters and more robust with respect to statistical variations of the environment.Les problèmes dus à l'estimation décentralisée peuvent être retrouvés dans diverses applications liées au domaine des réseaux multi-agents. Dans ces domaines, chaque agent a accès aux observations de bruit d'un procédé commun et le réseau cherche à estimer un vecteur de paramètres inconnus. Les réseaux adaptatifs sont formés de plusieurs nœuds et chaque nœud est équipé d'une règle d'adaptation et d'une capacité de communication. De plus, ces réseaux adaptatifs sont conçus pour résoudre les problèmes d'inférence de manière totalement distribuée. L'implémentation distribuée des algorithmes d'estimation ont récemment formé un domaine de recherche actif dans le contexte du filtrage adaptatif distribué.Dans ce travail de recherche, nous examinons d'abord le problème d'estimation distribuée pour les réseaux adaptatifs dans lesquels les agents ont accès aux observations corrélées. Nous montrons que l'évolution du filtre adaptatif représentant le réseau ainsi que sa stabilité en termes de moyenne ne changent pas comparés à un scénario avec des observations indépendantes. En comparaison, en présence de bruits de mesures indépendantes, l'analyse de l'erreur quadratique moyenne révèle que l'effet des prédicteurs corrélés est négligé dans les hauts termes des paramètres échelons. Quand les bruits de mesures et les prédicteurs sont tous deux corrélés, la performance de l'état stable des stratégies de diffusions peut être considérablement affectée, même quand les échelons sont petits. Si les bruits et les prédicteurs parmi les agents sont tous positivement (négativement) corrélés, la performance de l'état stable se dégrade en comparaison à un scénario indépendant. Cependant, en général, la performance de l'état stable peut s'améliorer ou se dégrader, dépendamment de comment les prédicteurs et les bruits sont corrélés.Dans cette dissertation, nous étudions également l'adaptation des réseaux en présence d'erreurs dues au transfert de données non fiables dans les nœuds. En particulier, nous mettons en évidence l'impact de la transmission d'erreurs dans les réseaux adaptatifs des moindres carrés moyens (MCM). Nous développons les expressions analytiques pour la fluctuation de l'état stable, ce qui est utile pour évaluer les effets du flux d'informations imparfaites dans la diffusion des algorithmes MCM en termes d'erreur d'état stable. Nous évaluons aussi les conditions suffisantes qui assurent la moyenne et la stabilité quadratique moyenne des stratégies de diffusion de la fluctuation en présence d'erreurs de transmission. Afin de régler les problèmes liés aux échanges de données non fiables, nous implémentons une stratégie de paires aléatoires qui améliore les performances de l'algorithme d'estimation de diffusion en présence de hauts taux d'erreurs à la transmission; une telle stratégie permet également d'économiser de l'énergie et de la bande passante en réduisant la quantité de données échangée entre les nœuds.De plus, nous exprimons les formules théoriques à l'échelon optimal pour les algorithmes MCM de diffusion. L'échelon optimal résultant permet d'avoir la plus grande correction pour le filtre adaptatif MCM distribué de l'itération i à l'itération i+1. Pour un calcul en pratique, nous utilisons des filtres moyennant dans le temps et nous établissons la stabilité quadratique moyenne pour les stratégies de type adapter-puis-combiner (APC) et combiner-puis-adapter (CPA). Nous présentons en détails les algorithmes MCM de diffusion des échelons optimales variables et leur guide d'implémentation. Les résultats de simulations confirment les analyses théoriques et prouvent que les algorithmes proposés améliorent de façon significative les performances en état stable et transitoire. Les expériences numériques révèlent qu'en comparaison avec les approches actuelles, les algorithmes adaptatifs proposés sont moins sensibles pour contrôler les paramètres et plus robustes face aux variations statistiques de l'environnement