Sparse estimation of structured inverse covariance matrices

In recent years, the problem of estimating a sparse inverse covariance matrix in the moderate-to-large dimensional setting has been an important and challenging task in many fields, including genomics, finance and earth sciences. To achieve sparsity in the inverse covariance matrix, methods based on L1 regularization are widely used, but fail to incorporate rich structural information known a priori. In this thesis, we study the problem of sparse inverse covariance estimation in three different settings in which L1 penalization is inappropriate and alternative penalties must be considered. First, we consider the problem of estimating a sparse inverse covariance matrix in the time-ordered data context. L1-penalized likelihood methods penalize the elements of the inverse equally and independently of each other without taking into account the positive-definiteness constraint. We propose a penalized likelihood approach based on the partial autocorrelation (PAC) parametrization. The novelty of this approach lies in the use of the PACs, which allow for shrinkage in an unconstrained setting and offer greater interpretability in the ordered data context. The performance of the proposed PAC-based penalized likelihood method is assessed in a simulation study and with two real data sets. Next, we explore inverse covariance estimation in the case where variables are unordered. Under multivariate normality, estimation of a sparse inverse covariance matrix can be thought of as a way of estimating a graphical model for the data, where each variable corresponds to a node in the graph and each non-zero element represents an edge between the corresponding pair of nodes. We focus on the case where the underlying graphical model has hubs, which are highly connected nodes, and introduce a weighted lasso approach that takes into account hub structure. Some asymptotic properties are established and the finite-sample performance of the method is illustrated with simulated data and two microbiome data sets. Finally, we study the problem of estimating time-varying networks in the context of a longitudinal study. We propose two penalized likelihood approaches for estimating time-varying networks with a penalty based on a Wishart prior for the precision matrix. We introduce a sequential approach, where the estimated precision matrix at time point t is taken to be the maximizer of a penalized log-likelihood that encourages sparsity but also shrinkage towards the estimated precision matrix at the previous time point. We also introduce a joint estimation approach, where we estimate multiple graphical models by jointly maximizing a penalized log-likelihood with an L1 penalty to encourage sparsity and a Wishart-type penalty to promote similarity between precision matrix estimates at adjacent time points. We present a computational procedure for solving the resulting convex optimization problem and assess the performance of the methods in simulation.Ces dernières années, le problème d'estimation de l'inverse d'une matrice de covariance en dimension modérée à grande a été une tâche importante et difficile dans de nombreux domaines, incluant la génomique, la finance et les sciences de la terre. Des méthodes de régularisation L1 sont souvent utilisées pour obtenir une inverse de la matrice de covariance creuse, mais elles ne permettent pas d'incorporer les informations structurelles connues a priori. Dans cette thèse, nous étudions le problème d'estimation éparse de l'inverse d'une matrice de covariance dans trois contextes différents où la pénalisation L1 n'est pas appropriée et d'autres pénalités doivent être considérées. Premièrement, nous considérons le problème d'estimation de l'inverse de la matrice de covariance dans le contexte de données ordonnées dans le temps. Les méthodes de vraisemblance pénalisée réduisent les éléments de l'inverse également et indépendamment les uns des autres, sans tenir compte de la contrainte que la matrice doit être définie positive. Nous proposons une approche de vraisemblance pénalisée basée sur la paramétrisation autocorrélation partielle. La nouveauté de cette approche réside dans l'utilisation des autocorrélations partielles, qui permettent la pénalisation dans un cadre sans contrainte et offrent une plus grande interprétabilité dans le contexte de données ordonnées. Nous évaluous la performance de la méthode proposée à l'aide de simulations et de l'analyse de deux jeux de données réelles. Ensuite, nous étudions l'estimation de l'inverse de la matrice de covariance dans le cas où les variables sont non ordonnées. Dans le cas gaussien, l'estimation éparse de l'inverse de la matrice de covariance peut être considérée comme un moyen d'estimation d'un modèle graphique pour les données, où chaque variable correspond à un sommet dans le graphe, et chaque élément non nul représente une arête entre la paire de sommets correspondants. Nous nous concentrons sur le cas où le modèle graphique sous-jacent possède des supernoeuds, qui sont des noeuds avec un grand nombre de liaisons, et nous introduisons une approche lasso qui tient compte de cette structure. Nous établissons certaines propriétés asymptotiques et illustrons la performance de la méthode à l'aide de simulations et de l'analyse de deux jeux de données réelles sur le microbiome.Finalement, nous étudions le problème d'estimation des modèles graphiques dynamiques dans le cadre d'une étude longitudinale. Nous proposons deux méthodes de vraisemblance pénalisée pour l'estimation des réseaux temporels avec une pénalité basée sur une loi de Wishart pour l'inverse de la matrice de covariance. Nous présentons une approche séquentielle, où l'inverse de la matrice de covariance estimée au temps t est celle qui maximise une log-vraisemblance pénalisée encourageant à la fois l'éparsité et le rétrécissement vers la matrice de précision estimée au temps précédent. Nous présentons également une approche d'estimation conjointe, où nous estimons plusieurs modèles graphiques en maximisant conjointement une log-vraisemblance pénalisée avec une pénalité L1 pour encourager l'éparsité et une pénalité de type Wishart pour promouvoir la similitude entre les estimations de la matrice de précision à des temps adjacents. Nous présentons un algorithme pour résoudre le problème d'optimisation convexe résultant et évaluons la performance des méthodes proposées au moyen d'études de simulation