Applications of common principal components in multivariate and high-dimensional analysis

This thesis consists of four papers, all exploring some aspect of common principal component analysis (CPCA), the generalization of PCA to multiple groups. The basic assumption of the CPC model is that the space spanned by the eigenvectors is identical across several groups, whereas eigenvalues associated with the eigenvectors can vary. CPCA is used in essentially the same areas and applications as PCA. The first paper compares the performance of the maximum likelihood and Krzanowski’s estimators of the CPC model for two real-world datasets and in a Monte Carlo simulation study. The simplicity and intuition of Krzanowski's estimator and the findings in this paper support and promote the use of this estimator for CPC models over the maximum likelihood estimator. Paper number two uses CPCA as a tool for imposing restrictions on system-wise regression models. The paper contributes to the field by proposing a variety of explicit estimators, deriving their properties and identifying the appropriate amount of smoothing that should be imposed on the estimator. In the third paper, a generalization of the fixed effects PCA model to multiple populations in a CPC environment is proposed. The model includes mainly geometrical, rather than probabilistic, assumptions, and is designed to account for any possible prior information about the noise in the data to yield better estimates, obtained by minimizing a least squares criterion with respect to a specified metric. The fourth paper survey some properties of the orthogonal group and the associated Haar measure on it. It is demonstrated how seemingly abstract results contribute to applied statistics and, in particular, to PCA.Denna avhandling består av fyra papper som alla utforskar någon del av gemensam principalkomponentanalys (CPCA), generaliseringen av principal-komponentanalys (PCA) till flera grupper. Det grundläggande antagandet av CPC-modellen är att egenvektorerna är identiska för samtliga grupper medan de associerade egenvärdena kan variera. Det första pappret jämför prestationen av maximum likelihood estimatorn och Krzanowskis estimator för CPC-modellen för två verkliga dataset och i en Monte Carlo-simuleringstudie. Enkelheten och intuitionen av Krzanowskis estimator samt resultaten i detta papper stödjer användningen av denna estimator för CPC-modeller över maximum likelihood-estimatorn. Papper nummer två använder CPCA som ett verktyg för att införa restriktioner på systemvisa regressionsmodeller. Pappret bidrar till området genom att föreslå en rad olika estimatorer, härleda deras egenskaper och identifiera lämplig mängd utjämning som ska åläggas estimatorn. I det tredje pappret föreslås en generalisering av PCA-modellen med icke-stokastiska effekter till flera populationer i en CPC-miljö. Modellen innehåller huvudsakligen geometriska, snarare än probabilistiska antaganden och är utformad för att betrakta eventuell information om bruset i dataseten för att ge bättre uppskattningar; erhållna genom att minimera ett minsta kvadratkriterium med avseende på ett specificerat metriskt rum. Det fjärde pappret undersöker egenskaper hos den ortogonala gruppen och det associerade Haar-måttet på gruppen. Det demonstreras hur till synes abstrakta resultat är viktiga för tillämpad statistik och i synnerhet för PCA