Overcomplete Mathematical Models with Applications

Chen, Donoho a Saunders (1998) studují problematiku hledání řídké reprezentace vektorů (signálů) s použitím speciálních přeurčených systémů vektorů vyplňujících prostor signálu. Takovéto systémy (někdy jsou také nazývány frejmy) jsou typicky vytvořeny buď rozšířením existující báze, nebo sloučením různých bazí. Narozdíl od vektorů, které tvoří konečně rozměrné prostory, může být problém formulován i obecněji v rámci nekonečně rozměrných separabilních Hilbertových prostorů (Veselý, 2002b; Christensen, 2003). Tento funkcionální přístup nám umožňuje nacházet v těchto prostorech přesnější reprezentace objektů, které, na rozdíl od vektorů, nejsou diskrétní. V této disertační práci se zabývám hledáním řídkých representací v přeurčených modelech časových řad náhodných veličin s konečnými druhými momenty. Numerická studie zachycuje výhody a omezení tohoto přístupu aplikovaného na zobecněné lineární modely a na vícerozměrné ARMA modely. Analýzou mnoha numerických simulací i modelů reálných procesů můžeme říci, že tyto metody spolehlivě identifikují parametry blízké nule, a tak nám umožňují redukovat původně špatně podmíněný přeparametrizovaný model. Tímto významně redukují počet odhadovaných parametrů. V konečném důsledku se tak nemusíme starat o řády modelů, jejichž zjišťování je většinou předběžným krokem standardních technik. Pro kratší časové řady (100 a méně vzorků) řídké odhady dávají lepší predikce v porovnání s těmi, které jsou založené na standardních metodách (např. maximální věrohodnosti v MATLABu - MATLAB System Identification Toolbox (IDENT)). Pro delší časové řady (500 a více) obě techniky dávají v podstatě stejně přesné predikce. Na druhou stranu řešení těchto problémů je náročnější, a to i časově, nicméně výpočetní doba je stále přijatelná.Chen, Donoho a Saunders (1998) deal with the problem of sparse representation of vectors (signals) by using special overcomplete (redundant) systems of vectors spanning this space. Typically such systems (also called frames) are obtained either by refining existing basis or merging several such bases (refined or not) of various kinds (so-called packets). In contrast to vectors which belong to a finite-dimensional space, the problem of sparse representation may be formulated within a more general framework of (even infinite-dimensional) separable Hilbert space (Veselý, 2002b; Christensen, 2003). Such functional approach allows us to get more precise representation of objects from such space which, unlike vectors, are not discrete by their nature. In this Thesis, I attack the problem of sparse representation from overcomplete time series models using expansions in the Hilbert space of random variables of finite variance. A numerical study demonstrates benefits and limits of this approach when applied to generalized linear models or to overcomplete VARMA models of multivariate stationary time series, respectively. After having accomplished and analyzed a lot of numerical simulations as well as real data models, we can conclude that the sparse method reliably identifies nearly zero parameters allowing us to reduce the originally badly conditioned overparametrized model. Thus it significantly reduces the number of estimated parameters. Consequently there is no care about model orders the fixing of which is a common preliminary step used by standard techniques. For short time series paths (100 or less samples), the sparse parameter estimates provide more precise predictions compared with those based on standard maximum likelihood estimators from MATLAB's System Identification Toolbox (IDENT). For longer paths (500 or more), both techniques yield nearly equal prediction paths. On the other hand, solution of such problems requires more sophistication and that is why a computational speed is larger, but still comfortable.