Markovljevi lanci na općenitom skupu stanja i povratnost

U prvom poglavlju se prisjećamo pojmova iz teorije diskretnih Markovljevih lanaca. Nakon toga tu teoriju u drugom poglavlju proširujemo na općenite skupove stanja. Definiramo pojmove poput jezgre Markovljevog lanca u Definiciji 2.1.1 te pojmove poput vremena posjeta η, prvog povratka τ, prvog pogađanja σ te vremena zaustavljanja ζ. Pokazujemo da Markovljevi lanci na općenitom skupu stanja mogu imati slična svojstva kao i na diskretnom skupu stanja. Uvodimo pojmove uniformne i geometrijske ergodičnosti te u Teoremima 2.5.7 i 2.5.13 pokazujemo uz koje uvjete nas lanac ima ta svojstva. U trećem poglavlju se fokusiramo na uzu klasu Markovljevih lanaca, tzv. Harrisove lance. Prisjetimo se, funkcija Q(x, A) je vjerojatnost da lanac X, ako krene iz stanja x, beskonačno mnogo puta posjeti skup A, a funkcija L(x, A) je vjerojatnost da lanac X pogodi skup A. U Teoremu 3.2.2 pokazujemo kako možemo svojstva funkcije Q povezati sa svojstvima funkcije L. Naposljetku, u Teoremima 3.4.2 i 3.4.3 dajemo uvjete pri kojima su Harrisovi lanci ergodični. Rad završavamo s primjerima Markovljevih lanaca na općenitom skupu stanja: autoregresivnim procesom reda k te poznatim modelom pohrane.In the first chapter we list the main terms in the theory of Markov chains on discrete state space. After that, in the second chapter, we expand that theory to Markov chains on general state space. In Definition 2.1.1 we introduce terms like the kernel of a Markov chain as well as occupation times η, first return times τ, first hitting times σ and stopping times ζ. We show that Markov chains on general state space cam have similar properties as on discrete state space. We define uniform and geometric ergodicity and show, in Theorems 2.5.7 and 2.5.13, the conditions needed for our chain to have those properties. In chapter three we focus on a smaller class of Markov chains, so-called Harris chains. Function Q(x, A) is the probability of chain X visiting set A infinite number of times, considering he starts from state x. On the other hand, function L(x, A) is the probability of chain X to return to set A. In Theorem 3.2.2, we show how the properties of the function Q can be linked to those of the function L. Finally, in Theorems 3.4.2 and 3.4.3 we show the sufficient conditions Harris chains need to be ergodic. We finish this thesis with a couple of examples of Markov chains on general state space: the autoregressive process of order k and the well known storage model