Optimizing the ratio of reactive and proactive maintenance of equipment using Markov decision process

U radu je ukratko prikazana teorija Markovljevih lanaca, Markovljevih procesa odlučivanja i polu-Markovljevih procesa odlučivanja. Modeliran je i opisan problem iz stvarnog svijeta koji se odnosi na dinamiku održavanja telekomunikacijskih linija. U model su ugrađena tri stanja linije sa pripadajućimmatricama prijelaza i nagradama. Za slučaj SMDP-a modelirana su i vremena koja predstavljaju ispravan rad linije kao i kontinuirana dobit tijekom vremena kada je linija ispravna. Implementirani su algoritmi iteracije politike u programskom jeziku Python. Za slučaj kada je linija modelirana MDP-om određene su dvije politike - deterministička i stohastička. A za SMDP, određena je optimalna politika koja u obzir uzima vremena i kontinuirane nagradeThe paper covers the theory of Markov chains, Markov decision processes, and Semi-Markov decision processes. A real-world problem is modeled and described. A telecommunications line is modeled with corresponding transition matrices and rewards in an MDP. Additionally, for the case of SMDP, times representing the correct operation of the line and continuous profit when the line is functioning properly are modeled. Policy iteration algorithms were implemented in the Python programming language. For the case where the line is modeled as an MDP, two policies were found: deterministic and stochastic. For the SMDP case, an optimal policy considering times and continuous rewards was found