Sequential Decision Making Methods And A Pomdp Application

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2010Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2010Bu tez kapsamında, ardışık karar verme modellerinden Markov Karar Süreci (Markov Decision Process, MDP), Kısmi Gözlemlenebilir Markov Karar Süreci (Partially Observable Markov Decision Process, POMDP) ve Dağıtık Kısmi Gözlemlenebilir Markov Karar Süreci (Decentralized Partially Observable Markov Decision Process, DEC-POMDP) ve bunların çözüm yöntemlerinden bahsedilmiştir. Ayrıca, tek ürünlü bir stok kontrol problemi için, bekleyen siparişlerin olmadığı, karşılanamayan taleplerin kayıp olarak ele alındığı, talebin sabit olmayan ve kısmi gözlemlenebilir olduğu bir kısmi gözlemlenebilir Markov karar süreci (POMDP) modeli geliştirilmiştir. Bu modelde, tedarik zincirinde tek bir perakendeci karar verici olarak göz önüne alınmıştır. Önerilen bu model, iki veri seti kullanılarak, özel bir POMDP çözücüde çözdürülmüştür. Çözücünün girdi olarak aldığı dosyaların oluşturulması için C dilinde bir kod oluşturulmuştur. Elde edilen deneysel sonuçlar yorumlanarak, oluşturulan iki ayrı örnek kıyaslanmıştır. Sonuçta bu modellerin bu tip bir stok kontrol problemi için avantajları ve dezavantajlarından bahsedilmiştir. Ayrıca, gelecekte bu modelin nasıl geliştirilebileceği ile ilgili bazı önerilere de yer verilmiştir.The framework of this thesis describes Markov Decision Process (MDP), Partially Observable Markov Decision Process (POMDP) and Decentralized Partially Observable Markov Decision Process (DEC-POMDP) which are sequential decision making methods. Also it describes an improved model for an inventory control problem using a single product in a POMDP where there are no backorders (unsatisfied demands are lost). The demand is non-stationary and partially observable. Here, it is accepted that only one retailer in the supply chain is the decision maker. The proposed model is solved with two different data sets by a special POMDP solver. The input file for that program was generated using another program written in the “C” programming language. Two different implementations are compared when interpreting the results of the inventory control model. The pros and cons for these kind of inventory control models are mentioned. Also, future suggestions about how the model can be improved are included in this work.Yüksek LisansM.Sc