Using Markov Decision Process Investigate the Optimal Material Inventory Policy

This paper discusses the selection of three kinds of reorder level from the perspective of a cost seeking corporate and a cumulative grade minimizing. Specifically, we consider a Markov Decision Process model for selecting the best inventory policy for improving the performance of steel Industry. In practical application, information about the inventory between probability distribution assumptions may be ambiguous to the experimenter and difficult to determine. To address this problem, our results are based on real data including sales and inventory quantity from an owner of the steel corporate. The whole data set covered the period from January, 2010 to February, 2014, a total of 216 data points. We also consider lead time, hold inventory and in-transit inventory constraints in ours system. First, we use the information before 164 periods (1~164periods) to build the transition probability matrix of each action for all states in system. And through the conditions to calculus the optimal decision by MDP. Then, we use the optimal decision to test last 52 periods (165~216periods). The results show that, from the perspective of cost minimization, the best inventory policy would assign lower reorder quantity and the level of safety stock and also can meet demand for each period.本研究旨在探討鋼鐵業的最佳物料存貨政策，試圖降低企業目前所面臨到的龐大庫存壓力，以提升企業的競爭力。本研究運用馬可夫決策過程(Markov Decision Process; MDP)分析存貨管理議題，使用某鋼鐵公司的其三品項之實際資料，包含實際銷售量與實際庫存量，年度期間為2010年1月至2014年2月共216周之資料，並同時考慮前置時間(lead time)、持有存貨(stock in hand)與在途存貨(in-transit stock)的限制，因此有別於以往分析的過程中制訂許多假設，能在排除更多不確定因素的情況下，更近一步探討合適的再訂購點與再訂購量問題。 本研究站在最小化總成本的觀點，先保留最後52期之資料，透過前164周之資料進行整體系統的建置，再以第113周至164周之存貨與銷貨資料，制定共52期的決策，最後再以所保留之52期資料驗證該政策的有效性，實證結果顯示本研究所提出之訂貨準則能有效降低現有存貨數量，同時也能滿足每一期的需求。摘要 i Abstract ii 目錄 iii 圖目錄 iv 表目錄 v 第一章 緒 論 1 第一節 研究背景與動機 1 第二節 研究目的 3 第三節 研究流程 4 第四節 研究範圍與對象 5 第五節 研究限制 5 第二章 文獻探討 6 第一節 存貨之意義 6 第二節 存貨控制方法 8 第三節 馬可夫決策過程 10 第三章 研究方法 13 第一節 操作型定義與模型建立 13 第二節 範例說明 16 第四章 分析與討論 21 第一節 品項A之最佳存貨政策 21 第二節 品項B之最佳存貨政策 27 第三節 品項C之最佳存貨政策 33 第四節 敏感度分析 39 第五章 結論與建議 41 第一節 研究結論 41 第二節 未來研究建議 4