A Server Hardware Failure Detection Method Based on Sequential Pattern Classification

As business evolves toward e-business, application systems as well as servers increase rapidly. For system administrator, the primary task is to keep track of system status and minimize the system downtime. In this thesis, we propose a Server Hardware Failure Detection Method (SHFD) that extracts sequential patterns for three different kinds of hardware failures namely network failure, hard disk failure, and power supply failure, from the system log. The proposed system then depicted the sequential patterns as finite-state machines to the system administrator for visually monitoring possible anomaly events. The experimental results showed that using the events happening one hour before the failure occurs for mining sequential patterns has the most effective results. The precisions for network failure, hard disk failure, and power supply failure are 92.14%, 82.14%, and 92.86%, respectively. The recalls are 95.49%, 100%, and 100%, respectively. Finally, the F1-Mesures are 93.79%, 90.19%, and 96.3%, respectively. The proposed system can also provide alerts to system administrators one hour before the hardware components really fail, which will minimize the system downtime and maintain high availability of the systems.由於企業數位化的程度越來越高，資訊系統日益增加，機房內的資訊設備也 不斷擴充，導致資訊設備的管理複雜度相對提升。在龐大的機海中，掌握每台機 器的狀態是每位 IT 系統管理者首要的工作。本論文所開發的系統，是在不同廠 牌的伺服器，且每台機器都是 Windows 作業系統的環境下，對伺服器的系統日 誌檔(System Log)擷取三種異常序列資料(網路、硬碟、電源供應器)，再將各類 別的異常序列資料進行序列樣式探勘(Sequential Pattern Mining)，製作出跨帄台 伺服器硬體錯誤偵測系統(Server Hardware Failure Detection, SHFD)。此系統可即 時抓取 System Log 與異常樣式有限狀態機做比對，進而偵測伺服器的網路、硬 碟、電源供應器等三種硬體異常。 此篇論文最主要的貢獻為可以即時偵測伺服器硬體狀態，並以視覺化的圖形 介面供系統管理者查看，由實驗結果得知，此工具對於系統硬體(網路、硬碟、 電源供應器)異常的預測有很好的效果。針對此三種硬體異常前 1 小時所做的預 測，其精確率分別為 92.14%、82.14%、92.86%其召回率分別為 95.49%、100%、 100%其 F1-Measure 分別為 93.79%、90.19%、96.3%。此外，本系統並可在伺 服器硬體異常前 1 小時提醒系統管理者，可做到預警效果，以減少企業損失。第一章 緒論............1 1.1 研究背景與動機 ............1 1.2 研究目的與主要貢獻 ............2 1.3 論文架構 ............2 第二章 文獻探討............3 2.1 序列樣式探勘 ............3 2.2 序列分類 ............9 2.2.1 分類問題的探討 ............9 2.2.2 序列分類方法............12 2.3 有限狀態機............14 2.4 異常偵測 ............16 2.5 系統管理工具 ............18 2.5.1 惠普科技(HP) - Systems Insight Management (SIM) ....18 2.5.2 戴爾科技 (Dell) - IT Assistant (ITA............20 2.5.3 國際商業機器公司 (IBM) - IBM System Director .......21 第三章 系統架構與演算法............22 3.1 問題描述............22 3.2 系統架構 ............22 3.3 資料預處理 ............24 3.3.1 資料預處理 – 資料整合整理 System Log 和事件紀錄(Event Log).. 26 3.3.2 資料預處理 – 資料標準化新增 New ID 欄位 ...........28 3.3.3 從 System Log 擷取三種異常的序列資料 ............29 3.4 序列樣式探勘 ............30 3.5 異常樣式有限狀態機............31 3.6 異常偵測............35 第四章 實驗結果與分析............37 4.1 實驗資料環境 ............37 4.2 系統實作環境............39 4.3 實驗設計與目的 ............40 4.4 實驗結果分析與討論............42 4.4.1 網路異常實驗............42 4.4.1.1 網路異常實驗結果討論 ............50 4.4.2 硬碟異常實驗 ............52 4.4.2.1 硬碟異常實驗結果討論............60 4.4.3 電源供應器異常實驗 ............62 4.4.3.1 電源供應器異常實驗結果討論 ............70 4.5 實驗結果討論 ............72 4.6 即時狀態呈現............73 第五章 結論與未來研究方向............83 5.1 結論............83 5.2 未來研究方向 ............84 參考文獻............8