提升Hadoop MapReduce計算效能之研究-以抽取樣式歷史為例

[[abstract]]Hadoop MapReduce是一種特殊的計算模式、具有處理巨量資料的能力。然而，在有限的計算資源環境條件下，如何調整其環境變數設定，以提升整體運算效能，屬於最佳化問題(Optimization Problem)。本論文以『利用Hadoop MapReduce 抽去最大樣式歷史資料』為例，採用貪婪方法(Greedy Method)來討論如何如何調整其環境變數設定，以提升Hadoop MapReduce效能，分為三個步驟：(1)計算節點個數(2)記憶體配置(3)Reduce數目，採用「最短計算時間」作為參數選擇標準，來討論樣式歷史抽取計算之最佳化問題。首先，先測試節點個數，然後依據Amazon Task Configuration與Hortonworks這兩家公司提供的記憶體配置方式，找出最好記憶體配置方式，最後根據此記憶體配置方式，去找出Reduce數目。實驗資料來源採用PubMed醫學文獻的論文標題與摘要，實驗結果表示，節點數目增加時，計算時間相對減少。當計算節點記憶體配置為Amazon Task Configuration參數值m1.medium時，計算時間最少；Reduce數目越多時，因為計算節點的數目固定，效能並不會相對明顯提升；本論文實驗結果可以提供給其他採用Hadoop-MapReduce計算模式的運算，在有限計算資源的條件下，如何提升效能之參考