Deep Learning Based Indoor Localization and Mapping

在現今社會中，人手一台智慧型手機。在室外如果需要定位與地圖的資訊，能夠仰仗GoogleMap所提供的服務。但對於室內定位，會受限於GPS訊號在室內取得不易，所以在建築物內部無法完整使用GoogleMap的定位服務。深度學習在電腦視覺領域中(如:影像辨識、物體偵測)有好的效果。本論文提出一種以深度學習的方式來進行室內定位以及建構地圖，將這兩個問題，分別以兩個深度學習模型來實現。然後我們將模型使用真實世界資料與虛擬世界資料集來進行實驗，並觀察模型在這兩種資料集的表現。在真實世界資料集中，我們定位模型的平均誤差為0.59m，建構地圖模型的為0.65m。Nowadays everyone has a smart phone at least. We can use it with services provided by Google if we want location and map. However, GPS signal can not be found when we stay indoors. We can not use GoogleMap in this situation. Deep learning have a great success in the computer vision field(for example, image classification, object detection). This thesis purposes a method using deep learning to solve the indoor localization and mapping problem. We split it into two sub-tasks, and solve individually with two deep learning models. To evaluate our models, we experiments with different datasets. Evaluating models on the real world dataset, we obtain the average error of localization model is 0.59m and mapping one is 0.65m.摘要 i Abstract ii 目錄 iii 圖目錄 v 表目錄 viii 第一章 緒論 1 1.1研究背景 1 1.2論文架構 2 第二章 深度學習與相關文獻介紹 3 2.1深度學習簡介 3 2.2神經網路(Neural Network) 4 2.2.1 神經網路簡介 4 2.2.1.1 激勵函數(Activation Function) 7 2.2.1.2 最佳化(Optimization) 13 2.2.1.3 損失函數(Loss Function) 16 2.3 卷積神經網路(Convolutional Neural Network) 18 2.3.1 卷積神經網路簡介 18 2.3.1.1 卷積層(Convolutional Layer) 19 2.3.1.2 池化層(Pooling Layer) 21 2.3.1.3 批量歸一層(Batch Normalization Layer) 23 2.3.2 AlexNet 24 2.3.3 Network in Network 25 2.3.4 VGG 27 2.3.5 GoogLeNet 29 2.3.6 ResNet 31 2.3.7 ResNeXt 33 2.4 遞歸神經網路(Recurrent Neural Network) 35 2.4.1 RNN(Recurrent Neural Network)簡介 35 2.4.2 BiRNN(Bidirectional Recurrent Neural Network) 36 2.4.3 LSTM(Long Short-Term Memory) 37 2.4.4 ConvLSTM 39 2.5相關題目之文獻探討 40 2.5.1 Toward Geometric Deep SLAM 40 2.5.2 PoseNet 41 第三章 以深度學習進行定位與建構地圖 43 3.1 問題簡介及所提出模型 43 3.2 資料集簡介 49 3.2.1 真實世界資料集 49 3.2.2 虛擬世界資料集 50 3.2.3 資料集完整樣本 52 3.3 資料預處理 53 3.4 模擬環境 57 第四章 實驗結果分析 60 4.1 模型細節與模擬結果 60 4.2 建立GUI 78 4.3 視覺化研究結果 80 4.3.1 真實世界地圖資料表示 80 4.3.2 真實世界資料結果 81 4.3.3 虛擬世界資料結果 84 4.3.4 更多虛擬世界資料結果 87 第五章 結論與未來展望 90 5.1結論 90 5.2未來方向 90 參考文獻 9