[[alternative]]Integrating deep web query interfaces based on incremental matching and merging : using book domain as an example

碩士[[abstract]]相較於能被搜尋引擎索引的表層網路資料，深層網路(簡稱深網)所蘊含的龐大、高品質資料逐漸受到重視，能提供更多有用的資訊。但深網的資料藏於網站背後的資料庫中，使用者想要取得這些資料，必須經由網站開發者所提供的深網查詢介面，輸入正確的查詢詞並提交表單，才能得到結果。為了取得滿意的深網結果，使用者通常要在多個查詢介面交叉反覆查詢，有時還需要手動整合查詢結果。在此過程中，因為需要造訪設計理念不同之多個網站，依各查詢介面之輸入要求，反覆輸入調整過之查詢詞，導致查詢成本大幅提升。因此，整合各深網查詢介面成單一查詢介面有其必要性。本研究為建立整合型深層網路查詢介面及考量後續加入新查詢介面的擴充性，提出一個漸進式介面綱要匹配及合併架構。過去研究提出的匹配方式，大都採用先輸入所有綱要，再利用統計資訊進行匹配。我們的架構，能夠彈性的加入新的綱要進行匹配與合併。本研究的綱要匹配是基於標籤字串相似度及標籤字串同義字之雙層匹配方法；在產生整合型查詢介面部分，考慮到使用者使用上的便利性，本研究以儘量維持原介面之排序方式及易於輸入為產生整合型深網查詢介面的準則。我們從開放式目錄dmoz.org上蒐集書籍領域中9個深層網路查詢介面，作為我們進行整合的測試對象，其中包含如Amazon、eBay等熱門網站，並於此整合介面進行查詢，以測試其可行性與效能。[[abstract]]Data hidden inside the deep web are of much higher quality than those in the surface web. When internet users would like to obtain deep web data, they must fulfill query conditions in the HTML query interface and click the submit button. Unfortunately, deep web data from one site normally is not sufficient for users. They usually need to integrate information from different deep web sites. Thus, they have to enter duplicate queries in different query interfaces. It also takes lots of time to perform manual integration of those query results. Thus, an integrated deep web query interface is needed to alleviate the burdens. However, web developers design the query conditions with miscellaneous expressions. It is difficult to match attributes among several query interfaces. To easily extend the integrated query interface in the future, we design and develop an incremental matching and merging methodology for interface schema integration. Our matching method is based on the string similarity and synonyms for labels. After schema matching and merging, our system automatically constructs an integrated query interface to query several deep web sites at the same time. In our integrated search interface, we consider how to provide convenient user interfaces for the users. To test our methodology, we integrate nine search interfaces in the books domain from the open directory dmoz.org, including Amazon, eBay and other popular sites. We also conduct query experiments using our integrated query interface for checking feasibility and performance of the methodology.[[tableofcontents]]目錄 第一章 緒論 1 1.1研究背景 1 1.2研究動機 3 1.3研究目的 4 1.4研究範圍與限制 4 1.5章節介紹 5 第二章 文獻探討 6 2.1綱要擷取研究 6 2.2綱要匹配相關研究 8 2.3綱要合併相關研究 13 2.4相關文獻總結 14 第三章 綱要擷取 15 3.1綱要的定義 15 3.2綱要擷取 16 3.3表單提交之前的資訊需求 17 第四章 基於漸進式匹配與合併之深網查詢介面整合 19 4.1綱要資料處理 20 4.1.1綱要資料集 20 4.1.2標籤文字處理 21 4.1.3資料物件導向化處理 22 4.2匹配 25 4.2.1標籤匹配-雙層字串匹配器 26 4.2.2值域匹配器 30 4.3綱要合併 30 4.4查詢介面產生器 32 4.5查詢詞分派器 37 4.6系統實作討論 41 第五章 實驗與討論 44 5.1實驗環境 44 5.2實驗說明與實驗結果 46 5.2.1實驗一、檢驗特性匹配的正確性 46 5.2.2實驗二、整合介面查詢與個別網站查詢的整體時間差異 48 5.3實驗結論 50 第六章 結論與未來展望 53 參考文獻 55 圖目錄 圖 1：深層網路查詢介面範例 2 圖 2：表單元素的空間特徵圖 7 圖 3：左圖為查詢介面範例，右圖為其元素區塊表示結果範例 8 圖 4：表示兩不同綱要上特性匹配的範例 8 圖 5：查詢介面範例 9 圖 6：查詢結果頁面範例 9 圖 7：資料庫綱要比對概念圖(Concept Graph) 12 圖 8：四種元素型態的範例 15 圖 9：標籤對應基本特性集例子 16 圖 10：無標籤特性例子 16 圖 11：表單綱要範例 18 圖 12：系統流程圖 19 圖 13： Burp Suite 擷取封包內容範例 21 圖 14：資料物件類別圖 22 圖 15：匹配鏈結串列範例 25 圖 16：雙層字串匹配器流程圖 26 圖 17：編輯距離矩陣範例 28 圖 18：確認匹配的使用者介面範例 29 圖 19：漸進式匹配與合併流程圖 32 圖 20：匹配特性之元素型態挑選範例 33 圖 21：整合型深層網路查詢介面範例 35 圖 22：值域排序範例 37 圖 23：提交表單架構圖 40 圖 24：原始網站的查詢結果呈現範例 41 圖 25：本研究的查詢結果呈現範例 41 圖 26：實驗題目 49 表目錄 表1：實驗環境 44 表2：欲整合介面資料表 45 表3：欲整合網站使用狀況統計表 45 表4：欲整合綱要之特性數量統計表 46 表5：特性匹配結果表 46 表6：查詢時間比較表 49 表7：相關研究的匹配方法比較表 51 表8：相關研究的合併方法比較表 51[[note]]學號: 600631013, 學年度: 10