InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)

InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)2024/3/30InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)InfoMall萬維網(wǎng)信息博物館中國萬維網(wǎng)歷史信息的存儲(chǔ)和展示系統(tǒng)維護(hù)2001年以來從中國萬維網(wǎng)上搜集的近12億篇網(wǎng)頁（約20TeraByte）以每月1000萬的速度增長InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)現(xiàn)有服務(wù)及問題目前提供三種服務(wù)根據(jù)URL檢索歷史網(wǎng)頁提供人工整理的歷史事件專題回放免費(fèi)提供網(wǎng)頁和日志數(shù)據(jù)局限訪問途徑單一（只能通過URL）整理歷史事件專題需要大量的人工工作只能獲得某個(gè)時(shí)間段搜集的全部網(wǎng)頁，且免費(fèi)數(shù)據(jù)的獲取需要很多人工維護(hù)工作InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)InfoMall數(shù)據(jù)檢索服務(wù)目的整合現(xiàn)有服務(wù)通過統(tǒng)一的數(shù)據(jù)訪問接口，提供更加豐富，更加自動(dòng)和便利的數(shù)據(jù)服務(wù)InfoMall數(shù)據(jù)檢索服務(wù)提供以InfoMall歷史網(wǎng)頁文檔為核心數(shù)據(jù)，以內(nèi)容、空間、時(shí)間為查詢緯度的，面向高層應(yīng)用的客戶服務(wù)器體系結(jié)構(gòu)的數(shù)據(jù)檢索服務(wù)。InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)“三維”的數(shù)據(jù)模型InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)檢索服務(wù)原語AugmentedBNF語法定義（部分摘錄如下）<query>=“select”<data-type>“from”<data-repository>“where”1*<conditions>[“max”<maximum-item-number>]<conditions>=<content-condition>/<time-condition>/<location-condition>例子selectWebsfrom:1234wherecontentcontains民主timebetween1997-02to2005-02locationatGEO:150000locationatURL:*.”InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)系統(tǒng)組成InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)全文檢索系統(tǒng)InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)索引構(gòu)建流程（1）從文檔源取得文檔（2）對(duì)文檔進(jìn)行分詞得到<DocID,Term,Positions>三元組（3）查看詞典，把新出現(xiàn)的索引詞合并到詞典中，得到<DocID,TermID,Positions>（4）當(dāng)<DocID,TermID,Positions>三元組的數(shù)量恰好填滿內(nèi)存時(shí)，對(duì)整個(gè)三元組集合執(zhí)行快速排序（5）使用“游程編碼”處理遞增排序的三元組，然后編碼壓縮，輸出到臨時(shí)順串文件（runfile）（6）對(duì)所有順串文件執(zhí)行多路歸并，結(jié)果輸出為最終索引文件（7）將最終得到的詞典存入文件InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)索引壓縮目的減少索引數(shù)據(jù)空間提高索引構(gòu)建的速度方法第一步，游程編碼，也就是把遞增整數(shù)序列變換為差分序列（原來相鄰整數(shù)之間的增量序列）第二步，采用某種編碼方法對(duì)整數(shù)進(jìn)行編碼InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)編碼方法統(tǒng)計(jì)方法哈夫曼編碼（Huffmancoding）算術(shù)編碼（arithmeticcoding）特定分布的ad-hoc編碼UnaryCode(Pr[x]=2-x)DeltaCodeGolombCode字典方法Ziv-Lempel編碼InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)實(shí)驗(yàn)結(jié)果InfoMall數(shù)據(jù)檢索服務(wù)的設(shè)計(jì)以及全文檢索系統(tǒng)的初步實(shí)本文貢獻(xiàn)設(shè)計(jì)了一個(gè)服務(wù)：如何利用寶貴的歷史網(wǎng)頁數(shù)據(jù)提供公共信息服務(wù)以充分發(fā)揮信息作為研究工作基礎(chǔ)設(shè)施的作用設(shè)計(jì)和實(shí)現(xiàn)了全文索引系統(tǒng)：重點(diǎn)討論了利用壓縮技術(shù)減少全文索引的倒排文件索引的大小，為海量歷史網(wǎng)頁數(shù)據(jù)的檢索服務(wù)提供現(xiàn)實(shí)可行的基礎(chǔ)設(shè)施保障InfoMa