信息檢索系統(tǒng)設(shè)計(jì)方案及對(duì)策

1、. z.H*-2055信息檢索系統(tǒng)方案目錄TOC o 1-3 h z uHYPERLINK l _Toc281562493一工程意義 PAGEREF _Toc281562493 h 2HYPERLINK l _Toc281562494二系統(tǒng)設(shè)計(jì) PAGEREF _Toc281562494 h 3HYPERLINK l _Toc2815624952.1 技術(shù)原理 PAGEREF _Toc281562495 h 3HYPERLINK l _Toc2815624962.2 系統(tǒng)構(gòu)架 PAGEREF _Toc281562496 h 5HYPERLINK l _Toc281562497三系統(tǒng)功能 PAG

2、EREF _Toc281562497 h 6HYPERLINK l _Toc2815624983.1 信息采集 PAGEREF _Toc281562498 h 6HYPERLINK l _Toc2815624993.2 中文自然語(yǔ)言處理 PAGEREF _Toc281562499 h 6HYPERLINK l _Toc2815625003.3 全文檢索功能 PAGEREF _Toc281562500 h 7HYPERLINK l _Toc2815625013.4格式文件檢索 PAGEREF _Toc281562501 h 8HYPERLINK l _Toc2815625023.5性能指標(biāo) PA

3、GEREF _Toc281562502 h 8一 工程意義隨著互聯(lián)網(wǎng)的快速開(kāi)展，每天有數(shù)千萬(wàn)條信息生成，包括文字信息、圖片信息、視頻信息、語(yǔ)音信息等，通過(guò)百度、谷歌等大型商業(yè)搜索引擎可以找到自己想要的信息，但是也存在很多弊端。百度、谷歌等大型商業(yè)搜索引擎的搜索原理是基于網(wǎng)絡(luò)爬蟲(chóng)Spider在世界各地百萬(wàn)臺(tái)效勞器上爬取網(wǎng)頁(yè)數(shù)據(jù)，然后存儲(chǔ)到數(shù)據(jù)庫(kù)之后展現(xiàn)給查詢用戶，隨著數(shù)量以及網(wǎng)絡(luò)上信息更新的快速化，這些網(wǎng)絡(luò)爬蟲(chóng)不能保證把所有的信息都抓到，尤其是特殊行業(yè)的行業(yè)信息，即便是抓到了也不一定能夠在眾多數(shù)據(jù)中展現(xiàn)出來(lái)。所以，對(duì)于一個(gè)部門(mén)來(lái)講，有必要存在一款互聯(lián)網(wǎng)信息檢索系統(tǒng)來(lái)檢索*一個(gè)行業(yè)的信息，每天自動(dòng)

4、在各大行業(yè)、政府等數(shù)據(jù)庫(kù)中檢索最新信息，通過(guò)自建的網(wǎng)絡(luò)爬蟲(chóng)進(jìn)展目標(biāo)數(shù)據(jù)的抓取、存貯、歸類、展現(xiàn)。通過(guò)自己的信息檢索系統(tǒng)，可以讓自己部門(mén)每天輕松地獲得世界各地、各個(gè)部門(mén)都發(fā)生了什么，有哪些新的政策，方便管理層在最新的信息數(shù)據(jù)下快速做出正確的決定。據(jù)統(tǒng)計(jì)，部網(wǎng)上的信息每年以200%的速度增長(zhǎng)，其中發(fā)布到互聯(lián)網(wǎng)上的信息只占到信息量的1%-2%，而98%以上的信息是發(fā)布在部網(wǎng)上的。部網(wǎng)上的信息既有網(wǎng)頁(yè)形式的，也包含其他Word、PDF、*ML等多種格式的數(shù)據(jù)。因此，面對(duì)部網(wǎng)中海量異構(gòu)的信息資源，如何幫助用戶快速找到他們所需要的信息是一個(gè)主要的技術(shù)挑戰(zhàn)。搜索引擎能幫助用戶方便、快捷、平安地獲取部網(wǎng)上的信

5、息，在滿足高效的同時(shí)，更重要的是保證了較高的查全率和查準(zhǔn)率，能提供智能化的概念擴(kuò)展搜索，極大的提高工作效率。部網(wǎng)搜索引擎將組織中分散管理的信息整合在一起，在組織層面上實(shí)現(xiàn)新的增值與共享，從而有效實(shí)現(xiàn)組織容利用的最優(yōu)目標(biāo)。搜索引擎的目標(biāo)是實(shí)現(xiàn)部網(wǎng)全文檢索。系統(tǒng)可對(duì)實(shí)施了部資源進(jìn)展爬行，無(wú)論部網(wǎng)上的數(shù)據(jù)源在何地、以何種形式存在，都能夠?qū)ζ淇焖俚卦L問(wèn)，通過(guò)準(zhǔn)確的分詞建立索引，從而實(shí)現(xiàn)高質(zhì)量的搜索查詢。搜索引擎的主要目標(biāo)包括：1較高的查準(zhǔn)率。搜索系統(tǒng)支持按詞索引、按字索引，同時(shí)實(shí)現(xiàn)中文自動(dòng)分詞。2較高的查全率。搜索系統(tǒng)可搜索各類異構(gòu)的信息資源，包括傳統(tǒng)的網(wǎng)頁(yè)信息、Word、PDF、*ML等不同格式的文

6、檔以及各類主流數(shù)據(jù)庫(kù)的表中記錄。3智能化的檢索結(jié)果排序。平安搜索系統(tǒng)應(yīng)采用相關(guān)度分析技術(shù)，將用戶需要的信息排在結(jié)果列表的前面，屏蔽無(wú)用和錯(cuò)誤的信息。二 系統(tǒng)設(shè)計(jì)2.1 技術(shù)原理H*-2055互聯(lián)網(wǎng)信息檢索系統(tǒng)以下簡(jiǎn)稱H*-2055是針對(duì)特殊行業(yè)、政府部門(mén)、決策部門(mén)設(shè)計(jì)的一款高效率互聯(lián)網(wǎng)信息檢索系統(tǒng)，采用國(guó)際一流程序算法設(shè)計(jì)，系統(tǒng)構(gòu)架與谷歌和百度的搜索引擎擁有共同的技術(shù)特點(diǎn)，能夠保證系統(tǒng)對(duì)實(shí)時(shí)信息的快速采集、歸類、展現(xiàn)。在當(dāng)今信息爆炸的時(shí)代，每個(gè)單位或個(gè)人都在為信息的快速增長(zhǎng)做出了各種奉獻(xiàn)。信息的種類也在不斷的擴(kuò)展，越來(lái)越多的非構(gòu)造化信息不斷出現(xiàn)，包括企業(yè)的各種報(bào)表、帳單、電子文檔、的各種元素、

7、圖片、 、掃描影像，以及大量的多媒體的音頻、視頻信息等等。所有的存儲(chǔ)數(shù)據(jù)中，有85%采用的是非構(gòu)造化格式的，非構(gòu)造化信息每三個(gè)月增長(zhǎng)一倍。由于信息格式的差異很大，所以根本無(wú)法整合為統(tǒng)一的接口供政府工作人員或廣闊群眾方便使用。全文檢索是計(jì)算機(jī)程序通過(guò)掃描文章中的每一個(gè)詞，對(duì)每一個(gè)詞建立一個(gè)索引，指明該詞在文章中出現(xiàn)的次數(shù)和位置，當(dāng)用戶查詢時(shí)根據(jù)建立的索引查找，類似于通過(guò)字典的檢索字表查字的過(guò)程。全文檢索系統(tǒng)是按照全文檢索理論建立起來(lái)的用于提供全文檢索效勞的軟件系統(tǒng)。全文檢索系統(tǒng)的核心則具有建立索引、處理查詢返回結(jié)果集、增加索引、優(yōu)化索引構(gòu)造等功能。H*-2055全文檢索系統(tǒng)的主要目標(biāo)是實(shí)現(xiàn)文本索

8、引的快速構(gòu)建(Inde* Construction)，動(dòng)態(tài)文檔集的索引維護(hù)(Inde* Maintenance)，短語(yǔ)查詢(Phrase Query),Top-K查詢的快速處理(Top-k Query Process)以及各種檢索模型IR Model等。高性能和靈活的架構(gòu)也使H*-2055全文檢索系統(tǒng)可以應(yīng)用在外網(wǎng)檢索、專業(yè)系統(tǒng)資料檢索、行業(yè)專業(yè)數(shù)據(jù)庫(kù)檢索。圖1. H*-2055系統(tǒng)原理 H*-2055可以實(shí)現(xiàn)對(duì)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)的信息抓取、歸類、展現(xiàn)。對(duì)于外部網(wǎng)絡(luò)，H*-2055采用網(wǎng)絡(luò)爬蟲(chóng)定時(shí)對(duì)各大行業(yè)、政府部門(mén)進(jìn)展數(shù)據(jù)爬取，通過(guò)對(duì)海量數(shù)據(jù)的挖掘可以建立龐大的外網(wǎng)數(shù)據(jù)庫(kù)，通過(guò)一流的數(shù)據(jù)整理算

9、法，簡(jiǎn)單、快捷、方便的展示給使用者。 H*-2055也可以對(duì)部網(wǎng)絡(luò)進(jìn)展數(shù)據(jù)的挖掘、分析、整理、展現(xiàn)。H*-2055通過(guò)基于局域網(wǎng)的網(wǎng)絡(luò)爬蟲(chóng)算法，可以對(duì)政府、行業(yè)部、單位部效勞器資源等數(shù)據(jù)源進(jìn)展數(shù)據(jù)的抓取，包括部網(wǎng)絡(luò)的新政策、新聞通知、日常文檔、文件資料等。H*-2055搜索引擎的系統(tǒng)體系架構(gòu)如下列圖:圖2 圖2 H*-2055內(nèi)部網(wǎng)絡(luò)搜索系構(gòu)造圖索引模塊索引庫(kù)爬行器搜索結(jié)果排序數(shù)據(jù)源注冊(cè)、資源描述、策略描述用戶提交搜索、平安過(guò)濾數(shù)據(jù)庫(kù)爬行控制內(nèi)部數(shù)據(jù)庫(kù)Web頁(yè)面數(shù)據(jù)庫(kù)表數(shù)據(jù)庫(kù)數(shù)據(jù)源2電子文檔文件系統(tǒng)數(shù)據(jù)源3電子系統(tǒng)數(shù)據(jù)源n。搜索請(qǐng)求返回結(jié)果內(nèi)部網(wǎng)用戶內(nèi)部數(shù)據(jù)源11爬行器：爬行器根據(jù)資源描述信息

10、對(duì)部網(wǎng)中各種異構(gòu)的資源信息進(jìn)展爬行，獲取所有能夠獲得的資源信息，資源信息的格式應(yīng)包括：Web網(wǎng)頁(yè)、Word、PDF、E*cel、PPT等格式的辦公文檔、各類主流數(shù)據(jù)庫(kù)的表中記錄。2索引器：通過(guò)中文分詞技術(shù)，對(duì)爬行到的資源信息進(jìn)展解析，建立索引文件。3搜索：用戶提交其搜索條件，搜索條件經(jīng)過(guò)特定處理后，在索引文件中檢索出所有滿足搜索條件的資源。2.2 系統(tǒng)構(gòu)架全文檢索系統(tǒng)統(tǒng)一搜索平臺(tái)的總體架構(gòu)采用三層數(shù)據(jù)層、應(yīng)用層和表現(xiàn)層可擴(kuò)展的設(shè)計(jì)，使整個(gè)系統(tǒng)不受硬件平臺(tái)的限制，具有良好的擴(kuò)展性和可管理性。三 系統(tǒng)功能3.1 信息采集1、采用多線程并發(fā)搜索技術(shù)。2、提供多種采集圍控制方式，包括在指定，在指定域，

11、以及在指定IP地址圍等方式。3、可以設(shè)置多種采集控制方式，包括采集的網(wǎng)頁(yè)大小、超時(shí)限制等。4、提供高效更新功能，對(duì)于已經(jīng)采集過(guò)的，更新時(shí)只采集發(fā)生變化和新參加的資源。5、可以靈活設(shè)定采集結(jié)果的存儲(chǔ)方式，具有開(kāi)放性。3.2 中文自然語(yǔ)言處理1、嵌自動(dòng)分詞系統(tǒng)，有效提高了分詞準(zhǔn)確性。2、在應(yīng)用層上，提供自動(dòng)分類和摘要功能；3、支持按詞索引、按字索引、按關(guān)鍵詞索引，適應(yīng)不同應(yīng)用環(huán)境的需求；4、嵌相似性檢索技術(shù)，提供文章的相似性檢索和聚類功能。3.3 全文檢索功能1、支持Web Browser/Web Server檢索方式；2、智能中文分詞：采用先進(jìn)的自動(dòng)分詞系統(tǒng)，根據(jù)大量的語(yǔ)料統(tǒng)計(jì)和分析，建立了上萬(wàn)

12、條的歧義排除規(guī)則，因此檢索華人不會(huì)把僅僅包含中華人民國(guó)的文章檢索出來(lái)。支持構(gòu)造化數(shù)據(jù)和非構(gòu)造化數(shù)據(jù)的混合檢索；允許使用文中的任意字、詞、句和片段進(jìn)展檢索；全方位檢索手段：與、或、非、異或；對(duì)數(shù)值、日期等特征字段可以進(jìn)展比較和圍檢索；支持任意一致的通配符檢索(模糊檢索)；支持多的全文檢索具備中文自動(dòng)分詞系統(tǒng)，能有效提高分詞準(zhǔn)確性10、采用智能中文分詞技術(shù)，建立高效索引庫(kù)11、支持實(shí)時(shí)索引1分鐘12、支持增量式實(shí)時(shí)索引13、多線程設(shè)計(jì)，支持大量并發(fā)用戶訪問(wèn)，每秒并發(fā)到達(dá)50個(gè)以上14、支持在結(jié)果中查詢15、支持GBK、BIG5、UTF8、GB18030等編碼，采用UTF8編碼方式實(shí)現(xiàn)多語(yǔ)言和多文種容的檢索及展現(xiàn)。16、支持中文、英文和中英文混合檢索17、多樣化排序，包括按抓取時(shí)間排序、按相關(guān)性排序18、多種條件組合檢索：包括標(biāo)題、正文以及日期圍檢索19、支持關(guān)鍵詞邏輯表達(dá)式組合檢索20、檢索結(jié)果支持基于查詢關(guān)鍵詞的動(dòng)態(tài)摘要21、支持檢索關(guān)鍵詞的高亮顯示22、將所檢索到的信息可按設(shè)定的模版顯示23、檢索結(jié)果模板自定義如：如文章標(biāo)題、文章欄目、簡(jiǎn)介、作者、點(diǎn)擊率、時(shí)間以及文章類別等支持根據(jù)自動(dòng)分類的類目進(jìn)展檢索采用KNN、SVM為根底的相關(guān)性算法3.4格式文件檢索支持MS OFFIC