基于教育主題的垂直搜索引擎研究與分析

1、摘 要由于通用搜索引擎具有搜索信息量大、查詢不準(zhǔn)確、深度不夠等缺點(diǎn)，本文在通用搜索引擎技術(shù)的基礎(chǔ)上，依據(jù)專業(yè)領(lǐng)域搜索策略，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向教育主題的垂直搜索引擎系統(tǒng)，著重研究了專業(yè)網(wǎng)絡(luò)蜘蛛定制，基于VSM的主題相關(guān)度算法和倒排索引建立等關(guān)鍵技術(shù)及其實(shí)現(xiàn)細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠快速地響應(yīng)用戶的查詢請(qǐng)求，并且返回結(jié)果具有較高的準(zhǔn)確性。實(shí)現(xiàn)了教育資源的共享，具有較高的應(yīng)用價(jià)值。關(guān)鍵詞：垂直搜索引擎 ；主題網(wǎng)絡(luò)蜘蛛；主題相關(guān)度Abstract The general search engine has some disadvantages, such as the amount of inf

2、ormation is too large, the searchresults are not accurate enough, and the search deepness is insufficient enough. Based on the general search engine technology and according to the search strategies of expertise field, this paper designs and realizes a vertical search engine system for education the

3、me.We focus on researching and realizing some key techniques about the professionalcustomization of web spider, the algorithm for the degree of subject relativity based on VSM, and the establishment ofinverted index. The experimental results show that, this system can quickly respond to the users qu

4、eries, and the results can return with a high accuracy. The system realizes the sharing of educational resources, which has a high application value.Key words：vertical search engine; topic web spider; subject relativityI目錄摘 要IAbstractI第一章 緒論11.1國(guó)內(nèi)外的研究現(xiàn)狀11.2研究意義21.3論文結(jié)構(gòu)2第二章 搜索引擎及垂直搜索引擎相關(guān)介紹22.1搜索引擎的概念

5、22.2搜索引擎的局限性22.3垂直搜索引擎的概念32.4垂直搜索引擎與搜索引擎的比較及其優(yōu)點(diǎn)4第三章 基于教育主題的垂直搜索引擎研究與分析43.1教育主題垂直搜索引擎的體系結(jié)構(gòu)設(shè)計(jì)43.1.1教育主題信息采集與主題識(shí)別模塊53.1.2 信息抽取與索引模塊53.1.3 用戶接口與信息檢索模塊963.2 面向主題的垂直搜索引擎關(guān)鍵技術(shù)63.2.1面向教育主題的網(wǎng)絡(luò)蜘蛛設(shè)計(jì)63.2.2基于Lucene索引的創(chuàng)建73.2.3 檢索與用戶接口模塊8第四章 總結(jié)8參考文獻(xiàn)9II基于教育主題的垂直搜索引擎研究與分析第一章 緒論1.1國(guó)內(nèi)外的研究現(xiàn)狀隨著人們對(duì)網(wǎng)絡(luò)信息需求的不斷增加，產(chǎn)生了基于網(wǎng)絡(luò)的搜索引擎

6、，這成為了人們查找并獲取信息的重要手段。經(jīng)過(guò)近年的發(fā)展，搜索引擎技術(shù)取得了極大進(jìn)展，它建立了快速地從海量的互聯(lián)網(wǎng)信息里定位和檢索的途徑，成為當(dāng)代人日常生活和工作越來(lái)越不能缺少的重要工具。但是，用戶的個(gè)性化需求、信息多元化的發(fā)展等一系列因素的產(chǎn)生，使部分用戶對(duì)引擎有了更深入、快速、及時(shí)等查詢。通用搜索引擎可以保證查全率,但是對(duì)某具體領(lǐng)域而言,無(wú)法為用戶提供比較精準(zhǔn)的信息。因此，人們迫切希望可以有一種信息分類清晰、準(zhǔn)確、全面、更新及時(shí)的專業(yè)搜索引擎來(lái)獲取網(wǎng)絡(luò)資源信息，而垂直搜索引擎迎合了這一需求1。垂直搜索引擎提供的服務(wù)是通用搜索引擎所不能給予的。主題的垂直搜索引擎針對(duì)的領(lǐng)域也不一樣。面向具體的某

7、一特定領(lǐng)域的垂直搜索引擎能夠?yàn)檫@一領(lǐng)域的用戶提供更加一專業(yè)、更加精確、更加細(xì)化的服務(wù)?，F(xiàn)今,這種而向某一主題的搜索引擎越來(lái)越受到人們的關(guān)注,在國(guó)內(nèi)外的市場(chǎng)上已經(jīng)涌現(xiàn)出了很多樣的產(chǎn)品,這些垂直搜索引擎包含了各個(gè)領(lǐng)域，如教育、社會(huì)問(wèn)題、影視資訊、旅行、房產(chǎn)交易等等，幾乎各個(gè)領(lǐng)域都發(fā)展出了自己的垂直搜索引擎，如Elsevier 科學(xué)出版社開(kāi)發(fā)的 SCIRUS 系統(tǒng)，是目前因特網(wǎng)上最全面、綜合性最強(qiáng)的科技文獻(xiàn)專業(yè)網(wǎng)站之一，F(xiàn)ocusedProjec 系統(tǒng)等。我國(guó)的垂直搜索引擎市場(chǎng)還處于起步階段,垂直搜索引擎自身的技術(shù)發(fā)展還不成熟,同時(shí)用戶對(duì)于垂直搜索引擎的認(rèn)知還非常欠缺。但是在這樣的環(huán)境下,還是涌現(xiàn)出

8、了一批具有代表性的垂直搜索引擎網(wǎng)站：搜房網(wǎng),是專注于房產(chǎn)行業(yè)的搜索;酷訊,是一款以即討的生活信息為檢索對(duì)象的垂直搜索引擎;職友集,是針對(duì)職業(yè)搜索,除此之外,還有摩狗汽車,絡(luò)龍醫(yī)搜、奇虎等等。由此可見(jiàn),這種而向具體某一主題、專業(yè)化的搜索引擎已經(jīng)成為了現(xiàn)在的流行熱點(diǎn)2。1.2研究意義針對(duì)某些領(lǐng)域特殊人群的特定需求,出現(xiàn)了垂直搜索引擎,它的出現(xiàn),在快捷、專業(yè)、精準(zhǔn)方面給人們提供了更好的檢索服務(wù)。當(dāng)人們根據(jù)需要,給出關(guān)鍵詞和例文,垂直搜索引擎可以在此基礎(chǔ)上自動(dòng)查找類似內(nèi)容,提高了專題相關(guān)內(nèi)容的覆蓋率。當(dāng)主題搜索引擎集中某一特點(diǎn)領(lǐng)域時(shí),可自動(dòng)排除無(wú)關(guān)的干擾信息,提高準(zhǔn)確率的同時(shí)也保證了信息的詳細(xì)收錄和刷

9、新3。1.3 論文結(jié)構(gòu) 本文共分為四章。第一章闡述了教育主題垂直搜索引擎的研究背景、研究意義、國(guó)內(nèi)外的研究現(xiàn)狀。第二章分析了搜索引擎與垂直搜索引擎的概念，它們之間的區(qū)別及相關(guān)知識(shí)。 第三章主要分析了教育主題垂直搜索引擎的體系結(jié)構(gòu)和關(guān)鍵技術(shù)，闡述了 Lucene 的相關(guān)技術(shù)研究。 第四章對(duì)本文進(jìn)行了總結(jié)。第二章 搜索引擎及垂直搜索引擎相關(guān)介紹2 .1搜索引擎的概念搜索引擎是一種從互聯(lián)網(wǎng)上獲取、分析與處理信息并返回結(jié)果的系統(tǒng)。對(duì)文本的查詢和索引是搜索引擎的核心技術(shù),它處理的是文本類信息,承續(xù)了信息檢索技術(shù),它的前身是全文的信息檢索與網(wǎng)絡(luò)軟件,后來(lái)逐步發(fā)展為現(xiàn)在的搜索引擎。它本質(zhì)上是一個(gè)提供信息檢索

10、服務(wù)的 Web 服務(wù)器,聲音、新聞組、圖片、Web 網(wǎng)頁(yè)、Web 網(wǎng)站都是它可以用來(lái)檢索的資源,網(wǎng)頁(yè)網(wǎng)址、網(wǎng)頁(yè)內(nèi)容摘要和網(wǎng)頁(yè)的標(biāo)題是它提供的主要信息4。搜索引擎是一種計(jì)算機(jī)程序,它搜集并處理和組織網(wǎng)絡(luò)上的信息,然后給用戶提供運(yùn)算后的信息,是提供檢索服務(wù)給用戶的系統(tǒng)。2.2搜索引擎的局限性(1)在信息搜集和檢索的過(guò)程中缺乏同步性。在網(wǎng)絡(luò)上搜索信息時(shí),專業(yè)的爬蟲(chóng)程序遍歷互聯(lián)網(wǎng)搜集的網(wǎng)頁(yè)索引信息是搜索引擎的主要依據(jù),但是,爬蟲(chóng)程序完成這項(xiàng)工作需要大量的處理時(shí)間,同時(shí),它也不能隨時(shí)隨地遍歷網(wǎng)絡(luò),而網(wǎng)絡(luò)上的一些動(dòng)態(tài)的內(nèi)容越來(lái)越多, 如新聞、股票等信息,而且變化較快。它的用戶查詢和源信息是完全分開(kāi)的,因此

11、,它的信息采集是在確定的時(shí)間段內(nèi)定期進(jìn)行的。這樣的信息采集方式,決定了無(wú)法保證信息的及時(shí)更新。(2)信息檢索的方式存在單一性。通用的搜索引擎存在查全率較低、容易漏掉信息的問(wèn)題。它只是提供分類瀏覽的查詢檢索和基于關(guān)鍵詞的全文檢索方式,因此,所得到的結(jié)果中往往含有很多無(wú)關(guān)的網(wǎng)頁(yè),也就導(dǎo)致了查準(zhǔn)率的下降。(3)信息檢索的內(nèi)容存在單一性。現(xiàn)有的搜索引擎忽視了用戶之間的差異性,也就是說(shuō),只要輸入搜索的關(guān)鍵詞匯相同,得到的搜索結(jié)果就會(huì)相同,這一點(diǎn)對(duì)所有的用戶都是一樣的。但是在現(xiàn)實(shí)中,用戶的需求往往是不同的。(4)信息的服務(wù)方式存在被動(dòng)性。少數(shù)對(duì)搜索引擎系統(tǒng)了解的用戶,可以使用好的關(guān)鍵詞來(lái)構(gòu)造查詢,可以獲得

12、高質(zhì)量的查詢結(jié)果。但是,對(duì)于絕大多數(shù)人來(lái)說(shuō),想要準(zhǔn)確表述自己對(duì)信息資源的需求是很難的,同時(shí),也不知道準(zhǔn)確有效查找的方式,這種現(xiàn)象就是人們常說(shuō)的信息迷失5。2.3垂直搜索引擎的概念垂直搜索引擎是一種專業(yè)的搜索引擎，它是針對(duì)某個(gè)特定的人群、領(lǐng)域或需求提供的有一定價(jià)值的信息，是對(duì)中某個(gè)主題的信息進(jìn)行爬行、索引并整合，定向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種滿足用戶個(gè)性化需求的形式返回給用戶6。垂直搜索引擎是對(duì)通用搜索引擎的延伸和細(xì)化，二者在基本原理和工作過(guò)程等方面基本相同，相對(duì)于傳統(tǒng)的通用搜索引擎，垂直搜索引擎是對(duì)某一類網(wǎng)絡(luò)信息深化和整合。2.4垂直搜索引擎與搜索引擎的比較及其優(yōu)點(diǎn)表一：垂直搜索

13、引擎與搜索引擎的比較目前，垂直搜索引擎已然成為搜索引擎技術(shù)的主要發(fā)展方向，它的優(yōu)點(diǎn)主要有以下幾點(diǎn)：(1)采集的信息比較集中，關(guān)注某一個(gè)或幾個(gè)學(xué)科領(lǐng)域，可以采用多種方法對(duì)信息進(jìn)行組織整理。(2)信息量小，節(jié)省存儲(chǔ)和索引存儲(chǔ)空間。(3)一詞或一字多義現(xiàn)象的可能性降低，利用專業(yè)詞表可以對(duì)詞匯進(jìn)行規(guī)范和控制，減少歧義。(4)查詢響應(yīng)時(shí)間短，可以采用復(fù)雜的查詢方法提高精度7。第三章 基于教育主題的垂直搜索引擎研究與分析3.1教育主題垂直搜索引擎的體系結(jié)構(gòu)設(shè)計(jì)面向教育主題的垂直搜索引擎系統(tǒng)主要包含信息采集模塊與主題識(shí)別模塊，信息抽取與索引模塊，用戶接口與信息檢索模塊三部分，總體結(jié)構(gòu)設(shè)計(jì)如圖1所示:83.1

14、.1教育主題信息采集與主題識(shí)別模塊在信息采集模塊中，運(yùn)用面向教育主題的網(wǎng)絡(luò)蜘蛛對(duì)教育主題相關(guān)信息進(jìn)行抓取，這是搜索引擎的第一個(gè)步驟，從某一個(gè)具有主題意義的種子URL開(kāi)始，按照深度優(yōu)先算法，采用多線程并行抓取方式自動(dòng)在互聯(lián)網(wǎng)上搜索爬行，遍歷教育領(lǐng)域的門戶網(wǎng)站，抓取與教育主題相關(guān)的網(wǎng)頁(yè)，采集網(wǎng)頁(yè)信息，抽取并壓縮網(wǎng)頁(yè)內(nèi)容存入原始數(shù)據(jù)庫(kù)中，然后跳轉(zhuǎn)到網(wǎng)頁(yè)中鏈接指向的其他網(wǎng)頁(yè)，直至遍歷整個(gè)網(wǎng)絡(luò)。在此過(guò)程中，運(yùn)用主題識(shí)別算法對(duì)網(wǎng)絡(luò)蜘蛛所采集的頁(yè)面進(jìn)行主題相關(guān)性判斷，根據(jù)計(jì)算得到的相關(guān)度結(jié)果，對(duì)采集到的網(wǎng)頁(yè)進(jìn)行取舍，將相關(guān)度大于預(yù)先設(shè)定的閾值的網(wǎng)頁(yè)保存到面向主題網(wǎng)頁(yè)數(shù)據(jù)庫(kù)中，舍棄與主題不相關(guān)的網(wǎng)頁(yè)，這垂直搜

15、索引擎的核心部分，可以控制信息采集的規(guī)模，保證采集到的信息的專業(yè)性，提高搜索的準(zhǔn)確性。3.1.2 信息抽取與索引模塊信息抽取與索引模塊對(duì)存儲(chǔ)于面向主題數(shù)據(jù)庫(kù)中的大量結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行抽取，將網(wǎng)頁(yè)主題塊中特定的結(jié)構(gòu)化信息抽取出來(lái)!并進(jìn)行過(guò)濾、分詞等預(yù)處理操作，構(gòu)造索引，計(jì)算詞的權(quán)值按檢索結(jié)果合理排序，并存入索引數(shù)據(jù)庫(kù)中。3.1.3 用戶接口與信息檢索模塊9用戶接口與信息檢索模塊是接受用戶輸入查詢請(qǐng)求并將查詢結(jié)果反饋給用戶的接口界面，模塊首先對(duì)用戶輸入的搜索關(guān)鍵字，排序方式進(jìn)行分詞等信息分析處理，然后在索引數(shù)據(jù)庫(kù)中查找到包含搜索關(guān)鍵詞的文本記錄，并根據(jù)相關(guān)度評(píng)價(jià)和用戶需要將記錄排序，最后以超

16、級(jí)鏈接的形式將提取網(wǎng)頁(yè)的摘要信息反饋給用戶。3.2 面向主題的垂直搜索引擎關(guān)鍵技術(shù)3.2.1面向教育主題的網(wǎng)絡(luò)蜘蛛設(shè)計(jì)面向教育主題網(wǎng)絡(luò)蜘蛛系統(tǒng)模型主要由信息采集模塊，頁(yè)面解析與過(guò)濾模塊，主題相關(guān)性計(jì)算器，鏈接剪枝控制器4部分構(gòu)成。頁(yè)面采集模塊主要負(fù)責(zé)從初始URL隊(duì)列出發(fā)，通過(guò)HTTP協(xié)議請(qǐng)求并下載web頁(yè)面，采集URL指向的頁(yè)面信息，送入頁(yè)面解析與過(guò)濾模塊中。本文采用了多線程并發(fā)技術(shù)，大大提高了頁(yè)面采集效率，頁(yè)面解析與過(guò)濾對(duì)下載到原始數(shù)據(jù)庫(kù)中的頁(yè)面信息進(jìn)行消重處理，解析web頁(yè)面，提取例如鏈接文本，結(jié)構(gòu)信息，鏈接URL地址等數(shù)據(jù)。主題相關(guān)性計(jì)算器主要是對(duì)網(wǎng)址解析與過(guò)濾模塊中提取的網(wǎng)頁(yè)內(nèi)容文本進(jìn)

17、行主題相關(guān)性判定，將主題相關(guān)度大于預(yù)先設(shè)定閾值的網(wǎng)頁(yè)保存在面向主題數(shù)據(jù)庫(kù)中，過(guò)濾掉與主題相關(guān)度較低或不相關(guān)的頁(yè)面，從而保證網(wǎng)絡(luò)所采集頁(yè)面的主題的相關(guān)性與專業(yè)性，鏈接剪枝控制器的任務(wù)是從與經(jīng)過(guò)過(guò)面向主題數(shù)據(jù)庫(kù)相關(guān)結(jié)果集檢索與用戶接口模塊查詢結(jié)果分析網(wǎng)頁(yè)搜索查詢結(jié)果顯示信息抽取與索引模塊網(wǎng)頁(yè)結(jié)構(gòu)化信息抽取建立倒排索引信息采集與主題識(shí)別模塊主題采集Web信息提取頁(yè)面分析與過(guò)濾URL與主題相關(guān)性計(jì)算web索引數(shù)據(jù)庫(kù)，過(guò)濾后得到的主題相關(guān)的頁(yè)面中抽取出鏈接URL，并采用主題相關(guān)計(jì)算方法對(duì)URL進(jìn)行篩選，將有價(jià)值的URL暫存在待搜索URL隊(duì)列中，按照主題相關(guān)度大小進(jìn)行排序，相關(guān)度越高的越先被訪問(wèn)。 面向教

18、育主題的網(wǎng)絡(luò)蜘蛛工作流程如圖2所示：103.2.2基于Lucene索引的創(chuàng)建垂直搜索引擎在同一時(shí)間會(huì)接受大量的用戶的查詢請(qǐng)求，這就要求索引模塊完成大量的運(yùn)算操作，以提高檢索模塊的工作效率。Lucene是用JAVA實(shí)現(xiàn)的開(kāi)放源代碼的全文檢索引擎工具包，是一個(gè)高性能、可伸縮的信息搜索庫(kù)，本文正是基于Lucene技術(shù)建立索引，其工作方式如圖3所示：11索引網(wǎng)頁(yè)庫(kù)存儲(chǔ)鏈接與其指向網(wǎng)頁(yè)的映射，文本解析器用來(lái)分析和處理不同格式的文檔，提取正文信息，過(guò)濾垃圾信息，中文分詞切分索引項(xiàng)等操作，形成統(tǒng)一格式的文檔，存儲(chǔ)于文本中間格式數(shù)據(jù)庫(kù)中，由于中文構(gòu)詞方式的差異，需要對(duì)中文網(wǎng)頁(yè)進(jìn)行分詞，以便建立索引文件。本文采

19、用雙向哈希索引詞典，對(duì)數(shù)據(jù)庫(kù)中中文網(wǎng)頁(yè)進(jìn)行分詞處理，文本中間格式數(shù)據(jù)庫(kù)存儲(chǔ)經(jīng)文本解析器提取、過(guò)濾、分詞等操作的數(shù)據(jù)，數(shù)據(jù)格式為純文本格式，為索引器提供可分析數(shù)據(jù)，索引器是垂直搜索引擎中用來(lái)分析處理文本中間格式數(shù)據(jù)庫(kù)中的非結(jié)構(gòu)化文檔信息，建立索引的程序，主要任務(wù)是按照預(yù)設(shè)的索引項(xiàng)建立索引列表，更改索引字典，文本索引庫(kù)中存儲(chǔ)以索引形式組織存放的文檔信息數(shù)據(jù)文件，一般的數(shù)據(jù)庫(kù)系統(tǒng)不能同時(shí)滿足大量用戶的查詢請(qǐng)求，所以在本系統(tǒng)中采用了倒排索引技術(shù)，創(chuàng)建倒排索引包括建立正向索引，創(chuàng)建反向索引，歸并索引等操作，將存放詞和編碼意義映射關(guān)系存儲(chǔ)于索引字典中。3.2.3 檢索與用戶接口模塊面向教育主題的垂直搜索引

20、擎通過(guò)檢索模塊實(shí)現(xiàn)與用戶的交互，系統(tǒng)對(duì)通過(guò)接口輸入的查詢短語(yǔ)進(jìn)行分詞等操作，將它傳送至檢索器，檢索器根據(jù)查詢項(xiàng)在索引文件上查找，按照與查詢項(xiàng)相關(guān)程度排序，并將結(jié)果通過(guò)用戶接口呈獻(xiàn)給用戶，其主要流程如下：(1)通過(guò)用戶接口接受用戶的查詢項(xiàng)，并對(duì)其進(jìn)行分析分詞等處理。(2)搜素包含關(guān)鍵詞的網(wǎng)頁(yè)，過(guò)濾掉與查詢項(xiàng)不相關(guān)的網(wǎng)頁(yè)。(3)按照與查詢項(xiàng)相關(guān)度大小對(duì)匹配的網(wǎng)頁(yè)排序，以鏈接形式呈現(xiàn)給用戶12。第四章 總結(jié)本文詳細(xì)描述了面向教育主題的垂直搜索引擎系統(tǒng)的總體設(shè)計(jì)，從教育領(lǐng)域信息搜索的實(shí)際出發(fā)，著重研究了主題網(wǎng)絡(luò)蜘蛛、倒排索引建立等關(guān)鍵技術(shù)，并給出了具體的實(shí)現(xiàn)細(xì)節(jié)!在此基礎(chǔ)上，開(kāi)發(fā)了一個(gè)面向教育主題的垂

21、直搜索引擎，該系統(tǒng)能夠有效地采集分散的教育主題相關(guān)網(wǎng)頁(yè)，形成面向教育主題網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，快速地響應(yīng)用戶的查詢請(qǐng)求，準(zhǔn)確地返回相關(guān)度較高的網(wǎng)頁(yè)，實(shí)現(xiàn)了教育資源的共享，具有較高的社會(huì)價(jià)值。參考文獻(xiàn)1XuePing.The Research and Implementation of Vertieal Seareh Engine Based on the Edueational Field,2011.2WEI Renjia, WU Zhenqiang. Design and implementation of vertical search engine for education video resources.Computer Engineering