基于 Google 搜索路徑的課程信息垂直搜索引擎

基于Google搜索路徑的課程信息垂直搜索引擎

【摘要】課程信息垂直搜索引擎，即在課程信息這個(gè)特定的領(lǐng)域里，讓用戶能搜索到最精準(zhǔn)最全面的結(jié)果。本文利用Google發(fā)現(xiàn)“學(xué)校-學(xué)院-教師-課程”路徑，利用HTMLParser進(jìn)行基于WEB頁(yè)面結(jié)構(gòu)的課程元數(shù)據(jù)信息抽取。為了做到信息的最準(zhǔn)確，為每個(gè)學(xué)校的每個(gè)學(xué)院都編寫(xiě)了包裝器(解析頁(yè)面并將得到的元數(shù)據(jù)內(nèi)容的抽取器)。在精確的課程領(lǐng)域元數(shù)據(jù)信息支持下，本搜索引擎支持簡(jiǎn)單檢索、元數(shù)據(jù)高級(jí)檢索、導(dǎo)航等綜合的檢索功能。關(guān)鍵詞：垂直搜索；搜索路徑；元數(shù)據(jù)抽?。话b器AbstractThispaperproposesaVerticalSearchEngineaimingtoprovidethemostaccurateandcomprehensiveresultsinthespecificfieldofcourseinformation.AfterfindingsearchpathsbyGoogleaccordingtotheorder"university-school-teacher-Course"，weuseHTMLParsertoextractmetadatainformationbasedonwebpagestructures.Differentwrappers(analyzingwebpagesandextractingmetadatainformation)fordifferentschoolsarewrittenforthesakeofaccuracy.Bythesupportofprecisemetadatainformation，thissearchenginesupportsintegratedsearchfunctions，suchassimpleretrieval，metadataadvancedsearch，andnavigation.Keywords:verticalsearch;searchingpath;metadataextraction;wrapper1．引言隨著因特網(wǎng)（Internet）和萬(wàn)維網(wǎng)（WorldWideWeb）技術(shù)的發(fā)展，全球共享學(xué)習(xí)資料和知識(shí)使得傳統(tǒng)意義上的教育向遠(yuǎn)程教育和自主學(xué)習(xí)轉(zhuǎn)變，這就需要提供對(duì)學(xué)習(xí)資源的全球共享和在線訪問(wèn)，需要為資源的擁有者提供學(xué)習(xí)資料發(fā)布和共享的支持，需要為學(xué)習(xí)者提供獲取知識(shí)的有效手段。但是，由于因特網(wǎng)具有較大的自由性，教課老師可以按照任意形式在因特網(wǎng)上發(fā)布其與課程有關(guān)的信息；沒(méi)有固定、標(biāo)準(zhǔn)的信息發(fā)布格式，且信息發(fā)布主要注重視覺(jué)效果，缺少語(yǔ)義信息；信息源變化頻繁，信息源的和產(chǎn)生沒(méi)有規(guī)律性。因此，如何在海量的、多變的、缺乏固定格式的因特網(wǎng)學(xué)習(xí)資源中查找需要的課程信息，并將這些信息快速而準(zhǔn)確地抽取出來(lái)、進(jìn)行有效的整合并提供高質(zhì)量的服務(wù)，具有重大的科研價(jià)值和現(xiàn)實(shí)意義。課程信息垂直搜索引擎，通過(guò)對(duì)課程網(wǎng)頁(yè)的元數(shù)據(jù)信息進(jìn)行自動(dòng)提取和結(jié)構(gòu)化的組織，使用戶通過(guò)關(guān)鍵字搜索能得到最全面最精準(zhǔn)的學(xué)習(xí)資源，為高校教師、學(xué)生等教育領(lǐng)域用戶提供更好的服務(wù)。目前國(guó)外比較成功的垂直搜索引擎包括：專門(mén)提供法律信息的LawCrawler()；專門(mén)提供家居信息檢索服務(wù)BuildingOnline()等等。國(guó)內(nèi)比較出名并且得到用戶認(rèn)可的垂直搜索引擎包括：生活信息搜索引擎酷訊()，面向商業(yè)的天網(wǎng)商搜()，電視精品節(jié)目搜索平臺(tái)TV貓()以及面向餐飲的咕嘟媽咪()等等。構(gòu)建垂直搜索引擎，“爬蟲(chóng)”(spiders)是不可缺少的部分。目前，為了獲得特定領(lǐng)域內(nèi)的相關(guān)信息，有兩種流行的方法來(lái)確保爬蟲(chóng)抓取內(nèi)容的相關(guān)性和質(zhì)量：1.讓爬蟲(chóng)只抓取特定的網(wǎng)域的內(nèi)容。例如，在豐田汽車(chē)公司的網(wǎng)站中抓取到的信息必定是和汽車(chē)相關(guān)的；2.根據(jù)領(lǐng)域的特定需要來(lái)過(guò)濾抓取到的內(nèi)容。例如，編寫(xiě)一個(gè)程序來(lái)過(guò)濾數(shù)量關(guān)鍵字沒(méi)有達(dá)到一定數(shù)量的網(wǎng)頁(yè)。目前有三種爬蟲(chóng)能分析基于內(nèi)容/基于鏈接的網(wǎng)頁(yè)，并把對(duì)這些網(wǎng)頁(yè)的分析與圖搜索算法相結(jié)合。1.廣度優(yōu)先搜索的爬蟲(chóng)(breadth-firstsearchspider)[1]，按照?qǐng)D遍歷算法BFS來(lái)工作。由于最重要的頁(yè)面往往含有指向其他頁(yè)面的大量鏈接，breadth-firstsearchspider在有效組織的網(wǎng)站中有很高的抓取效率和準(zhǔn)確率。2.頁(yè)面權(quán)重爬蟲(chóng)，結(jié)合了基于鏈接的分析與基于遍歷的算法，采用了JunhooCho和他的實(shí)驗(yàn)室成員發(fā)明的算法[2]。3.HopfieldNetSpider，將Web看作為一個(gè)加權(quán)單層神經(jīng)網(wǎng)絡(luò)，然后利用包含激活擴(kuò)散算法的爬蟲(chóng)來(lái)完成信息發(fā)現(xiàn)和檢索的工作[3，4]。命名實(shí)體識(shí)別（NamedEntityRecognition，NE）作為信息抽取中的子任務(wù)，其主要目的是從文本中檢測(cè)出專有名詞并進(jìn)行分類，如人名、地名、公司名、日期等。很多知名研究機(jī)構(gòu)都致力這方面的研究，多個(gè)國(guó)際會(huì)議也舉辦了命名實(shí)體識(shí)別的評(píng)測(cè)活動(dòng)，如MUC[5]、CoNLL[6]、ACE[7]、SIGHAN[8]等。就本文而言，實(shí)體“課程”包括以下屬性：課程名稱、學(xué)院、學(xué)校、教師、教師主頁(yè)URL，課程鏈接以及課程簡(jiǎn)介。本文的NE識(shí)別方法為基于WEB頁(yè)面結(jié)構(gòu)分析的包裝器。本文介紹了構(gòu)建課程信息垂直搜索引擎的基本理論和實(shí)用方法。先利用Google按照“學(xué)校-學(xué)院-教師-課程”發(fā)現(xiàn)搜索路徑，然后利用HTMLParser編寫(xiě)包裝器進(jìn)行基于WEB頁(yè)面結(jié)構(gòu)分析的課程元數(shù)據(jù)信息抽取。第2節(jié)介紹了本文的總體思路與核心算法，重點(diǎn)介紹了抓取網(wǎng)頁(yè)的基類，并以卡耐基-梅隆大學(xué)的生態(tài)環(huán)境研究學(xué)院為例，具體敘述了專門(mén)為該學(xué)院編寫(xiě)的包裝器。第3節(jié)評(píng)測(cè)了算法的查全率，查準(zhǔn)率和F-度量，分析了本文算法的性能。第4節(jié)簡(jiǎn)單介紹了本文涉及的實(shí)現(xiàn)技術(shù)。最后，對(duì)本文的性能和擴(kuò)展做了小結(jié)，指出了針對(duì)本文改進(jìn)和發(fā)展的方向。2.1利用Google發(fā)現(xiàn)搜索路徑課程的自然組織形式為從大學(xué)、學(xué)院、教師再到課程或者從大學(xué)、學(xué)院直接到課程。因此，本文利用GoogleAJAXSearchAPI以及Google的高級(jí)搜索語(yǔ)法按以下兩種順序之一來(lái)發(fā)現(xiàn)課程信息：(1)學(xué)校→學(xué)院→教師→課程(2)學(xué)?！鷮W(xué)院→課程2.1.1GoogleAPI和高級(jí)搜索語(yǔ)法如圖1所示，為本文設(shè)計(jì)的基于Google的路徑發(fā)現(xiàn)頁(yè)面有兩個(gè)輸入框，keyword和site。用戶分別輸入關(guān)鍵字后，利用GoogleAJAXSearchAPI，將site的值提交給GwebSearch.setSiteRestriction，將keyword的值提交給GwebSearch.execute，得到Google返回的搜索結(jié)果。由于本文只需要搜索路徑，因此只顯示和保存URL地址(result.unescapedUrl)，通過(guò)XMLHTTPRequest發(fā)送給服務(wù)器，在服務(wù)器端保存需要的URL地址。Google的高級(jí)搜索語(yǔ)法[9]“inurl:someKeyword”，表示只搜索URL地址中含有“someKeyword”的頁(yè)面。“-filetype:someType”，表示過(guò)濾文件類型為“someType”的結(jié)果?！癷ntitle:someKeyword”，表示只搜索頁(yè)面標(biāo)題中含有“someKeyword”的頁(yè)面?！発ey1ORkey2”表示搜索包含關(guān)鍵字“key1”或者“key2”的結(jié)果。圖1基于GoogleAPI的頁(yè)面Fig1PagebaseonGoogleAPI2.1.2搜索路徑的發(fā)現(xiàn)步驟通過(guò)對(duì)各個(gè)學(xué)啊院的觀察，可以發(fā)現(xiàn)以下兩個(gè)重要規(guī)律：1.集中含有課程信息的頁(yè)面URL地址中含有關(guān)鍵詞“course”或者“courses”2.集中含有教師信息的頁(yè)面URL地址中含有關(guān)鍵詞“faculty”?；谝陨蟽蓚€(gè)規(guī)律，按以下步驟來(lái)發(fā)現(xiàn)搜索路徑，其中(3)(4)的搜索結(jié)果以txt形式保存于服務(wù)器上，為包裝器提供路徑。(1)大學(xué)主頁(yè)：在keyword中鍵入關(guān)鍵詞<大學(xué)名稱>“cmu”，site留空。第一個(gè)得到的結(jié)果即為/(2)學(xué)院地址：在keyword中鍵入關(guān)鍵詞<學(xué)院名稱+大學(xué)名稱>“CivilandEnvironmentalcmu”，site留空。第一個(gè)結(jié)果即為/(3)課程信息頁(yè)面：在keyword中鍵入關(guān)鍵詞<inurl:courseORcourses-filetype:pdf>，表示搜索URL地址中含有course或者courses且文件類型不是pdf的結(jié)果，site中鍵入<(2)中獲得的學(xué)院地址>“”。得到2007-course-list和2008-course-list的URL地址。(4)教師信息頁(yè)面：在keyword中鍵入關(guān)鍵詞<inurl:faculty-filetype:pdf>，表示搜索URL地址中含有faculty，且文件類型不是pdf的結(jié)果，site中鍵入<(2)中獲得的學(xué)院地址>“”。得到falculty的URL地址。2.2WEB頁(yè)面的分析和信息提取基于WEB頁(yè)面結(jié)構(gòu)分析的包裝器利用Apache的開(kāi)源項(xiàng)目——HTMLParser，使用的版本為1.6。HTMLParser是一個(gè)簡(jiǎn)單而功能強(qiáng)大的JavaHTML解析器庫(kù)，可以分析和處理WEB文檔的內(nèi)容，包括一些通用的服務(wù)器端標(biāo)簽。2.2.1基類：Extractor.java基類主要包括三個(gè)函數(shù)：(1)insert()，向Lucene的索引插入課程信息的函數(shù)(2)count()，統(tǒng)計(jì)Lucene的索引收錄的項(xiàng)(document)的數(shù)目，以便看出一次運(yùn)行添加了多少個(gè)課程(3)getDescription(Stringurl)，通過(guò)分析指定link在ScheduleOfClasses的WEB頁(yè)面結(jié)構(gòu)來(lái)獲得課程簡(jiǎn)介，算法偽代碼見(jiàn)圖2：(4)1.根據(jù)2.1獲得的URL地址初始化HTMLParser的分析器parser，設(shè)置編碼方式2.根據(jù)WEB頁(yè)面結(jié)構(gòu)選擇適合的Filter，比如本頁(yè)面要提取課程簡(jiǎn)介，則該節(jié)點(diǎn)必定含有關(guān)鍵詞Description，因此選用StringFiltercoursefilter=newStringFilter("Description")3.NodeListnodelist=過(guò)濾得到的所有Description節(jié)點(diǎn)4.if(nodelist.size()==0){//dexcription不存在，相當(dāng)于本頁(yè)不存在，因?yàn)橹灰?yè)面存在就必定含有Description結(jié)點(diǎn)returnnull;//說(shuō)明本URL地址的頁(yè)面不存在}5.else(dexcription存在){重置HTMLParser的parser，根據(jù)WEB頁(yè)面結(jié)構(gòu)選擇更加精確的filter//通過(guò)對(duì)頁(yè)面的源碼分析發(fā)現(xiàn)課程簡(jiǎn)介的源碼組織方式都為//<P><fontsize="2"face="helvetica，arial">課程簡(jiǎn)介</font>//因此設(shè)置用AndFilter將filter設(shè)置為必須同時(shí)滿足三個(gè)條件AndFilterandfilter=結(jié)點(diǎn)名為<font>+有父結(jié)點(diǎn)<p>+有size=2的屬性nodelist=過(guò)濾得到的符合andfilter的所有節(jié)點(diǎn)foreach(符合條件的節(jié)點(diǎn))if(長(zhǎng)度(String.length)大于50){//課程簡(jiǎn)介長(zhǎng)度字?jǐn)?shù)必大于50，過(guò)濾字?jǐn)?shù)小于50的節(jié)點(diǎn)returndes;}圖2getDexcription()函數(shù)偽代碼Fig2pseudocodeoffunctiongetDescription()1.初始化teacherList，數(shù)據(jù)，類型為ArrayList2.根據(jù)WEB頁(yè)面結(jié)構(gòu)選擇filter，教師名的結(jié)點(diǎn)形式為<strong>教師名</strong>，因此選用含有strong屬性的TagNameFilterfilter=newTagNameFilter("strong")3.NodeListnodelist=過(guò)濾得到的所有<strong>節(jié)點(diǎn)4.foreach(節(jié)點(diǎn))Stringtemp=<strong>節(jié)點(diǎn)的firstChildif(temp是教師名字，要過(guò)濾掉不以字母開(kāi)頭的節(jié)點(diǎn)){if(有教師主頁(yè)信息){teacher=temp;//提取教師姓名元數(shù)據(jù)teacherHome=prefix+firstname+后綴.htm;//提取教師主頁(yè)地址元數(shù)據(jù)}else(沒(méi)有教師主頁(yè)信息){教師主頁(yè)地址默認(rèn)為prefix，不為teacherHome賦值teacher=temp;//提取教師姓名元數(shù)據(jù)}將提取到的該名教師的信息加入到teacherList中去圖3getTeachers()函數(shù)偽代碼Fig3pseudocodeoffunctiongetTeachers()(2)getCourses(Stringpage，Stringsuffix)，通過(guò)分析page的頁(yè)面結(jié)構(gòu)獲得課程名稱以及教授該門(mén)課程的教師的FirstName，然后在teacherList中查找教師的全名及教師主頁(yè)。對(duì)每一個(gè)課程，調(diào)用基類的getDescription()獲得課程簡(jiǎn)介。當(dāng)課程的所有信息都取到值后，調(diào)用基類的insert()函數(shù)，將該課程插入到索引中去。算法偽代碼見(jiàn)圖4：2.2.3索引維護(hù)類抽取WEB頁(yè)面數(shù)據(jù)并將寫(xiě)入Lucene的索引之后，為了提高精度和準(zhǔn)度，編寫(xiě)了索引維護(hù)類。遍歷索引，DeleteRepeated刪除name和url兩個(gè)值都相等的項(xiàng)；SelectRealOnesForCMU根據(jù)卡耐基梅隆大學(xué)課程編號(hào)的統(tǒng)一形式，用正則匹配[0-9]{2}-[0-9]{3}，（即判斷索引中的name域的值是否以“兩個(gè)數(shù)字”+“-”+“三個(gè)數(shù)字”開(kāi)頭），如果不是，說(shuō)明不是卡耐基梅隆大學(xué)課程的索引項(xiàng)，刪除該項(xiàng)。1.調(diào)用setInfor()函數(shù)，設(shè)置了每一門(mén)課程的公共信息，本例為學(xué)校和學(xué)院2.初始化HTMLParser的分析器parser，并設(shè)置編碼方式3.分析WEB頁(yè)面結(jié)構(gòu)來(lái)選擇合適的filter，課程編號(hào)均含有12-，因此選用StringFiltercourseFilter=newStringFilter("12-");4.NodeListnodelist=過(guò)濾得到的所有課程編號(hào)節(jié)點(diǎn);5.foreach(課程編號(hào)節(jié)點(diǎn))提取元數(shù)據(jù)課程名稱=課程編號(hào)節(jié)點(diǎn)+“”+課程名節(jié)點(diǎn);提取元數(shù)據(jù)教師firstname=課程編號(hào)節(jié)點(diǎn)之后的nextSlibing節(jié)點(diǎn)，即教師firstname節(jié)點(diǎn);教師名=根據(jù)firstname在teacherList中查找得到的教師全名;教師主頁(yè)=根據(jù)firstname在teacherList中查找得到的教師主頁(yè);提取元數(shù)據(jù)課程鏈接=prefix+課程編號(hào)(不帶“-”)+suffix;提取元數(shù)據(jù)課程簡(jiǎn)介=getDescription(課程鏈接);調(diào)用基類中的函數(shù)將抓取到的課程信息插入Lucene的索引圖4getCourses()函數(shù)偽代碼Fig4pseudocodeoffunctiongetCourses()3．算法性能以卡耐基-梅隆大學(xué)的三個(gè)學(xué)院為例，來(lái)分析本系統(tǒng)算法的查全率P(Precision)，F(xiàn)度量(F-measure)。F度量讓用戶在查全率和查準(zhǔn)率上求得平衡。我們認(rèn)為垂直搜索應(yīng)該給用戶提供準(zhǔn)確的信息，因此查準(zhǔn)率的重要性大于查全率。據(jù)此，選擇查準(zhǔn)率和查全率的重要程度值=0.5，代表P的重要程度是R的2倍。圖5為F度量柱狀圖的比較。表1為R，P，F(xiàn)具體的值。從圖5可以看出，由于本文利用HTMLParser進(jìn)行基于WEB頁(yè)面結(jié)構(gòu)的課程元數(shù)據(jù)信息抽取，查準(zhǔn)率很高，均接近100%，查全率均在95%以上。但是在“課程介紹”這個(gè)元數(shù)據(jù)項(xiàng)上，F(xiàn)度量明顯低于其他域。分析其原因是課程介紹比其他項(xiàng)在WEB頁(yè)面上的結(jié)構(gòu)有更多變化。表1中，元數(shù)據(jù)項(xiàng)學(xué)校和學(xué)院是預(yù)設(shè)的，因此不作為性能分析的參考項(xiàng)。第一行數(shù)據(jù)為CarnegieInstituteofTechnology(CIT，樣本432)，第二行數(shù)據(jù)為MellonCollegeofSciences（MCS，樣本600，未提供教師信息），第三行數(shù)據(jù)為CollegeofFineArts(CFA，樣本120)。表1查全率，查準(zhǔn)率，F(xiàn)-度量的比較Tab.1ComparisonofRecall，Precision，F(xiàn)-measure4．系統(tǒng)實(shí)現(xiàn)本文的Model-View-Controller框架的實(shí)現(xiàn)基于Struts1.1。Struts是開(kāi)發(fā)基于MVC模式的應(yīng)用架構(gòu)的經(jīng)典開(kāi)源框架，是利用JavaServlet和JSP構(gòu)建Web應(yīng)用的一項(xiàng)非常有用的技術(shù)。并且利用AjaxTags(AjaxTags項(xiàng)目是在現(xiàn)有的StrutsHTML標(biāo)記庫(kù)的基礎(chǔ)上，添加對(duì)Ajax支持)的autocomplete實(shí)現(xiàn)類似于GoogleSugget的即時(shí)搜索功能；利用dom4j通過(guò)對(duì)xml文件的讀寫(xiě)實(shí)現(xiàn)實(shí)現(xiàn)“LatestKeywords”(最近搜索關(guān)鍵詞)的功能。索引的建立和搜索基于Apache的開(kāi)源項(xiàng)目——Lucene，使用的版本為2.2。Lucene是一個(gè)開(kāi)放源代碼的全文檢索引擎工具包，即一個(gè)全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。本文查詢的實(shí)現(xiàn)調(diào)用和擴(kuò)展于Lucene的查詢函數(shù)，如IndexSearcher的TermQuery詞條搜索，QueryParser字串搜索，BooleanQuery布爾搜索等等。分詞基于Lucene的中文分詞軟件—JE分詞。本搜索引擎同時(shí)支持中文和英文搜索。圖5各個(gè)學(xué)院的F度量Fig5F-measureofdifferentcolleges5．總結(jié)和展望本文提出了利用Google按照“學(xué)校-學(xué)院-教師-課程”發(fā)現(xiàn)搜索路徑，然后利用HTMLParser編寫(xiě)包裝器進(jìn)行基于WEB頁(yè)面結(jié)構(gòu)分析的課程元數(shù)據(jù)信息抽取，從而建立課程信息垂直搜索引擎的實(shí)用方法。采用包裝器的方法，對(duì)于不同的信息源都需要編寫(xiě)不同的包裝器。作者將研究采用適用性更好的HMM、CRF等統(tǒng)計(jì)模型的元數(shù)據(jù)算法。并且將利用WEB2.0的各項(xiàng)技術(shù)繼續(xù)探索實(shí)時(shí)垂直搜索的概念和實(shí)現(xiàn)，運(yùn)用Ajax技術(shù)完善課程垂直搜索引擎。參考文獻(xiàn)M.ChauandH.Chen.PersonalizedandFocusedWebSpiders.In:Zhong，N.，Liu，J.，YaoY.(eds):WebIntelligence.Springer-Verlag(2003)197-217.M.NajorkandJ.L.Wiener，“Breadth-FirstSearchCrawlingYieldsHigh-QualityPages，”P(pán)roc.10thWWWConf.，2001;/cdrom/papers/208/.J.Cho，H.Garcia-Molina，andL.Page，“EfficientCrawlingthroughURLOrdering，”P(pán)roc.7thWWWConf.，1998;.au/programme/fullpapers/1919/c