科研進(jìn)展和開(kāi)題準(zhǔn)備.ppt

科研進(jìn)展和開(kāi)題準(zhǔn)備,面向HTML網(wǎng)頁(yè)資源的網(wǎng)頁(yè)主題信息提取研究 武洋,總體框架,一 科研成果和科研方向 成果 科研方向 二 開(kāi)題準(zhǔn)備情況 一個(gè)系統(tǒng) 三個(gè)可能創(chuàng)新點(diǎn),科研成果,學(xué)術(shù)會(huì)議pdf資源的抓取 參與法學(xué)和經(jīng)濟(jì)學(xué)領(lǐng)域web資源檢索系統(tǒng)的實(shí)現(xiàn) 協(xié)助蘇哲師兄完成網(wǎng)絡(luò)資源抓取系統(tǒng)的部分模塊，接手后續(xù)工作。,科研方向,網(wǎng)頁(yè)資源主題抓取方面的相關(guān)工作,系統(tǒng)的架構(gòu),中文PDF資源抓取系統(tǒng),英文PDF資源抓取系統(tǒng),HTML網(wǎng)頁(yè)資源抓取系統(tǒng),特色經(jīng)濟(jì)學(xué)法學(xué)類(lèi)資源抓取系統(tǒng),會(huì)議學(xué)術(shù)類(lèi)資源抓取系統(tǒng),網(wǎng)頁(yè)資源抓取的過(guò)程,1. 主題描述：研究主題描述的方式，選擇一種適合的方式描述主題，既可以與原有系統(tǒng)相融合，便于用戶(hù)使用，又可以對(duì)不同主題有較好的區(qū)分度并便于擴(kuò)展，同時(shí)又便于主題爬蟲(chóng)工作。 2. 主題爬蟲(chóng)：研究主題爬蟲(chóng)的實(shí)現(xiàn)方式，主題爬蟲(chóng)目標(biāo)是希望在盡量小的搜索空間中找到盡量多的與主題相關(guān)的資源，既需要有較高的查準(zhǔn)率，又要有較高的查全率，并保證主題不發(fā)生偏移。 3. 網(wǎng)頁(yè)分析：分析抓取到的網(wǎng)頁(yè)資源的結(jié)構(gòu)，在此基礎(chǔ)上通過(guò)某種高效的算法確定網(wǎng)頁(yè)中的主要信息塊。 4. 信息抽?。横槍?duì)包含信息量大、格式相對(duì)規(guī)范的網(wǎng)頁(yè)資源，提出一種有效的主題信息抽取算法。 5. 資源展示：針對(duì)經(jīng)濟(jì)學(xué)法學(xué)門(mén)戶(hù)知識(shí)檢索平臺(tái)，選擇一種對(duì)用戶(hù)友好的推薦資源展示界面。,存在的問(wèn)題和難點(diǎn),如何確定一種高效簡(jiǎn)潔的網(wǎng)頁(yè)分塊算法 如何迅速有效地確定網(wǎng)頁(yè)的主要信息塊 網(wǎng)頁(yè)資源的去重 網(wǎng)頁(yè)中的主題無(wú)關(guān)信息的去除 主題信息提取結(jié)果與主題的相關(guān)性評(píng)價(jià),另外一種抓取策略,Structure-driven的抓取方式，實(shí)驗(yàn)室是是基于content-driven。 針對(duì)特定門(mén)戶(hù)，精確率和召回率都很高。 Site mapping ，生成target pages map navigation pattern generation正則表達(dá)式。,Structure-driven的抓取方式,Entry point,Sample page,Target page,TPM,TPM的轉(zhuǎn)化和NP的選擇。,算法,網(wǎng)頁(yè)資源的去重,Web上的html網(wǎng)頁(yè)資源雖然千差萬(wàn)別，但仍然有大量的重復(fù)資源。這種重復(fù)可以分為以下三類(lèi)： 完全相同的重復(fù)。主要原因?yàn)槟骋粋€(gè)具有高權(quán)威的網(wǎng)頁(yè)被其他眾多的網(wǎng)頁(yè)直接援引，使用直接提供URL鏈接的方式進(jìn)行引用。這樣一個(gè)同樣的頁(yè)面的鏈接會(huì)出現(xiàn)在其他N個(gè)頁(yè)面上，在我們的主題爬蟲(chóng)去爬取時(shí)，便會(huì)得到這些重復(fù)的資源。這些網(wǎng)頁(yè)資源的URL、標(biāo)題和內(nèi)容會(huì)完全相同。 文章URL不同，但標(biāo)題和內(nèi)容相同的重復(fù)。主要原因?yàn)槠渌?yè)面將權(quán)威頁(yè)面的標(biāo)題和內(nèi)容拷貝至本地站點(diǎn)靜態(tài)存儲(chǔ)并給予不同鏈接地址。 文章URL不同，標(biāo)題也不同，但內(nèi)容完全相同或大致相同的重復(fù)。與前兩種重復(fù)方式相同的是，其他頁(yè)面對(duì)權(quán)威網(wǎng)頁(yè)進(jìn)行轉(zhuǎn)載；但卻只是轉(zhuǎn)載了權(quán)威頁(yè)面的主要內(nèi)容或主要段落，這樣得到的新的網(wǎng)頁(yè)雖然URL、標(biāo)題甚至網(wǎng)頁(yè)的結(jié)構(gòu)都與源網(wǎng)頁(yè)不同，但內(nèi)容卻完全相同或大致相同。,網(wǎng)頁(yè)去重的策略,同源網(wǎng)頁(yè)去重 基于網(wǎng)頁(yè)內(nèi)容的去重,同源網(wǎng)頁(yè)去重,構(gòu)造一個(gè)適當(dāng)?shù)墓：瘮?shù)H 可得到從網(wǎng)頁(yè)URL 字符序列到哈希值的映射,相同的URL 字符串會(huì)得到相同的哈希值,從而說(shuō)明該URL 已被下載過(guò).,基于網(wǎng)頁(yè)內(nèi)容的去重,內(nèi)容重復(fù)或近似的網(wǎng)頁(yè)在新聞?lì)惥W(wǎng)站中所占的比例是很高的. 比如：有些重要網(wǎng)頁(yè)可能被多家網(wǎng)站同時(shí)轉(zhuǎn)載(如教育部關(guān)于加強(qiáng)學(xué)校體育活動(dòng)安全防范工作的緊急通知) ,雖然它們的URL 不同(甚至標(biāo)題也略有不同,如教育部要求加強(qiáng)學(xué)校體育活動(dòng)安全防范工作的緊急通知) ,仍應(yīng)認(rèn)為是同一個(gè)內(nèi)容,不需重復(fù)下載.,基于網(wǎng)頁(yè)內(nèi)容的去重,由于自然語(yǔ)言的復(fù)雜性,一直是搜索引擎領(lǐng)域一個(gè)亟待解決的難題。其關(guān)鍵問(wèn)題是文本特征的抽取和大規(guī)模內(nèi)容的快速計(jì)算。,基于網(wǎng)頁(yè)內(nèi)容的去重,基于詞頻統(tǒng)計(jì)的方法 一種基于網(wǎng)頁(yè)文本結(jié)構(gòu)的網(wǎng)頁(yè)去重,基于詞頻統(tǒng)計(jì)的方法,通過(guò)統(tǒng)計(jì)文本中出現(xiàn)的關(guān)鍵詞的個(gè)數(shù),將高頻詞作為文本特征來(lái)計(jì)算相似度。由于一篇文章的詞頻很難被修改,這種方法的召回率很高。但是對(duì)于一些新聞?lì)}材或模板類(lèi)的文章,由于關(guān)鍵詞非常相似,常常會(huì)引起誤判,準(zhǔn)確率較低。,一種基于網(wǎng)頁(yè)文本結(jié)構(gòu)的網(wǎng)頁(yè)去重,對(duì)網(wǎng)頁(yè)文本結(jié)構(gòu)有標(biāo)識(shí)性作用的HTML結(jié)標(biāo)簽和項(xiàng)目編號(hào)或符號(hào)賦予一定的權(quán)值,然后依據(jù)自然段權(quán)值的大小來(lái)生成目錄結(jié)構(gòu)