網(wǎng)頁去重策略和實現(xiàn)

網(wǎng)頁去重的策略和實現(xiàn)0 引言互聯(lián)網(wǎng)時代的到來，極大地影響了人們的日常生活，改變著人類的生活習慣。同時，也給人們帶來了極大的便利。人們越來越喜歡通過搜索引擎來查找自己想要得到的內(nèi)容和信息，這是搜索引擎技術的機遇，然而也是挑戰(zhàn)，因為人們的要求也越來越苛刻。在我們用搜索引擎搜索信息的時候，常常會遇到這樣一種情況：很多內(nèi)容相同或相似的網(wǎng)頁會被搜索引擎提交給我們。這對用戶來說，是很不便利的，不僅浪費了時間，也占用了大量的資源。同時，也降低了搜索引擎的服務效率。因而網(wǎng)頁去重技術也慢慢被人們重視起來。網(wǎng)頁去重的算法有很多種，本文重點介紹一種基于網(wǎng)頁中文字主題要素的網(wǎng)頁去重算法。1網(wǎng)頁去重的理論基礎1.1搜索引擎搜索引擎是指根據(jù)一定的策略、運用特定的計算機程序從互聯(lián)網(wǎng)上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。搜索引擎的工作原理：第一步：爬行搜索引擎是通過一種特定規(guī)律的軟件跟蹤網(wǎng)頁的鏈接，從一個鏈接爬到另外一個鏈接，像蜘蛛在蜘蛛網(wǎng)上爬行一樣，所以被稱為“蜘蛛”也被稱為“機器人”。搜索引擎蜘蛛的爬行是被輸入了一定的規(guī)則的，它需要遵從一些命令或文件的內(nèi)容。第二步：抓取存儲搜索引擎是通過蜘蛛跟蹤鏈接爬行到網(wǎng)頁，并將爬行的數(shù)據(jù)存入原始頁面數(shù)據(jù)庫。其中的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。搜索引擎蜘蛛在抓取頁面時，也做一定的重復內(nèi)容檢測，一旦遇到權重很低的網(wǎng)站上有大量抄襲、采集或者復制的內(nèi)容，很可能就不再爬行。第三步：預處理搜索引擎將蜘蛛抓取回來的頁面，進行各種步驟的預處理。除了HTML 文件外，搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我們在搜索結(jié)果中也經(jīng)常會看到這些文件類型。 但搜索引擎還不能處理圖片、視頻、Flash 這類非文字內(nèi)容，也不能執(zhí)行腳本和程序。第四步：排名用戶在搜索框輸入關鍵詞后，排名程序調(diào)用索引庫數(shù)據(jù)，計算排名顯示給用戶，排名過程與用戶直接互動的。但是，由于搜索引擎的數(shù)據(jù)量龐大，雖然能達到每日都有小的更新，但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。1.2 查全率和查準率查全率是指，查詢關鍵詞時，搜索引擎返回的相關網(wǎng)頁數(shù)與全部相關網(wǎng)頁數(shù)的比率。假如包含某關鍵詞的網(wǎng)頁實際上有N個，而搜索引擎真正檢索的只有M個，那么這個關鍵詞的查全率就等于MN100%。查全率是衡量搜索引擎檢索是否全面的度量指標。查全率越高，則表示搜索引擎的全面檢索能力越強。查準率是衡量某一檢索系統(tǒng)的信號噪聲比的一種指標，即檢出的相關文獻與檢出的全部文獻的百分比。普遍表示為：查準率=（檢索出的相關信息量/檢索出的信息總量）x100%。檢索系統(tǒng)中的匹配，分為精確匹配和模糊匹配，在文獻檢索時應根據(jù)需要選用。本文在利用模糊匹配方式提高查全率的同時，還利用基于中文字主題要素的網(wǎng)頁去重方法來提高查準率。1 網(wǎng)頁重復的原因和其他去重方法21 網(wǎng)頁重復的原因搜索過程中產(chǎn)生重復的原因主要有兩個，一個是由于URL本身的構(gòu)造原因產(chǎn)生搜索結(jié)果重復。例如，虛擬主機技術可能會使得多個不同域名映射到同一個IP，當搜索系統(tǒng)用這些域名進行搜索時，實際上搜索到的是同一個站點，導致搜索結(jié)果重復。這一類由于URL本身導致網(wǎng)頁重復的問題相對來說比較容易解決，例如，可以通過建立IP與域名的對應表、比較網(wǎng)站前幾頁網(wǎng)頁代碼等方式解決。網(wǎng)頁重復的另一個重要原因是不同網(wǎng)站之間對相同的內(nèi)容重復引用或同一站點在不同物理位置的鏡像等而導致的，這對于一些熱點內(nèi)容和重要站點尤其如此。對于這類情況，由于大量重復網(wǎng)頁不是直接對原有網(wǎng)頁進行復制，而是將轉(zhuǎn)載引用的內(nèi)容放到自己網(wǎng)頁的某個特定位置再提供給用戶，或者在鏡像時定制了網(wǎng)頁的內(nèi)容。這樣，新的網(wǎng)頁就可能在風格、布局、代碼方面與原有網(wǎng)頁有很大的差別，因而不能使用網(wǎng)頁的形式特征來對網(wǎng)頁消重，消重的依據(jù)只能是根據(jù)網(wǎng)頁的內(nèi)容特征。22 其他去重方法 目前, 網(wǎng)頁去重代表性方法有3種。 1)基于聚類的方法。該方法是基于網(wǎng)頁文本內(nèi)容以6763個漢字作為向量的基, 文本中某組或某個漢字所出現(xiàn)的頻率就構(gòu)成了代表網(wǎng)頁的向量, 通過計算向量的夾角確定是否是相同的網(wǎng)頁。 2)排除相同URL方法。各種元搜索引擎去重主要采用此方法。它分析來自不同搜索引擎的網(wǎng)頁URL, URL 相同, 即被認為是相同的網(wǎng)頁, 可將其去除。 3)基于特征碼的方法。這種方法利用標點符號多數(shù)出現(xiàn)在網(wǎng)頁文本的特點, 以句號兩邊各5 個漢字作為特征碼來唯一地表示網(wǎng)頁。3 基于文字主題要素的去重方法 選擇主題詞就是把主題概念轉(zhuǎn)換成檢索語言。 選詞的廣度和專指度對查全率和查準率起著關鍵作用, 使用規(guī)范的主題要素可以達到最佳的檢索效果。 本文針對同一網(wǎng)絡資源在不同網(wǎng)頁中的不同文字描述進行去重, 對網(wǎng)頁內(nèi)容做出客觀的分析和學習以達到網(wǎng)頁去重的目的, 規(guī)范網(wǎng)頁中文字的主題要素, 建立時間、來自于何處(版本、格式、廠家、主要行使人、地點等)與目的之間的關系, 通過建立這些關系可以表明用戶按照自己的偏好查找網(wǎng)頁的大致內(nèi)容。在進行抽取的時候, 不管是時間短語、 來自于何處短語, 還是 目的短語, 都是句子修飾的一部分, 應盡量依照標點分割的方法, 把一句話分成幾塊, 再把 塊分解成時間、 來自于何處、目的短語, 然后依照1個名詞、1個動詞相隔的查詢方法進行抽取, 先在發(fā)現(xiàn)短語的這個 塊中查找, 找不到再去相鄰的塊查找 。對這類短語, 在抽取的過程中規(guī)定了一些抽取的規(guī)則, 保證了所有抽取的一致性。 最后是提取核心詞的途徑, 主要有以下2種: 一是利用詞表選詞, 從所使用檢索工具提供的主題詞表查取, 如不同領域文摘的索引指南、名字及各類中文詞的索引庫等; 二是初查選詞, 如果在詞表中沒有查到, 先選擇課題關鍵詞在題名字段或關鍵詞字段進行初查, 然后, 瀏覽文獻記錄, 在主題詞或敘詞字段得到規(guī)范核心詞, 但一定要在主題詞或敘詞字段檢索。抽取的方式可以分為以下幾種(以下加小括號的便是可根據(jù)用戶的偏好進行抽取的)。 1) 來自于何處短語+ 時間短語+ 來自于何處短語+ 目的短語原文: 中國國務院總理溫家寶/where當?shù)貢r間2月2日下午/ time在英國劍/where(發(fā)表演講/purpose) , 演講中/p闡述應對全球性金融危機中國政府三點主張/purpose。抽取后: 溫家寶/where2 月2 日/ time 劍橋/where闡述應對危機三點主張/purpose提取的核心: 溫家寶/n 劍橋/n闡述/v三點主張/n 2) 來自于何處短語+ 目的短語+ 名詞 原文: 鄭州市/where最便宜的/ purpose日本料理店/n 在/v 中原路與花里路交叉口向東50米/where 抽取后: 鄭州市/where最便宜的/ purpose日本料理店/n 提取的核心: 鄭州/ns 最便宜的/adj 日本/ns 料理店/n 3) 來自于何處短語+ 名詞+ 來自于何處 短語+ 動詞+ 名詞+ 動詞 原文: (北京市消防局/where) 今日/ time舉行/v發(fā)布會/n通報/v央視新址北配/where發(fā)生/v火災/n因/c 業(yè)主/where 燃放/v 煙花/n 所致/c 1 /m死/v7 /m (傷/v) 抽取后: 央視新址/where 火災/n 因/c 業(yè)主/where燃放/v煙花n所致/c1 /m死/v7 /m(傷/v) 提取的核心: 央視/n 新址/n 火災/n 業(yè)主/n死/v 4) 時間短語+ 來自于何處短語+ 目的短語+ 目的短語 原文: 2009年/ time瑞星殺毒軟件/w here 最新更新/purpose包21。 22。 01 /n (路虎網(wǎng)/where) 提供/v免費下載/purpose 抽取后: 2009年/ time瑞星殺毒軟件/w here最新更新/purpose免費下載/purpose 提取的核心: 2009 /n 瑞星/n 最新更新/adj 免費/adj 下載/v4 網(wǎng)頁去重方法的實現(xiàn) 由于是根據(jù)網(wǎng)頁中文字的主題要素去重, 所以抽取的內(nèi)容就需要采用句子的模糊匹配來進行網(wǎng)頁重復性的度量。 算法設計如下。 1) 把要標識的網(wǎng)頁定義為Ui, 抽取出來的短語分別表示為T (time), W (where), P (purpose), 相對應短語抽取的句子表示為Y, 句子里面的詞分別表示為n, v, a。 也就是可以把一個網(wǎng)頁表示為U =T ( Y( ( n ) , ( v), ( a ) ) ) + W ( Y( ( n) , ( v) , ( a ) ) ) +P ( Y( ( n) , ( v) , ( a) ) ) 。 2) 計算抽取詞的短語相似度M sim = n + v +a /N + V+ A, 其中n 為相似的名詞的總數(shù), v 為相似的動詞的總數(shù), a為相似的形容詞的總數(shù), N 為句子里名詞的總數(shù), V為句子里動詞的總數(shù), P 為句子里形容詞的總數(shù)。3) 計算抽取短語的句子相似度Y sim = t+ w +p /T + W + P, 其中t為相似的時間短語的總數(shù), w為相似的來自于何處短語的總數(shù), p 為相似的目的短語的總數(shù), T 為句子里的 時間短語的總數(shù), W 為句子里來自于何處短語的總數(shù), P 為句子里目的短語的總數(shù)。由于抽取的不確定性, 在計算抽取的句子的相似度的時候, 不能只考慮抽取的名詞和動詞, 在這里還加入了抽取的核心詞的比較, 并把抽取的核心詞定義為co。 4) 計算抽取的核心詞的相似度C sim = co /C, 其中co為比較以后一致的核心詞的數(shù)量, C 為抽取的核心詞的總數(shù)。5) 利用2) 3) 4) 的結(jié)果, 計算所針對句子的精確相似度為S sim = (M sim + Ysim + C sim) /3。 通過比較相似度, 得出匹配一致的句子總數(shù)為s, 抽取出來的句子總數(shù)為S。6) 由5) 的結(jié)果可計算出網(wǎng)頁中文字的相似因子U sim = s / min(S i, S j), 其中S i, S j 分別表示第i, j個網(wǎng)頁里抽取出來的句子總數(shù)。 為了能夠準確地比較網(wǎng)頁內(nèi)容的真實性, 在這里考慮到了語言描述的誤差, 把抽取出來的短語總數(shù)定義為B, 通過比較短語相一致的短語總數(shù)為b, 然后比較抽取出來匹配的句子對應的短語相一致的總數(shù)為B sim。7) 計算短語的匹配一致性B coherence =b /B sim。8) 計算短語的可靠因子B credibility= b /B。9) 在以上步驟的基礎上給出重復度的評價函數(shù)RM = (B, B coherence, B credibility, U sim), 通過預先設定的B, B coherence, B credibility, U sim 與得到的4個參數(shù)來進行比較。 在這里把B, B credibility 這2個參數(shù)作為判斷網(wǎng)頁是否重復的標準, 而通過B coherence, U sim 這2個參數(shù)來對網(wǎng)頁進行去重, 如果大于所給定的初始的B coherence, U sim, 那么RM =1, 認為2篇新聞內(nèi)容是重復的, 其中1篇可以被替代, 在替代的時候暫且選擇內(nèi)容少的新聞被替代;否則RM = 0, 認為2篇新聞內(nèi)容是不重復的, 是不可以被替代的。5 結(jié)語本文提出的基