網(wǎng)絡(luò)爬蟲技術(shù)(新)(共5頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上網(wǎng)絡(luò)爬蟲技術(shù)網(wǎng)絡(luò)機器人1.概念：它們是Web上獨自運行的軟件程序，它們不斷地篩選數(shù)據(jù)，做出自己的 決定，能夠使用Web獲取文本或者進行搜索查詢，按部就班地完成各自的任務(wù)。2.分類：購物機器人、聊天機器人、搜索機器人（網(wǎng)絡(luò)爬蟲）等。搜索引擎1.概念：從網(wǎng)絡(luò)上獲得網(wǎng)站網(wǎng)頁資料，能夠建立數(shù)據(jù)庫并提供查詢的系統(tǒng)。2.分類（按工作原理）：全文搜索引擎、分類目錄。 1> 全文搜索引擎數(shù)據(jù)庫是依靠網(wǎng)絡(luò)爬蟲通過網(wǎng)絡(luò)上的各種鏈接自動獲取大量網(wǎng)頁信息內(nèi)容，并按一定的規(guī)則分析整理形成的。（百度、Google） 2> 分類目錄：按目錄分類的網(wǎng)站鏈接列表而已，通過人工的方式收集整理

2、網(wǎng)站資料形成的數(shù)據(jù)庫。(國內(nèi)的搜狐)網(wǎng)絡(luò)爬蟲1.概念：網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，它是一個按照一定的規(guī)則自動提取網(wǎng)頁程序，其會自動的通過網(wǎng)絡(luò)抓取互聯(lián)網(wǎng)上的網(wǎng)頁，這種技術(shù)一般可能用來檢查你的站點上所有的鏈接是否是都是有效的。當(dāng)然，更為高級的技術(shù)是把網(wǎng)頁中的相關(guān)數(shù)據(jù)保存下來，可以成為搜索引擎。搜索引擎使用網(wǎng)絡(luò)爬蟲尋找網(wǎng)絡(luò)內(nèi)容，網(wǎng)絡(luò)上的HTML文檔使用超鏈接連接了起來，就像織成了一張網(wǎng)，網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，順著這張網(wǎng)爬行，每到一個網(wǎng)頁就用抓取程序?qū)⑦@個網(wǎng)頁抓下來，將內(nèi)容抽取出來，同時抽取超鏈接，作為進一步爬行的線索。網(wǎng)絡(luò)爬蟲總是要從某個起點開始爬，這個起點叫做種子，你可以告訴它，也可以到一些網(wǎng)址列表網(wǎng)站

3、上獲取。2.區(qū)別：網(wǎng)絡(luò)爬蟲分類通用爬蟲聚集爬蟲工作原理從一個或多個初始網(wǎng)頁的URL開始，獲取初始網(wǎng)頁的URL，抓取網(wǎng)頁的同時，從當(dāng)前網(wǎng)頁提取相關(guān)的URL放入隊列中，直到滿足程序的停止條件。根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接(爬行的范圍是受控的)放到待抓取的隊列中，通過一定的搜索策略從隊列中選擇下一步要抓取的URL，重復(fù)以上步驟，直到滿足程序的停止條件。不同點1. 增加了一些網(wǎng)頁分析算法和網(wǎng)頁搜索策略2. 對被爬蟲抓取的網(wǎng)頁將會被系統(tǒng)存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索，這一過程所得到的分析結(jié)果還可能對以后的抓取過程給出反饋和指導(dǎo)。缺點1. 不同領(lǐng)

4、域、不同背景的用戶有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁。2. 通用引擎的目標(biāo)是大的網(wǎng)絡(luò)覆蓋率。3. 只支持關(guān)鍵字搜索，不支持根據(jù)語義的搜索。4. 通用搜索引擎對一些像圖片、音頻等信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無法獲取。1. 對抓取目標(biāo)的描述或定義。2. 對網(wǎng)頁和數(shù)據(jù)的分析和過濾。3. 對URL的搜索策略。以上三個是需要解決的問題。算法廣度優(yōu)先算法現(xiàn)有聚焦爬蟲對抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念3種。 基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲并索引的對象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取方式可分為： （1）預(yù)先給定的初始抓取種子樣

5、本； （2）預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等； （3）通過用戶行為確定的抓取目標(biāo)樣例，分為：a) 用戶瀏覽過程中顯示標(biāo)注的抓取樣本； b) 通過用戶日志挖掘得到訪問模式及相關(guān)樣本。 其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。3.算法/策略名稱網(wǎng)頁分析算法網(wǎng)頁搜索策略分類1基于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)1>網(wǎng)頁粒度分析算法2>網(wǎng)站粒度分析算法3>網(wǎng)頁塊粒度分析算法2基于網(wǎng)頁內(nèi)容 1>針對以文本和超鏈接為主的網(wǎng)頁 2>針對從結(jié)構(gòu)化的數(shù)據(jù)源動態(tài)生成的網(wǎng)頁。 3>針對數(shù)據(jù)介于第一類和第二類之間3基于用戶訪問行為

6、1深度優(yōu)先策略2廣度優(yōu)先策略3最佳優(yōu)先策略一些算法的介紹1> 網(wǎng)頁分析算法1.1 基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴?基于網(wǎng)頁之間的鏈接，通過已知的網(wǎng)頁或數(shù)據(jù)，來對與其有直接或間接鏈接關(guān)系的對象（可以是網(wǎng)頁或網(wǎng)站等）作出評價的算法。又分為網(wǎng)頁粒度、網(wǎng)站粒度和網(wǎng)頁塊粒度這三種。1.1.1 網(wǎng)頁(Webpage)粒度的分析算法 PageRank和HITS算法是最常見的鏈接分析算法，兩者都是通過對網(wǎng)頁間鏈接度的遞歸和規(guī)范化計算，得到每個網(wǎng)頁的重要度評價。PageRank算法雖然考慮了用戶訪問行為的隨機性和Sink網(wǎng)頁的存在，但忽略了絕大多數(shù)用戶訪問時帶有目的性，即網(wǎng)頁和鏈接與查詢主題的相關(guān)性。針對這個問題

7、，HITS算法提出了兩個關(guān)鍵的概念：權(quán)威型網(wǎng)頁（authority）和中心型網(wǎng)頁（hub）。 基于鏈接的抓取的問題是相關(guān)頁面主題團之間的隧道現(xiàn)象，即很多在抓取路徑上偏離主題的網(wǎng)頁也指向目標(biāo)網(wǎng)頁，局部評價策略中斷了在當(dāng)前路徑上的抓取行為。文獻21提出了一種基于反向鏈接（BackLink）的分層式上下文模型（Context Model），用于描述指向目標(biāo)網(wǎng)頁一定物理跳數(shù)半徑內(nèi)的網(wǎng)頁拓?fù)鋱D的中心Layer0為目標(biāo)網(wǎng)頁，將網(wǎng)頁依據(jù)指向目標(biāo)網(wǎng)頁的物理跳數(shù)進行層次劃分，從外層網(wǎng)頁指向內(nèi)層網(wǎng)頁的鏈接稱為反向鏈接。 1.1.2 網(wǎng)站粒度的分析算法 網(wǎng)站粒度的資源發(fā)現(xiàn)和管理策略也比網(wǎng)頁粒度的更簡單有效。網(wǎng)站粒度

8、的爬蟲抓取的關(guān)鍵之處在于站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與PageRank類似，但是需要對網(wǎng)站之間的鏈接作一定程度抽象，并在一定的模型下計算鏈接的權(quán)重。 網(wǎng)站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻18討論了在分布式情況下，通過對同一個域名下不同主機、服務(wù)器的IP地址進行站點劃分，構(gòu)造站點圖，利用類似PageRank的方法評價SiteRank。同時，根據(jù)不同文件在各個站點上的分布情況，構(gòu)造文檔圖，結(jié)合SiteRank分布式計算得到DocRank。文獻18證明，利用分布式的SiteRank計算，不僅大大降低了單機站點的算法代價，而且克服了單獨站點

9、對整個網(wǎng)絡(luò)覆蓋率有限的缺點。附帶的一個優(yōu)點是，常見PageRank 造假難以對SiteRank進行欺騙。 1.1.3 網(wǎng)頁塊粒度的分析算法 在一個頁面中，往往含有多個指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁的，或根據(jù)網(wǎng)頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒有對這些鏈接作區(qū)分，因此常常給網(wǎng)頁分析帶來廣告等噪聲鏈接的干擾。在網(wǎng)頁塊級別(Blocklevel)進行鏈接分析的算法的基本思想是通過VIPS網(wǎng)頁分割算法將網(wǎng)頁分為不同的網(wǎng)頁塊(page block)，然后對這些網(wǎng)頁塊建立pagetoblock和blocktopage的鏈接矩陣，分別

10、記為Z和X。于是，在pagetopage圖上的網(wǎng)頁塊級別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經(jīng)有人實現(xiàn)了塊級別的PageRank和HITS算法，并通過實驗證明，效率和準(zhǔn)確率都比傳統(tǒng)的對應(yīng)算法要好。1.2 基于網(wǎng)頁內(nèi)容的網(wǎng)頁分析算法 基于網(wǎng)頁內(nèi)容的分析算法指的是利用網(wǎng)頁內(nèi)容（文本、數(shù)據(jù)等資源）特征進行的網(wǎng)頁評價。網(wǎng)頁的內(nèi)容從原來的以超文本為主，發(fā)展到后來動態(tài)頁面（或稱為Hidden Web）數(shù)據(jù)為主，后者的數(shù)據(jù)量約為直接可見頁面數(shù)據(jù)（PIW，Publicly Indexable Web）的400500倍。另一方

11、面，多媒體數(shù)據(jù)、Web Service等各種網(wǎng)絡(luò)資源形式也日益豐富。因此，基于網(wǎng)頁內(nèi)容的分析算法也從原來的較為單純的文本檢索方法，發(fā)展為涵蓋網(wǎng)頁數(shù)據(jù)抽取、機器學(xué)習(xí)、數(shù)據(jù)挖掘、語義理解等多種方法的綜合應(yīng)用。本節(jié)根據(jù)網(wǎng)頁數(shù)據(jù)形式的不同，將基于網(wǎng)頁內(nèi)容的分析算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結(jié)構(gòu)或結(jié)構(gòu)很簡單的網(wǎng)頁；第二種針對從結(jié)構(gòu)化的數(shù)據(jù)源（如RDBMS）動態(tài)生成的頁面，其數(shù)據(jù)不能直接批量訪問；第三種針對的數(shù)據(jù)界于第一和第二類數(shù)據(jù)之間，具有較好的結(jié)構(gòu)，顯示遵循一定模式或風(fēng)格，且可以直接訪問。 1.2.1 基于文本的網(wǎng)頁分析算法 1) 純文本分類與聚類算法 很大程度上借用了文本檢索的

12、技術(shù)。文本分析算法可以快速有效的對網(wǎng)頁進行分類和聚類，但是由于忽略了網(wǎng)頁間和網(wǎng)頁內(nèi)部的結(jié)構(gòu)信息，很少單獨使用。 2) 超文本分類和聚類算法2> 網(wǎng)頁搜索策略2. 廣度優(yōu)先搜索策略 廣度優(yōu)先搜索策略是指在抓取過程中，在完成當(dāng)前層次的搜索后，才進行下一層次的搜索。該算法的設(shè)計和實現(xiàn)相對簡單。在目前為覆蓋盡可能多的網(wǎng)頁，一般使用廣度優(yōu)先搜索方法。也有很多研究將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大。另外一種方法是將廣度優(yōu)先搜索與網(wǎng)頁過濾技術(shù)結(jié)合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁，再將其中無關(guān)的網(wǎng)頁過濾掉。這些方法的缺點在于，隨著

13、抓取網(wǎng)頁的增多，大量的無關(guān)網(wǎng)頁將被下載并過濾，算法的效率將變低。 2. 最佳優(yōu)先搜索策略 最佳優(yōu)先搜索策略按照一定的網(wǎng)頁分析算法，預(yù)測候選URL與目標(biāo)網(wǎng)頁的相似度，或與主題的相關(guān)性，并選取評價最好的一個或幾個URL進行抓取。它只訪問經(jīng)過網(wǎng)頁分析算法預(yù)測為“有用”的網(wǎng)頁。存在的一個問題是，在爬蟲抓取路徑上的很多相關(guān)網(wǎng)頁可能被忽略，因為最佳優(yōu)先策略是一種局部最優(yōu)搜索算法。因此需要將最佳優(yōu)先結(jié)合具體的應(yīng)用進行改進，以跳出局部最優(yōu)點。將在第4節(jié)中結(jié)合網(wǎng)頁分析算法作具體的討論。研究表明，這樣的閉環(huán)調(diào)整可以將無關(guān)網(wǎng)頁數(shù)量降低30%90%。 3搜索引擎原理之網(wǎng)絡(luò)爬蟲是如何工作的？在互聯(lián)網(wǎng)中，網(wǎng)頁之間的鏈接關(guān)

14、系是無規(guī)律的，它們的關(guān)系非常復(fù)雜。如果一個爬蟲從一個起點開始爬行，那么它將會遇到無數(shù)的分支，由此生成無數(shù)條的爬行路徑，如果任期爬行，就有可能永遠(yuǎn)也爬不到頭，因此要對它加以控制，制定其爬行的規(guī)則。世界上沒有一種爬蟲能夠抓取到互聯(lián)網(wǎng)所有的網(wǎng)頁，所以就要在提高其爬行速度的同時，也要提高其爬行網(wǎng)頁的質(zhì)量。網(wǎng)絡(luò)爬蟲在搜索引擎中占有重要位置，對搜索引擎的查全、查準(zhǔn)都有影響，決定了搜索引擎數(shù)據(jù)容量的大小，而且網(wǎng)絡(luò)爬蟲的好壞之間影響搜索引擎結(jié)果頁中的死鏈接的個數(shù)。搜索引擎爬蟲有深度優(yōu)先策略和廣度優(yōu)先策略，另外，識別垃圾網(wǎng)頁，避免抓取重復(fù)網(wǎng)頁，也是高性能爬蟲的設(shè)計目標(biāo)。爬蟲的作用是為了搜索引擎抓取大量的數(shù)據(jù)，抓取的對象是整個互聯(lián)網(wǎng)上的網(wǎng)頁。爬蟲程序不可能抓取所有的網(wǎng)頁，因為在抓取的同時，Web的規(guī)模也在增大，所以一個好的爬蟲程序一般能夠在短時間內(nèi)抓取更多的網(wǎng)頁。一般爬蟲程序的起點都選擇在一個大型綜合型