網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)完整版

年4月19日網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)完整版文檔僅供參考，不當(dāng)之處，請聯(lián)系改正。網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)摘要網(wǎng)絡(luò)爬蟲將下載的網(wǎng)頁和收集到的網(wǎng)頁信息存儲在本地數(shù)據(jù)庫中以供搜索引擎使用，它是一個專門從萬維網(wǎng)上下載網(wǎng)頁并分析網(wǎng)頁的程序。隨著網(wǎng)絡(luò)的快速發(fā)展，人們對搜索引擎的要求也越來越高，而網(wǎng)絡(luò)爬蟲的效率直接影響著搜索引擎的質(zhì)量。本課題研究的是通用網(wǎng)絡(luò)爬蟲，它是從一個或若干個初始網(wǎng)頁的鏈接開始進而得到一個鏈接隊列。伴隨著網(wǎng)頁的抓取又不斷從抓取到的網(wǎng)頁中抽取新鏈接放入到鏈接隊列中，直到爬蟲系統(tǒng)滿足了停止條件。該課題主要涉及到了緩沖池技術(shù)，多線程技術(shù)，套接字技術(shù)，HTTP和SSL協(xié)議，正則表示式，Linux網(wǎng)絡(luò)編程技術(shù)，PHP+Apache的使用等相關(guān)技術(shù)。本說明書敘述的網(wǎng)絡(luò)爬蟲是以LinuxC實現(xiàn)的，加以PHP語言編寫的界面使用戶更加方面的操作，利用Shell腳本和Apache服務(wù)器使得爬蟲系統(tǒng)和界面很好的結(jié)合在一起。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲緩沖池正則表示式SSL協(xié)議多線程

目次1引言 11.1課題選題背景 11.2課題研究的意義 22需求分析 32.1功能需求分析 32.2系統(tǒng)性能分析 43系統(tǒng)設(shè)計 53.1系統(tǒng)工作流程圖 53.2數(shù)據(jù)結(jié)構(gòu)設(shè)計 63.3系統(tǒng)各功能流程圖 74系統(tǒng)實現(xiàn) 104.1相關(guān)技術(shù)分析 104.2系統(tǒng)功能模塊的實現(xiàn) 115測試與結(jié)果 17結(jié)論 23致謝 24參考文獻 251引言隨著網(wǎng)絡(luò)技術(shù)日新月異的發(fā)展，互聯(lián)網(wǎng)儼然已成為信息的最大載體。為了能夠在浩瀚的信息海洋中精確地查詢用戶所需要的信息，搜索引擎技術(shù)應(yīng)運而生。當(dāng)前比較流行的搜索引擎是Google和百度，她們擁有著龐大的用戶數(shù)量。作為搜索引擎的重要組成部分，網(wǎng)絡(luò)爬蟲的設(shè)計直接影響著搜索引擎的質(zhì)量。網(wǎng)絡(luò)爬蟲是一個專門從萬維網(wǎng)上下載網(wǎng)頁并分析網(wǎng)頁的程序。它將下載的網(wǎng)頁和采集到的網(wǎng)頁信息存儲在本地數(shù)據(jù)庫中以供搜索引擎使用。網(wǎng)絡(luò)爬蟲的工作原理是從一個或若干初始網(wǎng)頁的鏈接開始進而得到一個鏈接隊列。伴隨著網(wǎng)頁的抓取又不斷從抓取到的網(wǎng)頁里抽取新的鏈接放入到鏈接隊列中，直到爬蟲程序滿足系統(tǒng)的某一條件時停止。本說明書對課題背景進行簡單介紹的同時，又對研究網(wǎng)絡(luò)爬蟲的意義進行了敘述，在此基礎(chǔ)上，詳細的介紹來了利用C語言在linux系統(tǒng)上開發(fā)出多線程網(wǎng)絡(luò)爬蟲的設(shè)計步驟。1.1課題選題背景搜索引擎是用戶在網(wǎng)上沖浪時經(jīng)常使用的一種工具，毫無疑問，每個用戶都能夠經(jīng)過搜索引擎得到自己所需要的網(wǎng)絡(luò)資源。搜索引擎一詞在互聯(lián)網(wǎng)領(lǐng)域得到廣泛的應(yīng)用，可是每個地區(qū)對它又有著不同的理解。在一些歐美國家搜索引擎常常是基于因特網(wǎng)的，它們經(jīng)過網(wǎng)絡(luò)爬蟲程序采集網(wǎng)頁，而且索引網(wǎng)頁的每個詞語，也就是全文檢索。而在一些亞洲國家，搜索引擎一般是基于網(wǎng)站目錄的搜索服務(wù)。總的來說：搜索引擎只是一種檢索信息的工具。它的檢索方式分為以下兩種：一種是目錄型的方式，爬蟲程序把網(wǎng)絡(luò)的資源采集在一起，再根據(jù)資源類型的不同而分成不同的目錄，然后繼續(xù)一層層地進行分類，人們查詢信息時就是按分類一層層進入的，最后得到自己所需求的信息。另一種是用戶經(jīng)常使用的關(guān)鍵字方式，搜索引擎根據(jù)用戶輸入的關(guān)鍵詞檢索用戶所需資源的地址，然后把這些地址反饋給用戶。1.2課題研究的意義網(wǎng)絡(luò)在我們的生活中越來越重要，網(wǎng)絡(luò)的信息量也越來越大，研究該課題能夠更好的理解網(wǎng)絡(luò)爬蟲在搜索引擎中的作用以及網(wǎng)絡(luò)爬蟲的原理?，F(xiàn)實中，一般的服務(wù)器大多是linux系統(tǒng)該課題更好的配合了linux系統(tǒng)上運行爬蟲程序，加上界面更容易操作。21世紀是一個講究信息安全的時代，于是網(wǎng)站上出現(xiàn)了越來越多的https(超文本傳輸安全協(xié)議)協(xié)議的鏈接,該課題很好的利用了SSL協(xié)議解決了下載https協(xié)議鏈接的問題。設(shè)備的內(nèi)存是珍貴的，如何更加合理有效地利用內(nèi)存提高內(nèi)存的利用率是值得研究的，該課題為了解決內(nèi)存的利用使用了內(nèi)存池來提高內(nèi)存的使用率。2需求分析網(wǎng)絡(luò)爬蟲是一個專門從萬維網(wǎng)上下載網(wǎng)頁并分析網(wǎng)頁的程序。它將下載的網(wǎng)頁和收集到的信息存儲在本地數(shù)據(jù)庫中以供搜索引擎使用。網(wǎng)絡(luò)爬蟲的工作原理是從一個或若干初始網(wǎng)頁的鏈接開始進而得到一個鏈接隊列。伴隨著網(wǎng)頁的抓取又不斷從抓取到的網(wǎng)頁里抽取新的鏈接放入到鏈接隊列中，直到爬蟲程序滿足系統(tǒng)的某一條件時停止。它是搜索引擎的重要組成部分。2.1功能需求分析網(wǎng)頁下載功能能夠下載任何http協(xié)議和https協(xié)議的鏈接的網(wǎng)頁。構(gòu)造HTTP請求中的GET請求。分析HTTP響應(yīng)請求。網(wǎng)頁分析功能提取網(wǎng)頁標題。提取網(wǎng)頁關(guān)鍵字。提取網(wǎng)頁摘要。提取網(wǎng)頁鏈接并統(tǒng)計數(shù)量。把新鏈接加入到URL隊列。內(nèi)存池功能能夠分配固定大小的內(nèi)存。能夠回收內(nèi)存對象。能夠釋放內(nèi)存對象。能夠銷毀內(nèi)存池。能夠分配固定大小的內(nèi)存。保存功能能夠正確保存網(wǎng)頁以及網(wǎng)頁信息到文件。功能把系統(tǒng)運行中的異常寫入日志文件。界面能夠配置參數(shù)和運行后臺的爬蟲系統(tǒng)。能夠查看運行結(jié)果。2.2系統(tǒng)性能分析當(dāng)用戶使用系統(tǒng)時，系統(tǒng)需要能夠?qū)τ谝恍┊惓顩r系統(tǒng)能夠記錄并跳過此異常繼續(xù)執(zhí)行。系統(tǒng)需要具有較高的可移植性和可靠性。系統(tǒng)需要具有很好的可測試性和可維護性。網(wǎng)絡(luò)爬蟲系統(tǒng)是不停的從萬維網(wǎng)上下載網(wǎng)頁和采集網(wǎng)頁信息的系統(tǒng)。由于網(wǎng)絡(luò)爬蟲系統(tǒng)是搜索引擎的組成部分，搜索引擎要利用到爬蟲系統(tǒng)的信息，因此系統(tǒng)要設(shè)計合理的存儲文件并建立索引。3系統(tǒng)設(shè)計3.1系統(tǒng)工作流程圖本系統(tǒng)經(jīng)過IE共同訪問Apache服務(wù)器的發(fā)布的頁面、Apache服務(wù)器返回頁面方便用戶操作。系統(tǒng)物理結(jié)構(gòu)如圖3-1：圖3-1系統(tǒng)物理結(jié)構(gòu)圖界面的流程如圖3-2：圖3-2頁面結(jié)構(gòu)圖.網(wǎng)絡(luò)爬蟲系統(tǒng)流程如圖3-3：圖3-3系統(tǒng)流程圖3.2數(shù)據(jù)結(jié)構(gòu)設(shè)計系統(tǒng)中主要是使用了鏈表作為URL隊列，而鏈表中的每個結(jié)構(gòu)體是一個數(shù)據(jù)單元，數(shù)據(jù)單元中的元素及其含義如表3-1：表3-1數(shù)據(jù)結(jié)構(gòu)表字段類型含義hostchar*網(wǎng)頁所在的主機portint網(wǎng)絡(luò)服務(wù)器所使用的端口dirchar*網(wǎng)頁所在的目錄pagechar*網(wǎng)頁文件名filechar*本地保存的文件名pageinfochar*保存網(wǎng)頁信息的文件名urlchar*存儲網(wǎng)頁鏈接titlechar*網(wǎng)頁的標題keywordschar*網(wǎng)頁的關(guān)鍵字bodychar*網(wǎng)頁的摘要protocalchar連接使用的協(xié)議0-http1--httpsurl_countint網(wǎng)頁中的鏈接數(shù)目typechar*網(wǎng)頁類型codechar*網(wǎng)頁編碼page_sizeint網(wǎng)頁大小is_handledchar是否處理過brotherstrcut*兄弟節(jié)點鏈表指針childstruct*子節(jié)點鏈表指針系統(tǒng)把初始的鏈接保存在了init_url文件中；把一些異常情況保存在了crawl.log文件中；把下載的網(wǎng)頁文件保存在了page_db文件夾中；把網(wǎng)頁信息文件保存在page_info文件夾中；把網(wǎng)頁中鏈接文件保存在了page_url文件夾中；把網(wǎng)頁文件名稱，網(wǎng)頁信息文件名稱，網(wǎng)頁鏈接文件名稱保存在link.db文件中。3.3系統(tǒng)各功能流程圖主模塊功能流程圖如圖3-5：圖3-4主模塊流程圖需要說明的問題：指向內(nèi)存池的是一個全局變量指針。初始的URL必須從文件中讀取，然后調(diào)用函數(shù)get_host()解析出URL的host,page,dir,port。必須要有全局變量指向URL隊列的頭。功能模塊流程圖如圖3-6：圖3-5下載模塊流程圖需要說明的問題：啟動線程下載。對于GET請求不變動的部分使用宏定義。在鏈接服務(wù)器前需要建立socket套接字并進行域名解析。注意HTTP報文頭的接受。功能模塊流程圖如圖3-7：圖3-6解析模塊流程圖需要說明的問題：利用系統(tǒng)函數(shù)把網(wǎng)頁讀入內(nèi)存。利用正則表示式提取相關(guān)信息。把一個網(wǎng)頁的URL寫入文件保存。功能模塊流程圖如圖3-8：圖3-7界面流程圖需要說明的問題：配置界面配置爬行深度的參數(shù)必須大于0。每個界面必須有返回按鈕和返回首頁的按鈕。配置界面輸入的URL不能為空。4系統(tǒng)實現(xiàn)4.1相關(guān)技術(shù)分析4.1.1操作系統(tǒng)能夠運行多線程還不到40年，但線程的出現(xiàn)帶來了很多正面影響，使用多線程具有以下好處：和進程相比，多線程是多任務(wù)操作中十分“節(jié)儉”的方式。在Linux操作系統(tǒng)中，開啟新進程來達到多任務(wù)工作的目的是十分"昂貴"的，因為必須給新進程分配獨立的地址空間以及用來維護代碼段的眾多數(shù)據(jù)表、堆棧段、數(shù)據(jù)段。而多個線程共享相同的內(nèi)存空間和大部分數(shù)據(jù)，因此啟動一個線程跟啟動一個進程在所花費的空間上有很大的差別，同時，在啟動需要的時間上線程要遠遠小于進程。通信機制。由于進程具有獨立的數(shù)據(jù)空間，因此進程間只能經(jīng)過通信的方式進行數(shù)據(jù)傳遞，顯然這種方式是耗時又不方便的。由于線程共享數(shù)據(jù)空間的特性，因此線程與線程通信更加方便。當(dāng)然共享特性也帶了一定的數(shù)據(jù)不一致的風(fēng)險，但能夠經(jīng)過鎖機制來解決。4.1申請內(nèi)存空間幾乎是每個系統(tǒng)必須涉及到的，而直接使用系統(tǒng)函數(shù)malloc和free進行內(nèi)存分配和釋放會產(chǎn)生額外的開銷而且頻繁使用還會產(chǎn)生大量內(nèi)存碎片從而降低程序運行效率，同時還容易造成內(nèi)存泄漏。內(nèi)存池很好的解決了直接調(diào)用系統(tǒng)函數(shù)所帶來的問題。也就說使用內(nèi)存池進行內(nèi)存申請、釋放要比使用malloc和free方式快，系統(tǒng)開銷??；不會造成內(nèi)存碎片或有很少的內(nèi)存碎片同時內(nèi)存池很好的避免了內(nèi)存泄漏。4.1.3正則表示式在本說明書所敘述的網(wǎng)絡(luò)爬蟲系統(tǒng)中在提取網(wǎng)頁中鏈接、提取網(wǎng)頁標題等功能函數(shù)中使用了正則表示式。正則表示式是Linux系統(tǒng)中一種非常重要的字符串搜索模式，是一組規(guī)則字符的集合。這些規(guī)則字符能夠組成我們所需要的搜索規(guī)則，效率高、功能強，能夠極大地簡化處理字符串時的復(fù)雜度。雖然標準C是不支持正則表示式的，可是能夠在POSIX函數(shù)庫中的regex系列函數(shù)的輔助下在程序中運用它們。4.1SSL的全稱是SecureSocketsLayer，它是一個為基于TCP的應(yīng)用層協(xié)議提供安全連接的安全協(xié)議，為網(wǎng)絡(luò)上數(shù)據(jù)的傳輸提供安全性保證，因而被廣泛應(yīng)用于網(wǎng)上銀行、電子商務(wù)等金融領(lǐng)域。SSL提供的安全連接(如https)能夠?qū)崿F(xiàn)：連接的私密性：傳輸?shù)臄?shù)據(jù)是利用對稱密鑰進行加密，并利用RSA加密傳輸對稱密鑰算法中使用的密鑰。身份驗證：對服務(wù)器和客戶端進行身份驗證的方法是基于證書利用數(shù)字簽名實現(xiàn)的。SSL服務(wù)器和客戶端經(jīng)過公鑰基礎(chǔ)設(shè)施提供的機制從認證機構(gòu)獲取證書。連接的可靠性：使用基于密鑰的消息驗證碼來檢驗傳輸消息的完整性。消息驗證碼是將密鑰和隨機數(shù)轉(zhuǎn)換為定長數(shù)據(jù)的一種算法。SSL協(xié)議本身能夠分為兩層：底層為SSL記錄協(xié)議（SSLrecordprotocol）；上層為SSL握手協(xié)議（SSLhandshakeprotocol）、SSL密碼變化協(xié)議（SSLchangecipherspecprotocol）和SSL警告協(xié)議（SSLalertprotocol）。4.2系統(tǒng)功能模塊的實現(xiàn)主模塊主要事件流：調(diào)用內(nèi)存池模塊創(chuàng)立內(nèi)存池返回指向內(nèi)存池的指針并在程序結(jié)尾銷毀內(nèi)存池。初始URL隊列。調(diào)用下載模塊和分析模塊。異常事件流：創(chuàng)立內(nèi)存池失敗。初始URL隊列失敗。重要編碼實現(xiàn)： cache=object_cache_create(sizeof(WEBNODE),OBJECT_COUNT); confp=fopen(CONF_PATH,"r"); crawl_deep=atoi(buf); rfp=fopen(FILE_PATH,"r"); while() { get_host(); add_init_node(); }handle_init_node(nodeheader,FIRST); object_cache_destroy(cache);內(nèi)存池模塊主要事件流：創(chuàng)立內(nèi)存池。銷毀內(nèi)存池。分配內(nèi)存對象?；厥諆?nèi)存對象。釋放內(nèi)存對象。異常事件流：申請大塊內(nèi)存失敗。分配內(nèi)存對象失敗。釋放內(nèi)存塊失敗。模塊重要函數(shù)接口：intobject_cache_init(object_cache_t*cache,size_tunit_size,unsignedcount);接口功能：初始化對象緩存。針對已有的緩存結(jié)構(gòu)進行初始化；若count為0，則初始化后緩存中不包含可用對象在第一次申請時創(chuàng)立OBJECT_CACHE_DEFAULT_COUNT數(shù)目的對象。voidobject_cache_free(object_cache_t*cache);接口功能：釋放對象緩存內(nèi)部存儲。object_cache_t*object_cache_create(size_tunit_size,unsignedcount);接口功能：創(chuàng)立對象緩存池。unit_size單個對象大小；count初始對象數(shù)目，同樣作為自動擴大的數(shù)目。voidobject_cache_destroy(object_cache_t*cache);接口功能：銷毀對象緩存池，同時銷毀緩存中的所有對象。void*object_new(object_cache_t*cache);接口功能：從緩存中獲取一個新對象intobject_del(object_cache_t*cache,void*object);接口功能：將對象釋放到緩存中。下載模塊主要事件流：構(gòu)造GET請求。鏈接服務(wù)器。發(fā)送GET請求。接受網(wǎng)站返回的數(shù)據(jù)。異常事件流：鏈接網(wǎng)站服務(wù)器失敗。發(fā)送請失敗。接受網(wǎng)站返回數(shù)據(jù)失敗重要代碼實現(xiàn)：staticintget_https_page(intsockfd,WEBNODE*node,char*request){ SSL_library_init(); OpenSSL_add_all_algorithms(); SSL_load_error_strings(); ctx=SSL_CTX_new(SSLv23_client_method()); ssl=SSL_new(ctx); SSL_set_fd(ssl,sockfd); if(SSL_connect(ssl)) else SSL_get_cipher(ssl); len=SSL_write(ssl,request,strlen(request)); while() {。。。接受報文頭。。。 } while() fclose(localfp);} 解析模塊主要事件流：把網(wǎng)頁讀入內(nèi)存。提取網(wǎng)頁標題。提取網(wǎng)頁關(guān)鍵字。提取網(wǎng)頁類型和編碼。提取網(wǎng)頁鏈接。檢查鏈接是否處理過。異常事件流：向URL隊列添加鏈接。網(wǎng)頁讀入內(nèi)存失敗。打開文件失敗。重要代碼實現(xiàn)：structnode_t*getinfo(constchar*page,constchar*pattern[]){nodearr=malloc(maxnode*sizeof(structnode_t));for(i=0;pattern[i];i++){regcomp(®,pattern[i],REG_EXTENDED|REG_ICASE);p=page;while(1){ret=regexec(®,p,NRM,rm,0);maxnode+=ADDNODESTEP;nodearr=realloc(nodearr,maxnode*sizeof(structnode_t));ret=addnode(nodearr,nnode,newpattern,rm);p=page+ret;}regfree(®);}nodearr[nnode].begin=-1;nodearr[nnode].end=-1;qsort(nodearr,nnode,sizeof(structnode_t),nodecmp);}界面主要事件流：能夠設(shè)置參數(shù)和添加網(wǎng)頁鏈接。能夠顯示參數(shù)和鏈接并能夠?qū)λ齻冞M行基本的操作。能夠執(zhí)行后臺的爬蟲系統(tǒng)。能夠顯示執(zhí)行結(jié)果。異常事件流：添加不合法的數(shù)據(jù)。其它功能模塊主要事件流：讀取現(xiàn)在的時間。保存及時數(shù)據(jù)。異常事件流:打開文件失敗。5測試與結(jié)果對界面的測試：能夠經(jīng)過界面把數(shù)據(jù)寫入文件并能夠從文件中讀出在頁面上顯示。返回和執(zhí)行按鈕能夠正常的使用。數(shù)據(jù)的修改和刪除功能能夠正常使用。但對于異常數(shù)據(jù)沒有進行判斷以致不合法的數(shù)據(jù)也能夠?qū)懭肱渲梦募?。對爬蟲程序的測試：輸入不合法的URL。能夠把錯誤類型寫入日志文件。輸入各種類型的URL，只對http和https鏈接處理其它鏈接被視為異常。對系統(tǒng)速度的測試：經(jīng)過多次運行計算平均數(shù)值。得到系統(tǒng)的運行效率不是很高。平均每秒大約下載3個網(wǎng)頁。測試移植性：把系統(tǒng)移植到其它的linux系統(tǒng)上運行大多是缺少openssl庫而致使系統(tǒng)出錯?？偟膩碚f系統(tǒng)沒有出現(xiàn)系統(tǒng)無響應(yīng)，處于死機狀態(tài)，需要其它人工修復(fù)系統(tǒng)才可復(fù)原這樣的嚴重錯誤。經(jīng)過多測試和修改系統(tǒng)現(xiàn)已能夠正常運行。配置界面和效果圖如下：圖5-1使用linux命令行運行系統(tǒng)的效果圖圖5-2配置界面圖說明：設(shè)置參數(shù)把參數(shù)寫進了set.conf文件。添加網(wǎng)址把網(wǎng)址寫進了init_url文件。執(zhí)行爬蟲程序按鈕是觸發(fā)系統(tǒng)運行。圖5-3運行之后的效果圖說明：點擊查看日志按鈕出現(xiàn)的效果圖為圖5-4。點擊查看網(wǎng)頁信息出現(xiàn)效果圖為圖5-5。點擊查看網(wǎng)頁中的鏈接出現(xiàn)效果圖為圖5-6.點擊打開網(wǎng)頁出現(xiàn)效果圖為圖5-7。圖5-4顯示日志文件效果圖圖5-5網(wǎng)頁信息效果圖圖5-6網(wǎng)頁鏈接信息效果圖圖5-7顯示網(wǎng)頁效果圖Linux下數(shù)據(jù)文件存儲的格式如圖5-8圖5-8linux下數(shù)據(jù)文件效果圖說明：page_db文件夾中存放的文件如圖5-9。page_info文件夾中存放的文件如圖5-10。page_url文件夾中存放的問價如圖5-11。圖5-9網(wǎng)頁文件效果圖圖5-10網(wǎng)頁信息文件效果圖圖5-11網(wǎng)頁中的鏈接效果圖結(jié)論該系統(tǒng)主要實現(xiàn)了一下功能：http和https協(xié)議鏈接網(wǎng)頁的下載并把網(wǎng)頁中的鏈接解析出來存放在文件中，把網(wǎng)頁中的標題，關(guān)鍵字，摘要解析出來存放在文件中。把鏈接存放在URL隊列中。該系統(tǒng)現(xiàn)已能夠順利的運行，有很好的健壯性，可持續(xù)性。雖然系統(tǒng)能夠正常的運行，可是由于本人的經(jīng)驗不足和時間有限，以及對一些相關(guān)的技術(shù)、思想、理論掌握的還不夠透徹，因此本系統(tǒng)中還存在許多不足、許多待完善的地方：現(xiàn)有的網(wǎng)絡(luò)爬蟲系統(tǒng)對除了http和https協(xié)議的鏈接能夠下載外，對其它協(xié)議的鏈接均按異常情況處理。對于后綴是.shtm和.shml的網(wǎng)頁不能夠下載。這些不足之處，會在今后的學(xué)習(xí)中不斷的完善和維護，希望能夠達到更好的效果。參考文獻[1]萬源，萬方，王大震．一種并行Crawler系統(tǒng)中的URL分配算法設(shè)計口．計算機工程與應(yīng)用，[2]蔣宗禮，趙欽，肖華，等．高性能并行爬行器．計算機工程與設(shè)計，[3]張三峰，吳國新．一種面向動態(tài)異構(gòu)網(wǎng)絡(luò)的容錯非對稱DHT方法．計算機研究與發(fā)展，[4]余錦，史樹明．分布式網(wǎng)頁排序算法及其傳輸模式分析．計算機工程與應(yīng)用，[5]沈賀丹，潘亞楠．關(guān)于搜索引擎的研究綜述．計算