網(wǎng)絡(luò)爬蟲需求說(shuō)明書

案卷號(hào)日期網(wǎng)絡(luò)爬蟲軟件需求說(shuō)明書作者： 完成日期： 簽收人： 簽收日期： 修改情況記錄：版本號(hào)修改批準(zhǔn)人修改人安裝日期簽收人目錄TOC\o"1-5"\h\z\o"CurrentDocument"軟件需求說(shuō)明書 1\o"CurrentDocument"1 引言 31.1 編寫目的 3\o"CurrentDocument"1.2 范圍 3\o"CurrentDocument"1.3 定義 31.4 參考資料 3\o"CurrentDocument"2 項(xiàng)目概述 32.1 產(chǎn)品描述 32.2 產(chǎn)品功能 42.3 用戶特點(diǎn) 52.4 一般約束 52.5 假設(shè)和依據(jù) 6\o"CurrentDocument"3 具體需求 63.1 功能需求 6\o"CurrentDocument"3.1.1 用戶登錄 6\o"CurrentDocument"3.1.2 用戶退出 6\o"CurrentDocument"3.1.3 網(wǎng)頁(yè)遍歷 6\o"CurrentDocument"配置 9\o"CurrentDocument"統(tǒng)計(jì) 10\o"CurrentDocument"3.1.6 網(wǎng)頁(yè)快照 10\o"CurrentDocument"3.1.7 服務(wù)啟動(dòng) 11\o"CurrentDocument"3.1.8 服務(wù)終止 11\o"CurrentDocument"3.2 外部接口需求 11\o"CurrentDocument"3.2.1 用戶接口 11\o"CurrentDocument"3.2.2 硬件接口 12\o"CurrentDocument"3.2.3 軟件接口 12\o"CurrentDocument"3.2.4 通信接口 12\o"CurrentDocument"3.3 性能需求 123.4 設(shè)計(jì)約束 133.4.1 其他標(biāo)準(zhǔn)的約束 133.4.2 硬件的限制 13133.5屬性13\o"CurrentDocument"可用性 13\o"CurrentDocument"安全性 13\o"CurrentDocument"3.5.3 可維護(hù)性 133.5.4 可轉(zhuǎn)移\轉(zhuǎn)換性 13\o"CurrentDocument"警告 133.6其他需求 13\o"CurrentDocument"3.6.1 數(shù)據(jù)庫(kù) 13\o"CurrentDocument"操作 133.6.3 場(chǎng)合適應(yīng)性需求 13\o"CurrentDocument"4附錄 131引言1.1編寫目的軟件需求說(shuō)明書的編制是為了使用戶和軟件開發(fā)者雙方對(duì)該軟件的運(yùn)行環(huán)境、功能和性能需求的初始規(guī)定有一個(gè)共同的理解，使之成為整個(gè)開發(fā)工作的基礎(chǔ)，為概要設(shè)計(jì)提供需求說(shuō)明。1.2范軟件系統(tǒng)的名稱：《網(wǎng)絡(luò)爬蟲》《網(wǎng)絡(luò)爬蟲》是一個(gè)由C/C++開發(fā)，運(yùn)行在Windows平臺(tái)上的網(wǎng)絡(luò)爬蟲（蜘蛛）程序,它可以高效地從互聯(lián)網(wǎng)上獲取海量資源，這些資源包括網(wǎng)頁(yè)文本信息，圖片，其他類型的文件資源。1.3定義HTTP協(xié)議：中文名稱超文本傳送協(xié)議。英文名稱：hypertexttransportprotocol；HTTP定義：一種詳細(xì)規(guī)定了瀏覽器和萬(wàn)維網(wǎng)服務(wù)器之間互相通信的規(guī)則，通過(guò)因特網(wǎng)傳送萬(wàn)維網(wǎng)文檔的數(shù)據(jù)傳送協(xié)議。URL：統(tǒng)一資源定位符（英語(yǔ)UniformResourceLocator的縮寫）也被稱為網(wǎng)頁(yè)地址，是因特網(wǎng)上標(biāo)準(zhǔn)的資源的地址。1.4參考資料無(wú)2項(xiàng)目概述2.1產(chǎn)品描述網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁(yè)的URL開始，獲得初始網(wǎng)頁(yè)上的URL,在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。

產(chǎn)品功能軟件功能表模塊功能說(shuō)明用戶管理用戶登錄用戶名和密碼保存在配置文件中用戶登錄（網(wǎng)絡(luò)版）用戶名和密碼等數(shù)據(jù)保存在服務(wù)器的Oracle數(shù)據(jù)庫(kù)中退出網(wǎng)頁(yè)遍歷開始遍歷實(shí)時(shí)統(tǒng)計(jì)下載網(wǎng)頁(yè)個(gè)數(shù)、失敗網(wǎng)頁(yè)個(gè)數(shù)、接收到的字節(jié)數(shù)、發(fā)送字節(jié)數(shù)、平均字節(jié)數(shù)網(wǎng)頁(yè)數(shù)據(jù)保存歷史記錄保存下載的信息保存在服務(wù)器的Oracle數(shù)據(jù)庫(kù)中。結(jié)束遍歷配置修改配置本地保存路徑、啟動(dòng)線程數(shù)量、單個(gè)文件下載時(shí)限統(tǒng)計(jì)全局統(tǒng)計(jì)信息累積的統(tǒng)計(jì)信息。統(tǒng)計(jì)項(xiàng)跟實(shí)時(shí)統(tǒng)計(jì)類似。網(wǎng)頁(yè)快照搜索功能服務(wù)器服務(wù)啟動(dòng)服務(wù)終止軟件層次結(jié)構(gòu)圖網(wǎng)絡(luò)爬蟲 <載賀時(shí)統(tǒng)訃網(wǎng)絡(luò)爬蟲 <載賀時(shí)統(tǒng)訃'載統(tǒng)訂服務(wù)<1刈;<閉服勢(shì)2.3用戶特點(diǎn)2.4一般約束使用的技術(shù)：《網(wǎng)絡(luò)爬蟲》軟件體系結(jié)構(gòu)使用C/S架構(gòu)（客戶機(jī)和服務(wù)器結(jié)構(gòu)）。使用C++作為編程語(yǔ)言，利用面向?qū)ο蟮木幊趟枷雽?shí)現(xiàn).。需要使用STL（C++的標(biāo)準(zhǔn)模板庫(kù)）、WindowsAPI（多線程、網(wǎng)絡(luò)編程等）、ADO和SQL等技術(shù)。開發(fā)環(huán)境：在WindowsXP環(huán)境下，使用MicrosoftVisualStudio2010開發(fā)工具，建模工具starUML、Oracle數(shù)據(jù)庫(kù)等。2.5假設(shè)和依據(jù)3具體需求3.1功能需求3.1.1用戶登錄引言：只有合法的用戶才可以登錄系統(tǒng)。登錄系統(tǒng)很簡(jiǎn)單，只需要提供登錄的用戶名和密碼即可登錄系統(tǒng)。提供三次登錄機(jī)會(huì)?！毒W(wǎng)絡(luò)爬蟲》這個(gè)項(xiàng)目中正常不需要登錄功能，加這個(gè)功能主要考慮讓學(xué)員能夠使用面向?qū)ο蟮木幊趟枷雭?lái)實(shí)現(xiàn)，跟面向過(guò)程的編程思想做個(gè)對(duì)比。輸入：1、用戶名：字符串，最大長(zhǎng)度10。2、 密碼：字符串，最大長(zhǎng)度6。使用“*”顯示密碼。處理：1、從指定的數(shù)據(jù)源中獲得數(shù)據(jù)，判斷用戶名和密碼是否正確。如果是單機(jī)版從配置文件中讀取用戶名和密碼。如果是網(wǎng)絡(luò)版，用戶名和密碼從服務(wù)器的數(shù)據(jù)庫(kù)中獲得。2、用戶登錄時(shí)最多有三次出錯(cuò)機(jī)會(huì)。輸出：1、如果驗(yàn)證錯(cuò)誤，給用戶友好提示，并顯示剩余的次數(shù)。2、用戶名和密碼驗(yàn)證正確后，進(jìn)入主菜單界面。3.1.2用戶退出引言：用戶選擇退出時(shí)，給用戶友好提示，詢問(wèn)用戶是否確認(rèn)退出？用戶確認(rèn)后退出整個(gè)應(yīng)用程序。3.1.3網(wǎng)頁(yè)遍歷引言：輸入一個(gè)鏈接，作為第一個(gè)要下載的網(wǎng)頁(yè)。此外，一個(gè)非常重要的參數(shù)是選擇遍歷的深度，這個(gè)參數(shù)確定您遍歷某個(gè)域名能達(dá)到的最大深度，例如，每當(dāng)遍歷的深度增加1層，遍歷的Url個(gè)數(shù)可能會(huì)指數(shù)倍增長(zhǎng)。從這個(gè)網(wǎng)頁(yè)開始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到滿足深度的條件為止。輸入：參考開始遍歷功能。處理：開始遍歷 保存網(wǎng)頁(yè) 保存URL數(shù)據(jù) 結(jié)束遍歷輸出：無(wú)。開始遍歷引言:該功能遍歷玩家指定的URL功能，界面提供一個(gè)輸入U(xiǎn)RL的輸入框和深度的輸入框，起始url深度為0，在這個(gè)初始網(wǎng)頁(yè)中的所有鏈接深度是1，同樣，在這些鏈接指向的頁(yè)面中的鏈接深度為2,以此類推等等。例如：比如當(dāng)前頁(yè)面為A,爬蟲從A這個(gè)頁(yè)面有搜索到一個(gè)新的URL為B,然后以B作為新的搜索頁(yè)面繼續(xù)進(jìn)行搜索，如果在B頁(yè)面里面搜索到URL為C,這樣A（0）->B（1）->C（2）的深度為2。用戶單擊開始遍歷按鈕后，應(yīng)用程序根據(jù)下文提到的配置規(guī)則開始遍歷指定的URL,直到遍歷結(jié)束或用戶單擊下停止遍歷按鈕。輸入：1、 URL：網(wǎng)頁(yè)地址。字符串，必填，最大長(zhǎng)度100。2、 深度：遍歷某個(gè)URL能達(dá)到的最大深度。整數(shù)，范圍0~3。0代表只下載當(dāng)前一個(gè)網(wǎng)頁(yè)。處理：1、驗(yàn)證URL是否合法。2、 向網(wǎng)頁(yè)地址所在的服務(wù)器發(fā)送get請(qǐng)求，接受服務(wù)器傳過(guò)來(lái)的數(shù)據(jù)。3、 解析數(shù)據(jù)，提取URL。4、 使用多線程并發(fā)處理多個(gè)鏈接。輸出：1、 所有輸入不按規(guī)則輸入，均給出相應(yīng)錯(cuò)誤提示，提示要有針對(duì)性。輸入錯(cuò)誤的控件獲得焦點(diǎn)，并且跟其他控件有明顯的區(qū)別顯示。2、 單擊開始后，進(jìn)入實(shí)時(shí)統(tǒng)計(jì)界面。實(shí)時(shí)統(tǒng)計(jì)引言：針對(duì)此次遍歷過(guò)程中的操作進(jìn)行統(tǒng)計(jì)，主要從以下幾個(gè)方面進(jìn)行統(tǒng)計(jì)1、下載網(wǎng)頁(yè)數(shù)一共成功下載了幾個(gè)網(wǎng)頁(yè)。2、失敗網(wǎng)頁(yè)數(shù)此次遍歷過(guò)程中，下載失敗的網(wǎng)頁(yè)數(shù)量。3、發(fā)送的字節(jié)數(shù)此次遍歷過(guò)程中，經(jīng)過(guò)網(wǎng)絡(luò)發(fā)送的總字節(jié)數(shù)，指的是get請(qǐng)求。4、接收的字節(jié)數(shù)此次遍歷過(guò)程中，接收到的總字節(jié)數(shù)。5、平均傳輸速度此次遍歷過(guò)程中，平均每秒接收的字節(jié)數(shù)，以KB/S作為單位。輸入：無(wú)處理：1、每隔一秒，計(jì)算平均的傳輸速度。2、根據(jù)不同的情況累加各項(xiàng)數(shù)據(jù)。輸出：1、在界面上顯示以上5項(xiàng)數(shù)據(jù)。每一秒鐘刷新一次。網(wǎng)頁(yè)數(shù)據(jù)保存引言：開始遍歷后，在配置模塊中指定的保存路徑下創(chuàng)建一個(gè)該域名的文件夾，以后將下載到的網(wǎng)頁(yè)文件均保存到該文件夾中。，然后輸入：處理：1、 向網(wǎng)頁(yè)地址所在的服務(wù)器發(fā)送get請(qǐng)求。2、 接收網(wǎng)頁(yè)地址所在的服務(wù)器發(fā)送過(guò)來(lái)的網(wǎng)頁(yè)數(shù)據(jù)。3、 接收完畢后分析網(wǎng)頁(yè)的數(shù)據(jù)，分別再下載跟這個(gè)網(wǎng)頁(yè)有關(guān)的圖片，js和css文件等相關(guān)網(wǎng)頁(yè)資源。輸出：1、把數(shù)據(jù)保存到指定的文件夾下。文件名可以使用URL數(shù)據(jù)保存引言：每個(gè)網(wǎng)頁(yè)數(shù)據(jù)保存后，要把相關(guān)的數(shù)據(jù)發(fā)送到服務(wù)器端應(yīng)用程序并保存到數(shù)據(jù)庫(kù)中輸入：輸入的數(shù)據(jù)由之前的功能提供。1、 URL：網(wǎng)頁(yè)地址。2、 關(guān)鍵字：網(wǎng)頁(yè)中的關(guān)鍵字。vmeta>標(biāo)簽中，name屬性值為“keywords”,content屬性的內(nèi)容，例如：vmetaname="keywords"content—HTML,ASP,PHP,SQ!">,紅色部分就是網(wǎng)頁(yè)的關(guān)鍵字。3、 網(wǎng)頁(yè)保存的路徑，包含文件名。處理：1、 把數(shù)據(jù)發(fā)送到服務(wù)器端的應(yīng)用程序。2、 在服務(wù)器端的應(yīng)用程序中把數(shù)據(jù)保存到數(shù)據(jù)庫(kù)相關(guān)的表中。3、 在服務(wù)器端的應(yīng)用程序中把處理數(shù)據(jù)的結(jié)果返回給客戶端的應(yīng)用程序。輸出：無(wú)結(jié)束遍歷引言：應(yīng)用程序處于遍歷URL的狀態(tài)下，用戶按下結(jié)束遍歷功能，則結(jié)束該次遍歷操作。輸入：1、給客戶一個(gè)提示，客戶選擇“是”之后再終止遍歷。處理：1、等待正在下載的網(wǎng)頁(yè)都處理后，結(jié)束遍歷。輸出：1、在等待的過(guò)程中應(yīng)給客戶友好提示。3.1.4配置引言：通過(guò)配置這個(gè)功能修改用戶配置文件中的數(shù)據(jù)。用戶配置文件就是在用戶登錄電腦時(shí)，或是用戶在使用軟件時(shí)。軟件系統(tǒng)為用戶所要加載所需環(huán)境的設(shè)置和文件的集合。進(jìn)入配置功能時(shí)，先從用戶配置文件中讀取相關(guān)的數(shù)據(jù)，然后把配置文件中的數(shù)據(jù)顯示出來(lái)。單擊保存按鈕修改配置文件，單擊取消按鈕退回主菜單界面。如果設(shè)置有修改過(guò)應(yīng)給用戶提示友好提示，用戶確認(rèn)不保存后再退出。網(wǎng)絡(luò)爬蟲的配置文件提供了以下幾項(xiàng)設(shè)置：設(shè)置說(shuō)明保存路徑用來(lái)設(shè)置保存下載到的網(wǎng)頁(yè)文件的路徑，進(jìn)入該配置頁(yè)面時(shí)，要求提供一個(gè)默認(rèn)的保存路徑，這樣用戶如果沒(méi)有進(jìn)行配置就進(jìn)行搜索的時(shí)候，就使用該默認(rèn)值。線程數(shù)數(shù)量啟動(dòng)線程數(shù)量用來(lái)指定在應(yīng)用程序搜索整站時(shí)使用的線程數(shù)，線程數(shù)范圍為（1?10）,采用線程是為了提高并發(fā)搜索的速度。下載時(shí)限下載網(wǎng)頁(yè)文件時(shí)，有可能由于文件太大導(dǎo)致耗時(shí)太久，通過(guò)設(shè)置每個(gè)網(wǎng)頁(yè)允許的下載時(shí)限來(lái)避免此類問(wèn)題的產(chǎn)生，用秒作為單位，要求大于等于10秒服務(wù)器IP服務(wù)器的IP地址端口客戶端和服務(wù)端應(yīng)用程序之間的通訊端口輸入：1、保存路徑：必填，字符串，最大長(zhǎng)度100，相對(duì)路徑或者絕對(duì)路徑。2、線程數(shù)數(shù)量：必填，整數(shù)，范圍1~10。3、下載時(shí)限：必填，整數(shù)，秒作為單位，范圍>=10。4、 服務(wù)器IP：必填，點(diǎn)分十進(jìn)制表示，如1。每個(gè)10進(jìn)制數(shù)字取值范圍0?255。5、 端口：必填，整數(shù)，范圍1024~65535。處理：1、 判斷保存路徑是否合法，在windows操作系統(tǒng)路徑不能包含“/*?”等字符。2、 如果輸入的文件夾不存在，則應(yīng)用程序要?jiǎng)?chuàng)建一個(gè)新的目錄出來(lái)。輸出：1、 所有輸入不按規(guī)則輸入，均給出相應(yīng)錯(cuò)誤提示，提示要有針對(duì)性及友好。輸入錯(cuò)誤的控件獲得焦點(diǎn)，并且跟其他控件有明顯的區(qū)別顯示。2、 數(shù)據(jù)修改后保存到配置文件中。3、 保存成功后應(yīng)給用戶一個(gè)友好提示。3.1.5統(tǒng)計(jì)引言：沒(méi)有使用網(wǎng)頁(yè)遍歷功能前，統(tǒng)計(jì)功能中相關(guān)數(shù)據(jù)顯示都是零，統(tǒng)計(jì)功能和實(shí)時(shí)統(tǒng)計(jì)功能顯示的數(shù)據(jù)基本一樣（具體請(qǐng)參考實(shí)時(shí)統(tǒng)計(jì)功能）。統(tǒng)計(jì)功能統(tǒng)計(jì)的是累積N次使用網(wǎng)頁(yè)遍歷功能后，相關(guān)數(shù)據(jù)之和。下載網(wǎng)頁(yè)數(shù)指的是總下載網(wǎng)頁(yè)數(shù)；失敗網(wǎng)頁(yè)數(shù)指的是總失敗網(wǎng)頁(yè)數(shù)；發(fā)送的字節(jié)數(shù)指的是總發(fā)送字節(jié)數(shù)；接收的字節(jié)數(shù)指的是總接收字節(jié)數(shù)。另外一個(gè)區(qū)別的是平均傳輸速度的算法。統(tǒng)計(jì)功能中的平均速度=接收的字節(jié)數(shù)/下載總時(shí)間3.1.6網(wǎng)頁(yè)快照引言：允許用戶輸入關(guān)鍵字，從已下載的網(wǎng)頁(yè)文件中搜索出包含該關(guān)鍵字的網(wǎng)頁(yè)對(duì)應(yīng)的URL,當(dāng)用戶選中對(duì)應(yīng)的URL后，可以顯示該URL對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容（即打開該網(wǎng)頁(yè)）。輸入：1、關(guān)鍵字：必填，字符串，用于搜索。最大長(zhǎng)度20。處理：1、 把關(guān)鍵字?jǐn)?shù)據(jù)發(fā)送到服務(wù)器端。2、 服務(wù)器端應(yīng)用程序從數(shù)據(jù)庫(kù)中與關(guān)鍵字匹配的記錄。3、 服務(wù)器端應(yīng)用程序把搜索到的有關(guān)記錄返回給客戶端應(yīng)用程序。輸出：1、 沒(méi)有搜索到記錄給用戶友好提示。2、 在界面上使用列表的形式輸出從服務(wù)器端應(yīng)用程序返回的數(shù)據(jù)。輸出URL和該鏈接的關(guān)鍵字這兩項(xiàng)內(nèi)容。3、 選中對(duì)應(yīng)的URL后，調(diào)用瀏覽器打開該網(wǎng)頁(yè)。不是使用URL打開互聯(lián)網(wǎng)的網(wǎng)頁(yè)，打開的是保存在網(wǎng)頁(yè)保存路徑中的網(wǎng)頁(yè)文件。3.1.7服務(wù)啟動(dòng)引言：服務(wù)的啟動(dòng)屬于服務(wù)器端應(yīng)用程序。服務(wù)器端應(yīng)用程序啟動(dòng)后，提供兩個(gè)按鈕，一個(gè)按鈕用于服務(wù)的啟動(dòng)。一個(gè)按鈕用于服務(wù)的終止。服務(wù)啟動(dòng)后，服務(wù)器端應(yīng)用程序負(fù)責(zé)監(jiān)聽客戶端，處理客戶端發(fā)來(lái)的請(qǐng)求。在界面上顯示服務(wù)器端應(yīng)用程序的日志。輸入：接收客戶端發(fā)來(lái)的數(shù)據(jù)。處理：