WEB數(shù)據(jù)采集系統(tǒng)

1、WEEB 據(jù)采集系統(tǒng),概述面對(duì)互聯(lián)網(wǎng)海量的信息，政府機(jī)關(guān)、企事業(yè)單位和研究機(jī)構(gòu)都迫切希望獲取與自身工作相關(guān)的有價(jià)值信息，如何方便快捷地獲取這些信息就變得至關(guān)重要了。如果采用原始的手工收集方式，費(fèi)時(shí)費(fèi)力且毫無效率，面對(duì)越來越多的信息資源，勞動(dòng)強(qiáng)度和難度可想而知。因此，現(xiàn)代的政府和企業(yè)都迫切需要一種能夠提供高質(zhì)量和高效運(yùn)作的信息采集解決方案。本系統(tǒng)針對(duì)不同行業(yè)用戶的應(yīng)用需求，以抓取互聯(lián)網(wǎng)為目的，實(shí)現(xiàn)在用戶自定義規(guī)則下，從互聯(lián)網(wǎng)中抓取指定信息。抓取的信息可存入數(shù)據(jù)庫或直接入庫發(fā)送至指定欄目，實(shí)現(xiàn)網(wǎng)站信息及時(shí)更新和數(shù)據(jù)量提升，從而使得搜索引擎收錄量提升，擴(kuò)大企業(yè)信息宣傳推廣力度。工典型應(yīng)用1.政府機(jī)關(guān)

2、實(shí)時(shí)跟蹤、采集與業(yè)務(wù)工作相關(guān)的信息來源。全面滿足內(nèi)部工作人員對(duì)互聯(lián)網(wǎng)信息的全局觀測(cè)需求。及時(shí)解決政務(wù)外網(wǎng)、政務(wù)內(nèi)網(wǎng)的信息源問題，實(shí)現(xiàn)動(dòng)態(tài)發(fā)布?？焖俳鉀Q政府主網(wǎng)站對(duì)各地級(jí)子網(wǎng)站的信息獲取需求。全面整合信息，實(shí)現(xiàn)政府內(nèi)部跨地區(qū)、跨部門的信息資源共享與有效溝通。節(jié)約信息采集的人力、物力、時(shí)間，提高辦公效率。2 .企業(yè)實(shí)時(shí)準(zhǔn)確地監(jiān)控、追蹤競(jìng)爭(zhēng)對(duì)手動(dòng)態(tài)，是企業(yè)獲取競(jìng)爭(zhēng)情報(bào)的利器。及時(shí)獲取競(jìng)爭(zhēng)對(duì)手的公開信息以便研究同行業(yè)的發(fā)展與市場(chǎng)需求。為企業(yè)決策部門和管理層提供便捷、多途徑的企業(yè)戰(zhàn)略決策工具。大幅度地提高企業(yè)獲取、利用情報(bào)的效率，節(jié)省情報(bào)信息收集、存儲(chǔ)、挖掘的相關(guān)費(fèi)用，是提高企業(yè)核心競(jìng)爭(zhēng)力的關(guān)鍵。提高企

3、業(yè)整體分析研究能力、市場(chǎng)快速反應(yīng)能力，建立起以知識(shí)管理為核心的“競(jìng)爭(zhēng)情報(bào)數(shù)據(jù)倉庫”，是提高企業(yè)核心競(jìng)爭(zhēng)力的神經(jīng)中樞。3 .新聞媒體快速準(zhǔn)確地自動(dòng)采集數(shù)信息。支持每天對(duì)數(shù)萬條新聞進(jìn)行有效抓取。支持對(duì)所需內(nèi)容的智能提取、審核。實(shí)現(xiàn)互聯(lián)網(wǎng)信息內(nèi)容采集、瀏覽、編輯、管理、發(fā)布的一體化系統(tǒng)構(gòu)架工作過程描述采集的目的就是把對(duì)方網(wǎng)站上網(wǎng)頁中的某塊文字或者圖片等資源下載到自己的站網(wǎng)上，這個(gè)過程需要做如下配置工作：下載網(wǎng)頁配置，解析網(wǎng)頁配置，修正結(jié)果配置，數(shù)據(jù)輸出配置。如果數(shù)據(jù)符合自己要求，修正結(jié)果這步可省略。配置完畢后，把配置形成任務(wù)（任務(wù)以 XMLXML 格式描述），采集系統(tǒng)按照任務(wù)的描述開始工作，最終把采

4、集到的結(jié)果存儲(chǔ)到網(wǎng)站服務(wù)器上O工作流程圖如下:采里任務(wù)發(fā)價(jià)采里任務(wù)發(fā)價(jià)數(shù)據(jù)處理邏輯圖:四.系統(tǒng)功能根據(jù)用戶事先配置好的規(guī)則（網(wǎng)頁下載規(guī)則，網(wǎng)頁解析規(guī)則等），進(jìn)行數(shù)據(jù)采集。當(dāng)對(duì)方網(wǎng)站數(shù)據(jù)進(jìn)行了更新，或者添加新數(shù)據(jù)時(shí)，系統(tǒng)自動(dòng)會(huì)進(jìn)行檢測(cè)，并進(jìn)行采集，然后更新到自己的數(shù)據(jù)庫（或者別的存儲(chǔ)方式），這個(gè)過程不再需要人工干涉。五.技術(shù)特點(diǎn)1 1 . .支持多種網(wǎng)頁編碼格式，也可以人工設(shè)置編碼格式。支持各國(guó)語言的網(wǎng)站。2 2 . .支持圖片，軟件，音樂，視頻，flashflash 等多種格式資源的下載。3 3 . .支持采集結(jié)果輸出的多樣性，可以使用不同輸出插件進(jìn)行輸出，也可以自己開發(fā)輸出插件。4 4 .

5、.采集配置分為三個(gè)部分：網(wǎng)頁爬蟲配置，網(wǎng)頁解析配置，采集任務(wù)配置。以上三者可以自由搭配，便于重復(fù)利用已設(shè)置完畢的配置。5 5 . .可定制的數(shù)據(jù)解析和抽取?？梢宰杂膳渲靡杉木W(wǎng)絡(luò)元數(shù)據(jù)，并可以對(duì)每個(gè)網(wǎng)絡(luò)元數(shù)據(jù)自定義字段名。便于后續(xù)信息處理。6 6 . .采集爬蟲采用多任務(wù)、多數(shù)據(jù)源管理。7 7 . .每個(gè)任務(wù)下可以指定多個(gè)采集入口網(wǎng)站。8 8 . .采集條件設(shè)置，可以針對(duì)不同任務(wù)下的入口網(wǎng)站設(shè)置采集路徑、重點(diǎn)頁面、采集網(wǎng)址過濾等控制條件?？刂茥l件采用正則表達(dá)式。9 9 . .運(yùn)行配置，采集運(yùn)行過程中使用的爬蟲名稱、個(gè)數(shù)、數(shù)據(jù)更新頻度等均可以由用戶進(jìn)行配置。1010 . .自動(dòng)識(shí)別文本中的圖片

6、信息，并且自動(dòng)下載到本地，并替換文本中的圖片 URUR 西本地URLURL1111 . .管理控制臺(tái)可以監(jiān)控采集過程的運(yùn)行情況。六.系統(tǒng)優(yōu)勢(shì)1.精確度高用戶可以按照自身需要自行選擇、設(shè)定監(jiān)測(cè)的目標(biāo)網(wǎng)站和特定信息源，實(shí)施2424 小時(shí)不間斷監(jiān)測(cè)和采集，信息動(dòng)態(tài)始終處于掌握之中。系統(tǒng)支持將網(wǎng)頁中的信息內(nèi)容按日期、標(biāo)題、作者、欄目進(jìn)行提取，過濾網(wǎng)頁中的無用信息。擴(kuò)展抓取采集范圍可以精確到特定網(wǎng)站、特定欄目、特定頁面、特定區(qū)域。2 .易用性好系統(tǒng)參數(shù)設(shè)置簡(jiǎn)單，一次設(shè)置多次使用。設(shè)置過程直觀、便捷。3 .靈活性強(qiáng)系統(tǒng)具有很強(qiáng)的靈活性，可按需選擇目標(biāo)站點(diǎn)，并根據(jù)形勢(shì)的變化，隨時(shí)更換目標(biāo)站點(diǎn)。用戶可直接到某

7、一網(wǎng)站抓取用戶想要的特定欄目下的信息，它僅僅要求用戶設(shè)定特定的抓取條件，用戶需要的內(nèi)容就會(huì)自動(dòng)被抓取和保存下來，從而實(shí)現(xiàn)由用戶上網(wǎng)找信息轉(zhuǎn)變?yōu)樾畔⒆詣?dòng)流向用戶的方式。4 .實(shí)施部署容易系統(tǒng)用戶界面友好，抓取服務(wù)器在任意瀏覽器下運(yùn)行，實(shí)施部署過程簡(jiǎn)單，即裝即用。5 .采集內(nèi)容全面適應(yīng)網(wǎng)站內(nèi)容格式的多變性，能完整地獲取需要采集的頁面，遺漏少，網(wǎng)頁采集內(nèi)容的完整性在 99%99%以上。6 .抓取速度快系統(tǒng)支持多線程處理技術(shù)，支持運(yùn)行多條線程的同時(shí)抓取?？煽焖俑咝У貙?duì)目標(biāo)站點(diǎn)或欄目進(jìn)行信息采集，大大加快了信息的抓取速度，保證在同等單位時(shí)間內(nèi)信息的抓取量成倍數(shù)增長(zhǎng)。七.系統(tǒng)界面展示管理房登附用戶:y醛證

8、碼：醛證碼：匚二匚二: :“70口口新詞條集管理新詞條集管理G、第一次使用本功能，請(qǐng)修改采篋基本設(shè)置；學(xué)、來藕前清墉輯采集項(xiàng)目，測(cè)試項(xiàng)目確定無誤后再進(jìn)行來雋*操作導(dǎo)航：操作導(dǎo)航：管理首頁I添加添加新項(xiàng)目I采集魅設(shè)式I分樊設(shè)置分競(jìng)顯示；|選擇分類三I管理導(dǎo)航:添加新主欄目分羹管哩編號(hào)欄目分類硼窗鶻項(xiàng)操作150新聞速加下級(jí)欄目修改刪除173卜信用卡添加下錨超目修敵刪除172卜民間貸款添加不皴欄目修政m171卜車輛質(zhì)押貸款添加下級(jí)欄目修改刪除170卜房產(chǎn)抵押貸款漆加下爨欄目修改刪除16。悻艮行貨需逮加下級(jí)粗目修改刪除153卜信用貸款卜信用貸款添加下鍛欄目修改刪盼北同采除言哽我晚印、奈一次能用右動(dòng)施，

9、肉蟋矽票母呈五值五？國(guó)、柔藏芾謂淚穌免口，則lit領(lǐng)口黨定無誤后再班行三原*操作孑公二苜伸首頁1季加湎頂口1事幕屏本簧置1微/工分類顯示“潮會(huì)m項(xiàng)目管嶷就項(xiàng)目右稱國(guó)耳分堂斫腐專題狀密上次采生城作r和詛網(wǎng)-里行卡費(fèi)訊信用卡無指定若拒V2013/5/1517：36:51豆制串箱采集到試用除匚后差網(wǎng)一一票相岫現(xiàn)茍一更民間卷款無定有鹿V尚無記錄史制洞朝梟其引同陽碌口然同一一質(zhì)拜貨我前一百民,日將范無指定當(dāng)拗V周五記錄復(fù)制消情采集劉同HI除r忌越網(wǎng)一一但將耍蛇的一無民同受教前自定有招V百無記錄后制煙憫采里患試用除C后繞網(wǎng)一一企北貸防一貢民間押款無指定主題V尚無記錄復(fù)制帽箍碼式|訶陽碌夠網(wǎng)-三車抵扣尾一瓦

10、至格百律發(fā)款無指定專拍V周天記錄復(fù)制瑞信鐳制說，|除r易以網(wǎng)一一二手車費(fèi) M 我-3車格方峻款和自定專柩V尚無詔最匿制沂鼻親隼患試用除r遇貨網(wǎng)一一汽車貸款第一貢主吊再峻教無指塞當(dāng)題V尚無記錄0 制洞海茶 M 測(cè)恒陽蟀r夠用一網(wǎng)貸款第一頁用聲林松及歌無指定妄歸d百天記錄型制端情礴制說，|除r舄原網(wǎng)住房低押第一菽后戶抵雌款無指定有電V尚無記錄稟制汩鼻采里翻付陽造后后囹一印、第一代使用本功能，請(qǐng)信政先奠基本設(shè)置：不隼前謂編輯采金項(xiàng)目5Mti頁日瀛天課遂石系第。操作分航：操作分航：管理首向I型加新地目I天集基點(diǎn)役者I分類置采集系統(tǒng)歷史記錄管理管理導(dǎo)航：管理首頁1成功記錄1失敗記錄1失效記錄歷史記錄-所有記錄送攆項(xiàng)目名稱_和訊網(wǎng)一銀行卡資1ft標(biāo)題頻道程目來源菇果入庫操作日月持卡人消費(fèi)僖心道期戒幼無指定頻道信用卡點(diǎn)擊仍問成功者刪除r劉訊網(wǎng)一酒行卡資鬻黑黑色分廣發(fā)