資源數(shù)據(jù)采集技術(shù)方案

1、資源數(shù)據(jù)采集技術(shù)方案公司名稱2011年7月二O一一年七月目 錄第 1 部分 概述31.1 項(xiàng)目概況31.2 系統(tǒng)建設(shè)目標(biāo)31.3 建設(shè)的原則41.3.1 建設(shè)原則41.4 參考資料和標(biāo)準(zhǔn)5第 2 部分 系統(tǒng)總體框架與技術(shù)路線52.1 系統(tǒng)應(yīng)用架構(gòu)62.2 系統(tǒng)層次架構(gòu)62.3 關(guān)鍵技術(shù)與路線7第 3 部分 系統(tǒng)設(shè)計(jì)規(guī)范7第 4 部分 系統(tǒng)詳細(xì)設(shè)計(jì)7第 1 部分 概述1.1 項(xiàng)目概況Internet已經(jīng)發(fā)展成為當(dāng)今世界上最大的信息庫和全球范圍內(nèi)傳播知識(shí)的主要渠道，站點(diǎn)遍布全球的巨大信息服務(wù)網(wǎng)，為用戶提供了一個(gè)極具價(jià)值的信息源。無論是個(gè)人的發(fā)展還是企業(yè)競(jìng)爭(zhēng)力的提升都越來越多地依賴對(duì)網(wǎng)上信息資源的利

2、用。 現(xiàn)在是信息時(shí)代，信息是一種重要的資源，它在人們的生活和工作中起著重要的作用。計(jì)算機(jī)和現(xiàn)代信息技術(shù)的迅速發(fā)展，使Internet成為人們傳遞信息的一個(gè)重要的橋梁。網(wǎng)絡(luò)的不斷發(fā)展，伴隨著大量信息的產(chǎn)生，如何在海量的信息源中查找搜集所需的信息資源成為了我們今后建設(shè)在線預(yù)訂類旅游網(wǎng)重要的組成部分。因此，在當(dāng)今高度信息化的社會(huì)里，信息的獲取和信息的及時(shí)性。而Web數(shù)據(jù)采集可以通過一系列方法，依據(jù)用戶興趣，自動(dòng)搜取網(wǎng)上特定種類的信息，去除無關(guān)數(shù)據(jù)和垃圾數(shù)據(jù)，篩選虛假數(shù)據(jù)和遲滯數(shù)據(jù)，過濾重復(fù)數(shù)據(jù)。直接將信息按照用戶的要求呈現(xiàn)給用戶。可以大大減輕用戶的信息過載和信息迷失。1.2 系統(tǒng)建設(shè)目標(biāo)在線預(yù)訂類旅

3、游網(wǎng)是在線提供機(jī)票、酒店、旅游線路等旅游商品為主，涉及食、住、行、游、購、娛等多方面的綜合資訊信息、全方位的旅行信息和預(yù)訂服務(wù)的網(wǎng)站。如果用戶要搜集這一類網(wǎng)站的相關(guān)數(shù)據(jù)，通常的做法是人工瀏覽網(wǎng)站，查看最近更新的信息。然后再將之復(fù)制粘貼到Excel文檔或已有資源系統(tǒng)中。這種做法不僅費(fèi)時(shí)費(fèi)力，而且在查找的過程中可能還會(huì)遺漏，數(shù)據(jù)轉(zhuǎn)移的過程中會(huì)出錯(cuò)。針對(duì)這種情況，在線預(yù)訂類旅游網(wǎng)信息自動(dòng)采集的系統(tǒng)可以實(shí)現(xiàn)數(shù)據(jù)采集的高效化和自動(dòng)化。1.3 建設(shè)的原則1.3.1 建設(shè)原則由于在線預(yù)訂類旅游網(wǎng)的數(shù)據(jù)采集涉及的方面多、數(shù)據(jù)量大、采集源數(shù)據(jù)結(jié)構(gòu)多樣化的特點(diǎn)。因此，在進(jìn)行項(xiàng)目建設(shè)的過程中，應(yīng)該遵循以下原則：可擴(kuò)

4、充性根據(jù)實(shí)際的要求，系統(tǒng)可被方便地載減和靈活的擴(kuò)展，使系統(tǒng)能適應(yīng)變化和新情況?？梢詫?shí)現(xiàn)模塊級(jí)別的動(dòng)態(tài)擴(kuò)展，而且是運(yùn)行時(shí)的。所謂運(yùn)行時(shí)模塊的動(dòng)態(tài)擴(kuò)展，比如說你需要增加一些新的功能，你可以將新開發(fā)的類和文件按照Bundle進(jìn)行組織，然后直接扔到運(yùn)行時(shí)環(huán)境下，這些功能就可以用了。因此系統(tǒng)不會(huì)受技術(shù)改造而重新做出調(diào)整。創(chuàng)新性軟件的投資要考慮到今后的發(fā)展，不能使用落后的產(chǎn)品與技術(shù)，避免投資的浪費(fèi)；在系統(tǒng)軟件選型、開發(fā)技術(shù)上，達(dá)到國(guó)內(nèi)外先進(jìn)水平。規(guī)范性和標(biāo)準(zhǔn)性整個(gè)設(shè)計(jì)方案從網(wǎng)絡(luò)協(xié)議、操作系統(tǒng)到各個(gè)設(shè)計(jì)細(xì)節(jié)，應(yīng)該全部遵循通用的國(guó)際或行業(yè)標(biāo)準(zhǔn)，符合國(guó)家有關(guān)標(biāo)準(zhǔn)規(guī)范的。低耦合性采集系統(tǒng)與其它系統(tǒng)彼此間相對(duì)獨(dú)立，

5、直接進(jìn)行數(shù)據(jù)庫入庫、sql同步或者基于txt/xml的數(shù)據(jù)交換，保證整體系統(tǒng)的低耦合性。高效性在底層的技術(shù)實(shí)現(xiàn)上采用java語言，跨平臺(tái)，跨數(shù)據(jù)庫，運(yùn)行效率卓越。安全、穩(wěn)定、準(zhǔn)確、及時(shí)性采用先進(jìn)的算法，采用多個(gè)子系統(tǒng)和工具組成一個(gè)安全、穩(wěn)定、準(zhǔn)確、及時(shí)的解決方案。方案在總體設(shè)計(jì)上遵循穩(wěn)定、開放、可擴(kuò)展、經(jīng)濟(jì)、安全的原則，從而使整個(gè)方案組成合理，技術(shù)先進(jìn)，易于擴(kuò)展，既能滿足當(dāng)前的業(yè)務(wù)數(shù)據(jù)處理要求，又能符合長(zhǎng)期發(fā)展的需要。易操作和易維護(hù)原則整個(gè)系統(tǒng)易于維護(hù)，容易操作，易學(xué)，易用，完全通過WEB方式完成，降低維護(hù)的技術(shù)難度，也減少了人為隱患的發(fā)生。1.4 參考資料和標(biāo)準(zhǔn)主要參閱并依據(jù)以下一些參考資料

6、及標(biāo)準(zhǔn)：l 中國(guó)項(xiàng)目管理知識(shí)體系（C-PMBOK），2001.5 l GB/T 1526-1989信息處理 數(shù)據(jù)流程圖、程序流程圖、系統(tǒng)流程圖、程序網(wǎng)絡(luò)圖、系統(tǒng)資源圖的文件編制符號(hào)及約定l GB/T 8566-1995信息技術(shù) 軟件生存期過程l GB/T 8567-1988計(jì)算機(jī)軟件產(chǎn)品開發(fā)文件編制指南l GB/T 9385-1988計(jì)算機(jī)軟件需求說明編制指南l GB/T 13702-1992計(jì)算機(jī)件分類與代碼l GB/T 11457-1995軟件工程術(shù)語第 2 部分 系統(tǒng)總體框架與技術(shù)路線網(wǎng)絡(luò)信息資源采集系統(tǒng)是一套功能強(qiáng)大的網(wǎng)絡(luò)信息資源開發(fā)利用與整合系統(tǒng)，可用于定制跟蹤和監(jiān)控互聯(lián)網(wǎng)實(shí)時(shí)信息，

7、建立可再利用的信息服務(wù)系統(tǒng)。能夠從各種網(wǎng)絡(luò)信息源，包括網(wǎng)頁、BLOG、論壇等采集用戶感興趣的特定信息，經(jīng)自動(dòng)分類處理后,以多種形式提供給最終用戶使用。2.1 系統(tǒng)應(yīng)用架構(gòu)l 網(wǎng)絡(luò)蜘蛛：按照指定規(guī)則抓取網(wǎng)站數(shù)據(jù)。l 數(shù)據(jù)分析：分析從網(wǎng)絡(luò)蜘蛛來的數(shù)據(jù)，過濾掉我們不需要的信息。l 數(shù)據(jù)解析：根據(jù)指定資源格式(字段)的定義，進(jìn)行數(shù)據(jù)庫字段級(jí)別的解析。l 分組分析：根據(jù)不同的網(wǎng)絡(luò)資源類型進(jìn)行分類，并以多種存儲(chǔ)方式進(jìn)行存儲(chǔ)。2.2 系統(tǒng)層次架構(gòu)整個(gè)系統(tǒng)分為四層，分別為：l 數(shù)據(jù)層：數(shù)據(jù)層負(fù)責(zé)存儲(chǔ)抓取來的各種信息及數(shù)據(jù)，這里面包括網(wǎng)頁、文檔、關(guān)系型數(shù)據(jù)、多媒體數(shù)據(jù)等。l 支撐層：支撐層提供了關(guān)鍵的硬、軟件支

8、撐系統(tǒng)，包括應(yīng)用服務(wù)器、WEB服務(wù)器、規(guī)范接口等規(guī)范支撐系統(tǒng)。l 應(yīng)用層：在應(yīng)用層主要提供網(wǎng)絡(luò)資源采集、數(shù)據(jù)轉(zhuǎn)換、分析、處理、導(dǎo)出、發(fā)布、采集監(jiān)控、消息通知、登錄驗(yàn)證、任務(wù)計(jì)劃、認(rèn)證碼識(shí)別等服務(wù)。l 表現(xiàn)層：表現(xiàn)層通過瀏覽器等方式，為用戶提供多樣化的信息服務(wù)。2.3 關(guān)鍵技術(shù)與路線為了充分滿足本項(xiàng)目的建設(shè)：我們采用先進(jìn)、主流、可靠、實(shí)用、性價(jià)比好的三層架構(gòu)體系，充分考慮今后縱向、橫向擴(kuò)張能力。采用構(gòu)件化和面向?qū)ο蠹夹g(shù)，使系統(tǒng)具有靈活的擴(kuò)展性和良好的移植性。2.3.1 J2EE規(guī)范體系從軟件層次上看，我們采用了典型的J2EE三層架構(gòu)體系，即應(yīng)用支撐數(shù)據(jù)三層。簡(jiǎn)單地說，J2EE（Javatm 2

9、Platform Enterprise Edition）是一個(gè)標(biāo)準(zhǔn)中間件體系結(jié)構(gòu)，旨在簡(jiǎn)化和規(guī)范多層分布式應(yīng)用系統(tǒng)的開發(fā)和部署，有了它，開發(fā)者只需要集中精力編寫代碼來表達(dá)應(yīng)用的商業(yè)邏輯和表示邏輯，至于其他系統(tǒng)問題，如內(nèi)存管理，多線程，資源分布和垃圾收集等，都將由J2EE自動(dòng)完成。J2EE已經(jīng)被證明是一個(gè)穩(wěn)定的、可擴(kuò)展的、成熟的平臺(tái)，在國(guó)內(nèi)外擁有眾多成功的應(yīng)用實(shí)例。J2EE 應(yīng)用服務(wù)器（Application Server）采用目前國(guó)際最先進(jìn)的開發(fā)理念、擁有許多適合基于Internet應(yīng)用需求的特點(diǎn)：l 三層結(jié)構(gòu)體系最適合Internet環(huán)境，可以使系統(tǒng)有很強(qiáng)的可擴(kuò)展性和可管理性。l 面向?qū)ο蟆?/p>

10、組件化設(shè)計(jì)2EE是一種組件技術(shù)，已完成的模塊能方便的移植到其它地方，可以提高開發(fā)速度，降低開發(fā)成本。l 基于JAVA完全跨平臺(tái)特性與平臺(tái)無關(guān)，適應(yīng)Internet需要，并能得到大多數(shù)廠商支持，用戶可根據(jù)需要選擇合適的服務(wù)器硬件和數(shù)據(jù)庫。并且如果需要更換系統(tǒng)平臺(tái)時(shí)，J2EE也能方便的進(jìn)行移植。把J2EE三層架構(gòu)軟件體系引用到資源采集系統(tǒng)，將大大提高系統(tǒng)的可移植性、可伸縮性和可擴(kuò)展性。2.3.2 XML技術(shù)XML（eXtensible Markup Language，可擴(kuò)展標(biāo)記語言），是當(dāng)前最熱門的網(wǎng)絡(luò)技術(shù)之一，被稱為“第二代Web語言”、“下一代網(wǎng)絡(luò)應(yīng)用的基石”。自它被提出以來，幾乎得到了業(yè)界所

11、有大公司的支持。XML具有卓越的性能，它具有四大特點(diǎn)：l 優(yōu)良的數(shù)據(jù)存儲(chǔ)格式l 可擴(kuò)展性l 高度結(jié)構(gòu)化l 方便的網(wǎng)絡(luò)傳輸以XML技術(shù)作為支持，為用戶自定義應(yīng)用界面和業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)，并將其與底層數(shù)據(jù)庫定義格式、界面標(biāo)準(zhǔn)輸入、輸出的接口轉(zhuǎn)換作了實(shí)現(xiàn)，可實(shí)現(xiàn)分布式、異構(gòu)應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換。我們將在本項(xiàng)目中主要以XML為存儲(chǔ)方式，方便擴(kuò)展和數(shù)據(jù)分析。2.3.3 WEB2.0技術(shù)Web2.0，是相對(duì)Web1.0（2003年以前的互聯(lián)網(wǎng)模式）的新的一類互聯(lián)網(wǎng)應(yīng)用的統(tǒng)稱，是一次從核心內(nèi)容到外部應(yīng)用的革命，是依據(jù)“六度分隔”(注：由美國(guó)哈佛大學(xué)社會(huì)心理學(xué)教授斯坦利·米爾格蘭姆發(fā)現(xiàn)的，你和任何一個(gè)陌

12、生人之間所間隔的人不會(huì)超過六個(gè)，也就是說，最多通過六個(gè)人你就能夠認(rèn)識(shí)任何一個(gè)陌生人。)、XML、AJAX等新理論和技術(shù)實(shí)現(xiàn)的互聯(lián)網(wǎng)新一代模式。由Web1.0單純通過網(wǎng)絡(luò)瀏覽器瀏覽html網(wǎng)頁模式向內(nèi)容更豐富、聯(lián)系性更強(qiáng)、工具性更強(qiáng)的Web2.0互聯(lián)網(wǎng)模式的發(fā)展已經(jīng)成為互聯(lián)網(wǎng)新的發(fā)展趨勢(shì)。 Web1.0到Web2.0的轉(zhuǎn)變，具體的說，從模式上是單純的“讀”向“寫”、“共同建設(shè)”發(fā)展；由被動(dòng)地接收互聯(lián)網(wǎng)信息向主動(dòng)創(chuàng)造網(wǎng)絡(luò)信息邁進(jìn)。運(yùn)行機(jī)制上，由“Client Server”向“Web Services”轉(zhuǎn)變；作者由程序員等專業(yè)人士向全部普通用戶發(fā)展；應(yīng)用上由初級(jí)的“滑稽”的應(yīng)用向全面大量應(yīng)用發(fā)展。

13、采用創(chuàng)新的Ajax技術(shù)，同等網(wǎng)絡(luò)環(huán)境下，頁面響應(yīng)時(shí)間最高減少90。2.3.4 系統(tǒng)集成APIXML文檔結(jié)構(gòu)在很多方面可以方便地反映對(duì)象的結(jié)構(gòu)，這也是其適合面向?qū)ο蟮能浖夹g(shù)的一個(gè)關(guān)鍵點(diǎn)。使用XML對(duì)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行處理，它起著接口層或者封裝的作用，這樣不同的應(yīng)用程序之間，不同的操作系統(tǒng)之間，不同的數(shù)據(jù)庫之間都可以交換數(shù)據(jù)。使用XML作為數(shù)據(jù)交換工具還可以解決異構(gòu)數(shù)據(jù)庫之間的集成。對(duì)本項(xiàng)目中涉及到的數(shù)據(jù)采集、轉(zhuǎn)換、分析、處理等問題，我們將開發(fā)專用的數(shù)據(jù)接口，采用XML技術(shù)作為數(shù)據(jù)交換的頁面描述規(guī)范。XStream是一個(gè)Java和XML相互轉(zhuǎn)換的工具。使用非常的簡(jiǎn)單，并且可以自定義轉(zhuǎn)換的過程，但是

14、這個(gè)組件僅能做的就是這些最基本的工作，有了這個(gè)組件，我們可以不用考慮具體一個(gè)Java對(duì)象和XML之間問題了。第 3 部分 系統(tǒng)設(shè)計(jì)規(guī)范第 4 部分 系統(tǒng)詳細(xì)設(shè)計(jì)4.1 應(yīng)用功能設(shè)計(jì)4.1.1 資源采集我們可以使用采集，對(duì)網(wǎng)絡(luò)上的各種資源進(jìn)行挖掘。a) 采集工程：采集工作的詳細(xì)設(shè)置文件，包含了要采集的資源鏈接。1. 精確：根據(jù)指定資源格式(字段)的定義，進(jìn)行數(shù)據(jù)庫字段級(jí)別的采集。2. 蜘蛛/爬蟲：根據(jù)指定的文件匹配表達(dá)式，自動(dòng)對(duì)指定網(wǎng)站的資源進(jìn)行全面分析和采集。b) 字段：各種資源的最小單位，譬如您要采集某個(gè)網(wǎng)站的多個(gè)帖子，那么每個(gè)帖子可能包含以下字段：作者、標(biāo)題、日期、內(nèi)容等。c) 鏈頁：一些

15、帖子在多頁面里的，這種情況下您可以為帖子的內(nèi)容字段設(shè)置鏈頁屬性，自動(dòng)把多個(gè)分頁的內(nèi)容合并到內(nèi)容字段。d) 追蹤：一些資源是要從列表頁面中，通過點(diǎn)擊多個(gè)頁面才顯示的，這種情況下，您可以為內(nèi)容自動(dòng)設(shè)置跟蹤屬性，自動(dòng)獲取最終的內(nèi)容。e) 登錄驗(yàn)證：一些資源網(wǎng)站需要您登錄后才可以訪問內(nèi)容，這種情況下下，您可以為整個(gè)網(wǎng)站、每個(gè)鏈接甚至每個(gè)資源單獨(dú)定義登錄驗(yàn)證以滿足具體需求。1. 參數(shù)：這是模擬登錄需要的參數(shù)，譬如用戶名、密碼等。2. 登錄采集工程：一些網(wǎng)站的登錄認(rèn)證相當(dāng)復(fù)雜，往往會(huì)采用一些動(dòng)態(tài)參數(shù)/值，如果用固定的參數(shù)是無法滿足登錄需求的，這個(gè)時(shí)候，您可以使用采集工程來自動(dòng)獲取登錄參數(shù)的值。3. 登錄腳

16、本：如果即便使用采集工程仍然無法滿足一些特別網(wǎng)站的登錄需求，您可以使用自定義的登錄腳本來實(shí)現(xiàn)相應(yīng)的登錄認(rèn)證。f) 數(shù)據(jù)處理：1. 臟字過濾：對(duì)符合國(guó)家規(guī)定的敏感字符的過濾，還可以自定義要過濾的字符，以確保采集到的內(nèi)容符合相關(guān)法律法規(guī)。2. 垃圾內(nèi)容過濾：使用貝葉斯概率模型對(duì)已采集的內(nèi)容自動(dòng)分析判定是否為垃圾內(nèi)容，您可以自行對(duì)各種垃圾內(nèi)容進(jìn)行過濾。3. 內(nèi)容嗅探：對(duì)于Flash/Silverlight播放器，會(huì)在頁面加載之后才從后臺(tái)獲取實(shí)際的文件(.FLV/MP3/.XAP等)，您可以使用內(nèi)容嗅探實(shí)現(xiàn)對(duì)這些實(shí)際內(nèi)容的采集。4. 關(guān)鍵字/標(biāo)簽(Tag)自動(dòng)分析：利用全文分詞對(duì)采集的內(nèi)容進(jìn)行分析，自

17、動(dòng)獲取內(nèi)容的關(guān)鍵字/標(biāo)簽列表。5. 文件格式批量轉(zhuǎn)換：對(duì)大量文件的快速轉(zhuǎn)換，改變圖片或視頻的大小/添加水印/改變格式，抽取壓縮文件，Office系列文檔轉(zhuǎn)換為HTML，以多種方式修改文件名稱和內(nèi)容，修改圖片文件屬性，文本排版，文本混淆，文本簡(jiǎn)繁大小寫編碼互轉(zhuǎn)，文本切分合并，網(wǎng)頁文本互轉(zhuǎn)，不良圖片過濾，數(shù)據(jù)轉(zhuǎn)換等。g) 圖片轉(zhuǎn)換：改變圖片大小和格式，添加水印，支持jpg、bmp、png、gif、icl、jpeg等。h) 壓縮文檔：抽取/轉(zhuǎn)換/生成壓縮文檔，支持zip、rar等。i) Office文檔支持：支持doc、docx、xls、xlsx、xml、pdf、rtf等。j) 文本排版：段落智能修

18、正、去掉干擾符、修正段落首尾空格、修正標(biāo)點(diǎn)符號(hào)，支持txt,htm,eml。k) 文本切分合并：按大小、行數(shù)或段落數(shù)剪切文本內(nèi)容、和并內(nèi)容，支持txt,htm,eml。l) 不良圖片過濾：識(shí)別并過濾不良圖片，支持所有圖片。m) 數(shù)據(jù)轉(zhuǎn)換：使用自定義腳本轉(zhuǎn)換數(shù)據(jù)和文件，支持采集工程、各種數(shù)據(jù)庫和各種文件。n) 快速下載：1. 鏈接分析：復(fù)制要下載各種資源(如圖片等)的鏈接或網(wǎng)頁內(nèi)容，全自動(dòng)分析并下載到本地磁盤。2. 嗅探：復(fù)制視頻地址或內(nèi)容，全自動(dòng)分析并下載視頻，特有嗅探功能，支持所有視頻網(wǎng)站。o) 通過多線程并行采集，加快采集速度。4.1.2 數(shù)據(jù)導(dǎo)出a) 導(dǎo)出數(shù)據(jù)庫：把采集后的數(shù)據(jù)導(dǎo)出到各大

19、數(shù)據(jù)庫/數(shù)據(jù)文件中。b) 以Excel、XML等文件形式導(dǎo)出。c) 可以把文件導(dǎo)出到FTP。d) 自定義導(dǎo)出腳本。4.1.3 資源信息發(fā)布a) 采集后的數(shù)據(jù)：可以把采集后的數(shù)據(jù)，發(fā)布到指定網(wǎng)站或系統(tǒng)。b) 網(wǎng)絡(luò)請(qǐng)求：可以自定義請(qǐng)求，譬如網(wǎng)絡(luò)投票等。4.1.4 任務(wù)計(jì)劃可以指定采集、轉(zhuǎn)換、導(dǎo)出、發(fā)布、請(qǐng)求等各種任務(wù)定時(shí)執(zhí)行。a) 可啟用多個(gè)線程來完成同一個(gè)采集任務(wù)。b) 可自由設(shè)定采集網(wǎng)頁數(shù)和暫停的時(shí)間，此功能主要解決采集過快而被屏閉或禁止訪問等問題。c) 可以在采集當(dāng)中隨身暫停、啟動(dòng)或停止任務(wù)。4.1.5 消息通知能夠自動(dòng)通過多種方式（郵件、系統(tǒng)日志、系統(tǒng)聲音等）通知采集發(fā)布情況。a) 在各種任務(wù)完成之后，如采集，發(fā)布，計(jì)劃任務(wù)等。b) 監(jiān)控指定網(wǎng)站并在數(shù)據(jù)改變時(shí)。4.1.6 監(jiān)控設(shè)置當(dāng)網(wǎng)絡(luò)資源更新或采集到新