火車頭采集器介紹與使用流程說(shuō)明_第1頁(yè)
火車頭采集器介紹與使用流程說(shuō)明_第2頁(yè)
火車頭采集器介紹與使用流程說(shuō)明_第3頁(yè)
火車頭采集器介紹與使用流程說(shuō)明_第4頁(yè)
火車頭采集器介紹與使用流程說(shuō)明_第5頁(yè)
已閱讀5頁(yè)，還剩23頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

火車頭采集器介紹與使用流程說(shuō)明第一頁(yè)，共28頁(yè)。目錄一、軟件介紹二、創(chuàng)建任務(wù)三、采集網(wǎng)址四、采集內(nèi)容五、字段處理第二頁(yè)，共28頁(yè)。一、軟件介紹《火車采集器》能為您做些什么呢？

1、網(wǎng)站內(nèi)容維護(hù)：可以定時(shí)采集新聞、文章等任何您想采集的內(nèi)容，并自動(dòng)發(fā)布到您的網(wǎng)站。

2、Internet數(shù)據(jù)挖掘：可以從指定網(wǎng)站抓取所需數(shù)據(jù)，通過(guò)分析和處理后保存到您的數(shù)據(jù)庫(kù)。

3、網(wǎng)絡(luò)信息監(jiān)控：通過(guò)自動(dòng)采集，可以監(jiān)控論壇等社區(qū)類網(wǎng)站，讓您第一時(shí)間發(fā)現(xiàn)您所關(guān)注的內(nèi)容。

4、文件批量下載：可以批量下載PDF、RAR、圖片等各種文件，并同時(shí)采集其相關(guān)信息。

火車采集器是目前信息采集與信息挖掘處理類軟件中最流行、性價(jià)比最高、使用人數(shù)最多、市場(chǎng)占有率最大、使用周期最長(zhǎng)的智能采集程序。第三頁(yè)，共28頁(yè)。一、軟件介紹火車采集器數(shù)據(jù)發(fā)布原理：在我們將數(shù)據(jù)采集下來(lái)后數(shù)據(jù)默認(rèn)是保存在本地的，我們可以使用以下幾種方式對(duì)種據(jù)進(jìn)行處理。１.不做任何處理。因?yàn)閿?shù)據(jù)本身是保存在數(shù)據(jù)庫(kù)的（access或是db3）,您如果只是想看一下，直接用相關(guān)軟件查看就可以了。２.web發(fā)布到網(wǎng)站。程序會(huì)模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù)，可以實(shí)現(xiàn)您手工發(fā)布的效果。３.直接入數(shù)據(jù)庫(kù)。您只需寫幾個(gè)SQL語(yǔ)句，程序會(huì)將數(shù)據(jù)按您的SQL語(yǔ)句導(dǎo)入到數(shù)據(jù)庫(kù)中。４.保存為本地文件。程序會(huì)讀取數(shù)據(jù)庫(kù)里的數(shù)據(jù)，按一定格式保存為本地sql或是文本文件。第四頁(yè)，共28頁(yè)。二、創(chuàng)建任務(wù)打開火車頭軟件，界面如下：第五頁(yè)，共28頁(yè)。二、創(chuàng)建任務(wù)1.新建分組填寫分組名稱第六頁(yè)，共28頁(yè)。二、創(chuàng)建任務(wù)2.新建任務(wù)填寫任務(wù)名稱添加采集網(wǎng)址第七頁(yè)，共28頁(yè)。三、采集網(wǎng)址點(diǎn)擊“添加”按鈕出現(xiàn)如下界面第八頁(yè)，共28頁(yè)。三、采集網(wǎng)址切換至“批量/多頁(yè)”選項(xiàng)卡，可以批量添加網(wǎng)址

網(wǎng)址通用序號(hào)用通配符(*)替換這添加方式主要用來(lái)處理分頁(yè)網(wǎng)址第九頁(yè)，共28頁(yè)。三、采集網(wǎng)址切換至“其他網(wǎng)址格式”選項(xiàng)卡，也可以批量添加網(wǎng)址

網(wǎng)址通用序號(hào)用通配符(*)替換這添加方式主要用來(lái)處理含有日期的網(wǎng)址

日期格式第十頁(yè)，共28頁(yè)。三、采集網(wǎng)址多級(jí)網(wǎng)址采集點(diǎn)擊‘添加’按鈕

網(wǎng)址過(guò)濾條件第十一頁(yè)，共28頁(yè)。三、采集網(wǎng)址手動(dòng)采集配置鏈接地址規(guī)則：手動(dòng)連接格式是將需要的網(wǎng)址用參數(shù)來(lái)獲得并組合成我們需要的網(wǎng)址。這個(gè)好處是處理網(wǎng)址那塊有規(guī)律的網(wǎng)址很好處理。而且可以用這方法采集需要的字段，如：公告新聞?lì)惖臉?biāo)題、日期等。點(diǎn)擊單選按鈕來(lái)切換配置網(wǎng)址采集規(guī)則第十二頁(yè)，共28頁(yè)。三、采集網(wǎng)址點(diǎn)擊完成之后，則出現(xiàn)如下情況：完成采集網(wǎng)址步驟之后，點(diǎn)擊“測(cè)試網(wǎng)址采集”按鈕。會(huì)出現(xiàn)如下界面：采集網(wǎng)址規(guī)則展示配置網(wǎng)址采集規(guī)則網(wǎng)址全部采集完成后，可以雙擊網(wǎng)址進(jìn)行內(nèi)容采集；如需修改則點(diǎn)擊“返回修改設(shè)置”第十三頁(yè)，共28頁(yè)。四、采集內(nèi)容雙擊網(wǎng)址或者點(diǎn)擊‘測(cè)試該頁(yè)’就能跳轉(zhuǎn)到采集內(nèi)容界面在典型頁(yè)面中會(huì)出現(xiàn)剛才選中的網(wǎng)址，這里就是測(cè)試采集內(nèi)容。左邊的標(biāo)簽名下面有：出處、時(shí)間、作者、內(nèi)容、標(biāo)題五個(gè)初始標(biāo)簽，可以對(duì)標(biāo)簽進(jìn)行添加、刪除和編輯等操作。第十四頁(yè)，共28頁(yè)。四、采集內(nèi)容編輯字段規(guī)則以深交所的為例：現(xiàn)在要提取標(biāo)題，日期和信息內(nèi)容。第十五頁(yè)，共28頁(yè)。四、采集內(nèi)容打開

頁(yè)面并查看該頁(yè)的HTML源代碼。在源代碼中可以找到頁(yè)面中的標(biāo)題部分，如圖：復(fù)制這段代碼以及前后的相關(guān)html代碼，將標(biāo)題內(nèi)容設(shè)為”參數(shù)”之后，通過(guò)正則匹配的方式獲取：如圖：匹配規(guī)則測(cè)試效果情況第十六頁(yè)，共28頁(yè)。四、采集內(nèi)容同樣可以用這類似的方式來(lái)采集信息內(nèi)容：還是先通過(guò)內(nèi)容附近的關(guān)鍵字段：采集效果：

前后匹配字符串第十七頁(yè)，共28頁(yè)。四、采集內(nèi)容通過(guò)之前的方式采集可以看到內(nèi)容包含了很多的html標(biāo)簽，這些并不是所需要的，因此需對(duì)其進(jìn)行處理。在數(shù)據(jù)處理項(xiàng)點(diǎn)擊添加，選中html標(biāo)簽過(guò)濾：點(diǎn)擊‘全選’再按‘確定’即可。處理之后的效果第十八頁(yè)，共28頁(yè)。四、采集內(nèi)容備注：前后字符串截取與正則提取是火車頭最基本、最常用的兩種采集方式，其原理就是通過(guò)網(wǎng)頁(yè)源代碼中的前后關(guān)鍵字來(lái)獲取所要采集的內(nèi)容，通常這類前后的關(guān)鍵字在網(wǎng)頁(yè)源代碼中具有一定的唯一性。第十九頁(yè)，共28頁(yè)。五、字段處理火車頭采集器除了有最基本的采集截取之外，還有大量的對(duì)數(shù)據(jù)自動(dòng)作特殊處理的功能。內(nèi)容替換：內(nèi)容替換功能是將采集后的字段中的一些內(nèi)容替換成需要的格式，如有時(shí)采到的日期為xxxx年xx月xx日，而我們需要xxxx-xx-xx的格式，就可以采取這個(gè)功能。第二十頁(yè)，共28頁(yè)。五、字段處理網(wǎng)頁(yè)編碼設(shè)定：每個(gè)網(wǎng)站都有一個(gè)相對(duì)應(yīng)的編碼：如UTF-8。如果選錯(cuò)編碼，則采集出來(lái)的數(shù)據(jù)就會(huì)呈現(xiàn)一種亂碼格式。大多數(shù)的網(wǎng)頁(yè)編碼火車頭都可以自動(dòng)識(shí)別，如不能則需要手動(dòng)指定一個(gè)編碼格式。（網(wǎng)頁(yè)對(duì)應(yīng)的編碼格式通常會(huì)在源代碼的<head>里）第二十一頁(yè)，共28頁(yè)。五、字段處理循環(huán)采集處理循環(huán)采集就是在一個(gè)頁(yè)面中用相同的采集方式獲取字段：

以為例：如果要獲取深交所法規(guī)的所有標(biāo)題字段。配置采集規(guī)則后，只需勾選在“該標(biāo)簽循環(huán)匹配”即可。選中即可第二十二頁(yè)，共28頁(yè)。五、字段處理采集記錄篩選有時(shí)有些記錄不需要怎么辦？火車采集器的記錄篩選功能可以完成這個(gè)工作。火車采集器記錄篩選有以下幾個(gè)處理方法：選中“內(nèi)容過(guò)濾”就可對(duì)數(shù)據(jù)進(jìn)行相關(guān)的過(guò)濾，如不得為空、不得重復(fù)等。第二十三頁(yè)，共28頁(yè)。標(biāo)簽組合有時(shí)我們會(huì)需要取幾個(gè)字段來(lái)做數(shù)據(jù)的唯一性判斷時(shí)就會(huì)用到標(biāo)簽組合采集。注：標(biāo)簽組合時(shí)需注意標(biāo)簽的前后順序，組合后的標(biāo)簽必須在最下面不然就會(huì)報(bào)錯(cuò)。五、字段處理第二十四頁(yè)，共28頁(yè)。文件下載功能火車頭采集還提供了一個(gè)下載附件的功能，同樣以為例：配置完采集規(guī)則之后，需將網(wǎng)址補(bǔ)全，因?yàn)榇蠖嗑W(wǎng)頁(yè)源代碼中都是相對(duì)路徑。操作如下：點(diǎn)擊添加，選中“補(bǔ)全單網(wǎng)址”，之后點(diǎn)擊文件下載，勾選“探測(cè)文件并下載”即可。五、字段處理附件下載情況第二十五頁(yè)，共28頁(yè)。五、字段處理附件下載配置好之后，還需給個(gè)文件存放路徑及文件保存格式。通常保存格式為原文件名或自增長(zhǎng)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論