火車頭采集器介紹及使用流程說明

1、目錄n 一、軟件介紹n 二、創(chuàng)建任務(wù)n 三、采集網(wǎng)址n 四、采集內(nèi)容n 五、字段處理一、軟件介紹火車采集器能為您做些什么呢？1、網(wǎng)站內(nèi)容維護(hù)：可以定時采集新聞、文章等任何您想采集的內(nèi)容，并自動發(fā)布到您的網(wǎng)站。2、Internet數(shù)據(jù)挖掘：可以從指定網(wǎng)站抓取所需數(shù)據(jù)，通過分析和處理后保存到您的數(shù)據(jù)庫。3、網(wǎng)絡(luò)信息監(jiān)控：通過自動采集，可以監(jiān)控論壇等社區(qū)類網(wǎng)站，讓您第一時間發(fā)現(xiàn)您所關(guān)注的內(nèi)容。4、文件批量下載：可以批量下載PDF、RAR、圖片等各種文件，并同時采集其相關(guān)信息。火車采集器是目前信息采集與信息挖掘處理類軟件中最流行、性價比最高、使用人數(shù)最多、市場占有率最大、使用周期最長的智能采集程序。一

2、、軟件介紹 火車采集器數(shù)據(jù)發(fā)布原理：火車采集器數(shù)據(jù)發(fā)布原理：在我們將數(shù)據(jù)采集下來后數(shù)據(jù)默認(rèn)是保存在本地的，我們可以使用以下幾種方式對種據(jù)進(jìn)行處理。.不做任何處理。因?yàn)閿?shù)據(jù)本身是保存在數(shù)據(jù)庫的（access或是db3）,您如果只是想看一下，直接用相關(guān)軟件查看就可以了。.web發(fā)布到網(wǎng)站。程序會模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù)，可以實(shí)現(xiàn)您手工發(fā)布的效果。.直接入數(shù)據(jù)庫。您只需寫幾個SQL語句，程序會將數(shù)據(jù)按您的SQL語句導(dǎo)入到數(shù)據(jù)庫中。.保存為本地文件。程序會讀取數(shù)據(jù)庫里的數(shù)據(jù)，按一定格式保存為本地sql或是文本文件。二、創(chuàng)建任務(wù)打開火車頭軟件，界面如下：二、創(chuàng)建任務(wù) 1.新建分組填寫分組名稱二、創(chuàng)建

3、任務(wù)2.新建任務(wù)填寫任務(wù)名稱添加采集網(wǎng)址三、采集網(wǎng)址點(diǎn)擊“添加”按鈕出現(xiàn)如下界面三、采集網(wǎng)址切換至“批量/多頁”選項(xiàng)卡，可以批量添加網(wǎng)址 網(wǎng)址通用序號用通配符(*)替換這添加方式主要用來處理分頁網(wǎng)址三、采集網(wǎng)址切換至“其他網(wǎng)址格式”選項(xiàng)卡，也可以批量添加網(wǎng)址 網(wǎng)址通用序號用通配符(*)替換這添加方式主要用來處理含有日期的網(wǎng)址 日期格式三、采集網(wǎng)址多級網(wǎng)址采集點(diǎn)擊添加按鈕 網(wǎng)址過濾條件三、采集網(wǎng)址手動采集配置鏈接地址規(guī)則：手動連接格式是將需要的網(wǎng)址用參數(shù)來獲得并組合成我們需要的網(wǎng)址。這個好處是處理網(wǎng)址那塊有規(guī)律的網(wǎng)址很好處理。而且可以用這方法采集需要的字段，如：公告新聞類的標(biāo)題、日期等。點(diǎn)擊單選

4、按鈕來切換配置網(wǎng)址采集規(guī)則三、采集網(wǎng)址點(diǎn)擊完成之后，則出現(xiàn)如下情況：完成采集網(wǎng)址步驟之后，點(diǎn)擊“測試網(wǎng)址采集”按鈕。會出現(xiàn)如下界面：采集網(wǎng)址規(guī)則展示配置網(wǎng)址采集規(guī)則網(wǎng)址全部采集完成后，可以雙擊網(wǎng)址進(jìn)行內(nèi)容采集；如需修改則點(diǎn)擊“返回修改設(shè)置”四、采集內(nèi)容雙擊網(wǎng)址或者點(diǎn)擊測試該頁就能跳轉(zhuǎn)到采集內(nèi)容界面在典型頁面中會出現(xiàn)剛才選中的網(wǎng)址，這里就是測試采集內(nèi)容。左邊的標(biāo)簽名下面有：出處、時間、作者、內(nèi)容、標(biāo)題五個初始標(biāo)簽，可以對標(biāo)簽進(jìn)行添加、刪除和編輯等操作。四、采集內(nèi)容編輯字段規(guī)則以深交所的http:/ 前后匹配字符串四、采集內(nèi)容通過之前的方式采集可以看到內(nèi)容包含了很多的html標(biāo)簽，這些并不是所需要

5、的，因此需對其進(jìn)行處理。在數(shù)據(jù)處理項(xiàng)點(diǎn)擊添加，選中html標(biāo)簽過濾：點(diǎn)擊全選再按確定即可。處理之后的效果四、采集內(nèi)容備注：前后字符串截取與正則提取是火車頭最基本、最常用的兩種采集方式，其原理就是通過網(wǎng)頁源代碼中的前后關(guān)鍵字來獲取所要采集的內(nèi)容，通常這類前后的關(guān)鍵字在網(wǎng)頁源代碼中具有一定的唯一性。五、字段處理火車頭采集器除了有最基本的采集截取之外，還有大量的對數(shù)據(jù)自動作特殊處理的功能。內(nèi)容替換：內(nèi)容替換功能是將采集后的字段中的一些內(nèi)容替換成需要的格式，如有時采到的日期為xxxx年xx月xx日，而我們需要xxxx-xx-xx的格式，就可以采取這個功能。五、字段處理網(wǎng)頁編碼設(shè)定：每個網(wǎng)站都有一個相對應(yīng)的編碼：如UTF-8。如果選錯編碼，則采集出來的數(shù)據(jù)就會呈現(xiàn)一種亂碼格式。大多數(shù)的網(wǎng)頁編碼火車頭都可以自動識別，如不能則需要手動指定一個編碼格式。（網(wǎng)頁對應(yīng)的編碼格式通常會在源代碼的里）五、