大數(shù)據(jù)采集技術

數(shù)據(jù)采集技術主講：吳夢雪大大數(shù)據(jù)采集技術什么是大數(shù)據(jù)采集技術？大數(shù)據(jù)采集技術就是通過對數(shù)據(jù)進行ETL操作，最終挖掘出數(shù)據(jù)的潛在價值，然后提供給用戶解決方案或者決策參考。ETL，是英文Extract-Transform-Load的縮寫，數(shù)據(jù)從數(shù)據(jù)來源端經(jīng)過提取(extract)、轉換(transform)、加載(load)到目的端，然后進行處理分析的過程。大數(shù)據(jù)采集方法系統(tǒng)日志采集方法很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集。這些系統(tǒng)均采用分布式架構，能滿足每秒百MB的日志數(shù)據(jù)采集和傳輸需求。Facebook的ScribeHadoop的ChukwaCloudera的Flume大數(shù)據(jù)采集方法網(wǎng)絡數(shù)據(jù)采集方法網(wǎng)絡數(shù)據(jù)采集是指通過網(wǎng)絡爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結構化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結構化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關聯(lián)。大數(shù)據(jù)采集方法網(wǎng)絡數(shù)據(jù)采集方法

（一）四個主要模塊及功能：網(wǎng)絡爬蟲從Internet抓取網(wǎng)頁內容，并抽取出需要的屬性內容URL隊列為爬蟲提供需要抓取數(shù)據(jù)網(wǎng)絡的URL數(shù)據(jù)處理對爬蟲抓取的內容進行處理數(shù)據(jù)SiteURL，需要抓取數(shù)據(jù)網(wǎng)站的URL信息；SpiderData，爬蟲從網(wǎng)頁中抽取出來的數(shù)據(jù)；DpData，經(jīng)過dp處理之后的數(shù)據(jù)大數(shù)據(jù)采集方法網(wǎng)絡數(shù)據(jù)采集方法

（二）數(shù)據(jù)采集和處理的基本步驟：將需要抓取數(shù)據(jù)網(wǎng)站的URL信息寫入URL隊列爬蟲從URL隊列中獲取需要抓取數(shù)據(jù)網(wǎng)站的SiteURL信息爬蟲從Internet抓取對應網(wǎng)頁內容，并抽取其特征屬性的內容值爬蟲將從網(wǎng)頁中抽取的數(shù)據(jù)寫入數(shù)據(jù)庫Dp讀取SpiderData，并進行處理Dp將處理后的數(shù)據(jù)寫入數(shù)據(jù)庫大數(shù)據(jù)采集方法數(shù)據(jù)庫采集方法傳統(tǒng)企業(yè)會使用傳統(tǒng)的關系型數(shù)據(jù)庫MySQL和Oracle等來存儲數(shù)據(jù)。除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。企業(yè)每時每刻產(chǎn)生的業(yè)務數(shù)據(jù)，以數(shù)據(jù)庫一行記錄形式被直接寫入到數(shù)據(jù)庫中。通過數(shù)據(jù)庫采集系統(tǒng)直接與企業(yè)業(yè)務后臺服務器結合，將企業(yè)業(yè)務后臺每時每刻都在產(chǎn)生大量的業(yè)務記錄寫入到數(shù)據(jù)庫中，最后由特定的處理分析系統(tǒng)進行系統(tǒng)分析。大數(shù)據(jù)采集平臺ApacheFlume

Flume是Apache旗下的一款開源、高可靠、高擴展、容易管理、支持客戶擴展的數(shù)據(jù)采集系統(tǒng)。Flume使用JRuby來構建，所以依賴Java運行環(huán)境。FluentdFluentd是另一個開源的數(shù)據(jù)采集框架。Fluentd使用C/Ruby開發(fā)，使用JSON文件來統(tǒng)一日志數(shù)據(jù)。它的可插拔架構，支持各種不同種類和格式的數(shù)據(jù)源和數(shù)據(jù)輸出，同時它也提供了高可靠和很好的擴展性。TreasureData，Inc對該產(chǎn)品提供支持和維護。大數(shù)據(jù)采集平臺LogstashLogstash是著名的開源數(shù)據(jù)棧ELK(ElasticSearch,Logstash,Kibana)中的那個L。Logstash能夠動態(tài)地采集、轉換和傳輸數(shù)據(jù)，不受格式或復雜度的影響。利用Grok從非結構化數(shù)據(jù)中派生出結構，從IP地址解碼出地理坐標，匿名化或排除敏感字段，并簡化整體處理過程。Logstash用JRuby開發(fā)，所有運行時依賴JVM。SplunkForwarder

Splunk是一個分布式的機器數(shù)據(jù)平臺，主要有三個角色：SearchHead負責數(shù)據(jù)的