數(shù)據(jù)采集和預(yù)處理方式高效培訓(xùn)教案

1、數(shù)據(jù)采集和預(yù)處理方式高效培訓(xùn)教案 教授，清華大學(xué)博士?，F(xiàn)任南京大數(shù)據(jù)研究院院長(zhǎng)、中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長(zhǎng)、中國(guó)大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟副理事長(zhǎng)。 主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級(jí)科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編的被全國(guó)高校普遍采用，被引用量排名中國(guó)計(jì)算機(jī)圖書第一名。創(chuàng)辦了知名的中國(guó)云計(jì)算（）和中國(guó)大數(shù)據(jù)（）網(wǎng)站。 曾率隊(duì)奪得2002 PennySort國(guó)際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國(guó)高?？萍急荣愖罡擢?jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。 榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等

2、稱號(hào)。第二章數(shù)據(jù)采集與預(yù)處理2.12.2數(shù)據(jù)預(yù)處理原理2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具習(xí)題全國(guó)高校標(biāo)準(zhǔn)教材?云計(jì)算?姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用大數(shù)據(jù)采集架構(gòu)of4232.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理如今，社會(huì)中各個(gè)機(jī)構(gòu)、部門、公司、團(tuán)體等正在實(shí)時(shí)不斷地產(chǎn)生大量的信息，這些信息需要以簡(jiǎn)單的方式進(jìn)行處理，同時(shí)又要十分準(zhǔn)確且能迅速滿足各種類型的數(shù)據(jù)信息需求者。這給我們帶來了許多挑戰(zhàn)，第一個(gè)挑戰(zhàn)就是在大量的數(shù)據(jù)中收集需要的數(shù)據(jù)，下面介紹常用的大數(shù)據(jù)采集工具。of424概述2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理FlumeChukwaScribleKafka大數(shù)據(jù)采集工具of4252

3、.1.2 常用大數(shù)據(jù)采集工具數(shù)據(jù)采集最傳統(tǒng)的方式是企業(yè)自己的生產(chǎn)系統(tǒng)產(chǎn)生的數(shù)據(jù)，除上述生產(chǎn)系統(tǒng)中的數(shù)據(jù)外，企業(yè)的信息系統(tǒng)還充滿著大量的用戶行為數(shù)據(jù)、日志式的活動(dòng)數(shù)據(jù)、事件信息等，越來越多的企業(yè)通過架設(shè)日志采集系統(tǒng)來保存這些數(shù)據(jù)，希望通過這些數(shù)據(jù)獲取其商業(yè)或社會(huì)價(jià)值。2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of426在Flume中，外部輸入稱為Source源，系統(tǒng)輸出稱為Sink接收端。Channel通道把Source和Sink鏈接在一起。Apache Chukwa工程與Flume有些相類似，Chukwa繼承了Hadoop的伸縮性和魯棒性。也內(nèi)置一個(gè)功能強(qiáng)大的工具箱，用于顯示系統(tǒng)監(jiān)控和分析結(jié)

4、果?；ヂ?lián)網(wǎng)時(shí)代，網(wǎng)絡(luò)爬蟲也是許多企業(yè)獲取數(shù)據(jù)的一種方式。Nutch就是網(wǎng)絡(luò)爬蟲中的嬌嬌者，Nutch是Apache旗下的開源工程，存在已經(jīng)超過10年，擁有大量的忠實(shí)用戶。Flume體系架構(gòu)2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of4272.1.3 Apache Kafka數(shù)據(jù)采集Apache Kafka被設(shè)計(jì)成能夠高效地處理大量實(shí)時(shí)數(shù)據(jù)，其特點(diǎn)是快速的、可擴(kuò)展的、分布式的，分區(qū)的和可復(fù)制的。Kafka是用Scala語言編寫的，雖然置身于Java陣營(yíng)，但其并不遵循JMS標(biāo)準(zhǔn)。Topics話題：消息的分類名。Producers消息發(fā)布者：能夠發(fā)布消息到Topics的進(jìn)程。Consumers消

5、息接收者：可以從Topics接收消息的進(jìn)程。Broker代理：組成Kafka集群的單個(gè)節(jié)點(diǎn)。根本Kafka集群的工作流程2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of428 1、TopicsTopics是消息的分類名或Feed的名稱。Kafka集群或Broker為每一個(gè)Topic都會(huì)維護(hù)一個(gè)分區(qū)日志。每一個(gè)分區(qū)日志是有序的消息序列，消息是連續(xù)追加到分區(qū)日志上，并且這些消息是不可更改的。 2、日志區(qū)分一個(gè)Topic可以有多個(gè)分區(qū)，這些分區(qū)可以作為并行處理的單元，從而使Kafka有能力高效地處理大量數(shù)據(jù)。Topics與日志分析2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of429 3、Produ

6、cersProducers是向它們選擇的主題發(fā)布數(shù)據(jù)。生產(chǎn)者可以選擇分配某個(gè)主題到哪個(gè)分區(qū)上。這可以通過使用循環(huán)的方式或通過任何其他的語義分函數(shù)來實(shí)現(xiàn)。 4、ConsumersKafka提供一種單獨(dú)的消費(fèi)者抽象，此抽象具有兩種模式的特征消費(fèi)組：Queuing 和Publish-Subscribe。 5、Apache Kafka的安裝及使用因?yàn)镵afka是處理網(wǎng)絡(luò)上請(qǐng)求，所以，應(yīng)該為其創(chuàng)立一個(gè)專用的用戶，這將便于對(duì)Kafka相關(guān)效勞的管理，減少對(duì)效勞器上其他效勞的影響。2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of4210使用useradd命令來創(chuàng)立一個(gè)Kafka用戶：$sudo userad

7、d kafka m使用passwd 命令來設(shè)置其密碼：$sudo passwd kafaka接下來把kafaka用戶添加到sudo管理組，以便kafaka用戶具有安裝Apache Kafka依賴庫(kù)的權(quán)限。這里使用adduser命令來進(jìn)行添加：$sudo adduser kafka sudo這時(shí)就可以使用kafka賬戶了。 切換用戶可以使用su命令：$su - kafka在Apache Kafka安裝所依賴的軟件包前，最好更新一下apt管理程序的軟件列表：$sudo apt-get updateApache Kafka需要Java運(yùn)行環(huán)境，這里使用apt-get命令安裝default-jre包，

8、然后安裝Java運(yùn)行環(huán)境：$sudo apt-get install default-jre通過下面的命令測(cè)試一下Java運(yùn)行環(huán)境是否安裝成功，并查看Java的版本信息：$java -version2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of4211機(jī)器有如下顯示：2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of42122.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of42132.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of42142.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of42156、使用Java來編寫Kafka的實(shí)例首先，編寫KafkaPperties文件：zk

9、.connect = localhost:2181broker.list = localhost:9092request.required.acks = 1下面的代碼是使用Java編寫了一個(gè)Kafka消息發(fā)布者：import ducer.Producer;import ducer.KeyedMessage;import ducer.ProducerConfig;public class MyKafkaProducer private Producer producer;private final String topic;p

10、ublic MyKafkaProducer(String topic) throws Exception InputStream in = Properties.class.getResourceAsStream(KafkaPperties);Properties props = new Properties();props.load(in);ProducerConfig config = new ProducerConfig(props);producer = new Producer(config);public void sendMessage(String msg

11、)KeyedMessage data = new KeyedMessage( topic, msg);producer.send(data);producer.close();public static void main(String args) throws ExceptionMyKafkaProducer producer = new MyKafkaProducer(HelloTopic);String msg = Hello Kafka!;producer. sendMessage(msg);2.1大數(shù)據(jù)采集架構(gòu)第二章 數(shù)據(jù)采集與預(yù)處理of4216下面創(chuàng)立Comsumer，首先編寫Ka

12、fkaProperties文件：zk.connect = localhost:2181group.id = testgroupzookeeper.session.timeout.ms = 500zookeeper.sync.time.ms = 250auto erval.ms = 1000上述參數(shù)配置，十分容易理解，具體的詳細(xì)說明，可以參考Kafka的官方文檔。下面的代碼是使用Java編寫了一個(gè)Kafka的Comsumer。import java.io.InputStream;import java.util.HashMap;import java.util.List;impor

13、t java.util.Map;import java.util.Properties;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.ConsumerConnector;import kafka.consumer.Consumer;public class MyKafkaConsumer private final ConsumerConnector consum

14、er;private final String topic;public MyKafkaConsumer(String topic) throws ExceptionInputStream in = Properties.class.getResourceAsStream(KafkaPperties);Properties props = new Properties();props.load(in);ConsumerConfig config = new ConsumerConfig(props);consumer = Consumer.createJavaConsum

15、erConnector(config);this.topic = topic;public void consumeMessage() Map topicMap = new HashMap();topicMap.put(topic, new Integer(1);MapString, ListKafkaStream consumerStreamsMap =consumer.createMessageStreams(topicMap);ListKafkaStream streamList = consumerStreamsMap.get(topic);for (final KafkaStream

16、 stream : streamList) ConsumerIterator consumerIte = stream.iterator();while (consumerIte.hasNext()System.out.println(message : + new String(consumerIte.next().message();if (consumer != null)consumer.shutdown();public static void main(String args) throws ExceptionString groupId = testgroup;String to

17、pic = HelloTopic;MyKafkaConsumer consumer = new MyKafkaConsumer(topic);consumer.consumeMessage();第二章數(shù)據(jù)采集與預(yù)處理2.12.2數(shù)據(jù)預(yù)處理原理2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具習(xí)題全國(guó)高校標(biāo)準(zhǔn)教材?云計(jì)算?姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用大數(shù)據(jù)采集架構(gòu)of42172.2數(shù)據(jù)預(yù)處理原理第二章 數(shù)據(jù)采集與預(yù)處理通過數(shù)據(jù)預(yù)處理工作，可以使殘缺的數(shù)據(jù)完整，并將錯(cuò)誤的數(shù)據(jù)糾正、多余的數(shù)據(jù)去除，進(jìn)而將所需的數(shù)據(jù)挑選出來，并且進(jìn)行數(shù)據(jù)集成。數(shù)據(jù)預(yù)處理的常見方法有數(shù)據(jù)清洗、數(shù)據(jù)集成與數(shù)據(jù)變換。of42182.2數(shù)據(jù)

18、預(yù)處理原理第二章 數(shù)據(jù)采集與預(yù)處理填 充缺 失值數(shù)據(jù)屬性分為數(shù)值屬性和非數(shù)值屬性進(jìn)行處理，通過利用已存數(shù)據(jù)的多數(shù)信息來推測(cè)缺失值數(shù)據(jù)屬性分為數(shù)值屬性和非數(shù)值屬性進(jìn)行處理，通過利用已存數(shù)據(jù)的多數(shù)信息來推測(cè)缺失值大量采用同一屬性值，可能會(huì)誤導(dǎo)挖掘程序得出有偏差甚至錯(cuò)誤的結(jié)論數(shù)據(jù)偏離的問題小，但該方法十分費(fèi)時(shí),不具備實(shí)際的可操作性通常當(dāng)在缺少類標(biāo)號(hào)時(shí)，通過這樣的方法來填補(bǔ)缺失值利用均值替換缺失值忽略元組人工填寫缺失值使用一個(gè)全局常量填充缺失值用屬性的均值填充缺失值用同類樣本的屬性均值填充缺失值使用最可能的值填充缺失值of42192.2.1 數(shù)據(jù)清洗2.2數(shù)據(jù)預(yù)處理原理第二章 數(shù)據(jù)采集與預(yù)處理of42

19、20分箱方法通過考察某一數(shù)據(jù)周圍數(shù)據(jù)的值，即“近鄰”來光滑有序數(shù)據(jù)的值。分箱01回歸02光滑數(shù)據(jù)可以通過一個(gè)函數(shù)擬合數(shù)據(jù)來實(shí)現(xiàn)。線性回歸的目標(biāo)就是查找擬合兩個(gè)屬性的“最佳”線，使得其中一個(gè)屬性可以用于預(yù)測(cè)出另一個(gè)屬性。聚類03離群點(diǎn)可通過聚類進(jìn)行檢測(cè)，將類似的值組織成群或簇，離群點(diǎn)即為落在簇集合之外的值。許多數(shù)據(jù)光滑的方法也是涉及離散化的數(shù)據(jù)歸約方法。噪聲是被測(cè)量的變量的隨機(jī)誤差或方差。給定一個(gè)數(shù)值屬性，如何才能使數(shù)據(jù)“光滑，去掉噪聲？下面給出數(shù)據(jù)光滑技術(shù)的具體內(nèi)容。2.2數(shù)據(jù)預(yù)處理原理第二章 數(shù)據(jù)采集與預(yù)處理of4221數(shù)據(jù)清洗可以視為一個(gè)過程，包括檢測(cè)偏差與糾正偏差兩個(gè)步驟：2糾正偏差1檢

20、查偏差可以使用已有的關(guān)于數(shù)據(jù)性質(zhì)的知識(shí)發(fā)現(xiàn)噪聲、離群點(diǎn)和需要考察的不尋常的值。這種知識(shí)或“關(guān)于數(shù)據(jù)的數(shù)據(jù)稱為元數(shù)據(jù)。即一旦發(fā)現(xiàn)偏差，通常需要定義并使用一系列的變換來糾正它們。但這些工具只支持有限的變換，因此，常?？赡苄枰獮閿?shù)據(jù)清洗過程的這一步編寫定制的程序。2.2數(shù)據(jù)預(yù)處理原理第二章 數(shù)據(jù)采集與預(yù)處理1模式集成和對(duì)象匹配問題2冗余問題3元組重復(fù)4數(shù)據(jù)值沖突的檢測(cè)與處理問題數(shù)據(jù)挖掘經(jīng)常需要數(shù)據(jù)集成合并來自多個(gè)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)。數(shù)據(jù)還可能需要變換成適于挖掘的形式。數(shù)據(jù)分析任務(wù)多半涉及數(shù)據(jù)集成。問題of42222.2.2 數(shù)據(jù)集成2.2數(shù)據(jù)預(yù)處理原理第二章 數(shù)據(jù)采集與預(yù)處理 1、光滑。去除數(shù)據(jù)中的噪聲

21、 2、聚集。對(duì)數(shù)據(jù)進(jìn)行匯總或聚集。3、 數(shù)據(jù)泛化。使用概念分層，用高層概念替換低層或“原始數(shù)據(jù) 4、標(biāo)準(zhǔn)化。將屬性數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間5、屬性構(gòu)造?？梢詷?gòu)造新的屬性并添加到屬性集中，以幫助挖掘過程of42232.2.3 數(shù)據(jù)變換數(shù)據(jù)變換的目的是將數(shù)據(jù)變換或統(tǒng)一成適合挖掘的形式。數(shù)據(jù)變換主要涉及以下內(nèi)容：第二章數(shù)據(jù)采集與預(yù)處理2.12.2數(shù)據(jù)預(yù)處理原理2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具習(xí)題全國(guó)高校標(biāo)準(zhǔn)教材?云計(jì)算?姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用大數(shù)據(jù)采集架構(gòu)of42242.3 數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章 數(shù)據(jù)采集與預(yù)處理數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來自于多種業(yè)務(wù)數(shù)據(jù)源，這些數(shù)據(jù)源可能處于不

22、同硬件平臺(tái)上，使用不同的操作系統(tǒng)，數(shù)據(jù)模型也相差很遠(yuǎn)。如何獲取并向數(shù)據(jù)倉(cāng)庫(kù)加載這些數(shù)據(jù)量大、種類多的數(shù)據(jù)，已成為建立數(shù)據(jù)倉(cāng)庫(kù)所面臨的一個(gè)關(guān)鍵問題。of42252.3.1 數(shù)據(jù)倉(cāng)庫(kù)與ETL工具數(shù)據(jù)倉(cāng)庫(kù)，是在企業(yè)管理和決策中面向主題的、集成的、隨時(shí)間變化的、非易失性數(shù)據(jù)的集合。2.3 數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章 數(shù)據(jù)采集與預(yù)處理如何獲取并向數(shù)據(jù)倉(cāng)庫(kù)加載數(shù)據(jù)量大、種類多的數(shù)據(jù)，一般要使用專業(yè)的數(shù)據(jù)抽取、轉(zhuǎn)換和裝載工具，這些工具合并起來被稱為ETLExtract-Transform-Load。Informatica PowerCenter常用ETL工具IBM DatastageWarehouse Bu

23、ilder（OWB）Oracle Data Integrator（ODI）Microsoft SQLServer Integration Services開源Kettleof42262.3.2 常用ETL工具2.3 數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章 數(shù)據(jù)采集與預(yù)處理of4227PowerCenterIBM DatastageKettleInformatica的PowerCenter是一個(gè)可擴(kuò)展、高性能企業(yè)數(shù)據(jù)集成平臺(tái)，應(yīng)用于各種數(shù)據(jù)集成流程，通過該平臺(tái)可實(shí)現(xiàn)自動(dòng)化、重復(fù)使用及靈活性IBM InfoSphere DataStage是一款功能強(qiáng)大的ETL工具，是IBM數(shù)據(jù)集成平臺(tái)IBM Informat

24、ion Server的一局部，是專門的數(shù)據(jù)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)布的工具。Kettle是Pentaho中的ETL工具，Pentaho是一套開源BI解決方案。Kettle是一款國(guó)外優(yōu)秀的開源ETL工具，由純Java編寫，可以在Windows、Linux、UNIX上運(yùn)行，無須安裝，數(shù)據(jù)抽取高效穩(wěn)定。2.3 數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章 數(shù)據(jù)采集與預(yù)處理of422801（1）Chef可使用戶創(chuàng)建任務(wù)（Job）。它是提供圖形用戶界面的工作設(shè)計(jì)工具。02（2）Kitchen可使用戶批量使用由Chef設(shè)計(jì)的任務(wù)，一般在自動(dòng)調(diào)度時(shí)借助此命令調(diào)用調(diào)試成功的任務(wù)。它是一個(gè)后臺(tái)運(yùn)行的程序，以命令行方式，沒有圖形用戶界面。03（3）Spoon可使用戶通過圖形界面來設(shè)計(jì)ETL轉(zhuǎn)換過程，一般在編寫和調(diào)試ETL時(shí)用到。04（4）Span可使用戶批量運(yùn)行由Spoon設(shè)計(jì)的ETL轉(zhuǎn)換，Span是一個(gè)后臺(tái)執(zhí)行的程序，以命令行方式，沒有圖形界面，一般在自動(dòng)調(diào)度時(shí)借助此命令調(diào)用調(diào)試成功的轉(zhuǎn)換。Kettle目前包括如下4個(gè)產(chǎn)品：2.3 數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章 數(shù)據(jù)采集與預(yù)處理案例：Kettle數(shù)據(jù)遷移可以在Kettle的官網(wǎng)下載進(jìn)入主界面在“輸入文件夾下選擇“表輸入，并把它拖動(dòng)到右側(cè)編輯區(qū)of42292.3.3 案例：Kettle數(shù)據(jù)遷移2.