第1章 大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)技術(shù)概述1 大數(shù)據(jù)的基本概念2 代表性大數(shù)據(jù)技術(shù)3 大數(shù)據(jù)編程語言1大數(shù)據(jù)的基本概念對于什么是大數(shù)據(jù)，目前尚未有統(tǒng)一定義。維基百科給出的大數(shù)據(jù)定義是：

大數(shù)據(jù)是指無法使用傳統(tǒng)和常用的軟件技術(shù)和工具在一定時間內(nèi)完成獲取、管理和處理的數(shù)據(jù)集。麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。研究機構(gòu)Gartner給出了這樣的大數(shù)據(jù)定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的定義1大數(shù)據(jù)的基本概念大數(shù)據(jù)有4個特征，簡稱4V：Volume、Variety、Value、Velocity。數(shù)據(jù)量大（Volume）。數(shù)據(jù)量大包括采集、存儲和計算的量都非常大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。數(shù)據(jù)類型多（Variety）。數(shù)據(jù)類型多是種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。價值密度低（Value）。在大數(shù)據(jù)時代，很多有價值的信息都是分散在海量數(shù)據(jù)中的。傳統(tǒng)數(shù)據(jù)基本都是結(jié)構(gòu)化數(shù)據(jù)，每個字段都是有用的，價值密度非常高。速度快（Velocity）。數(shù)據(jù)的增長速度快、數(shù)據(jù)的處理速度快，快速度是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。大數(shù)據(jù)的特征1大數(shù)據(jù)的基本概念大數(shù)據(jù)思維包括三個方面：全樣思維：大數(shù)據(jù)與“小數(shù)據(jù)”的根本區(qū)別在于大數(shù)據(jù)采用全樣思維方式，人們可以采集和分析更多的數(shù)據(jù)，有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再受制于隨機采樣。相關(guān)思維：所謂相關(guān)關(guān)系，就是當一個或幾個相互聯(lián)系的變量取一定的數(shù)值時，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。相關(guān)關(guān)系也許不能準確地告訴我們某件事情為何會發(fā)生，但是它會提醒我們這件事情即將發(fā)送或正在發(fā)生。容錯思維：在大數(shù)據(jù)時代，隨著數(shù)據(jù)規(guī)模的擴大，和內(nèi)容分析研究相關(guān)的數(shù)據(jù)非常多，對精確度的要求減弱。人們不再需要對一個現(xiàn)象刨根問底，只要掌握了大體的發(fā)展方向即可，適當忽略微觀層面上的精確度，會讓人們在宏觀層面更好地把握事物的發(fā)展方向。大數(shù)據(jù)思維大數(shù)據(jù)技術(shù)概述1 大數(shù)據(jù)的基本概念2

代表性大數(shù)據(jù)技術(shù)3 大數(shù)據(jù)編程語言2代表性大數(shù)據(jù)技術(shù)Hadoop是基于Java語言開發(fā)的，可以部署在廉價的計算機集群上的開源的、可靠的、可擴展的分布式并行計算框架，具有很好的跨平臺特性。Hadoop的核心是：HDFS（HadoopDistributedFileSystem，分布式文件系統(tǒng)）

MapReduce（分布式并行計算編程模型）Hadoop2代表性大數(shù)據(jù)技術(shù)HDFS是建立在一組分布式服務(wù)器節(jié)點的本地文件系統(tǒng)之上的分布式文件系統(tǒng)。HadoopHDFS采用Master/Slave的架構(gòu)來存儲數(shù)據(jù)，這種架構(gòu)主要由四個部分組成，分別為Client（客戶端）、NameNode（名稱節(jié)點、管理節(jié)點）、DataNode（數(shù)據(jù)節(jié)點）和SecondaryNameNode（第二名稱節(jié)點）。一個DataNode節(jié)點運行一個DataNode進程，負責管理它所在節(jié)點上的數(shù)據(jù)存儲。NameNode和DataNode共同協(xié)調(diào)完成分布式的文件存儲服務(wù)。2代表性大數(shù)據(jù)技術(shù)MapReduce的執(zhí)行流程如圖1-2所示。Hadoop將一個大數(shù)據(jù)文件通過一定的數(shù)據(jù)劃分方法，劃分成多個較小的具有同樣計算過程的數(shù)據(jù)塊，數(shù)據(jù)塊以<key,value>鍵值對的形式表示，數(shù)據(jù)塊之間不存在依賴關(guān)系。2代表性大數(shù)據(jù)技術(shù)MapReduce的執(zhí)行流程如圖1-2所示。Hadoop將這些數(shù)據(jù)塊分給不同的Map任務(wù)（執(zhí)行map()函數(shù)）去處理，每個Map任務(wù)通常運行在存儲數(shù)據(jù)的節(jié)點上，這樣計算和數(shù)據(jù)在一個節(jié)點上，不需要額外的數(shù)據(jù)傳輸開銷。當Map任務(wù)結(jié)束后，會生成以<key,value>鍵值對形式表示的許多中間結(jié)果（保存在本地存儲中，如本地磁盤）。2代表性大數(shù)據(jù)技術(shù)MapReduce的執(zhí)行流程如圖1-2所示。Hadoop然后，這些中間結(jié)果會劃分成和Reduce任務(wù)數(shù)相等的多個分區(qū)，不同的分區(qū)被分發(fā)給不同的Reduce任務(wù)（執(zhí)行reduce()函數(shù)）進行處理，具有相同key的<key,value>會被發(fā)送到同一個Reduce任務(wù)那里，Reduce任務(wù)對中間結(jié)果進行匯總計算得到新的鍵值對作為最終結(jié)果，并輸出到分布式文件系統(tǒng)中。2代表性大數(shù)據(jù)技術(shù)Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。Spark是UCBerkeleyAMPlab(加州大學伯克利分校的AMP實驗室)所開源的類HadoopMapReduce的通用并行框架。SparkSpark優(yōu)點：擁有HadoopMapReduce所具有的優(yōu)點；Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。Spark與

Hadoop不同點：Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。2代表性大數(shù)據(jù)技術(shù)Flink是一個框架和分布式處理引擎，用于在無界和有界數(shù)據(jù)流上進行有狀態(tài)計算。Flink被設(shè)計為在通用集群環(huán)境中運行，以內(nèi)存速度執(zhí)行任意規(guī)模的計算。Flink流處理：當一條數(shù)據(jù)被處理完成后，序列化到緩存中，然后立刻通過網(wǎng)絡(luò)傳輸?shù)较乱粋€節(jié)點，由下一個節(jié)點繼續(xù)處理。批處理：當一條數(shù)據(jù)被處理完成后，序列化到緩存中，并不會立刻通過網(wǎng)絡(luò)傳輸?shù)较乱粋€節(jié)點，而是當緩存寫滿后，持久化到本地硬盤上，當所有數(shù)據(jù)都被處理完成后，才開始將處理后的數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)较乱粋€節(jié)點。流處理的優(yōu)勢是低延遲，批處理的優(yōu)勢是高吞吐，而Flink可以通過調(diào)整緩存塊的超時閾值，靈活地權(quán)衡系統(tǒng)延遲和吞吐量。大數(shù)據(jù)技術(shù)概述1 大數(shù)據(jù)的基本概念2 代表性大數(shù)據(jù)技術(shù)3 大數(shù)據(jù)編程語言3

大數(shù)據(jù)編程語言Spark大數(shù)據(jù)處理框架支持支持

Scala、Java、Python三種語言進行應(yīng)用程序開發(fā)。大數(shù)據(jù)編程語言首選編程語言是Scala，因為Spark本身就是用Scala語言開發(fā)的，用Scala語言編寫Spark應(yīng)用程序，可以獲得最好的性能。其次是Python，最后才是Java