云計(jì)算與大數(shù)據(jù)技術(shù) 課件 第10章 Spark計(jì)算平臺(tái)

Spark簡(jiǎn)介與生態(tài)Spark簡(jiǎn)介ApacheSpark是專門為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的基于內(nèi)存的快速通用計(jì)算平臺(tái)。它是加州大學(xué)伯克利分校AMP（Algorithms,Machines,andPeopleLab）實(shí)驗(yàn)室開發(fā)和開源的類HadoopMapReduce的通用并行框架，可以用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。

Spark計(jì)算平臺(tái)Spark提供了一個(gè)全面、統(tǒng)一的框架，包括SparkSQL、SparkStreaming、SparkMLlib、SparkGraphX等技術(shù)組件，可以一站式地完成大數(shù)據(jù)領(lǐng)域的離線批處理、交互式查詢分析、流計(jì)算、機(jī)器學(xué)習(xí)、圖計(jì)算等常見的任務(wù)。Spark計(jì)算平臺(tái)的生態(tài)Spark生態(tài)圈以SparkCore為核心，可從HDFS、AmazonS3和HBase等持久層讀取數(shù)據(jù)，以YARN、Mesos和自身攜帶的Standalone為ClusterManager調(diào)度任務(wù)Job完成Spark應(yīng)用程序的計(jì)算。Spark的應(yīng)用場(chǎng)景Spark適用于計(jì)算量大、效率要求高的應(yīng)用場(chǎng)景；基于實(shí)時(shí)數(shù)據(jù)流的數(shù)據(jù)處理，延遲性要求為數(shù)百毫秒到數(shù)秒；基于歷史數(shù)據(jù)的交互式查詢，要求響應(yīng)較快。例如，使用大數(shù)據(jù)分析來構(gòu)建推薦系統(tǒng)，進(jìn)行個(gè)性化推薦、廣告定點(diǎn)投放等，這種應(yīng)用場(chǎng)景的數(shù)據(jù)量大且需要進(jìn)行邏輯復(fù)雜的批數(shù)據(jù)處理，對(duì)計(jì)算效率有較高的要求。Spark的應(yīng)用場(chǎng)景Spark架構(gòu)和部署模式Spark架構(gòu)Spark架構(gòu)包括集群資源管理器（ClusterManager）、運(yùn)行作業(yè)任務(wù)的工作節(jié)點(diǎn)（WorkerNode）、每個(gè)應(yīng)用的任務(wù)控制節(jié)點(diǎn)（Driver）和每個(gè)工作節(jié)點(diǎn)上負(fù)責(zé)具體任務(wù)的執(zhí)行進(jìn)程（Executor）。Spark架構(gòu)Spark支持多種集群資源管理器，自帶Standalone集群資源管理器、Mesos或YARN，系統(tǒng)默認(rèn)采用YARN模式。Spark架構(gòu)SparkApplication作為一系列獨(dú)立的進(jìn)程運(yùn)行在集群上，用戶使用SparkContext提供的API編寫DriverApplication，使用SparkContext提交任務(wù)給ClusterManager。SparkContext通過這些ClusterManager分配整個(gè)程序資源。只要能連接上任意一種ClusterManager，Spark就會(huì)獲得每個(gè)工作節(jié)點(diǎn)上的Executor。Spark的部署模式（1）Local模式

Local模式也稱單節(jié)點(diǎn)模式，用于在本地部署單個(gè)Spark服務(wù)。該模式常用于本地開發(fā)學(xué)習(xí)和測(cè)試，還分為L(zhǎng)ocal和LocalCluster兩類。（2）Standalone模式

獨(dú)立集群運(yùn)行模式。Spark原生的簡(jiǎn)單集群資源管理器自帶完整的服務(wù)，可被單獨(dú)部署到一個(gè)集群中，無須依賴任何其他資源管理系統(tǒng)。Standalone模式采用Master/Slave的典型架構(gòu)，為了解決單點(diǎn)故障問題，可以采用ZooKeeper實(shí)現(xiàn)高可靠性。Spark的部署模式（3）YARN模式：

使用Hadoop的YARN組件進(jìn)行資源與任務(wù)調(diào)度。YARN模式根據(jù)Driver在集群中的位置分為兩種：一種是YARN-Client模式，另一種是YARN-Cluster模式。YARN-Client模式適用于交互與調(diào)試，YARN-Cluster適用于公司應(yīng)用的生產(chǎn)環(huán)境。（4）Mesos模式：

Spark使用Mesos平臺(tái)進(jìn)行資源與任務(wù)調(diào)度。Spark運(yùn)行流程Spark運(yùn)行流程無論Spark以何種模式進(jìn)行部署，在提交Spark任務(wù)后，都會(huì)首先啟動(dòng)Driver進(jìn)程，并由Driver進(jìn)程向資源管理器注冊(cè)應(yīng)用程序，然后資源管理器會(huì)根據(jù)此任務(wù)的配置文件分配并啟動(dòng)Executor。Spark運(yùn)行流程當(dāng)Driver所需的資源全部滿足后，Driver開始執(zhí)行main()函數(shù)。Spark查詢?yōu)閼袌?zhí)行或惰性操作，當(dāng)執(zhí)行到Action操作時(shí)開始反向推算，根據(jù)寬依賴進(jìn)行Stage劃分。每個(gè)Stage對(duì)應(yīng)一個(gè)TaskSet（任務(wù)集），TaskSet中有多個(gè)Task，根據(jù)本地化原則，Task會(huì)被分發(fā)給指定的Executor執(zhí)行。Spark運(yùn)行流程在任務(wù)執(zhí)行的過程中，Executor也會(huì)不斷地與Driver通信，報(bào)告任務(wù)運(yùn)行情況。Spark的Job提交流程Spark任務(wù)調(diào)度Spark數(shù)據(jù)處理模型RDDRDD概念與特點(diǎn)RDD（ResilientDistributedDataset，彈性分布式數(shù)據(jù)集）是Spark中最基本的數(shù)據(jù)處理模型。RDD是一種有容錯(cuò)機(jī)制的特殊數(shù)據(jù)集合，可以分布在集群的節(jié)點(diǎn)上，以函數(shù)式操作集合的方式進(jìn)行各種并行操作。RDD概念與特點(diǎn)Spark中，對(duì)數(shù)據(jù)的操作主要包括創(chuàng)建RDD、轉(zhuǎn)換已有RDD和調(diào)用RDD進(jìn)行求值。RDD包括兩種類型的操作，即Transformation操作和Action操作。RDD采用惰性求值，只有在執(zhí)行Action操作時(shí)，才會(huì)真正地進(jìn)行運(yùn)算。每次調(diào)用Action操作時(shí)，整個(gè)RDD都會(huì)從頭開始計(jì)算。RDD分區(qū)分區(qū)的概念RDD分區(qū)是指RDD內(nèi)部的數(shù)據(jù)集合在邏輯上和物理上被劃分成多個(gè)子集合。這樣的每個(gè)子集合被稱為分區(qū)，即數(shù)據(jù)集的一個(gè)邏輯塊。RDD分區(qū)的作用RDD分區(qū)主要有兩方面的作用：一方面是增加并行度，另一方面是減少通信開銷。RDD概念與特點(diǎn)分區(qū)的原則分區(qū)的個(gè)數(shù)會(huì)對(duì)Spark性能有影響。RDD的分區(qū)原則是分區(qū)的個(gè)數(shù)盡可能等于集群中的CPU核心（Core）數(shù)目，以實(shí)現(xiàn)數(shù)據(jù)的并行計(jì)算。分區(qū)的原則分區(qū)的個(gè)數(shù)會(huì)對(duì)Spark性能有影響。RDD的分區(qū)原則是分區(qū)的個(gè)數(shù)盡可能等于集群中的CPU核心（Core）數(shù)目，以實(shí)現(xiàn)數(shù)據(jù)的并行計(jì)算。RDD基本操作Spark支持兩種RDD基本操作，即Transformation（轉(zhuǎn)換）和Action（行動(dòng)）。Transformation操作是指將一個(gè)RDD通過一種規(guī)則映射為另一個(gè)RDD，該操作由RDD的轉(zhuǎn)換函數(shù)來實(shí)現(xiàn)，即懶操作函數(shù)，這些函數(shù)不觸發(fā)執(zhí)行，會(huì)返回另一個(gè)RDD。Action操作則主要是對(duì)RDD進(jìn)行最后的操作，如遍歷、Reduce、保存到文件等，并且可以返回結(jié)果給Driver程序。RDD基本操作RDD基本操作的執(zhí)行過程Transformation操作Transformation操作主要用于根據(jù)已有RDD創(chuàng)建新的RDD，提供給下一個(gè)“轉(zhuǎn)換”算子使用。Action操作Action操作用于執(zhí)行計(jì)算并按指定的方式輸出結(jié)果。RDD基本操作RDD基本操作范例Spark與ScalaScala源自Java，構(gòu)建在J