2023學(xué)年完整公開(kāi)課版Standalone運(yùn)行機(jī)制

Standalone運(yùn)行機(jī)制Standalone運(yùn)行機(jī)制概述Standalone架構(gòu)/01基本介紹

Standalone運(yùn)行機(jī)制概述Standalone運(yùn)行機(jī)制即獨(dú)立機(jī)制，自帶完整的服務(wù)，可單獨(dú)部署到一個(gè)集群中，無(wú)需依賴任何其他資源管理系統(tǒng)。

借鑒Spark開(kāi)發(fā)模式，我們可以得到一種開(kāi)發(fā)新型計(jì)算框架的一般思路：先設(shè)計(jì)出它的standalone模式，為了快速開(kāi)發(fā)，起初不需要考慮服務(wù)（比如master/slave）的容錯(cuò)性，之后再開(kāi)發(fā)相應(yīng)的wrapper，將stanlone模式下的服務(wù)原封不動(dòng)的部署到資源管理系統(tǒng)yarn或者mesos上，由資源管理系統(tǒng)負(fù)責(zé)服務(wù)本身的容錯(cuò)。Standalone運(yùn)行機(jī)制概述（一）

目前Spark在standalone模式下是沒(méi)有任何單點(diǎn)故障問(wèn)題的，這是借助zookeeper實(shí)現(xiàn)的，思想類(lèi)似于Hbasemaster單點(diǎn)故障解決方案。將Sparkstandalone與MapReduce比較，會(huì)發(fā)現(xiàn)它們兩個(gè)在架構(gòu)上是完全一致的：

都是由master/slaves服務(wù)組成的，且起初master均存在單點(diǎn)故障，后來(lái)均通過(guò)zookeeper解決（ApacheMRv1的JobTracker仍存在單點(diǎn)問(wèn)題，但CDH版本得到了解決）；

Standalone運(yùn)行機(jī)制概述（二）各個(gè)節(jié)點(diǎn)上的資源被抽象成粗粒度的slot，有多少slot就能同時(shí)運(yùn)行多少task。不同的是，MapReduce將slot分為mapslot和reduceslot，它們分別只能供MapTask和ReduceTask使用，而不能共享，這是MapReduce資源利率低效的原因之一，而Spark則更優(yōu)化一些，它不區(qū)分slot類(lèi)型，只有一種slot，可以供各種類(lèi)型的Task使用，這種方式可以提高資源利用率，但是不夠靈活，不能為不同類(lèi)型的Task定制slot資源?？傊?，這兩種方式各有優(yōu)缺點(diǎn)。

Standalone運(yùn)行機(jī)制概述（三）/02基本介紹

Standalone架構(gòu)Standalone架構(gòu)(一）standalone模式下的模塊架構(gòu)Client客戶端進(jìn)程，負(fù)責(zé)提交作業(yè)到MasteClient就是客戶端，例如在windows上通過(guò)eclipse編寫(xiě)Scala程序向Spark提交作業(yè)，那么Client就是eclipseMasterStandalone模式中主節(jié)點(diǎn)，負(fù)責(zé)接收Client提交的作業(yè)，管理Worker，并命令Worker啟動(dòng)Driver和Executor。Master在這里就相當(dāng)于一個(gè)公司的包工頭，負(fù)責(zé)接收Client提交上來(lái)的作業(yè)，然后管理Worker。WorkerStandalone模式中的從節(jié)點(diǎn)，負(fù)責(zé)管理本節(jié)點(diǎn)的資源，定期向Master匯報(bào)心跳，接受Master的命令，啟動(dòng)Driver和Executor。那么Worker就比較苦逼了，作為一個(gè)小打工仔，除了定期要向Master匯報(bào)執(zhí)行情況，還要無(wú)條件接受Master各種唧唧歪歪的命令，還得找到一個(gè)Driver來(lái)幫助自己，找到負(fù)責(zé)具體執(zhí)行任務(wù)的執(zhí)行人Executor來(lái)執(zhí)行需要完成的任務(wù)。Standalone架構(gòu)（二）Spark作業(yè)運(yùn)行時(shí)包括一個(gè)Driver進(jìn)程，也是作業(yè)的主進(jìn)程，負(fù)責(zé)作業(yè)的解析，生成Stage并調(diào)度Task到Executor上。包括DAGScheduler（有向無(wú)環(huán)圖調(diào)度器），TaskScheduler（任務(wù)調(diào)度器）。在收到Worker打工仔的命令后開(kāi)始工作之后將作業(yè)轉(zhuǎn)化為RDDGragh，再由DAGScheduler將RDDGragh轉(zhuǎn)化成一個(gè)或多個(gè)Stage階段，每個(gè)Stage根據(jù)RDD的Partition數(shù)量決定Task的個(gè)數(shù)，又形成一個(gè)個(gè)