《大數(shù)據(jù)技術(shù)基礎(chǔ)（第2版）》792-4（覃事剛）教案 第10課 數(shù)據(jù)處理與分析（二）

PAGE6PAGE6PAGE5PAGE5

課題數(shù)據(jù)處理與分析（二）課時(shí)2課時(shí)（90min）教學(xué)目標(biāo)知識(shí)技能目標(biāo)：（1） 了解YARN的基本架構(gòu)及組件，理解其工作流程。（2） 了解ZooKeeper的概念、應(yīng)用場(chǎng)景和集群總體架構(gòu)。思政育人目標(biāo)：感受大數(shù)據(jù)處理與分析技術(shù)在現(xiàn)代生產(chǎn)生活中的巨大作用和價(jià)值，不斷增強(qiáng)創(chuàng)新意識(shí)、合作意識(shí)、愛(ài)國(guó)主義情懷和民族自豪感。教學(xué)重難點(diǎn)教學(xué)重點(diǎn)：YARN的基本架構(gòu)及組件，ZooKeeper的概念、應(yīng)用場(chǎng)景教學(xué)難點(diǎn)：ZooKeeper的集群總體架構(gòu)教學(xué)方法案例分析法、問(wèn)答法、討論法、講授法教學(xué)用具電腦、投影儀、多媒體課件、教材教學(xué)設(shè)計(jì)第1節(jié)課：→→傳授新知（28min）→課堂互動(dòng)（10min）第2節(jié)課：→傳授新知（20min）→課堂互動(dòng)（15min）→課堂小結(jié)（3min）→作業(yè)布置（2min）教學(xué)過(guò)程主要教學(xué)內(nèi)容及步驟設(shè)計(jì)意圖第一節(jié)課考勤

（2min）【教師】使用文旌課堂APP【學(xué)生】按照老師要求簽到培養(yǎng)學(xué)生的組織紀(jì)律性，掌握學(xué)生的出勤情況問(wèn)題導(dǎo)入（5min）【教師】提出以下活動(dòng)：HDFS專注于分布式存儲(chǔ)，MapReduce專注于分布式計(jì)算，而YARN則負(fù)責(zé)集群資源管理和統(tǒng)一調(diào)度，那么YARN的基本架構(gòu)和工作流程是什么樣的？【學(xué)生】思考、理解、分析通過(guò)問(wèn)題導(dǎo)入的方法，引導(dǎo)學(xué)生主動(dòng)思考，激發(fā)學(xué)生的學(xué)習(xí)興趣傳授新知

（28min）【教師】通過(guò)學(xué)生的回答引入新知，介紹分布式資源管理器YARN的基本架構(gòu)和組件，以及工作流程一、YARN基本架構(gòu)及組件?【教師】提出問(wèn)題：YARN集群由哪些部分組成？?【學(xué)生】思考、舉手回答YARN集群總體上是經(jīng)典的主/從（master/slave）架構(gòu)，主要由ResourceManager、NodeManager、ApplicationMaster和Container組成。?【教師】提出問(wèn)題：ResourceManager的主要職責(zé)是什么？?【學(xué)生】思考、舉手回答?【教師】總結(jié)學(xué)生的回答（1）接收來(lái)自客戶端（Client）的請(qǐng)求。（2）啟動(dòng)和管理各個(gè)應(yīng)用程序的ApplicationMaster。（3）接收來(lái)自ApplicationMaster的資源申請(qǐng)，并為其分配Container。（4）管理NodeManager，接收來(lái)自NodeManager的資源和節(jié)點(diǎn)健康情況匯報(bào)。（詳見(jiàn)教材）?【教師】利用多媒體輔助講解NodeManagerNodeManager是集群中每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器，以后臺(tái)進(jìn)程的形式運(yùn)行。它會(huì)定時(shí)向ResourceManager匯報(bào)本節(jié)點(diǎn)上的資源（內(nèi)存、CPU）使用情況和各個(gè)Container的運(yùn)行狀態(tài)，同時(shí)會(huì)接收并處理來(lái)自ApplicationMaster的Container啟動(dòng)/停止等請(qǐng)求。(詳見(jiàn)教材)?【教師】利用多媒體輔助講解Task和ContainerTask是應(yīng)用程序的具體執(zhí)行任務(wù)，一個(gè)應(yīng)用程序可能會(huì)有多個(gè)任務(wù)。例如，一個(gè)MapReduce程序可以有多個(gè)Map任務(wù)和多個(gè)Reduce任務(wù)。Container是YARN中資源分配的基本單位，它封裝了CPU和內(nèi)存資源的一個(gè)容器，相當(dāng)于是一個(gè)Task運(yùn)行環(huán)境的抽象。(詳見(jiàn)教材)?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“高手點(diǎn)撥”部分，進(jìn)一步了解Container。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】利用多媒體輔助講解ApplicationMasterApplicationMaster是應(yīng)用程序管理者，主要負(fù)責(zé)應(yīng)用程序的管理，以后臺(tái)進(jìn)程的形式運(yùn)行。它為應(yīng)用程序向ResourceManager申請(qǐng)資源（CPU、內(nèi)存），并將資源分配給所管理應(yīng)用程序的Task。（詳見(jiàn)教材）二、YARN的工作流程?【教師】利用多媒體輔助講解YARN的工作流程（1）客戶端（Client）提交應(yīng)用程序（如MapReduce程序等）到ResourceManager。（2）ResourceManager分配用于運(yùn)行ApplicationMaster的Container，然后再與NodeManager通信，要求它在該Container中啟動(dòng)ApplicationMaster。ApplicationMaster啟動(dòng)后，它將負(fù)責(zé)此應(yīng)用程序的整個(gè)生命周期。（3）ApplicationMaster向ResourceManager注冊(cè)（注冊(cè)后可以通過(guò)ResourceManager查看應(yīng)用程序的運(yùn)行狀態(tài)）并請(qǐng)求運(yùn)行應(yīng)用程序各個(gè)Task所需的Container（資源請(qǐng)求是對(duì)一些Container的請(qǐng)求）。如果符合條件，ResourceManager會(huì)分配給ApplicationMaster所需的Container（表達(dá)為ContainerID和主機(jī)名）。（4）ApplicationMaster請(qǐng)求NodeManager使用這些Container來(lái)運(yùn)行應(yīng)用程序的相應(yīng)Task（即將Task發(fā)布到指定的Container中運(yùn)行）。（詳見(jiàn)教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“YARN的工作流程”部分，根據(jù)YARN集群中應(yīng)用程序的執(zhí)行流程圖，以小組為單位，用自己的話說(shuō)一說(shuō)YARN的工作流程。?【學(xué)生】合作學(xué)習(xí)、思考、理解【學(xué)生】聆聽(tīng)、記錄、理解通過(guò)教師的講解和演示，互動(dòng)以及案例，使學(xué)生了解分布式資源管理器YARN的基本架構(gòu)和組件，以及工作流程課堂互動(dòng)（10min）【教師】組織學(xué)生以小組為單位閱讀“YARN的工作流程”部分，（詳見(jiàn)教材），用自己的話說(shuō)一說(shuō)YARN的工作流程？【學(xué)生】聆聽(tīng)、思考、小組討論，由小組代表上臺(tái)發(fā)表討論結(jié)果【教師】與學(xué)生一起評(píng)價(jià)各組的討論結(jié)果通過(guò)課堂討論，加深學(xué)生對(duì)YARN的工作流程的了解第二節(jié)課問(wèn)題導(dǎo)入（5min）【教師】提出問(wèn)題：什么是ZooKeeper，它的作用是什么？【學(xué)生】聆聽(tīng)、思考、舉手回答通過(guò)問(wèn)題導(dǎo)入，引導(dǎo)學(xué)生主動(dòng)思考，激發(fā)學(xué)生的學(xué)習(xí)興趣傳授新知（20min）【教師】通過(guò)學(xué)生的回答引入新的知識(shí)，介紹分布式協(xié)調(diào)服務(wù)ZooKeeper的相關(guān)知識(shí)ZooKeeper是一種分布式應(yīng)用程序協(xié)調(diào)服務(wù)，主要用于解決分布式集群中應(yīng)用程序的一致性問(wèn)題。它能提供類似文件系統(tǒng)的目錄節(jié)點(diǎn)樹(shù)方式的數(shù)據(jù)存儲(chǔ)，主要用途是維護(hù)和監(jiān)控所存數(shù)據(jù)的狀態(tài)變化，以實(shí)現(xiàn)對(duì)集群的管理。一、ZooKeeper簡(jiǎn)介?【教師】提出以下問(wèn)題：用自己的話說(shuō)一說(shuō)ZooKeeper主要解決的問(wèn)題？?【學(xué)生】思考、舉手回答?【教師】對(duì)學(xué)生的回答進(jìn)行總結(jié)它可以在集群的節(jié)點(diǎn)間進(jìn)行消息傳遞，協(xié)調(diào)集群中不同服務(wù)器進(jìn)程間的互斥和同步操作，從而保證集群節(jié)點(diǎn)間的數(shù)據(jù)一致性。（詳見(jiàn)教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“提示”部分，進(jìn)一步了解ZooKeeper。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】提出以下問(wèn)題：閱讀教材相關(guān)內(nèi)容說(shuō)一說(shuō)ZooKeeper的應(yīng)用場(chǎng)景有哪些？?【學(xué)生】思考、舉手回答?【教師】對(duì)學(xué)生的回答進(jìn)行總結(jié)1.統(tǒng)一命名服務(wù)2.集群管理3.分布式鎖……（詳見(jiàn)教材）二、ZooKeeper的應(yīng)用場(chǎng)景?【教師】利用多媒體輔助講解ZooKeeper的應(yīng)用場(chǎng)景1．統(tǒng)一命名服務(wù)利用ZooKeeper中的樹(shù)形分層結(jié)構(gòu)，可以把系統(tǒng)中的各種服務(wù)的名稱、地址及目錄信息存放在ZooKeeper中，需要的時(shí)候去ZooKeeper中讀取就可以了。2．集群管理ZooKeeper能夠很容易地實(shí)現(xiàn)集群管理的功能，如有多臺(tái)服務(wù)器組成一個(gè)服務(wù)集群，那么必須要有一個(gè)“總管”知道當(dāng)前集群中每臺(tái)機(jī)器的服務(wù)狀態(tài)，一旦有服務(wù)器不能提供服務(wù)，集群中其他服務(wù)器必須知道，從而做出調(diào)整，重新分配服務(wù)策略。3．分布式鎖在一個(gè)分布式環(huán)境中，為了提高可靠性，集群的每臺(tái)服務(wù)器上都部署著同樣的服務(wù)。但是一個(gè)常見(jiàn)的問(wèn)題就是，如果集群中的每臺(tái)服務(wù)器都進(jìn)行同一件事情的話，它們相互之間就要協(xié)調(diào)，編程起來(lái)將非常復(fù)雜。（詳見(jiàn)教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“知識(shí)庫(kù)”部分，進(jìn)一步了解ZooKeeper應(yīng)用場(chǎng)景。?【學(xué)生】自主學(xué)習(xí)、思考、理解三、ZooKeeper集群的總體架構(gòu)?【教師】利用多媒體輔助講解ZooKeeper集群的總體架構(gòu)ZooKeeper集群由一組服務(wù)器（Server）節(jié)點(diǎn)組成，在這些服務(wù)器節(jié)點(diǎn)中有一個(gè)節(jié)點(diǎn)的角色為L(zhǎng)eader，其他節(jié)點(diǎn)的角色通常為Follower。當(dāng)客戶端（Client）連接到ZooKeeper集群并執(zhí)行寫請(qǐng)求時(shí)，這些請(qǐng)求首先會(huì)被發(fā)送到Leader節(jié)點(diǎn)。（詳見(jiàn)教材）【通過(guò)講授，提問(wèn)，討論等教學(xué)方式，讓學(xué)生了解分布式協(xié)調(diào)服務(wù)ZooKeeper的相關(guān)知識(shí)課堂互動(dòng)（15min）【教師】組織學(xué)生以小組為單位閱讀“筑夢(mèng)科研”部分，說(shuō)一說(shuō)對(duì)你有什么啟示【教師】與學(xué)生一起評(píng)價(jià)各組的觀點(diǎn)通過(guò)課堂互動(dòng)，培養(yǎng)學(xué)生的愛(ài)國(guó)之情，啟發(fā)學(xué)生好好學(xué)習(xí)，為祖國(guó)效力課堂小結(jié)

（3min）【教師】簡(jiǎn)要總結(jié)本節(jié)課的要點(diǎn)本節(jié)課學(xué)習(xí)了分布式資源管理器YARN的基本架構(gòu)和工作流程，分布式協(xié)調(diào)服務(wù)ZooKeeper的應(yīng)用場(chǎng)景和集群架構(gòu)。希望大家在課下多復(fù)習(xí)，鞏固所學(xué)知識(shí)?！緦W(xué)生】總結(jié)回顧知識(shí)點(diǎn)總結(jié)知識(shí)點(diǎn)，鞏固學(xué)生對(duì)分布式資源管理器YARN和分布式協(xié)調(diào)服務(wù)ZooKeeper相關(guān)知識(shí)的印象作業(yè)布置

（2min