大數(shù)據(jù)分析及應(yīng)用項(xiàng)目教程(Spark SQL)（微課版） 教案 許慧 單元1-3 大數(shù)據(jù)分析概述-學(xué)生信息處理分析

單元教學(xué)活動(dòng)設(shè)計(jì)二級學(xué)院信息工程學(xué)院專業(yè)大數(shù)據(jù)技術(shù)設(shè)計(jì)者許慧課程名稱大數(shù)據(jù)挖掘與分析學(xué)年學(xué)期2授課類型□理論型，√理實(shí)一體型，□實(shí)踐型單元名稱單元1.大數(shù)據(jù)分析概述班級大數(shù)據(jù)技術(shù)1、2人數(shù)教材來源自編教材授課學(xué)時(shí)4學(xué)生學(xué)習(xí)條件分析1.起點(diǎn)分析：(1)學(xué)生具備Linux相關(guān)操作、大數(shù)據(jù)基礎(chǔ)運(yùn)維的基本技能；(2)學(xué)生具備自主學(xué)習(xí)能力，能主動(dòng)查閱資料預(yù)習(xí)。2.重點(diǎn)分析：(1)大數(shù)據(jù)分析的相關(guān)工具。(2)大數(shù)據(jù)分析可視化的概念及相關(guān)工具。3.難點(diǎn)分析：(1)SparkSQL的運(yùn)行架構(gòu)。(2)Catalyst查詢編譯器的工作流程。教學(xué)方法手段1.教學(xué)方法：講授法、討論法。2.教學(xué)手段：實(shí)例講解演示。教學(xué)資源1.個(gè)人資源：教材、教學(xué)PPT與相關(guān)素材2.學(xué)校資源：一體化教室、超星平臺中的公共資源3.網(wǎng)絡(luò)、社會或出版社資源：多媒體課件、網(wǎng)上教學(xué)資源、精品課網(wǎng)站能力指標(biāo)掌握大數(shù)據(jù)分析基礎(chǔ)知識C1養(yǎng)成良好的自我管理素養(yǎng)B1提升學(xué)生溝通交流、小組協(xié)作能力E2教學(xué)目標(biāo)知識1.了解大數(shù)據(jù)分析的概念、特點(diǎn)、類別、優(yōu)缺點(diǎn)。2.知道大數(shù)據(jù)分析的相關(guān)工具3.了解大數(shù)據(jù)分析可視化的概念及相關(guān)工具。4.了解SparkSQL的背景、特點(diǎn)。能力1.知道SparkSQL的運(yùn)行架構(gòu)2.掌握Catalyst查詢編譯器的工作流程。素質(zhì)1.養(yǎng)成良好的自我管理素養(yǎng)2.提升溝通交流、小組協(xié)作能力教師課前準(zhǔn)備1.準(zhǔn)備好一體化機(jī)房，保證機(jī)器正常運(yùn)轉(zhuǎn)，安裝好軟件。2.準(zhǔn)備好授課PPT，完成所有案例設(shè)計(jì)，熟練示范操作的過程。3.設(shè)計(jì)學(xué)生要完成的任務(wù)。4.設(shè)計(jì)好教學(xué)環(huán)節(jié)。5.服裝大方，自然得體。學(xué)生課前準(zhǔn)備查閱資料，預(yù)習(xí)教材活動(dòng)歷程一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，自我介紹，學(xué)習(xí)通簽到、點(diǎn)名。2.課程定位，課程教學(xué)內(nèi)容安排與考核方式介紹。3.課程主要學(xué)習(xí)內(nèi)容、學(xué)習(xí)方法介紹。二、發(fā)展活動(dòng)1．關(guān)于大數(shù)據(jù)分析情境導(dǎo)入；2．學(xué)習(xí)目標(biāo)和要求；3．提問：什么是大數(shù)據(jù)分析？大數(shù)據(jù)的“5V”特征大數(shù)據(jù)分析概念大數(shù)據(jù)分析的特點(diǎn)大數(shù)據(jù)分析類別大數(shù)據(jù)分析的優(yōu)勢與缺點(diǎn)4．提問：大數(shù)據(jù)分析工具有哪些？Hadoop生態(tài)圈中的大數(shù)據(jù)分析工具大數(shù)據(jù)分析編程語言其他工具5.關(guān)于大數(shù)據(jù)分析可視化。三、課堂小結(jié)大數(shù)據(jù)分析概述、工具和可視化?！?、2節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.認(rèn)識SparkSQL情境導(dǎo)入。3.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.SparkSQL背景簡介SparkSQL的背景SparkSQL的特點(diǎn)2.SparkSQL運(yùn)行原理。SparkSQL的運(yùn)行架構(gòu)Catalyst查詢編譯器SparkSQL的運(yùn)行原理SessionCatalog保存元數(shù)據(jù)ANTLR生成未綁定的邏輯計(jì)劃Analyzer綁定邏輯計(jì)劃Optimizer優(yōu)化邏輯計(jì)劃SparkPlanner生成可執(zhí)行的物理計(jì)劃CostModel選擇最佳物理執(zhí)行計(jì)劃execute執(zhí)行物理計(jì)劃三、課堂小結(jié)與作業(yè)布置1．小結(jié)：本次課程學(xué)習(xí)重點(diǎn)，學(xué)習(xí)過程中出現(xiàn)的問題與解決方法。2．布置：完成第1章課后練習(xí)?！?、4節(jié)結(jié)束——學(xué)習(xí)評量課堂練習(xí)中巡視指導(dǎo)課后作業(yè)紙筆作業(yè)：完成第1章課后練習(xí)題。教學(xué)后記目標(biāo)或能力指針達(dá)成度、學(xué)習(xí)表現(xiàn)、內(nèi)容、方法、資源、業(yè)師協(xié)同等向度1.目標(biāo)或能力指標(biāo)達(dá)成度全班80%學(xué)生達(dá)到了教學(xué)目標(biāo)和能力指標(biāo)。2.學(xué)習(xí)表現(xiàn)課內(nèi)預(yù)習(xí)階段發(fā)現(xiàn)學(xué)生預(yù)習(xí)時(shí)個(gè)別同學(xué)沒有帶書，大部分同學(xué)沒有帶筆和筆記本，閱讀習(xí)慣有待改進(jìn)。

單元教學(xué)活動(dòng)設(shè)計(jì)二級學(xué)院信息工程學(xué)院專業(yè)大數(shù)據(jù)技術(shù)設(shè)計(jì)者許慧課程名稱大數(shù)據(jù)挖掘與分析學(xué)年學(xué)期2授課類型□理論型，√理實(shí)一體型，□實(shí)踐型單元名稱單元2.實(shí)踐環(huán)境準(zhǔn)備班級大數(shù)據(jù)技術(shù)1、2人數(shù)教材來源自編教材授課學(xué)時(shí)6學(xué)生學(xué)習(xí)條件分析1.起點(diǎn)分析：(1)了解大數(shù)據(jù)分析概述、工具和可視化；(2)知道SparkSQL背景和運(yùn)行原理。2.重點(diǎn)分析：(1)Hadoop集群環(huán)境搭建。(2)Spark集群安裝搭建。(3)Scala下載、安裝和配置3.難點(diǎn)分析：(1)Hadoop集群環(huán)境搭建。(2)Spark集群安裝搭建。教學(xué)方法手段1.教學(xué)方法：講授法、討論法。2.教學(xué)手段：實(shí)例講解演示。教學(xué)資源1.個(gè)人資源：教材、教學(xué)PPT與相關(guān)素材2.學(xué)校資源：一體化教室、超星平臺中的公共資源3.網(wǎng)絡(luò)、社會或出版社資源：多媒體課件、網(wǎng)上教學(xué)資源、精品課網(wǎng)站能力指標(biāo)掌握Hadoop和Spark集群的安裝部署C1養(yǎng)成良好的自我管理素養(yǎng)B1提升學(xué)生溝通交流、小組協(xié)作能力E2教學(xué)目標(biāo)知識1.了解Hadoop、Spark和Scala的基礎(chǔ)知識。能力1.掌握Hadoop集群環(huán)境搭建的環(huán)境準(zhǔn)備工作，包括配置主機(jī)名、防火墻設(shè)置、免密登錄設(shè)置、Java環(huán)境設(shè)置。2.掌握安裝Hadoop的過程、配置文件設(shè)置及啟動(dòng)集群的方法。3.掌握Spark集群安裝配置方法。4.能使用Spark-shell進(jìn)行簡單編程測試。5.會下載、安裝配置Scala工具。6.能啟動(dòng)Scala進(jìn)行編程測試。素質(zhì)1.養(yǎng)成良好的自我管理素養(yǎng)2.提升溝通交流、小組協(xié)作能力教師課前準(zhǔn)備1.準(zhǔn)備好一體化機(jī)房，保證機(jī)器正常運(yùn)轉(zhuǎn)，安裝好軟件。2.準(zhǔn)備好授課PPT，完成所有案例設(shè)計(jì)，熟練示范操作的過程。3.設(shè)計(jì)學(xué)生要完成的任務(wù)。4.設(shè)計(jì)好教學(xué)環(huán)節(jié)。5.服裝大方，自然得體。學(xué)生課前準(zhǔn)備查閱資料，預(yù)習(xí)教材活動(dòng)歷程一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。二、發(fā)展活動(dòng)1．Hadoop集群環(huán)境搭建情境導(dǎo)入；2．學(xué)習(xí)目標(biāo)和要求；3．操作演示Hadoop集群搭建集群節(jié)點(diǎn)規(guī)劃配置主機(jī)名和IP連接MobaXterm終端工具關(guān)閉防火墻關(guān)閉SElinux修改/etc/hosts文件配置免密登錄配置Java環(huán)境安裝Hadoop啟動(dòng)Hadoop集群4．運(yùn)行經(jīng)典案例wordcount在本地root目錄下創(chuàng)建一個(gè)txt文件，輸入一段自定義文字。上傳文本到到hdfs。運(yùn)行命令并查看結(jié)果三、課堂小結(jié)Hadoop集群搭建知識與技能回顧?！?、2節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.Spark集群部署與使用情境導(dǎo)入。3.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.Spark安裝上傳軟件包修改環(huán)境變量修改Spark配置文件復(fù)制修改spark啟動(dòng)腳本分發(fā)Spark安裝文件到slaver01和slaver02。2.啟動(dòng)Spark。查看各節(jié)點(diǎn)服務(wù)進(jìn)程狀態(tài)Web查看Spark主頁情況3.Spark集群測試使用spark-submit工具提交Spark作業(yè)使用Spark-sql使用Sparkshell三、課堂小結(jié)小結(jié)：本次課程學(xué)習(xí)重點(diǎn)，學(xué)習(xí)過程中出現(xiàn)的問題與解決方法?！?、4節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.Scala安裝情境導(dǎo)入。3.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.下載Scala安裝包2.安裝配置上傳安裝包并解壓配置環(huán)境變量，添加Scala相關(guān)配置使環(huán)境變量生效，查看Scala版本啟動(dòng)Scala三、課堂小結(jié)1．小結(jié)：本次課程學(xué)習(xí)重點(diǎn)，學(xué)習(xí)過程中出現(xiàn)的問題與解決方法。2．布置：完成第1章課后練習(xí)?！?、6節(jié)結(jié)束——學(xué)習(xí)評量課堂練習(xí)中巡視指導(dǎo)課后作業(yè)紙筆作業(yè)：完成第2章課后練習(xí)題。教學(xué)后記目標(biāo)或能力指針達(dá)成度、學(xué)習(xí)表現(xiàn)、內(nèi)容、方法、資源、業(yè)師協(xié)同等向度1.目標(biāo)或能力指標(biāo)達(dá)成度全班80%學(xué)生達(dá)到了教學(xué)目標(biāo)和能力指標(biāo)。2.學(xué)習(xí)表現(xiàn)課內(nèi)預(yù)習(xí)階段發(fā)現(xiàn)學(xué)生預(yù)習(xí)時(shí)個(gè)別同學(xué)沒有帶書，大部分同學(xué)沒有帶筆和筆記本，閱讀習(xí)慣有待改進(jìn)。單元教學(xué)活動(dòng)設(shè)計(jì)二級學(xué)院信息工程學(xué)院專業(yè)大數(shù)據(jù)技術(shù)設(shè)計(jì)者許慧課程名稱大數(shù)據(jù)挖掘與分析學(xué)年學(xué)期2授課類型□理論型，√理實(shí)一體型，□實(shí)踐型單元名稱單元3.學(xué)生信息處理分析班級大數(shù)據(jù)技術(shù)1、2人數(shù)教材來源自編教材授課學(xué)時(shí)16學(xué)生學(xué)習(xí)條件分析1.起點(diǎn)分析：(1)了解大數(shù)據(jù)分析概述、工具；(2)掌握基本的程序編寫語言。2.重點(diǎn)分析：Scala語言基礎(chǔ)。3.難點(diǎn)分析：能綜合應(yīng)用Scala基礎(chǔ)知識編寫應(yīng)用程序進(jìn)行數(shù)據(jù)分析。。教學(xué)方法手段1.教學(xué)方法：講授法、討論法。2.教學(xué)手段：實(shí)例講解演示。教學(xué)資源1.個(gè)人資源：教材、教學(xué)PPT與相關(guān)素材2.學(xué)校資源：一體化教室、超星平臺中的公共資源3.網(wǎng)絡(luò)、社會或出版社資源：多媒體課件、網(wǎng)上教學(xué)資源、精品課網(wǎng)站能力指標(biāo)掌握Scala基礎(chǔ)語言和編程C1養(yǎng)成良好的自我管理素養(yǎng)B1提升學(xué)生溝通交流、小組協(xié)作能力E2教學(xué)目標(biāo)知識1.理解Scala數(shù)據(jù)類型、常量與變量、運(yùn)算符。2.了解Scala類和對象、模式匹配的基本概念。能力1.掌握Scala判斷與循環(huán)、函數(shù)式編程。2.掌握Scala集合操作。3.掌握Scala類和對象、模式匹配的定義及操作方法。素質(zhì)1.養(yǎng)成良好的自我管理素養(yǎng)2.提升溝通交流、小組協(xié)作能力教師課前準(zhǔn)備1.準(zhǔn)備好一體化機(jī)房，保證機(jī)器正常運(yùn)轉(zhuǎn)，安裝好軟件。2.準(zhǔn)備好授課PPT，完成所有案例設(shè)計(jì)，熟練示范操作的過程。3.設(shè)計(jì)學(xué)生要完成的任務(wù)。4.設(shè)計(jì)好教學(xué)環(huán)節(jié)。5.服裝大方，自然得體。學(xué)生課前準(zhǔn)備查閱資料，預(yù)習(xí)教材活動(dòng)歷程一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。二、發(fā)展活動(dòng)1．班級基本情況分析情境導(dǎo)入；2．學(xué)習(xí)目標(biāo)和要求；3．?dāng)?shù)據(jù)類型Scala與Java的數(shù)據(jù)類型相同，但是Scala中的數(shù)據(jù)類型都是對象即Scala沒有java中的原生類型。因此Scala可以對數(shù)字等基礎(chǔ)類型調(diào)用方法。4．常量與變量定義方法。數(shù)據(jù)類型推斷。多變量聲明5.運(yùn)算符算數(shù)運(yùn)算符關(guān)系運(yùn)算符邏輯運(yùn)算符位運(yùn)算符賦值運(yùn)算符6.數(shù)組聲明與定義方式基本操作方法三、課堂小結(jié)Scala數(shù)據(jù)類型、常量與變量、運(yùn)算符、數(shù)組小結(jié)。——第1、2節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.判斷與循環(huán)if判斷if語句的語法格式如下：if(判斷條件){//如果判斷條件為true則執(zhí)行該語句塊}if…else語句語法格式如下：if(判斷條件){//如果判斷條件為true則執(zhí)行該語句塊}else{//如果判斷條件為false則執(zhí)行該語句塊}if…elseif…else語句語法格式如下：if(判斷條件1){//如果判斷條件1為true則執(zhí)行該語句塊}elseif(判斷條件2){//如果判斷條件2為true則執(zhí)行該語句塊}else{//如果以上判斷條件都為false執(zhí)行該語句塊}if...else嵌套語句語法格式如下：if(判斷條件1){//如果判斷條件1為true則執(zhí)行該語句塊if(判斷條件2){//如果判斷條件2為true則執(zhí)行該語句塊}}循環(huán)while循環(huán)語法格式如下：while(條件表達(dá)式){代碼塊}\o"CScala+do...while循環(huán)"do...while循環(huán)語法格式如下：do{代碼塊}while(條件表達(dá)式)\o"CScala+for循環(huán)"for循環(huán)的語法格式如下for(varx<-range){代碼塊}三、課堂小結(jié)小結(jié)：本次課程學(xué)習(xí)重點(diǎn)，學(xué)習(xí)過程中出現(xiàn)的問題與解決方法?！?、4節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.函數(shù)式編程函數(shù)的定義和調(diào)用def函數(shù)名[參數(shù)列表]:[返回值類型]={函數(shù)體return[表達(dá)式]}函數(shù)調(diào)用的方法如下：函數(shù)名[參數(shù)列表]匿名函數(shù)匿名函數(shù)是指不含函數(shù)名稱的函數(shù)。使用“=>”定義，“=>”的左邊為參數(shù)列表，“=>”右邊為函數(shù)體表達(dá)式。高階函數(shù)高階函數(shù)是指使用其他函數(shù)作為參數(shù)，或者使用函數(shù)作為輸出結(jié)果的函數(shù)。閉包閉包是一個(gè)函數(shù)，是可以訪問一個(gè)函數(shù)里面局部變量的另外一個(gè)函數(shù)。函數(shù)柯里化函數(shù)編程中，接受多個(gè)參數(shù)的函數(shù)都可以轉(zhuǎn)化為接受單個(gè)參數(shù)的函數(shù)，這個(gè)轉(zhuǎn)化過程就是柯里化。柯里化本身也用到了閉包。嵌套函數(shù)嵌套函數(shù)即在函數(shù)內(nèi)部定義函數(shù)，其中內(nèi)部函數(shù)稱為局部函數(shù)。2.學(xué)生所屬班級和男女生數(shù)量——編程分析實(shí)現(xiàn)判斷學(xué)生所屬班級統(tǒng)計(jì)男女生人數(shù)信息三、課堂小結(jié)小結(jié)：本次課程學(xué)習(xí)重點(diǎn)，學(xué)習(xí)過程中出現(xiàn)的問題與解決方法。——第5、6節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.列表定義方法列表的常用操作2.Set集合定義Set集合Set的基本操作三、課堂小結(jié)Scala列表與Set集合小結(jié)?！?、8節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.元組定義元組的語法一：valtuple=(元素1,元素2,元素3…)定義元組的語法二：valt=newTuplen(元素1,元素2,元素3...元素n)2.Map映射映射定義映射的常用操作三、課堂小結(jié)Scala元組與Map映射小結(jié)?！?、10節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。2.學(xué)習(xí)目標(biāo)和要求。二、發(fā)展活動(dòng)1.函數(shù)組合器組合器包括map、filter、foreach、groupBy、flatten、drop、zip等。2.以班級為單位整理學(xué)生信息——編程分析實(shí)現(xiàn)以班級為單位整理學(xué)生信息，可以先將數(shù)據(jù)保存到列表中，然后使用groupBy組合器以班級為條件進(jìn)行分組。三、課堂小結(jié)函數(shù)組合器小結(jié)?！?1、12節(jié)結(jié)束——一、準(zhǔn)備活動(dòng)1.活躍課堂氣氛，學(xué)習(xí)通簽到、點(diǎn)名。二、發(fā)展活動(dòng)1．學(xué)生基本情況獲取情境導(dǎo)入；2．學(xué)習(xí)目標(biāo)和要求；3.類和對象類的定義方式如下：Class類名稱(參數(shù)列表){//定義類的字段和方法}繼承的語法如下：class子類名extends父類名{類體}4.單例對象和伴生對象單例對象定義一個(gè)單例對象的語法如下：objec