《Spark Scala》課程標準（含課程思政）

《Spark&Scala》課程標準一、課程基本信息課程名稱Spark&Scala課程代碼034421017課程性質(zhì)￡公共必修課￡專業(yè)必修課R專業(yè)選修課￡公共選修課專業(yè)核心課（是/否）否課程類型￡理論課（A類）R理論+實踐課（B類）￡實踐課（C類）學(xué)分3學(xué)時48理論學(xué)時24實踐學(xué)時24適用專業(yè)（方向）大數(shù)據(jù)技術(shù)開設(shè)學(xué)期第5學(xué)期先修課程《大數(shù)據(jù)平臺部署與運維》、《大數(shù)據(jù)開發(fā)實戰(zhàn)》后續(xù)課程《專業(yè)綜合實訓(xùn)》對接1+X證書名稱無證書級別無建議使用職業(yè)教育國家規(guī)劃教材《Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）》，肖芳、張良均，人民郵電出版社（2022年9月，第2版）二、課程性質(zhì)與任務(wù)（一）課程性質(zhì)《Spark&Scala》課程是大數(shù)據(jù)技術(shù)專業(yè)開設(shè)的專業(yè)限選課。本課程是依據(jù)大數(shù)據(jù)技術(shù)專業(yè)人才培養(yǎng)目標和相關(guān)職業(yè)崗位（群）的能力要求而設(shè)置的，對本專業(yè)所面向的大數(shù)據(jù)應(yīng)用開發(fā)領(lǐng)域所需要的知識、技能和素質(zhì)目標的達成起到支撐作用。本課程的前導(dǎo)課程是《大數(shù)據(jù)平臺部署與運維》、《大數(shù)據(jù)開發(fā)實戰(zhàn)》，后續(xù)課程是《專業(yè)綜合實訓(xùn)》。（二）課程任務(wù)本課程主要講授Spark基本原理與架構(gòu)、集群安裝配置、Scala與Spark編程、Spark核心組件應(yīng)用等內(nèi)容。本課程的任務(wù)是培養(yǎng)面向大數(shù)據(jù)技術(shù)領(lǐng)域從事數(shù)據(jù)處理和分析崗位的高素質(zhì)技術(shù)技能人才，使學(xué)生能夠熟練的應(yīng)用大數(shù)據(jù)技術(shù)解決企業(yè)中的實際生產(chǎn)問題。同時注重學(xué)生社會主義核心價值觀的養(yǎng)成，提升學(xué)生職業(yè)道德、行業(yè)規(guī)范意識和創(chuàng)新意識。（三）課程設(shè)計思路本課程是以大數(shù)據(jù)技術(shù)專業(yè)所涵蓋的崗位群進行任務(wù)與職業(yè)能力分析，對接《大數(shù)據(jù)工程技術(shù)人員國家職業(yè)技術(shù)技能標準》以及全國職業(yè)院校技能大賽大數(shù)據(jù)應(yīng)用開發(fā)賽項，以任務(wù)驅(qū)動、就業(yè)為導(dǎo)向，根據(jù)本專業(yè)學(xué)生的認知特點，以學(xué)生職業(yè)能力、素質(zhì)培養(yǎng)為目標，選取課程教學(xué)內(nèi)容，并為學(xué)生可持續(xù)發(fā)展奠定良好的基礎(chǔ)。三、課程目標與要求（一）課程目標1.素質(zhì)目標（1）具有良好的工作態(tài)度和責任心（2）具有較強國家通用語言表達能力及良好的溝通能力（3）具有不斷追求知識的持續(xù)學(xué)習能力、吃苦耐勞的工匠精神（4）具備團隊合作及協(xié)調(diào)能力（5）具備創(chuàng)新精神、適應(yīng)未來崗位發(fā)展的遷移轉(zhuǎn)變能力2.知識目標（1）理解Spark基本原理與架構(gòu)（2）掌握Spark集群安裝和配置（3）掌握Scala基礎(chǔ)語法（4）掌握SparkRDD編程（5）掌握SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)的方法（6）掌握SparkStreaming實現(xiàn)實時計算（7）了解SparkGraphX基本使用方法3.能力目標（1）能夠熟練使用Spark分布式計算框架（2）具備編寫、調(diào)試及閱讀程序的能力（3）具備發(fā)現(xiàn)問題、分析問題與解決問題的能力（4）具備大數(shù)據(jù)處理、分析的能力（二）課程要求課程單元任務(wù)名稱（含子任務(wù)）要求Spark概述任務(wù)1Spark基本概念任務(wù)2Spark發(fā)展和應(yīng)用任務(wù)3Spark架構(gòu)及原理任務(wù)4Spark環(huán)境配置了解Spark概念，掌握Spark分布式環(huán)境特點，掌握SparkRDD的概念，了解Spark的運行流程和原理Scala基礎(chǔ)任務(wù)1Scala簡介任務(wù)2Scala安裝及環(huán)境設(shè)置任務(wù)3Scala數(shù)據(jù)類型、函數(shù)、表達式的應(yīng)用任務(wù)4Scalaif判斷和for循環(huán)任務(wù)5Scala類的定義任務(wù)6Scala集合的應(yīng)用掌握Scala環(huán)境的安裝，掌握Scala語言的應(yīng)用和編程Spark編程任務(wù)1創(chuàng)建RDD任務(wù)2RDD基本操作任務(wù)3RDD鍵值對操作任務(wù)4文件操作掌握RDD的轉(zhuǎn)化操作和行動操作方法，掌握鍵值對RDD的操作，掌握文本文件的讀取和存儲Spark編程進階任務(wù)1安裝和配置IntelliJIDEA任務(wù)2Scala插件安裝與使用任務(wù)3配置Spark運行環(huán)境任務(wù)4運行Spark程序的方法任務(wù)5持久化方法任務(wù)6數(shù)據(jù)分區(qū)方法掌握如何在IDEA中配置Spark編程環(huán)境，掌握Spark程序的編寫SparkSQL：結(jié)構(gòu)化數(shù)據(jù)文件處理任務(wù)1SparkSQL簡介任務(wù)2SparkSQL配置任務(wù)3SparkSQL與Shell交互任務(wù)4DataFrame生成與操作方法掌握SparkSQL使用方法SparkStreaming：實時計算框架任務(wù)1SparkStreaming運行原理任務(wù)2SparkStreaming使用方法任務(wù)3DStream編程模型基本方法了解SparkStreaming運行原理，掌握SparkStreaming使用方法SparkGraphX：圖計算框架任務(wù)1圖的基本概念任務(wù)2圖計算的應(yīng)用任務(wù)3GraphX的基礎(chǔ)概念任務(wù)4圖的創(chuàng)建與存儲任務(wù)5數(shù)據(jù)查詢與數(shù)據(jù)轉(zhuǎn)換任務(wù)6結(jié)構(gòu)轉(zhuǎn)換與關(guān)聯(lián)聚合了解圖計算的應(yīng)用，掌握SparkGraphX使用方法SparkMLlib：功能強大的算法庫任務(wù)1機器學(xué)習任務(wù)2MLlib介紹和應(yīng)用了解機器學(xué)習算法，掌握SparkMLlib使用方法四、課程結(jié)構(gòu)與內(nèi)容（一）課程結(jié)構(gòu)與學(xué)時分配（可自定義表格）項目名稱任務(wù)名稱（含子任務(wù)）任務(wù)學(xué)時項目學(xué)時Spark概述任務(wù)1Spark基本概念任務(wù)2Spark發(fā)展和應(yīng)用任務(wù)3Spark架構(gòu)及原理24任務(wù)4Spark環(huán)境配置2Scala基礎(chǔ)任務(wù)1Scala簡介任務(wù)2Scala安裝及環(huán)境設(shè)置任務(wù)3Scala數(shù)據(jù)類型、函數(shù)、表達式任務(wù)4Scalaif判斷和for循環(huán)410任務(wù)5Scala類的定義2任務(wù)6Scala集合的應(yīng)用4Spark編程任務(wù)1創(chuàng)建RDD210任務(wù)2RDD轉(zhuǎn)換操作和行動操作4任務(wù)3RDD鍵值對操作2任務(wù)4文件操作2Spark編程進階任務(wù)1安裝和配置IntelliJIDEA任務(wù)2Scala插件安裝與使用任務(wù)3配置Spark運行環(huán)境28任務(wù)4運行Spark程序的方法4任務(wù)5持久化方法任務(wù)6數(shù)據(jù)分區(qū)方法2SparkSQL：結(jié)構(gòu)化數(shù)據(jù)文件處理任務(wù)1SparkSQL簡介任務(wù)2SparkSQL配置任務(wù)3SparkSQL與Shell交互26任務(wù)4DataFrame生成與操作方法4SparkStreaming：實時計算框架任務(wù)1SparkStreaming運行原理任務(wù)2SparkStreaming使用方法26任務(wù)3DStream編程模型基本方法4SparkGraphX：圖計算框架任務(wù)1圖的基本概念任務(wù)2圖計算的應(yīng)用任務(wù)3GraphX的基礎(chǔ)概念任務(wù)4圖的創(chuàng)建與存儲24任務(wù)5數(shù)據(jù)查詢與數(shù)據(jù)轉(zhuǎn)換任務(wù)6結(jié)構(gòu)轉(zhuǎn)換與關(guān)聯(lián)聚合2合計4848（二）課程內(nèi)容與要求（可自定義表格）教學(xué)項目教學(xué)內(nèi)容（1+X證書內(nèi)容融入）教學(xué)目標教學(xué)重難點（課程思政內(nèi)容）教學(xué)建議學(xué)時Spark概述1.Spark基本概念2.Spark發(fā)展和應(yīng)用3.Spark環(huán)境配置方法4.Spark架構(gòu)及原理素質(zhì)目標：1.培養(yǎng)學(xué)生嚴謹?shù)墓ぷ鲬B(tài)度知識目標：1.了解Spark基本概念、發(fā)展和應(yīng)用2.掌握Spark環(huán)境配置方法3.理解Spark架構(gòu)及原理能力目標：具備搭建Spark分布式環(huán)境的能力思政目標：1.培養(yǎng)學(xué)生具備良好的職業(yè)道德2.培養(yǎng)學(xué)生的職業(yè)認同感教學(xué)重點：搭建Spark分布式環(huán)境教學(xué)難點：Spark的架構(gòu)及原理教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論、學(xué)生實踐操作教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。4Scala基礎(chǔ)1.Scala簡介2.Scala安裝及環(huán)境設(shè)置3.Scala數(shù)據(jù)類型、函數(shù)、表達式的應(yīng)用4.Scalaif判斷和for循環(huán)5.Scala類的定義6.Scala集合的應(yīng)用素質(zhì)目標：1.培養(yǎng)學(xué)生查閱資料能力2.培養(yǎng)和提升學(xué)生分析問題的能力知識目標：1.掌握Scala環(huán)境的安裝及配置2.掌握Scala語言的基本語法能力目標：1.具備編寫、調(diào)試及閱讀程序的能力2.能夠運用Scala語言解決實際問題思政目標：1.職業(yè)道德2.職業(yè)認同感教學(xué)重點：1.Scala編程環(huán)境的搭建2.Scala集合的應(yīng)用教學(xué)難點：Scala類和函數(shù)教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論、學(xué)生實踐操作教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。10Spark編程1.從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD2.從外部存儲創(chuàng)建RDD3.RDD轉(zhuǎn)化操作和行動操作方法4.RDD鍵值對操作5.文件讀取與存儲素質(zhì)目標：1.培養(yǎng)學(xué)生自主學(xué)習的能力2.培養(yǎng)學(xué)生持續(xù)學(xué)習能力知識目標：1.掌握創(chuàng)建RDD的方法2.掌握RDD轉(zhuǎn)化操作和行動操作的方法3.掌握鍵值對RDD4.掌握操作文件讀取與存儲的方法能力目標：1.具備大數(shù)據(jù)處理的基本能力2.具備Spark基礎(chǔ)編程能力思政目標：1.培養(yǎng)學(xué)生精益求精的工匠精神2.提升學(xué)生的職業(yè)道德規(guī)范教學(xué)重點：RDD的轉(zhuǎn)化操作和行動操作方法教學(xué)難點：鍵值對RDD的操作教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論、學(xué)生實踐操作教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。10Spark編程進階1.下載與安裝IntelliJIDEA2.Scala插件安裝與使用3.運行Spark程序4.設(shè)置RDD持久化5.設(shè)置數(shù)據(jù)分區(qū)素質(zhì)目標：1.提升學(xué)生分析問題、解決問題的能力知識目標：1.掌握IntelliJIDEA開發(fā)環(huán)境配置2.掌握配置Spark運行環(huán)境的方法3.掌握運行Spark程序的方法4.掌握持久化方法5.掌握數(shù)據(jù)分區(qū)方法能力目標：1.具備利用Spark處理和分析數(shù)據(jù)的能力思政目標：1.培養(yǎng)學(xué)生科技強國的意識教學(xué)重點：運行Spark程序的方法教學(xué)難點：數(shù)據(jù)分區(qū)方法教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論、學(xué)生實踐操作教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。8SparkSQL：結(jié)構(gòu)化數(shù)據(jù)文件處理1.SparkSQL簡介2.SparkSQLCLI配置3.SparkSQL與Shell交互4.DataFrame基礎(chǔ)操作方法素質(zhì)目標：1.提升學(xué)生分析問題、解決問題的能力2.培養(yǎng)學(xué)生的邏輯思維能力知識目標：1.掌握SparkSQLCLI的配置方法2.掌握SparkSQL與Shell交互的方法3.掌握DataFrame基礎(chǔ)操作方法能力目標：1.具備利用SparkSQL處理結(jié)構(gòu)化文件的能力思政目標：1.培養(yǎng)學(xué)生科技強國的意識2.培養(yǎng)學(xué)生愛國情懷和文化自信教學(xué)重點：1.SparkSQLCLI的配置2.DataFrame的操作方法教學(xué)難點：DataFrame的操作方法教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論、學(xué)生實踐操作教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。6SparkStreaming：實時計算框架1.SparkStreaming基本概念2.SparkStreaming運行原理3.SparkStreaming使用方法4.DStream編程模型基本方法素質(zhì)目標：1.培養(yǎng)學(xué)生有效進行時間管理的能力2.培養(yǎng)學(xué)生的創(chuàng)新意識知識目標：1.理解SparkStreaming的運行原理2.掌握SparkStreaming的使用方法3.掌握DStream編程模型基本方法能力目標：1.具備處理和分析實時數(shù)據(jù)的能力思政目標：1.培養(yǎng)學(xué)生科技強國的意識2.建立專業(yè)自豪感教學(xué)重點：DStream編程模型基本方法教學(xué)難點：1.SparkStreaming運行原理2.DStream編程模型基本方法教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論、學(xué)生實踐操作教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。6SparkGraphX：圖計算框架1.圖的基本概念2.圖計算的應(yīng)用3.GraphX的基礎(chǔ)概念4.圖的創(chuàng)建與存儲5.數(shù)據(jù)查詢與數(shù)據(jù)轉(zhuǎn)換6.結(jié)構(gòu)轉(zhuǎn)換與關(guān)聯(lián)聚合素質(zhì)目標：1.培養(yǎng)學(xué)生的鉆研精神2.培養(yǎng)學(xué)生適應(yīng)未來崗位發(fā)展的遷移轉(zhuǎn)變能力知識目標：1.了解圖的基本概念2.了解GraphX常用API能力目標：1.具備處理和分析實時數(shù)據(jù)的能力思政目標：1.培養(yǎng)學(xué)生精益求精的工匠精神教學(xué)重點：1.GraphX的基礎(chǔ)概念2.GraphX的常用API教學(xué)難點：GraphX的常用API教學(xué)方法：講授法，任務(wù)驅(qū)動法，案例教學(xué)法等。教學(xué)形式：講授知識、分組討論教學(xué)環(huán)境：具備局域網(wǎng)，內(nèi)存16G以上、硬盤1T以上的計算機。4（三）課程思政實施要求在教學(xué)過程中，重點從強化創(chuàng)新意識、科學(xué)素養(yǎng)等方面著手開展課程思政教學(xué)。結(jié)合本課程教學(xué)內(nèi)容，將積極向上的生活態(tài)度、勇于探索、不斷創(chuàng)新的科學(xué)精神、嚴謹細致的工匠精神、堅定不移的愛國精神等思政元素有機融入課程教學(xué)，全面滲透到教學(xué)全過程，在教學(xué)過程中“潤物細無聲”的使專業(yè)課程教學(xué)具有傳授知識、培養(yǎng)能力及思想政治教育三重功能。（四）1+X證書內(nèi)容融入五、學(xué)生考核與評價（可自定義表格）形成性評價教學(xué)階段考核項目考核方式考核占比課前（20%）預(yù)習任務(wù)布置任務(wù)提交40%課中（50%）課堂表現(xiàn)考勤、提問實驗報告和源碼提交課堂練習和實驗課后（20%）作業(yè)作業(yè)提交增值評價（10%）（職業(yè)核心能力和職業(yè)素養(yǎng)）素質(zhì)目標達成考察日?？疾煺n程考試筆試閉卷60%增值評價（社會價值）參加技能大賽、職業(yè)資格證書考核、職業(yè)技能等級證書考核等情況計分學(xué)分認定、成績置換六、教學(xué)實施與保障（一）教學(xué)要求國家級虛擬仿真實訓(xùn)基地的大數(shù)據(jù)技術(shù)專業(yè)相關(guān)實訓(xùn)室。（二）教學(xué)方法本課程的教學(xué)模式采用“教、做、學(xué)”為一體的任務(wù)驅(qū)動式教學(xué)模式，針對具體的教學(xué)內(nèi)容和教學(xué)過程需要，制定教學(xué)方法。注重對學(xué)生分析問題，解決問題能力的培養(yǎng)，從完成某一方面的“任務(wù)”著手，通過引導(dǎo)學(xué)生完成“任務(wù)”，從而實現(xiàn)教學(xué)目標。同時在部分章節(jié)采用探究式教學(xué)模式，即以解決實際問題為中心開展教學(xué)，在解決實際問題的過程注重學(xué)生的實踐能力和創(chuàng)新開發(fā)能力。在教學(xué)方法上本課程采用講授教學(xué)法，引導(dǎo)教學(xué)法，任務(wù)驅(qū)動法，案例教學(xué)法等多種教學(xué)方法來指導(dǎo)學(xué)生，在理論知識介紹之后，通過案例和典型實戰(zhàn)，由簡單到復(fù)雜、逐步遞進式的完成知識目標和能力目標，有效地調(diào)動學(xué)生的學(xué)習積極性，激發(fā)學(xué)生的潛能，培養(yǎng)學(xué)生的創(chuàng)新精神與實踐能力。（三）教學(xué)手段依據(jù)模塊內(nèi)容，結(jié)合探究式學(xué)習、自主式學(xué)習、項目式學(xué)習、仿真設(shè)計學(xué)習等教學(xué)手