《Spark大數(shù)據(jù)處理技術(shù)》教學(xué)大綱

《Spark大數(shù)據(jù)處理技術(shù)》教學(xué)大綱課程編號：13210718英文名稱：SparkBigDataProcessingTechnology學(xué)分：3學(xué)時：總學(xué)時64學(xué)時，其中理論32學(xué)時，實(shí)踐32學(xué)時先修課程：程序設(shè)計(jì)課程類別：專業(yè)方向課程授課對象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機(jī)械與電氣工程學(xué)院修讀學(xué)期：第6學(xué)期一、課程描述和目標(biāo)Spark大數(shù)據(jù)處理技術(shù)主要針對大數(shù)據(jù)技術(shù)與應(yīng)用、數(shù)據(jù)科學(xué)、計(jì)算機(jī)與電子信息等專業(yè)學(xué)生，主要講解基于Spark框架下的分布式數(shù)據(jù)收集、分布式數(shù)據(jù)存儲、分布式數(shù)據(jù)計(jì)算、分布式數(shù)據(jù)展示，并結(jié)合相關(guān)的開源包使用Scala進(jìn)行實(shí)現(xiàn)，以加深學(xué)生對所學(xué)內(nèi)容的理解。通過本課程教學(xué)，使學(xué)生對分布式大數(shù)據(jù)技術(shù)有一個全面的了解，掌握基本的信息內(nèi)容采集、存儲和分析方法，并且具備一定的針對具體信息采集需求的實(shí)際運(yùn)用和解決能力。本課程的主要內(nèi)容包括：Scala語言基礎(chǔ)與Spark基礎(chǔ)；SparkRDD彈性分布式數(shù)據(jù)集；SparkSQL結(jié)構(gòu)化數(shù)據(jù)文件處理；Kafka分布式發(fā)布訂閱消息系統(tǒng)；SparkStreaming實(shí)時計(jì)算框架；SparkMLlib機(jī)器學(xué)習(xí)算法庫；并提供一個應(yīng)用實(shí)例。本課程擬達(dá)到的課程目標(biāo):通過本課程的學(xué)習(xí)，學(xué)生的計(jì)算思維能明顯提升，能夠通過編寫程序研究與計(jì)算機(jī)相關(guān)的復(fù)雜工程問題。具體的課程目標(biāo)如下：課程目標(biāo)1：能夠理解互聯(lián)網(wǎng)大數(shù)據(jù)基于Spark的技術(shù)體系、主要技術(shù)。課程目標(biāo)2：掌握Spark相關(guān)的各種典型技術(shù)原理、技術(shù)框架、實(shí)現(xiàn)方法、主要開源包的使用。課程目標(biāo)3：理解基于Spark的分布式數(shù)據(jù)的處理方法、文本處理與相關(guān)的挖掘方法，并會使用Scala進(jìn)行技術(shù)實(shí)現(xiàn)。二、課程目標(biāo)對畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)權(quán)重3-1：能夠設(shè)計(jì)針對大數(shù)據(jù)系統(tǒng)工程問題的解決方案，包括滿足特定需求的系統(tǒng)架構(gòu)、數(shù)據(jù)庫設(shè)計(jì)、數(shù)據(jù)挖掘方法、系統(tǒng)實(shí)現(xiàn)、測試與驗(yàn)證等，并在設(shè)計(jì)環(huán)節(jié)中體現(xiàn)創(chuàng)新意識。課程目標(biāo)1H4-2：能夠基于數(shù)據(jù)科學(xué)的方法和原理，就大數(shù)據(jù)工程應(yīng)用中涉及的信息處理、數(shù)據(jù)關(guān)聯(lián)、模型預(yù)測等數(shù)據(jù)挖掘問題進(jìn)行研究，設(shè)計(jì)相關(guān)的實(shí)驗(yàn)方案，并對結(jié)果或數(shù)據(jù)進(jìn)行分析與總結(jié)，得到合理有效的結(jié)論。課程目標(biāo)2H5-2：能夠針對大數(shù)據(jù)工程問題，為預(yù)測與分析工程模型選擇和使用合適的現(xiàn)代工程工具和信息技術(shù)工具，并能理解其局限性。課程目標(biāo)3M三、教學(xué)內(nèi)容、基本要求與學(xué)時分配序號教學(xué)內(nèi)容基本要求及重、難點(diǎn)（含德育要求）學(xué)時教學(xué)方式對應(yīng)課程目標(biāo)1Scala語言基礎(chǔ)1. 了解Scala的特點(diǎn)2. 掌握Scala和IDEA的下載安裝3. 掌握Scala的基礎(chǔ)語法4. 掌握Scala的數(shù)據(jù)結(jié)構(gòu)5. 熟悉Scala面向?qū)ο蟮奶匦?. 掌握Scala的模式匹配與樣例類樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。2講授演示練習(xí)課程目標(biāo)12Spark基礎(chǔ)1. 掌握Spark集群的搭建和配置2. 掌握SparkHA集群的搭建和配置3. 掌握Spark集群架構(gòu)4. 理解Spark作業(yè)提交的工作原理樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習(xí)課程目標(biāo)13SparkRDD彈性分布式數(shù)據(jù)集1. 了解HDFS演變2. 掌握HDFS特點(diǎn)3. 掌握HDFS的架構(gòu)和原理4. 掌握HDFS的Shell和JavaApi操作樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習(xí)課程目標(biāo)24SparkSQL結(jié)構(gòu)化數(shù)據(jù)文件處理1. 理解SparkSQL基本概念及其架構(gòu)2. 掌握DataFrame/Dataset的常用操作3. 掌握RDD轉(zhuǎn)換DataFrame的方式4. 掌握SparkSQL操作數(shù)據(jù)源樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習(xí)課程目標(biāo)25HBase分布式數(shù)據(jù)庫1. 理解HBase的數(shù)據(jù)模型2. 掌握HBase的集群部署3. 理解HBase的架構(gòu)4. 理解HBase讀寫數(shù)據(jù)流程5. 掌握HBase與Hive的整合樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。2講授演示練習(xí)課程目標(biāo)26Kafka分布式發(fā)布訂閱消息系統(tǒng)1. 掌握基本的消息傳遞模式2. 掌握Kafka集群部署3. 掌握Kafka基本操作4. 了解KafkaStreamsAPI的使用樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。2講授演示練習(xí)課程目標(biāo)27SparkStreaming實(shí)時計(jì)算框架1. 了解什么是實(shí)時計(jì)算2. 理解SparkStreaming工作原理3. 掌握DStream的轉(zhuǎn)換操作4. 掌握DStream的窗口操作5. 掌握DStream的輸出操作6. 掌握SparkStreaming和Kafka整合樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習(xí)課程目標(biāo)28SparkMLlib機(jī)器學(xué)習(xí)算法庫1. 了解什么是機(jī)器學(xué)習(xí)2. 掌握機(jī)器學(xué)習(xí)的工作流程3. 了解SparkMLlib的基本使用方式4. 了解電影推薦系統(tǒng)的構(gòu)建流程樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習(xí)課程目標(biāo)39綜合案例——Spark實(shí)時交易數(shù)據(jù)統(tǒng)計(jì)1. 熟悉Spark實(shí)時計(jì)算系統(tǒng)架構(gòu)2. 掌握看板平臺開發(fā)業(yè)務(wù)流程3. 熟悉系統(tǒng)環(huán)境搭建步驟4. 掌握Redis和WebSocket基本使用方式樹立學(xué)好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。6講授演示練習(xí)課程目標(biāo)3合計(jì)32序號實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容與要求學(xué)時類型對應(yīng)課程目標(biāo)1Scala語言基礎(chǔ)Scala的下載安裝;在IDEA開發(fā)工具中下載安裝Scala插件;開發(fā)第一個Scala程序。必修2驗(yàn)證課程目標(biāo)12Spark基礎(chǔ)搭建Spark開發(fā)環(huán)境;體驗(yàn)第一個Spark程序;IDEA開發(fā)WordCount程序。必修2驗(yàn)證課程目標(biāo)13SparkRDD彈性分布式數(shù)據(jù)集RDD的創(chuàng)建;RDD在Spark中的運(yùn)行流程。必修2驗(yàn)證課程目標(biāo)24SparkSQL結(jié)構(gòu)化數(shù)據(jù)文件處理DataFrame的創(chuàng)建與常用操作；Dataset對象的創(chuàng)建；RDD轉(zhuǎn)換DataFrame；SparkSQL操作MySQL；操作Hive數(shù)據(jù)集。必修4驗(yàn)證課程目標(biāo)25HBase分布式數(shù)據(jù)庫HBase的集群部署；HBase的Shell操作；HBase的JavaAPI操作；HBase讀寫數(shù)據(jù)流程；HBase和Hive的整合。選修4驗(yàn)證課程目標(biāo)26Kafka分布式發(fā)布訂閱消息系統(tǒng)安裝與啟動Kafka；基于命令行方式使用Kafka；基于JavaAPI方式使用Kafka；KafkaStreams開發(fā)單詞計(jì)數(shù)。選修4驗(yàn)證課程目標(biāo)27SparkStreaming實(shí)時計(jì)算DStream編程模型、轉(zhuǎn)換操作、窗口操作、輸出操作；DStream實(shí)例—實(shí)現(xiàn)網(wǎng)站熱詞排序。必修4驗(yàn)證課程目標(biāo)28SparkMLlib機(jī)器學(xué)習(xí)Spark機(jī)器學(xué)習(xí)工作流程；利用MLlib實(shí)現(xiàn)電影推薦。必修5綜合課程目標(biāo)39綜合案例Spark實(shí)時交易數(shù)據(jù)統(tǒng)計(jì)。必修5綜合課程目標(biāo)3合計(jì)32注：實(shí)驗(yàn)要求包括必修、選修；實(shí)驗(yàn)類型包括演示、驗(yàn)證、綜合、設(shè)計(jì)等。四、課程教學(xué)方法理論教學(xué)：主要采用課堂講授、程序演示、小組討論等方式。實(shí)驗(yàn)教學(xué)：項(xiàng)目講解、學(xué)生自主實(shí)驗(yàn)、個別輔導(dǎo)、程序分析等方式。五、學(xué)業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內(nèi)容、考核標(biāo)準(zhǔn)、成績占比等，考核方法、內(nèi)容應(yīng)突出“學(xué)生中心、產(chǎn)出導(dǎo)向”。（一）考核方式及具體要求1.課程成績構(gòu)成與要求課程考核注重形成性和終結(jié)性評價相結(jié)合，考核內(nèi)容主要由平時作業(yè)、章節(jié)測試、實(shí)驗(yàn)、期末考核組成，均按百分制計(jì)分，其中期末考核成績占50%、平時作業(yè)成績占10%、課堂表現(xiàn)成績占10%、實(shí)驗(yàn)成績占30%。2.課程目標(biāo)達(dá)成考核與評價序號考核方式課程目標(biāo)1（分值）課程目標(biāo)2（分值）課程目標(biāo)3（分值）合計(jì)1平時作業(yè)334102課堂表現(xiàn)334103實(shí)驗(yàn)10155304期末考試20201050課程目標(biāo)對應(yīng)分值364123100（二）考核與評價標(biāo)準(zhǔn)1.平時成績考核與評價標(biāo)準(zhǔn)分值觀測點(diǎn)90-100分70-89分60-69分0-59分作業(yè)按時完成，90%以上的作業(yè)內(nèi)容齊全，基本知識點(diǎn)理解、掌握到位。能夠利用理論知識識別、分析領(lǐng)域相關(guān)專業(yè)問題。按時完成，70%以上的作業(yè)內(nèi)容齊全，基本知識點(diǎn)理解、掌握較到位。能夠較好利用理論知識識別、分析領(lǐng)域相關(guān)專業(yè)問題。延時完成，60%以上的作業(yè)內(nèi)容齊全，基本知識點(diǎn)理解、掌握基本到位。利用理論知識對領(lǐng)域相關(guān)專業(yè)問題有一定的識別、分析。不交和補(bǔ)交，50%以下的作業(yè)內(nèi)容齊全，基本知識點(diǎn)理解、掌握有偏差。不能利用理論知識對領(lǐng)域相關(guān)專業(yè)問題進(jìn)行識別、分析。2.課堂表現(xiàn)評價標(biāo)準(zhǔn)出勤，遲到1次扣0.5分，無故曠課1次扣1分；上課玩手機(jī)1次扣1分，擾亂課堂秩序1次扣1分；參與課堂討論加1分。3.實(shí)驗(yàn)評價標(biāo)準(zhǔn)分值觀測點(diǎn)90-100分70-89分60-69分0-59分實(shí)驗(yàn)獨(dú)立正確完成實(shí)驗(yàn)內(nèi)容，方法具有一定的創(chuàng)新性，認(rèn)真撰寫實(shí)驗(yàn)報告和實(shí)驗(yàn)心得和總結(jié)。獨(dú)立正確完成實(shí)驗(yàn)，方法沒有太多創(chuàng)新，提交實(shí)驗(yàn)報告和總結(jié)。完成實(shí)驗(yàn)，結(jié)果基本正確，實(shí)驗(yàn)報告和總結(jié)比較隨意。實(shí)驗(yàn)沒有完成，或結(jié)果不正確，沒有提交實(shí)驗(yàn)報告和實(shí)驗(yàn)總結(jié)。4.期末大作業(yè)考核與評價標(biāo)準(zhǔn)期末考試成績采用項(xiàng)目大作業(yè)的考核方式，在規(guī)定時間內(nèi)完成一個小型項(xiàng)目，提交項(xiàng)目代碼，同時附項(xiàng)目的解決思路、實(shí)施步驟、結(jié)果、個人體會等內(nèi)容。優(yōu)秀：思路正確，方案很好，步驟清楚，實(shí)現(xiàn)了所有功能，。良好：思路正確，方案可行，步驟清楚，實(shí)現(xiàn)了大部分功能。中等：思路正確，方案