Spark大數(shù)據(jù)分析實(shí)務(wù) 教案 項(xiàng)目5 基于Spark SQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)預(yù)處理 教案

項(xiàng)目5基于SparkSQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)預(yù)處理教案課程名稱：Spark大數(shù)據(jù)技術(shù)實(shí)務(wù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論32學(xué)時(shí)，實(shí)驗(yàn)32學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：12學(xué)時(shí)材料清單《Spark大數(shù)據(jù)技術(shù)實(shí)務(wù)》教材。配套PPT。引導(dǎo)性提問(wèn)。探究性問(wèn)題。拓展性問(wèn)題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)首先介紹DataFrame行列表增、刪操作，通過(guò)DataFrame對(duì)象新增或刪除得到新的DataFrame；接著介紹創(chuàng)建與使用用戶自定義函數(shù)，可以根據(jù)特定的需求編寫(xiě)和調(diào)用用戶自定義函數(shù)；然后介紹DataFrame表聯(lián)合操作，并分別舉例闡述聯(lián)合操作的區(qū)別；最后介紹DataFrame行列表輸出操作相關(guān)知識(shí)。基于知識(shí)介紹，對(duì)廣告流量檢測(cè)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，在刪除缺失值后構(gòu)建關(guān)鍵特征，將構(gòu)建出來(lái)的特征合并輸出保存至Hive表中。本項(xiàng)目的操作可為項(xiàng)目6介紹的模型的構(gòu)建與評(píng)估提供數(shù)據(jù)特征服務(wù)?；疽笳莆誅ataFrame行列表的增、刪操作方法。掌握用戶自定義函數(shù)的創(chuàng)建與使用方法。掌握多種DataFrame表聯(lián)合操作的方法。掌握DataFrame保存數(shù)據(jù)的多種方式。能夠處理DataFrame中的缺失值。能夠?qū)崿F(xiàn)DataFrame表聯(lián)合操作。能夠創(chuàng)建和使用用戶自定義函數(shù)。能夠按照不同需求采用不同方式保存DataFrame數(shù)據(jù)。問(wèn)題引導(dǎo)性提問(wèn)引導(dǎo)性提問(wèn)需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問(wèn)題，啟發(fā)引導(dǎo)學(xué)生去解決問(wèn)題，提問(wèn)，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺(jué)悟的目的。DataFrame行列表除了查詢操作，還有什么操作？能否將兩個(gè)DataFrame合并到一起操作？如果Spark提供的函數(shù)不能滿足統(tǒng)計(jì)分析需求，要通過(guò)什么方法實(shí)現(xiàn)其需求？探究性問(wèn)題探究性問(wèn)題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問(wèn)的角度或者在引導(dǎo)性提問(wèn)的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問(wèn)題切入，進(jìn)行插入式提問(wèn)。或者是對(duì)引導(dǎo)式提問(wèn)中尚未涉及但在課文中又是重要的問(wèn)題加以設(shè)問(wèn)。DataFrame表聯(lián)合的方法有哪些？有何異同？如何創(chuàng)建用戶自定義函數(shù)？創(chuàng)建后又該如何使用？要想保存處理好的DataFrame，有哪些方法可以實(shí)現(xiàn)？可以以什么形式保存？拓展性問(wèn)題拓展性問(wèn)題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問(wèn)題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問(wèn)題。Spark提供的可操作對(duì)象除了DataFrame，還有什么？按照數(shù)據(jù)分析流程，數(shù)據(jù)預(yù)處理后是什么操作？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)新增數(shù)據(jù)列。刪除數(shù)據(jù)列。創(chuàng)建與使用用戶自定義函數(shù)。5種join()方法。根據(jù)特定字段進(jìn)行表聯(lián)合操作。指定類型進(jìn)行表聯(lián)合操作。使用Column類型進(jìn)行表聯(lián)合操作。保存為文件。保存為持久化的表。使用drop語(yǔ)句刪除數(shù)據(jù)。自定義函數(shù)構(gòu)建關(guān)鍵特征。保存DataFrame數(shù)據(jù)至Hive表中。重點(diǎn)DataFrame行列表增、刪、輸出操作。DataFrame表聯(lián)合操作。創(chuàng)建與使用用戶自定義函數(shù)。難點(diǎn)創(chuàng)建與使用用戶自定義函數(shù)。教學(xué)過(guò)程設(shè)計(jì)理論教學(xué)過(guò)程SparkSQL簡(jiǎn)介。配置SparkSQLCLI。SparkSQL與Shell交互。通過(guò)結(jié)構(gòu)化數(shù)據(jù)文件創(chuàng)建DataFrame。通過(guò)外部數(shù)據(jù)庫(kù)創(chuàng)建DataFrame。通過(guò)RDD創(chuàng)建DataFrame。通過(guò)Hive表創(chuàng)建DataFrame。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。實(shí)踐教學(xué)過(guò)程新增數(shù)據(jù)列。刪除數(shù)據(jù)列。創(chuàng)建與使用用戶自定義函數(shù)。根據(jù)特定字段進(jìn)行表聯(lián)合操作。指定類型進(jìn)行表聯(lián)合操作。使用Column類型進(jìn)行表聯(lián)合操作。保存為文件。保存為持久化的表。使用drop語(yǔ)句刪除數(shù)據(jù)。劃分時(shí)間區(qū)間。構(gòu)建關(guān)鍵特征并保存至Hive表中。保存DataFrame數(shù)據(jù)至Hive表中。教材與參考資料教材鄭浩森，張榮．Spark大數(shù)據(jù)技術(shù)分析[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張