數據倉庫Hive應用實戰(zhàn) 教案57-60課時-導入數據到分區(qū)表

湖南汽車工程職業(yè)學院教師授課教案第8周第1-4課時累計60課時課程名稱大數據倉庫HIVE授課課題管理分區(qū)表中的數據授課專業(yè)班級大數據2101、大數據2102、大數據2103教學目標1.在靜態(tài)分區(qū)中導入數據2.在動態(tài)分區(qū)中導入數據3.混合使用動態(tài)分區(qū)和靜態(tài)分區(qū)導入數據教學要點教學重點混合使用動態(tài)分區(qū)和靜態(tài)分區(qū)導入數據教學難點混合使用動態(tài)分區(qū)和靜態(tài)分區(qū)導入數據課型一體化授課教法與學法（教具）示范演示法、任務驅動教學法、分組合作教學法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學后記（教師課后填寫）授課教師王海霞、黃史記【課前復習】Hive表中數據導入的基本語法是什么？【作業(yè)點評】展示智課堂學生作業(yè)完成情況，并做點評。【學習目標】能熟練使用多種方式將表中數據導出到Hive表中；【課程導入】前面成功創(chuàng)建了分區(qū)表，并且每個分區(qū)表對應一個HDFS目錄，當前表目錄均為空，此時需要將實際業(yè)務數據導入相應分區(qū)表的分區(qū)中，即將數據存儲到每個子分區(qū)所對應的HDFS子目錄中?！拘抡n講授】一、在靜態(tài)分區(qū)中導入數據在靜態(tài)分區(qū)中導入數據時，必須通過LOADDATA語句和INSERT語句中的PARTITION(partcol1[=val1],partcol2[=val2]...)為分區(qū)字段指定值，即必須有val1、val2等?！纠?-6】創(chuàng)建內部分區(qū)表phy_course_static_partition，設置opt_cour為分區(qū)字段，把phy_course_hdfs表中選修了“basketball”課程和“football”課程的學生信息以靜態(tài)分區(qū)方式分別加載到分區(qū)表phy_course_static_partition中。第1步：創(chuàng)建分區(qū)表phy_course_static_partition。CREATETABLEphy_course_static_partition(stnameSTRINGCOMMENT'姓名',stidSTRINGCOMMENT'學號',classSTRINGCOMMENT'班級')PARTITIONEDBY(opt_courSTRINGCOMMENT'選修課程');第2步：使用PARTITION子句將查詢到的選修了“basketball”課程的數據插入指定分區(qū)。INSERTINTOTABLEphy_course_static_partitionPARTITION(opt_cour='basketball')SELECTstname,stid,classFROMphy_course_hdfsWHEREopt_cour='basketball';第3步：使用PARTITION子句將查詢到的選修了“football”課程的數據插入指定分區(qū)中。INSERTINTOTABLEphy_course_static_partitionPARTITION(opt_cour='football')SELECTstname,stid,classFROMphy_course_hdfsWHEREopt_cour='football';第4步：查看分區(qū)表phy_course_static_partition中的數據存儲目錄及目錄下的數據，發(fā)現該表已經創(chuàng)建了opt_cour=basketball和opt_cour=football的2個分區(qū)，并且分區(qū)目錄下存儲了選修了basketball和football選修課的學生信息。二、在動態(tài)分區(qū)中導入數據當在動態(tài)分區(qū)中導入數據時，必須通過LOADDATA語句和INSERT語句中的PARTITION(partcol1[=val1],partcol2[=val2]...)不需要為分區(qū)字段指定值，即不需要val1、val2等。例4-6展示的靜態(tài)分區(qū)在數據量巨大、分區(qū)很多的情況下需要使用非常多的HiveQL。例如，假定原始表phy_course_hdfs中包含100門選修課程，需要把這些數據按照選修課程拆分到分區(qū)表phy_course_static_partition的各分區(qū)中，就需要使用100條HiveQL語句。為了解決這類問題，Hive提供了動態(tài)分區(qū)。使用動態(tài)分區(qū)必須滿足如下條件。開啟動態(tài)分區(qū)。sethive.exec.dynamic.partition=true;將分區(qū)模式設置為非嚴格的。sethive.exec.dynamic.partition.mode=nonstrict;當hive.exec.dynamic.partition.mode屬性的值是strict時，要求分區(qū)字段必須有一個是靜態(tài)的分區(qū)值；當hive.exec.dynamic.partition.mode屬性的值是nonstrict時，允許所有分區(qū)為動態(tài)。【例4-7】創(chuàng)建內部分區(qū)表phy_course_dynamic_partition，將phy_course_hdfs中的數據動態(tài)分區(qū)方式按照選修課程分區(qū)插入分區(qū)表phy_course_dynamic_partition。第1步：創(chuàng)建分區(qū)表phy_course_dynamic_partition。CREATETABLEphy_course_dynamic_partition(stnameSTRINGCOMMENT'姓名',stidSTRINGCOMMENT'學號',classSTRINGCOMMENT'班級')PARTITIONEDBY(opt_courSTRINGCOMMENT'選修課程');第2步：使用動態(tài)分區(qū)語法將phy_course_hdfs中數據分區(qū)插入分區(qū)表phy_course_dynamic_partition中。INSERTINTOTABLEphy_course_dynamic_partitionPARTITION(opt_cour)SELECTstname,stid,class,opt_courFROMphy_course_hdfs;第3步：查看分區(qū)表phy_course_dynamic_partition中的存儲目錄及目錄下的數據，發(fā)現該表已經為所有選修課程自動創(chuàng)建了分區(qū)，并且分區(qū)目錄下存儲了選修了該門選修課程的學生信息，三、混合使用動態(tài)分區(qū)和靜態(tài)分區(qū)導入數據當使用INSERT語句導入數據時可以混合使用動態(tài)分區(qū)和靜態(tài)分區(qū)?！纠?-8】創(chuàng)建分區(qū)表phy_course_static_dynamic_partition，設置opt_cour、class為分區(qū)字段，將phy_course_hdfs中的數據以混合分區(qū)方式把選修課程為“football”的學生信息分班級存儲到分區(qū)表phy_course_static_dynamic_partition中。第1步：創(chuàng)建分區(qū)表phy_course_static_dynamic_partition。CREATETABLEphy_course_static_dynamic_partition(stnameSTRINGCOMMENT'姓名',stidSTRINGCOMMENT'學號')PARTITIONEDBY(opt_courSTRINGCOMMENT'選修課程',classSTRINGCOMMENT'班級');第2步：使用混合分區(qū)的方式導入數據。INSERTINTOTABLEphy_course_static_dynamic_partitionPARTITION(opt_cour='football',class)SELECTstname,stid,classFROMphy_course_hdfsWHEREopt_cour='football';第3步：查看分區(qū)表phy_course_static_dynamic_partition中的存儲目錄及目