數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案105-108課時(shí)：應(yīng)用Sqoop遷移導(dǎo)出數(shù)據(jù)

湖南汽車工程職業(yè)學(xué)院教師授課教案第14周第1-4課時(shí)累計(jì)108課時(shí)課程名稱數(shù)據(jù)倉(cāng)庫(kù)HIVE應(yīng)用授課課題應(yīng)用Sqoop遷移導(dǎo)出數(shù)據(jù)授課專業(yè)班級(jí)大數(shù)據(jù)2101班、2102班、2103班教學(xué)目標(biāo)1、Sqoop常用命令；2、Sqoop數(shù)據(jù)遷移方式；3、掌握將HIVE中的數(shù)據(jù)用Sqoop遷移導(dǎo)出到Mysql。教學(xué)要點(diǎn)教學(xué)重點(diǎn)Sqoopexport命令、Sqoopimport命令教學(xué)難點(diǎn)HIVE中的數(shù)據(jù)用Sqoop遷移導(dǎo)出到Mysql課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成超星平臺(tái)作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）1、學(xué)生在編寫代碼容易出錯(cuò)；2、鼓勵(lì)學(xué)生之間要克服麻痹大意的不良習(xí)慣，要培養(yǎng)細(xì)心規(guī)范的職業(yè)素養(yǎng)；3、掌握思維導(dǎo)圖對(duì)于知識(shí)體系構(gòu)建的重要性。授課教師王海霞、黃史記【課前復(fù)習(xí)】Sqoop的框架及運(yùn)行流程？【作業(yè)點(diǎn)評(píng)】展示超星平臺(tái)學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)。【學(xué)習(xí)目標(biāo)】以“大數(shù)據(jù)商業(yè)智能選址”項(xiàng)目為實(shí)操載體，完成熟練Sqoop常用命令、理解Sqoop數(shù)據(jù)遷移方式、將Hive中數(shù)據(jù)導(dǎo)出到MySQL、將MySQL表數(shù)據(jù)導(dǎo)入Hive等學(xué)習(xí)目標(biāo)?！菊n程導(dǎo)入】上一個(gè)任務(wù)中，我們成功安裝了Sqoop，并對(duì)Sqoop進(jìn)行了配置。要實(shí)現(xiàn)數(shù)據(jù)遷移，還需要學(xué)習(xí)Sqoopimport命令和Sqoopexport命令。【新課講授】一、Sqoop常用命令Sqoop工具提供了一系列命令進(jìn)行數(shù)據(jù)遷移操作，通過(guò)幫助命令sqoophelp查看所支持的所有命令，如下圖所示：圖7-SEQ圖7-\*ARABIC4Sqoop幫助命令Sqoop常用命令及功能描述如下表所示：表7-SEQ表7-\*ARABIC2Sqoop常用命令命令功能描述list-databases列出所有數(shù)據(jù)庫(kù)名list-tables列出某個(gè)數(shù)據(jù)庫(kù)下所有表import將關(guān)系型數(shù)據(jù)庫(kù)中數(shù)據(jù)導(dǎo)入到Hadoopexport將Hadoop中數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)create-hive-table創(chuàng)建Hive表import-all-tables導(dǎo)入某個(gè)數(shù)據(jù)庫(kù)下所有表到HDFS中merge將HDFS中不同目錄下面的數(shù)據(jù)合在一起，并存放在指定的目錄中help打印sqoop幫助信息version打印sqoop版本信息通過(guò)sqoophelpcommand-name方式查看每個(gè)命令的詳細(xì)幫助信息。如查看命令import，輸入sqoophelpimport。二、Sqoop數(shù)據(jù)遷移方式1.Sqoop數(shù)據(jù)導(dǎo)入Sqoop數(shù)據(jù)導(dǎo)入是指從非大數(shù)據(jù)集群（RDBMS）向大數(shù)據(jù)集群（HDFS、HIVE、HBASE）等具有分布式存儲(chǔ)結(jié)構(gòu)的文件系統(tǒng)中傳輸數(shù)據(jù)，表中的每一行被視為一條記錄，所有記錄默認(rèn)以文本文件格式進(jìn)行逐行存儲(chǔ)。Sqoop實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入采用import命令。2.Sqoop數(shù)據(jù)導(dǎo)出Sqoop數(shù)據(jù)導(dǎo)出是指從大數(shù)據(jù)集群（HDFS、HIVE、HBASE）等分布式文件系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)向非大數(shù)據(jù)集群（RDBMS）傳輸數(shù)據(jù)。Sqoop工具使用export命令完成數(shù)據(jù)導(dǎo)出操作。在導(dǎo)出操作之前，目標(biāo)表必須存在于目標(biāo)數(shù)據(jù)庫(kù)中，否則會(huì)數(shù)據(jù)導(dǎo)出失敗?！局v練結(jié)合】將Hive中數(shù)據(jù)遷移導(dǎo)出到MySQL1、將Hive中非分區(qū)表數(shù)據(jù)遷移導(dǎo)出到MySQL【例7-1】將Hive中ods_site庫(kù)的ods_bts_industry表數(shù)據(jù)遷移到MySQL中。從Hive遷移數(shù)據(jù)到MySQL前，必須在MySQL中提前創(chuàng)建好目標(biāo)表，且該表結(jié)構(gòu)應(yīng)與Hive中對(duì)應(yīng)表的元數(shù)據(jù)結(jié)構(gòu)一致。第1步，在MySQL中創(chuàng)建數(shù)據(jù)庫(kù)mysql_ods_site，在MySQL中執(zhí)行以下代碼。CREATEDATABASEmysql_ods_sitedefaultcharactersetutf8mb4collateutf8mb4_unicode_ci;圖7-SEQ圖7-\*ARABIC5MySQL中創(chuàng)建數(shù)據(jù)庫(kù)第2步，在數(shù)據(jù)庫(kù)mysql_ods_site中創(chuàng)建數(shù)據(jù)表mysql_ods_bts_industry，用于存儲(chǔ)從Hive的ods_bts_industry表中遷移來(lái)的數(shù)據(jù)，在MySQL中執(zhí)行以下代碼。CREATETABLEmysql_ods_site.mysql_ods_bts_industry(bts_idVARCHAR(200)NOTNULLCOMMENT'基站編碼',category_codeVARCHAR(200)NOTNULLCOMMENT'行業(yè)分類編碼',numintNOTNULLCOMMENT'行業(yè)數(shù)量');圖7-SEQ圖7-\*ARABIC6MySQL中創(chuàng)建mysql_ods_bts_industry表第3步，從Hive中ods_site庫(kù)的ods_bts_industry表數(shù)據(jù)遷移到MySQL的mysql_ods_site庫(kù)的mysql_ods_bts_industry表，在Linux中執(zhí)行以下命令。sqoopexport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--tablemysql_ods_bts_industry\--num-mappers1\--export-dir/project/warehouse/intelligent_site/ods_site.db/ods_bts_industry\--input-fields-terminated-by"\0001"上述命令中，參數(shù)功能如下：--table：用于指定關(guān)系數(shù)據(jù)庫(kù)的表名。此處表示遷移導(dǎo)出到mysql_ods_site庫(kù)中的mysql_ods_bts_industry表。--num-mappers：?jiǎn)?dòng)N個(gè)Map并行遷移數(shù)據(jù)，默認(rèn)值為4。此處表示啟動(dòng)1個(gè)Map導(dǎo)出數(shù)據(jù)到MySQL。--export-dir：用于指定存放數(shù)據(jù)的HDFS的源目錄。此處表示遷移導(dǎo)出HDFS的/project/warehouse/intelligent_site/ods_site.db/ods_bts_industry目錄下的數(shù)據(jù)文件。--input-fields-terminated-by：用于指定字段之間的分隔符。此處表示字段分隔符為"\0001"。執(zhí)行上述sqoopexport命令的返回結(jié)果如下圖所示：圖7-SEQ圖7-\*ARABIC7執(zhí)行sqoopexport命令返回結(jié)果從上述數(shù)據(jù)遷移結(jié)果看，從Hive中ods_site庫(kù)的ods_bts_industry表中遷移了3267條數(shù)據(jù)到MySQL的mysql_ods_site庫(kù)的mysql_ods_bts_industry表。第4步，驗(yàn)證數(shù)據(jù)自Hive遷移到MySQL。圖7-SEQ圖7-\*ARABIC8查詢mysql_ods_bts_industry表中數(shù)據(jù)量2、將Hive中分區(qū)表數(shù)據(jù)遷移導(dǎo)出到MySQL【例7-2】將Hive中ods_site庫(kù)的分區(qū)表ods_resident_pop中分區(qū)字段為month=201805的數(shù)據(jù)遷移到MySQL中。第1步，在數(shù)據(jù)庫(kù)mysql_ods_site中創(chuàng)建數(shù)據(jù)表mysql_ods_resident_pop_201805，用于存儲(chǔ)從Hive的ods_resident_pop分區(qū)表中分區(qū)字段month=201805遷移來(lái)的數(shù)據(jù)，在MySQL中執(zhí)行以下代碼。CREATETABLEmysql_ods_site.mysql_ods_resident_pop_201805(bts_idVARCHAR(200)NOTNULLCOMMENT'基站編碼',resident_numintNOTNULLCOMMENT'常住人口數(shù)');圖7-SEQ圖7-\*ARABIC9MySQL中創(chuàng)建mysql_ods_resident_pop_201805表第2步，從Hive中ods_site庫(kù)的分區(qū)表ods_resident_pop分區(qū)字段為month=201805的數(shù)據(jù)遷移到mysql_ods_site庫(kù)的mysql_ods_resident_pop_201805表，在Linux中執(zhí)行以下命令。$sqoopexport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--tablemysql_ods_resident_pop_201805\--num-mappers1\--export-dir/project/warehouse/intelligent_site/ods_site.db/ods_resident_pop/month=201805\--input-fields-terminated-by"\0001"第3步，驗(yàn)證數(shù)據(jù)自Hive遷移到MySQL。圖7-SEQ圖7-\*ARABIC10查詢mysql_ods_residen