數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案101-104課時(shí)：部署和配置Sqoop

湖南汽車工程職業(yè)學(xué)院教師授課教案第13周第5-8課時(shí)累計(jì)104課時(shí)課程名稱數(shù)據(jù)倉(cāng)庫(kù)HIVE應(yīng)用授課課題部署和配置Sqoop授課專業(yè)班級(jí)大數(shù)據(jù)2101班、2102班、2103班教學(xué)目標(biāo)1、能闡述清楚Sqoop的原理和架構(gòu)；2、能根據(jù)需求配置部署好Sqoop；3、能驗(yàn)證Sqoop配置是否成功。教學(xué)要點(diǎn)教學(xué)重點(diǎn)安裝、配置Sqoop教學(xué)難點(diǎn)配置驗(yàn)證Sqoop課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成超星平臺(tái)作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）1、學(xué)生在編寫代碼容易出錯(cuò)；2、鼓勵(lì)學(xué)生之間要克服麻痹大意的不良習(xí)慣，要培養(yǎng)細(xì)心規(guī)范的職業(yè)素養(yǎng)；3、掌握思維導(dǎo)圖對(duì)于知識(shí)體系構(gòu)建的重要性。授課教師王海霞、黃史記【課前復(fù)習(xí)】常見(jiàn)的自定義函數(shù)有哪些，各有什么用？【作業(yè)點(diǎn)評(píng)】展示超星平臺(tái)學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)?！緦W(xué)習(xí)目標(biāo)】以“學(xué)生信息系統(tǒng)”項(xiàng)目為實(shí)操載體，完成配置部署好Sqoop并能驗(yàn)證Sqoop配置是否成功?！菊n程導(dǎo)入】在大數(shù)據(jù)應(yīng)用項(xiàng)目的開(kāi)發(fā)設(shè)計(jì)、應(yīng)用分析和管理決策實(shí)施過(guò)程中，我們常需要進(jìn)行數(shù)據(jù)的遷移整合，由于有時(shí)數(shù)據(jù)存儲(chǔ)在Hive中，也可能存儲(chǔ)在MySQL中，那如何將數(shù)據(jù)匯總存儲(chǔ)到同一個(gè)平臺(tái)呢？數(shù)據(jù)遷移工具Sqoop可以實(shí)現(xiàn)在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(MySQL)間進(jìn)行數(shù)據(jù)的傳遞。。【新課講授】一、Sqoop介紹Sqoop是SQL-to-Hadoop的簡(jiǎn)稱，是用于在Hadoop和關(guān)系數(shù)據(jù)庫(kù)服務(wù)器之間傳送數(shù)據(jù)的工具，主要在Hadoop生態(tài)組件如Hive、Hbase、HDFS與傳統(tǒng)數(shù)據(jù)庫(kù)如MySQL、Oracle、Postgres等之間進(jìn)行數(shù)據(jù)傳遞，應(yīng)用Sqoop工具可以將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入Hadoop的HDFS中，也可以將HDFS中數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)中。Sqoop1和Sqoop2的功能區(qū)別如下表所示：表7-SEQ表7-\*ARABIC1Sqoop1和Sqoop2的功能區(qū)別功能Sqoop1Sqoop2用于所有主要RDBMS的連接器支持不支持解決辦法：使用已在以下數(shù)據(jù)庫(kù)上執(zhí)行測(cè)試的通用JDBC連接器：MicrosoftSQLServer、PostgreSQL、MySQL和Oracle。

Kerberos安全集成支持不支持?jǐn)?shù)據(jù)從RDBMS傳輸至Hive或HBase支持不支持

解決辦法：按照此兩步方法操作。將數(shù)據(jù)從RDBMS導(dǎo)入HDFS在Hive中使用相應(yīng)的工具和命令（例如LOADDATA語(yǔ)句），手動(dòng)將數(shù)據(jù)載入Hive或HBase數(shù)據(jù)從Hive或HBase傳輸至RDBMS不支持解決辦法：按照此兩步方法操作。從Hive或HBase將數(shù)據(jù)提取至HDFS（作為文本或Avro文件）使用Sqoop將上一步的輸出導(dǎo)出至RDBMS不支持

按照與Sqoop1相同的解決方法操作Sqoop架構(gòu)關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)（MySQL、Oracle）Hadoop（HDFS、Hive、Hbase）Import數(shù)據(jù)導(dǎo)入Export數(shù)據(jù)導(dǎo)出Sqoop工具圖7-SEQ圖7-\*ARABIC2Sqoop工作流程圖【講練結(jié)合】Sqoop是apache的頂級(jí)項(xiàng)目，是一款開(kāi)源工具，我們可以直接在官網(wǎng)下載Sqoop安裝包，使用secureFX工具將下載的安裝包上傳到hive服務(wù)器，然后配置sqoop的環(huán)境變量，編輯Sqoop配置文件，最后上傳msyql驅(qū)動(dòng)，測(cè)試是否能夠連接MySQL，為實(shí)現(xiàn)數(shù)據(jù)遷移準(zhǔn)備好環(huán)境。本任務(wù)實(shí)施依次完成部署Sqoop、配置Sqoop的操作。部署SqoopSqoop相關(guān)發(fā)行版本可以通過(guò)其官網(wǎng)/dist/sqoop/下載，本書(shū)使用1.4.7版本，包文件名為：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz。第1步，使用secureFX工具將下載的Sqoop文件sqoop-1.4.7.bin__hadoop-2.6.0.tar上傳至hive服務(wù)器的hadoop用戶家目錄下的software中。[hadoop@hive~]$ll/home/hadoop/software/|grepsqoop-rw-rw-r--.1hadoophadoop179536046月2108:46sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz第2步，使用tar命令解壓sqoop-1.4.7.bin__hadoop-2.6.0.tar至hadoop用戶家目錄下server中并重命名：[hadoop@hivesoftware]$tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C~/server/[hadoop@hive~]$mv~/server/sqoop-1.4.7.bin__hadoop-2.6.0/~/server/sqoop-1.4.7/【講練結(jié)合】配置Sqoop第1步，在/etc/profile文件中設(shè)置Sqoop環(huán)境變量并生效。[hadoop@hive~]$sudovi/etc/profileexportSQOOP_HOME=/home/hadoop/server/sqoop-1.4.7exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin[hadoop@hive~]$source/etc/profile第2步，配置$SQOOP_HOME下bin/configure-sqoop文件。修改bin/configure-sqoop配置文件，注釋文件中關(guān)于HBase、Zookeeper等檢查，如下所示：[hadoop@hive~]$vi/home/hadoop/server/sqoop-1.4.7/bin/configure-sqoop#if[!-d"${HBASE_HOME}"];then#echo"Warning:$HBASE_HOMEdoesnotexist!HBaseimportswillfail."#echo'Pleaseset$HBASE_HOMEtotherootofyourHBaseinstallation.'#fi##Movedtobearuntimecheckinsqoop.#if[!-d"${HCAT_HOME}"];then#echo"Warning:$HCAT_HOMEdoesnotexist!HCatalogjobswillfail."#echo'Pleaseset$HCAT_HOMEtotherootofyourHCataloginstallation.'#fi#if[!-d"${ACCUMULO_HOME}"];then#echo"Warning:$ACCUMULO_HOMEdoesnotexist!Accumuloimportswillfail."#echo'Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.'#fi#if[!-d"${ZOOKEEPER_HOME}"];then#echo"Warning:$ZOOKEEPER_HOMEdoesnotexist!Accumuloimportswillfail."#echo'Pleaseset$ZOOKEEPER_HOMEtotherootofyourZookeeperinstallation.'#fi第3步，配置$SQOOP_HOME下conf/sqoop-env.sh文件。當(dāng)不存在sqoop-env.sh文件時(shí)，復(fù)制sqoop-env-template.sh文件，然后修改為sqoop-env.sh配置文件，并添加配置信息，如下所示：[hadoop@hive~]$cd/home/hadoop/server/sqoop-1.4.7/conf[hadoop@hiveconf]$cpsqoop-env-template.shsqoop-env.sh[hadoop@hiveconf]$visqoop-env.shexportHADOOP_COMMON_HOME=/home/hadoop/server/hadoop-2.9.2exportHADOOP_MAPRED_HOME=/home/hadoop/server/hadoop-2.9.2exportHIVE_HOME=/home/hadoop/server/apache-hive-2.3.4-bin第4步，驗(yàn)證Sqoop版本信息。[hadoop@hive~]$sqoopversion21/08/1905:58:23INFOsqoop.Sqoop:RunningSqoopversion:1.4.7Sqoop1.4.7gitcommitid2328971411f57f0cb683dfb79d19d4d19d185dd8CompiledbymauglionThuDec2115:59:58STD2017第5步，將mysql驅(qū)動(dòng)包拷貝到$SQOOP_HOME的lib目錄下。[hadoop@hivelib]$ll/home/hadoop/server/sqoop-1.4.7/lib|grepmysql-rw-rw-r--.1hadoophadoop10048402月262018mysql-connector-java-5.1.46-bin.jar第6步，測(cè)試連接MySQL，通過(guò)sqooplist-databases