2023學(xué)年完整公開課版教學(xué)Sqoop簡(jiǎn)介

主講：張義0102目錄Sqoop概念Sqoop版本對(duì)比03安裝部署Sqoop概念1Sqoop概念Hadoop業(yè)務(wù)的大致開發(fā)流程以及Sqoop在業(yè)務(wù)中的地位：Sqoop概念

Sqoop可以理解為【SQL–to–Hadoop】，正如名字所示，Sqoop是一個(gè)用來將關(guān)系型數(shù)據(jù)庫(kù)和Hadoop中的數(shù)據(jù)進(jìn)行相互轉(zhuǎn)移的工具。它可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(例如Mysql、Oracle)中的數(shù)據(jù)導(dǎo)入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)(例如Mysql、Oracle)中。Sqoop版本對(duì)比2Sqoop版本對(duì)比Sqoop1和Sqoop2對(duì)比：兩個(gè)版本，完全不兼容，Sqoop1幾乎無法平滑升級(jí)到Sqoop2版本號(hào)劃分區(qū)別Apache版本：1.4.x(Sqoop1);1.99.x(Sqoop2)CDH版本:Sqoop-1.4.3-cdh4(Sqoop1);Sqoop2-1.99.2-cdh4.5.0(Sqoop2)Sqoop2相對(duì)Sqoop1的改進(jìn)引入Sqoopserver，集中化管理connector等訪問方式多樣化：CLI(command-lineinterface，命令行界面)，WebUI，RESTAPI引入基于角色的安全機(jī)制在架構(gòu)上，sqoop2引入了sqoopserver（具體服務(wù)器為tomcat），對(duì)connector實(shí)現(xiàn)了集中的管理。其訪問方式也變得多樣化了，其可以通過RESTAPI、JAVAAPI、WEBUI以及CLI控制臺(tái)方式進(jìn)行訪問。另外，其在安全性能方面也有一定的改善，在sqoop1中我們經(jīng)常用腳本的方式將HDFS中的數(shù)據(jù)導(dǎo)入到mysql中，或者反過來將mysql數(shù)據(jù)導(dǎo)入到HDFS中，其中在腳本里邊都要顯示指定mysql數(shù)據(jù)庫(kù)的用戶名和密碼的，安全性做的不是太完善。在sqoop2中，如果是通過CLI方式訪問的話，會(huì)有一個(gè)交互過程界面，你輸入的密碼信息不被看到。安裝部署3安裝部署1、下載

下載地址：/dist/sqoop/1.4.6/

下載sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz2、解壓安裝tar-zxvfsqoop-1.4.6.bin__hadoop-1.0.0.tar.gz-C/datacd/datamvsqoop-1.4.6.bin__hadoop-1.0.0/sqoop1chmod-R775/data/sqoop1chown-Rhadoop:hadoop/data/sqoop1安裝部署3、配置環(huán)境變量vim/etc/profileexportSQOOP_HOME=/data/sqoop1exportPATH=$PATH:$SQOOP_HOME/binsource/etc/profile安裝部署4、其他配置（1）下載mysql驅(qū)動(dòng)包，mysql-connector-java-5.1.40-bin.jar，把jar包丟到到$SQOOP_HOME/lib下面（2）接下來修改sqoop的配置文件cd/data/sqoop1/confcpsqoop-env-template.shsqoop-env.shvimsqoop-env.sh#指定各環(huán)境變量的實(shí)際配置#SetHadoop-specificenvironmentvariableshere.#Setpathtowherebin/hadoopisavailable#exportHADOOP_COMMON_HOME=#Setpathtowherehadoop-*-core.jarisavailable#exportHADOOP_MAPRED_HOME=#setthepathtowherebin/hbaseisavailable#exportHBASE_HOME=#Setthepathtowherebin/hiveisavailable#exportHIVE_HOME=安裝部署5、驗(yàn)證是否成功#列出所有數(shù)據(jù)庫(kù)sqooplist-databases--connectjdbc:mysql://ip:port--usernameusername--passwordpw