2022銀河麒麟服務器操作系統(tǒng)sqoop適配手冊

V4Sqoop軟件適配手冊銀河麒麟服務器操作系統(tǒng)V4銀河麒麟服務器操作系統(tǒng)V4sqoop軟件適配手冊目錄TOC\o"1-2"\h\z\u目 概 系統(tǒng)概 環(huán)境概 SQOOP軟件簡 SQOOP軟件適 安 服務端安 安裝客戶 使用示 從S3導入至 銀河麒麟服務器操作系統(tǒng)V4銀河麒麟服務器操作系統(tǒng)V4sqoop軟件適配手冊概述系統(tǒng)概述銀河麒麟服務器操作系統(tǒng)主要面向軍隊綜合電子信息系統(tǒng)、金融系統(tǒng)以及電力系統(tǒng)等國家關鍵行業(yè)的服務器應用領域，突出高安全性、高可用性、高效數據處理、虛擬化等關鍵技術優(yōu)勢，針對關鍵業(yè)務構建的豐富高效、安全可靠的功能特性，兼容適配長城、聯想、浪潮、華為、曙光等國內主流廠商的服務器整機產品，以及達夢、金倉、神通、南大通用等主要國產數據庫和中創(chuàng)、金蝶、東方通等國產中間件，滿足虛擬化、云計算和大數據時代，服務器業(yè)務對操作系統(tǒng)在性能、安全性及可擴展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主可控服務器操作系統(tǒng)。環(huán)境概述服務器型號長城信安擎天DF720服務器CPU類型飛騰2000+處理器操作系統(tǒng)版本Kylin-4.0.2-server-sp2-2000-內核版本sqoop版本Sqoop軟件簡介ApacheSqoop是一種用于在ApacheHadoop和結構化數據存儲（如關系數據庫）之間高效傳輸批量數據的工具?？梢允褂肧qoop將數據從外部結構化數據存儲導入Hadoop分布式文件系統(tǒng)或Hive和HBase等相關系統(tǒng)，或者用于從Hadoop中提取數據并將其導出到外部結構化數據存儲區(qū)，例如關系數據庫和企業(yè)數據倉庫。Sqoop自動執(zhí)行此過程的大部分過程，依靠數據庫來描述要導入的數據的模式。Sqoop使用MapReduce導入和導出數據，提供并行操作以及容錯。Sqoop軟件適配安裝Sqoop作為一個二進制包發(fā)布，包含兩個獨立的部分-客戶端和服務服務端。服務端：需要在群集中的單個節(jié)點上安裝服務端，此節(jié)點將用作所有Sqoop客戶端的入口點客戶端：客戶端可以安裝在任意數量的計算機上。服務端安裝Sqoop工件復制到要運行Sqoop服務端的計算機。Sqoop服務端充當Hadoop客戶端，因此必須在此節(jié)點上提供Hadoop庫（Yarn，MapreduceHDFSjar文件）和配置文件（core-site.xml，mapreduce-site.xml，...）。您不需要運行任何Hadoop相關服務。$hadoop$hadoopdfs-Sqoop目前支持Hadoop2.6.0或更高版本。要安裝Sqoop服務器，請解壓縮tarball（在您選擇的位置）并將新創(chuàng)建的目錄設置為工作目錄。##tar-xvfsqoop-<version>-bin-hadoop<hadoop-version>.tar.gz#將解壓后的目錄移動到要安裝的目錄mvsqoop-<version>-bin-hadoop<hadoopversion>#sqoop的安裝目錄cdHadoop依賴Sqoop服務端需要以下指向Hadoop庫的環(huán)境變量：您必須確保定義了這些變量并指向有效的Hadoop安裝路徑。如果找不到Hadoop庫，Sqoop服務端將無法啟動。Sqoop服務端依靠環(huán)境變量尋找Hadoop$HADDOOP_HOME環(huán)境變量被設置，Sqoop會在以下位置尋找jar包：您可以使用$HADOOP_COMMON_HOME$HADOOP_HDFS_HOME$HADOOP_MAPRED_HOME和$HADOOP_YARN_HOME環(huán)境變量獨立指定Sqoop服務器應查找common，hdfs，mapreduceyarnjars的位置。Hadoop配置Sqoop服務器需要模擬用戶訪問群集內外的HDFS和其他資源，作為開始給予作業(yè)的用戶而不是運行服務器的用戶。您需要配置Hadoop以通過所謂的代理用戶系統(tǒng)明確允許此模擬。您需要在core-site.xml文件中創(chuàng)建兩個屬性:其中$SERVER_USER是將運行Sqoop2服務器的用戶。在大多數情況下，這兩個配置*就足夠了。有關如何使用這些屬性的詳細信息，請參閱Hadoop文檔。如果您在所謂的系統(tǒng)用戶（IDmin.user.id-默認為1000）下運行Sqoop2服務器，則YARN默認拒絕運行Sqoop2作業(yè)。您需要將運行Sqoop2服務器（sqoop2）container-executor.cfg的allowed.system.users屬性中。有關更多詳細信息，請參閱YARN文檔。服務器在sqoop2用戶下運行時需要出現在container-executor.cfg文件中的示例片段：jar#Createdirectoryforextrajarsmkdir-p/var/lib/sqoop2/#CopyallyourJDBC#Createdirectoryforextrajarsmkdir-p/var/lib/sqoop2/#CopyallyourJDBCdriverstothisdirectorycpmysql-jdbc*.jar/var/lib/sqoop2/cppostgresql-jdbc*.jar#Andfinallyexportthisdirectorytoexportexport配置所有用戶或者管理員用到的命令都存儲于安裝目錄的bin目錄下，將該目錄添加至“PATH”環(huán)境變量中。配置服務端服務端配置文件存儲在conf目錄中。文件sqoop_perties指定應該使用哪個配置提供程序來加載其余Sqoop服務器的配置。默認值為名為perties的第二個配置文件包含可能影響Sqoop服務器的其余配置屬性。配置文件已有詳細記錄，因此請檢查所有配置屬性是否適合您的環(huán)境。在大多數常見情況下，默認或非常小的調整應該足夠了。倉庫初始化sqoop2-tool首次啟動Sqoop2服務器之前，需要初始化元數據存儲庫。使用upgradesqoop2-toolsqoop2-toolVerificationsqoop2-toolVerificationwasToolclassorg.apache.sqoop.tools.tool.VerifyToolhasfinished啟動和關閉服務端sqoop2-server安裝和配置完成后，可以使用以下命令啟動sqoopsqoop2-server以下命令可以停止服務端：sqoop2-serversqoop2-serverSqoop服務端默認使用12000端口，可以在配置文件conf/perties中設置org.apache.sqoop.jetty.port為其它端口。安裝客戶端sqoop2-只需在目標計算機上復制Sqoop分發(fā)工件并將其解壓縮到所需位置即可?？蓅qoop2-客戶端不充當Hadoop客戶端，因此無需在客戶端上安裝Hadoop庫和配置文件等。使用示例S3本節(jié)包含將數據從S3HDFS的用例的詳細說明。用例假設您在S3上有一個目錄，一些外部進程正在創(chuàng)建新的文本文件。新文件將添加到此目錄中，但不會更改現有文件。它們只能在一段時間后被移除。需要將所有新文件中的數據傳輸到單個HDFS目錄。不需要保留文件名，并且可以將多個源文件合并到HDFS上的單個文件。配置sqoop:000>createlink-chdfs-我們將使用HDFS連接器連接進行數據傳輸的FromToS3創(chuàng)建鏈S3存儲桶名稱和S3訪問權限以及密鑰。如果您還沒有S3sqoop:000>createlink-chdfs-我們的示例使用s3link作為鏈接名稱s3a：//$BUCKET_NAME的形式指定HDFSURI，其中$S3存儲桶的名稱使用“覆蓋”配置選項，分別使用S3訪問密鑰和私鑰指定fs.s3a.access.keyfs.s3a.secret.keysqoop:000>createlinksqoop:000>createlink-chdfs-我們的示例使用hdfslink作為鏈接名稱。如果您的Sqoop服務器在部署了HDFSmapreduce客戶端配置的節(jié)點上，則可以安全地將所有選項保留為空白，使用默認值。sqoop:000>createjob-fs3link-tsqoop:000>createjob-fs3link-t我們的示例使用s3import作為作業(yè)名稱輸入目