科技安裝手冊installmanual t00147x

1、Transwarp Data Hub Version 4.7安裝手冊星環(huán)信息科技（上海）版本號 T00147x-01-011, 2017-02-23目錄1. 簡介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.1. Transwarp Data Hub介紹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2. 集群結(jié)構(gòu) . . . . . . . . . . . . . . . . . .

2、. . . . . . . . . . . . . . . . . . . .222444556678889910101010101111111111121213141414152223272732323535372.安裝準(zhǔn)備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...硬件環(huán)境要求操作系統(tǒng)要求Java環(huán)境要求支持的瀏覽器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.安裝前的檢查 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4、 . ....3.7.系統(tǒng)磁盤分區(qū)要求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .內(nèi)存容量要求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .網(wǎng)絡(luò)設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .集群和網(wǎng)絡(luò)拓?fù)湟?. . . . . . . . . . . .

5、. . . . . . . . . . . . . . . . . . . . .NTP服務(wù)設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .安全設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .系統(tǒng)的推薦設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.TDH服務(wù)的. . . . . . .

6、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....4.9.Zookeeper HDFSYARNHyperbase Inceptor Stream Sqoop Kafka Oozie4.10. HUE4.11. Elasticsea

9、rch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.6.操作系統(tǒng)安裝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Transwarp Manager的安裝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..6.3.安裝前系統(tǒng)配置改動 . . . . . . . . . . . . . . . . . . .

10、. . . . . . . . . . . . . .安裝介質(zhì) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .安裝Transwarp Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7.用Transwarp Manager配置集群 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..7.3.添加集群服務(wù)器 . . .

11、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .刪除集群中的服務(wù)器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .其他配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.用Transwarp Manager安裝服務(wù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12、 . ...Guardian的安裝和配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .安裝Discover前的環(huán)境準(zhǔn)備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .選擇服務(wù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .服務(wù)的分配 . . . . . . . . . . . . . . . . . . . .

13、. . . . . . . . . . . . . . .8.5. 服務(wù)的配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.6. 服務(wù)安裝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9. 用Transwarp Manager安裝新增服務(wù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38444651515252525

14、35353555757575758585858585959595959606.10.4.證的激活與認(rèn)證 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .證管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .證激活和使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .查看證管理 . . . .

15、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .證過期11. 卸載TDH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11.1. 使用方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11.

16、2. 常見問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12. 安裝和設(shè)置問題及回答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .附錄 A: 集群服務(wù)使用的網(wǎng)絡(luò)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.1.A.2.A.3.A.4.A.5.A.6.A.7.A.8.A.9.A.10.A.11.A.12.A.13.A.

17、14.Zookeeper相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .HDFS相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .YARN相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Hyperbase相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . .

18、. . . . . . . . . . .Inceptor相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Discover相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .StreamSQL相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Kafka相關(guān)端口Oozie相關(guān)端口Sqoop相關(guān)端口. . . . . . .

19、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .HUE相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Elasticsearch相關(guān)端口 . . . . . .

20、 . . . . . . . . . . . . . . . . . . . . . . . . .Transwarp Manager相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Kerberos相關(guān)端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .客戶服務(wù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .免責(zé)本說明

21、書依據(jù)現(xiàn)有信息制作,其內(nèi)容更改,恕不另行通知。星環(huán)信息科技（上海）有限公司在編寫該說 明書的時候已盡最大努力保證期內(nèi)容準(zhǔn)確可靠,但星環(huán)信息科技（上海）任。具體不對本說明書中的遺漏、使用請以實(shí)際使用為準(zhǔn)。確或印刷錯誤導(dǎo)致的損失和損害承擔(dān)責(zé)注釋: Hadoop® 和 SPARK® 是ApacheTM 軟件商標(biāo)。 Java® 是 Oracle公司在美國和其他和Xeon® 是英特爾公司在美國、中國和其他在美國和其他的商標(biāo)或的的商標(biāo)或的商標(biāo)或的商標(biāo)。 Intel®的商標(biāo)。所有 © 2013年-2017年星環(huán)信息科技（上海）。保留所利。©

22、;星環(huán)信息科技（上海）修改權(quán)。本說明書 的所有,并保留對本說明書及本的最終解釋權(quán)和歸星環(huán)信息科技（上海）所有。未得到星環(huán)信息科技（上海）的,任何人 不得以任何方式或形式對本說明書內(nèi)的任何部分進(jìn)行業(yè)用途。、摘錄、備份、修改、翻譯成其他語言、或?qū)⑵淙炕虿糠钟糜谏淌謨园姹拘畔姹咎? T00147x-01-011發(fā)布日期: 2017-02-23Preface | 11. 簡介1.1. Transwarp Data Hub介紹Transwarp Data Hub（簡稱TDH）是國內(nèi)首個全面支持Spark的Hadoop版，也是國內(nèi)落地案例最多的商業(yè)版本，是國內(nèi)外領(lǐng)先的高性能平臺，比開源基于Hadoop

23、 MapReduce計算框架的版本快10x100x倍。TDH應(yīng)用范圍覆蓋各種規(guī)模和不同數(shù)據(jù)量的企業(yè)，通過內(nèi)存計算、高效索引、執(zhí)行優(yōu)化和高度容錯的技術(shù)，使得一個平臺能夠處理GB級到PB級的數(shù)據(jù)，并且在每個數(shù)量級上，都能比現(xiàn)有技術(shù)提供更快的性能；企業(yè)客戶不再需要混合架構(gòu)，TDH可以伴隨企業(yè)客戶的數(shù)據(jù)增長，動態(tài)不停機(jī)擴(kuò)容，避免MPP或混合架構(gòu)數(shù)據(jù)遷移的棘手問題。星環(huán)科技的大數(shù)據(jù)平臺TDH包含五個組成部分: Hadoop企業(yè)版，Inceptor分布式內(nèi)存分析引擎，Hyperbase分布式實(shí)時據(jù)平臺。數(shù)據(jù)處理引擎，Stream流處理引擎和Discover學(xué)習(xí)引擎，五個組件了完整的大數(shù)在統(tǒng)一的分布式之上數(shù)

24、據(jù)平臺上通過YARN提供統(tǒng)一的管理調(diào)度，結(jié)合LDAP與Kerberos提供完備的權(quán)限管理，不同的部門以及使用租戶可以按需創(chuàng)建計算集群其數(shù)據(jù)，包括基于Spark計算框架的SQL類統(tǒng)計分析應(yīng)用與數(shù)據(jù)挖掘類應(yīng)用，或者基于MapReduce計算框架的應(yīng)用。同時，平臺通過使用Hyperbase結(jié)合Inceptor，為用戶提供基于SQL的高并發(fā)的以及分析能力。在數(shù)據(jù)導(dǎo)入與交換方面，數(shù)據(jù)平臺提供多樣的數(shù)據(jù)導(dǎo)入與交換形式，包括Flume（需要額外安裝）提供海量數(shù)據(jù)文件的聚合匯總到HDFS的功能，F(xiàn)TP Over HDFS提供文件通過FTP傳入HDFS的通道，Sqoop提供與關(guān)系型數(shù)據(jù)庫的以及Kafka消息隊列

25、集群接收實(shí)時流數(shù)據(jù)。此外，TDH數(shù)據(jù)平臺提供實(shí)時的流處理能力，通過消息隊列Kafka接收實(shí)時數(shù)據(jù)流，做到數(shù)據(jù)不丟不重，通過Stream基于Spark Streaming提供類似與批處理系統(tǒng)的計算能力、健壯性、擴(kuò)展性的同時，將數(shù)據(jù)時延降低至秒級甚至毫秒級。1.2. 集群結(jié)構(gòu)創(chuàng)建一個集群前，首先必須對整個集群進(jìn)行，包括集群節(jié)點(diǎn)、網(wǎng)絡(luò)、軟件模塊分布等部分。運(yùn)維人員必須保證將用于構(gòu)造集群的服務(wù)器滿足Transwarp Data Hub系統(tǒng)的基本要求。這些要求包括硬件要求、軟2 | 1. 簡介件要求、內(nèi)存要求、網(wǎng)絡(luò)要求等。第二章將對這些要求進(jìn)行詳細(xì)介紹。Transwarp DataHub通過網(wǎng)絡(luò)連接所有

26、服務(wù)器并實(shí)現(xiàn)整個集群的服務(wù)，因此架構(gòu)師需要仔細(xì)計算應(yīng)用服務(wù)對網(wǎng)絡(luò)帶寬和延遲的需求并整個網(wǎng)絡(luò)拓?fù)?，如您需要幫助可以咨詢星環(huán)科技的售前和架構(gòu)師。在應(yīng)用中您需要根據(jù)應(yīng)用的特點(diǎn)決定哪些軟件模塊和組件需要安裝。列出安裝前的硬件和軟件要求，在滿足這些要求的基礎(chǔ)上，您才可以開始進(jìn)行系統(tǒng)安裝。系統(tǒng)安裝包括以下步驟：1.2.3.在集群中所有的節(jié)點(diǎn)上安裝所需要的操作系統(tǒng)。在管理節(jié)點(diǎn)上安裝Transwarp Manager。通過TranswarpManager來把所有的節(jié)點(diǎn)加到集群中、對這些節(jié)點(diǎn)部署相關(guān)軟件和配置，并運(yùn)行服務(wù)。1. 簡介 | 32. 安裝準(zhǔn)備2.1. 硬件環(huán)境要求Transwarp Data Hub

27、(簡稱TDH)提供集群服務(wù)來保證服務(wù)的高可用性，因此集群系統(tǒng)必須是3臺以上物理服務(wù)器組成，每臺服務(wù)器必須具備以下最低配置： 2顆6或以上帶超線程x86指令集CPU的服務(wù)器 64GB以上內(nèi)存 2個300G以上的硬盤做RAID1，作為系統(tǒng)盤 4個以上的300GB容量以上的 硬盤作為數(shù)據(jù)存放硬盤 2個千兆以上網(wǎng)卡為實(shí)現(xiàn)較好的性能并實(shí)現(xiàn)最高的性價比，TDH 和Transwarp Manager推薦使用以下配置：集群內(nèi)不同的模塊有不同的推薦配置，Namenode 2顆6核帶超線程的x86指令集CPU服務(wù)器(比如Intel(r) Xeon(r) E5-2620 v2 CPU) 128GB以上內(nèi)存 6個60

28、0G以上的硬盤做RAID1作為系統(tǒng)盤和管理數(shù)據(jù) 2個千兆以上網(wǎng)口的網(wǎng)卡數(shù)據(jù)節(jié)點(diǎn)（Datanode）的硬件配置應(yīng)該根據(jù)不同應(yīng)用的特點(diǎn)進(jìn)行選配，使用Inceptor，Discover和Stream配置的用戶需要比較高的計算能力的服務(wù)器，其數(shù)據(jù)節(jié)點(diǎn)的推薦配置如下： 2顆8或以上帶超線程x86指令集CPU的服務(wù)器(比如Intel® Xeon® E5-2650 v2) 128GB以上內(nèi)存 2個300G以上的硬盤做RAID1，作為系統(tǒng)盤 10個以上的2TB容量以上的硬盤作為數(shù)據(jù)存放硬盤 2個千兆以上網(wǎng)卡Z系統(tǒng)盤可以做RAID1。但是數(shù)據(jù)盤不需要RAID，若需要RAID，請做RAID0。

29、2.2. 操作系統(tǒng)要求所有集群中的節(jié)點(diǎn)，必須運(yùn)行于同一操作系統(tǒng)。Transwarp Data Hub支持以下操作系統(tǒng)。4 | 2. 安裝準(zhǔn)備操作系統(tǒng)版本Red Hat Enterprise Linux6.4、6.5、6.6、6.7、6.8CentOS6.4、6.5、6.6、6.7、6.8SUSE Linux Enterprise Server11 SP3、11 SP4Asianux Server 4 (Hiranya)SP42.3. Java環(huán)境要求如果您的集群的上還沒有安裝JDK，您無需自行安裝JDK我們提供的TranswarpData Hub安裝工具會幫您安裝。如果您的上有不同版本的JDK

30、，可能會和安裝工具安裝的JDK發(fā)生。請在安裝前運(yùn)行下面指令來查看您的JDK版本。Zjava -version如果版本和下面列出的不一樣，請和我們。TDH目前支持以下JDK版本： Oracle JDK 1.72.4. 支持的瀏覽器TranswarpDataHub采用Web頁面作為平臺管理界面，管理平臺支持以下瀏覽器2. 安裝準(zhǔn)備 | 5瀏覽器版本Chrome（推薦）36.0.1985.143及以上FireFox36.0及以上Safari7.0.2及以上Internet Explorer（不推薦）不支持3. 安裝前的檢查3.1. 系統(tǒng)磁盤分區(qū)要求系統(tǒng)安裝和運(yùn)行需要占用硬盤空間，在安裝前操作系統(tǒng)硬盤

31、必須留出200GB空間。 對磁盤進(jìn)行分區(qū)時需要遵守以下幾點(diǎn)要求： 至少要分出swap和加載于“/”的系統(tǒng)分區(qū)。 推薦系統(tǒng)分區(qū)大小為100GB300GB，并將該分區(qū)掛載到/目錄。 推薦把每個物理磁盤掛載在/mnt/disknn (nn為1至2位的數(shù)字) 上不同的掛載點(diǎn)。建議使用ext4文件系統(tǒng)。每個這樣的目錄會被管理節(jié)點(diǎn)自動配置為HDFS DataNode的數(shù)據(jù)目錄。 HDFS DataNode的數(shù)據(jù)目錄不能放在系統(tǒng)分區(qū)，以避免空間不足和IO競爭。同時也建議不要將數(shù)據(jù)分區(qū)和系統(tǒng)分區(qū)放在同一塊磁盤上以避免IO競爭。除非整個HDFS上創(chuàng)建數(shù)據(jù)分區(qū)。空間不足，否則不要在系統(tǒng)分區(qū)所在磁盤例 1. 磁盤不

32、富余時的6 | 3. 安裝前的檢查某臺有兩塊硬盤，容量都為600GB，分區(qū)及掛載目錄將如下,文件類型推薦為ext4,其中/dev/sda1用作系統(tǒng)分區(qū)：注意，這是磁盤不富余情形下的。如果磁盤比較富余，建議操作系統(tǒng)安裝在單獨(dú)磁盤上，防止數(shù)據(jù)分區(qū)與系統(tǒng)分區(qū)造成數(shù)據(jù)讀寫競爭，如下一個例子。文件系統(tǒng)大小掛載目錄文件系統(tǒng)類型/dev/sda1100GB/ext4/dev/sda232GBswap/dev/sda3100GB/var/logext4/dev/sda4368GB/mnt/disk1ext4/dev/sdb1600GB/mnt/disk2ext4例 2. 磁盤富余時的3.2. 內(nèi)存容量要求每個

33、節(jié)點(diǎn)必須至少GB的RAM。根據(jù)節(jié)點(diǎn)所安裝的TranswarpData Hub服務(wù)，節(jié)點(diǎn)可能需要超過64GB的RAM。下表列出在節(jié)點(diǎn)上運(yùn)行不同服務(wù)時，該節(jié)點(diǎn)所需的額外內(nèi)存。具體節(jié)點(diǎn)需要內(nèi)存的計算步驟如下所示：1.2.3.確認(rèn)所有會在節(jié)點(diǎn)上運(yùn)行的TDH服務(wù)。確認(rèn)每個服務(wù)要求的內(nèi)存容量。將所有內(nèi)存要求相加。3. 安裝前的檢查 | 7服務(wù)要求Management Server8GBHDFS NameNode32GBHDFS NameNode32GBHDFS Standby NameNode32GBHDFS DataNode4GBInceptor Server4GBInceptor executor32

34、GBYARN ResourceManager4GBYARN NodeManager4GBNodeManager分配給Container的計算數(shù)用戶指定ZooKeeper4GBHBase Master4GB某臺有6塊硬盤，容量都為600GB，分區(qū)及掛載目錄將如下,文件類型推薦為ext4,其中一塊磁盤用作系統(tǒng)分區(qū)：文件系統(tǒng)大小掛載目錄文件系統(tǒng)類型/dev/sda1400GB/ext4/dev/sda232GBswap/dev/sda3168GB/var/logext4/dev/sdb1600GB/mnt/disk1ext4/dev/sdc1600GB/mnt/disk2ext4/dev/sdd16

35、00GB/mnt/disk3ext4/dev/sde1600GB/mnt/disk4ext4/dev/sdf1600GB/mnt/disk5ext44. 如果相加后內(nèi)存要求小于64GB，則最低內(nèi)存要求為64GB。如果相加后內(nèi)存要求大于64GB，則最低內(nèi)存要求為相加后的和。比如，如果節(jié)點(diǎn)上運(yùn)行以下服務(wù)： HDFS DataNode YARN ResourceManager HBase RegionServer YARN NodeManager分配給Inceptor executor為32G則節(jié)點(diǎn)的內(nèi)存容量要求如下（生產(chǎn)環(huán)境實(shí)際使用內(nèi)存要結(jié)合具體的應(yīng)用場景）： 4GB+4GB+32GB+32GB=

36、72GB3.3. 網(wǎng)絡(luò)設(shè)置安裝Transwarp Data Hub需要最低的網(wǎng)絡(luò)為千兆以太網(wǎng)。當(dāng)一臺裝Transwarp Data Hub之前對其進(jìn)行綁定配置。上有多個網(wǎng)絡(luò)適配器時，用戶可以在安3.4. 集群和網(wǎng)絡(luò)拓?fù)湟鬀Q定集群中的節(jié)點(diǎn)數(shù)目。決定集群中的機(jī)柜數(shù)目及每個機(jī)柜的名稱。決定每個機(jī)柜中的節(jié)點(diǎn)數(shù)目。決定每個節(jié)點(diǎn)所在的子網(wǎng)（或多個子網(wǎng)）。決定每個節(jié)點(diǎn)的主機(jī)名和IP地址。決定哪個決定哪些是管理節(jié)點(diǎn)。是NameNode。決定哪些是客戶端，哪些運(yùn)行TDH服務(wù)，或二者兼是。一旦主機(jī)名分配給NameNode，主機(jī)名則不能再更改。確定你知道要加入到TDH集群中的每個節(jié)點(diǎn)的root。管理節(jié)點(diǎn)必須和集群

37、中的其他節(jié)點(diǎn)屬于同一子網(wǎng)。決定在集群中使用哪些組件。決定網(wǎng)絡(luò)帶寬和交換機(jī)背板帶寬。決定交換機(jī)型號。決定如何連接到交換機(jī)。必須知道需要用到哪些以太網(wǎng)端口和是否需要綁定。確定每臺的IP地址和主機(jī)名。決定如何分配IP（使用DHCP或靜態(tài)分配）。決定如何主機(jī)名（使用DNS或/etc/hosts）。如果使用/etc/hosts，管理節(jié)點(diǎn)將負(fù)責(zé)更新集群中每臺的/etc/hosts。3.5. NTP服務(wù)設(shè)置決定如何進(jìn)行時間同步。管理節(jié)點(diǎn)將負(fù)責(zé)所有服務(wù)器上的時間的同步，但您需要決定是否使用外部的NTP服務(wù)。如果不使用外部NTP服務(wù)，集群中所有服務(wù)器的時間是相同的，但這個時間有可能不是標(biāo)準(zhǔn)時間，這有可能導(dǎo)致集群

38、與外部連接時產(chǎn)生錯誤。8 | 3. 安裝前的檢查3.6. 安全設(shè)置禁掉SELinux和iptables（Transwarp Manager會自動禁掉SELinux和iptables）。3.7. 系統(tǒng)的推薦設(shè)置以下推薦配置可幫助確保TDH集群的性能優(yōu)化和可管理性。節(jié)點(diǎn)的主機(jī)名。注意，主機(jī)名只能由英文、數(shù)字和“-”組成，否則之后的安裝會出現(xiàn)問題。要同時添加一組節(jié)點(diǎn)到集群中。要減少網(wǎng)絡(luò)延遲，集群中的所有節(jié)點(diǎn)都必須屬于同一子網(wǎng)。每個節(jié)點(diǎn)應(yīng)配置一塊10GE的網(wǎng)卡，用于節(jié)點(diǎn)間的通信和執(zhí)行集群中需要網(wǎng)絡(luò)連接的任務(wù)。如果節(jié)點(diǎn)沒有使用10GE的網(wǎng)卡，則可使用網(wǎng)卡綁定以便將多個網(wǎng)卡組合在一起以提升網(wǎng)絡(luò)流量。綁定的

39、網(wǎng)卡必須使用工作模式6。每個節(jié)點(diǎn)推薦最小的系統(tǒng)分區(qū)，至少有300GB的磁盤空間。每個節(jié)點(diǎn)應(yīng)至少有6T的可用磁盤空間用于HDFS。如果可能，避免將物理磁盤分為多個邏輯分區(qū)。除了系統(tǒng)分區(qū)外，每個物理磁盤應(yīng)當(dāng)僅有一個分區(qū)，且該分區(qū)包含整個物理磁盤。僅使用物理，不要使用虛擬。虛擬機(jī)可能會明顯導(dǎo)致HDFS I/O的緩慢。節(jié)點(diǎn)所在的單個或多個子網(wǎng)不有其他。集群中不能同時有物理和虛擬。要確保集群中的磁盤空間。每個節(jié)點(diǎn)應(yīng)至少不成為性能和I/O的瓶頸，所有必須有相似的硬件和軟件配置，包括RAM、CPU和GB的內(nèi)存。由于服務(wù)可能生成大量日志，推薦將/var/log放置在其他邏輯分區(qū)。這可保證日志間。占滿根分區(qū)的空

40、要加快對本地文件系統(tǒng)的，可使用noatime選項掛載磁盤，這表示文件次數(shù)被寫回。3. 安裝前的檢查 | 94. TDH服務(wù)的要在集群中運(yùn)行服務(wù)，需要指定集群中的一個或多個節(jié)點(diǎn)執(zhí)行該服務(wù)的特定功能。這些功能被歸類為功能性的，用于定義節(jié)點(diǎn)能為集群中的服務(wù)提供哪些功能。分配是必須的，沒有集群將無法正常工作。 在分配前，需要了解這些的含義，以及對應(yīng)于服務(wù)節(jié)點(diǎn)需要哪些。4.1. Zookeeper4.2. HDFS4.3. YARN4.4. Hyperbase10 | 4. TDH服務(wù)的描述ResourceManagerResourceManager負(fù)責(zé)將各個部分（計算、內(nèi)存、帶寬等）安排給基礎(chǔ)Node

41、Manager，并與NodeManager一起啟動和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。TimelineServer提供對YARN的作業(yè)歷史日志信息的展現(xiàn)服務(wù)。NodeManagerNodeManager管理一個YARN集群中的每個節(jié)點(diǎn)。提供集群中每個節(jié)點(diǎn)的服務(wù)，從監(jiān)督對一個容器的終生管理到監(jiān)視和跟蹤節(jié)點(diǎn)的狀態(tài)。描述NameNodeHDFS系統(tǒng)中的節(jié)點(diǎn)用于維護(hù)文件系統(tǒng)中所有文件的目錄結(jié)構(gòu)并跟蹤文件數(shù)據(jù)于哪些數(shù)據(jù)節(jié)點(diǎn)。當(dāng)客戶端需要從HDFS文件系統(tǒng)中獲得文件時，它通過和NameNode通訊來知道客戶端哪個數(shù)據(jù)節(jié)點(diǎn)上有客戶端需要的文件。一個集群中只能有一個NameNode。NameNode不能被賦予其他。Da

42、taNode在HDFS中，DataNode是用來數(shù)據(jù)塊的節(jié)點(diǎn)。Standby NameNodeStandby模式的NameNode元數(shù)據(jù)（Namespcae information 和 Block locations map）都是和ActiveNameNode中的元數(shù)據(jù)是同步的，一旦切換成Active模式，馬上就可以提供NameNo de服務(wù)。JournalNodeStandby NameName和Active NameNode通過JournalNode通信，保持信息同步。描述Zookeeper一個或多個運(yùn)行Zookeeper服務(wù)的節(jié)點(diǎn)。Zookeeper服務(wù)是指包含一個或多個節(jié)點(diǎn)的集群提供服

43、務(wù)框架用于集群管理。對于集群，Zookeeper服務(wù)提供的功能包括維護(hù)配置信息、命名、提供Hyperbase的分布式同步，以及當(dāng)HMaster停止時觸發(fā)master選擇。Hyperbase需要有一個Zookeeper集群才能工作。 推薦在Zookeeper集群中至少有3個節(jié)點(diǎn)。4.5. Inceptor4.6. Stream4.7. Sqoop4.8. Kafka4.9. Oozie4. TDH服務(wù)的| 11描述Kafka ServerKafka的任務(wù)管理工具。描述SqoopSqoop是一款用于在(Inceptor,Hyperbase)與傳統(tǒng)的數(shù)據(jù)庫(MySql、Postgresql)間進(jìn)行數(shù)

44、據(jù)的傳遞的工具描述JobServerStream的任務(wù)管理工具描述MetaStore表結(jié)構(gòu)及其元數(shù)據(jù)信息Inceptor ServerInceptor運(yùn)行的節(jié)點(diǎn)，幫助和管理HDFS的大型數(shù)據(jù)集。Inceptor Server提供工具從文件系統(tǒng)中提取、轉(zhuǎn)換和裝載數(shù)據(jù)，實(shí)施數(shù)據(jù)格式結(jié)構(gòu)，以及提供HDFS或Hyperbase的直接文件。描述Master節(jié)點(diǎn)實(shí)現(xiàn)Hyperbase數(shù)據(jù)庫以下功能: 配區(qū)域給RegionServers，平衡整個集群。1.確認(rèn)RegionServer在運(yùn)行中。 2.如果沒找到參考值，刪除parents。3.管理數(shù)據(jù)庫表。 4.在RegionServers中分發(fā)消息。5. R

45、egionServers以決定是否有必要執(zhí)行恢復(fù)，如果是，則執(zhí)行恢復(fù)。可以分配HMaster 給一個或多個節(jié)點(diǎn)以進(jìn)行備份切換。如果你分配 給多個節(jié)點(diǎn)，這將創(chuàng)建一個active-standby狀態(tài)的HMaster節(jié)點(diǎn)的集群，即一個節(jié)點(diǎn)處于active狀態(tài)而集群中的另一個節(jié)點(diǎn)處于standby狀態(tài)。如果active狀態(tài)的HMaster停止，Zookeeper集群將選出一個inactive狀態(tài)的HMaster來作為active狀態(tài)的HMaster。RegionServer負(fù)責(zé)服務(wù)和管理Hyperbase區(qū)域的節(jié)點(diǎn)。Hyperbase ThriftThrift Client API開放的節(jié)點(diǎn)，客戶端可

46、通過Thrift和Hyperbase通訊。HBase-restHyperbase的restAPI。4.10. HUE4.11. Elasticsearch12 | 4. TDH服務(wù)的描述Elasticsearch serverTDH上的Elasticsearch是一個開源、子包含的小型庫，可與TDH上的工作進(jìn)行交互。描述HUE serverHUE是一組可與您的集互的網(wǎng)絡(luò)應(yīng)用程序。HUE應(yīng)用能瀏覽HDFS和工作, 管理metastore,運(yùn)行Inceptor，瀏覽Sqoop出口數(shù)據(jù),提交MapReduce程序,構(gòu)建自定義的搜索引擎與Solr,與Oozie一起調(diào)度重復(fù)性的工作流。描述Oozie s

47、erverOozie的任務(wù)管理工具。5. 操作系統(tǒng)安裝在安裝Transwarp Data Hub之前，集群中的所有節(jié)點(diǎn)必須滿足安裝準(zhǔn)備和安裝前的檢查中所列舉的所有要求。可以使用兩種方式來安裝集群中的服務(wù)器的操作系統(tǒng)，單獨(dú)安裝方式和PXE安裝方式。其中單獨(dú)安裝方式是使用Red Hat Enterprise Linux for Servers、CentOS系列或SUSE Linux EnterpriseServer的安裝光盤在每臺服務(wù)器上安裝操作系統(tǒng)。注意：對于Red Hat Enterprise Linux for Servers、CentOS 系列的操作系統(tǒng)，需要使用visudo命令打開/et

48、c/sudoers配置文件：# visudo將該文件中的“Defaults requiretty”注釋掉 如要使用非root用戶安裝，使用的用戶必須擁有sudo權(quán)限。所以，管理員需要向/etc/sudoers文件中添加sudo用戶。方法為在該文件以下部分最后一行的內(nèi)容：Z# # # # # # # # #Next comes the main part: which users can run what software on which machines (the sudoers file can be shared between multiple systems).Syntax:user

49、MACHINE=COMMANDSThe COMMANDS section may have other options added to it.#Allow root to run any commands anywhererootALL=(ALL)ALLsudo用戶ALL=(ALL)NOPASSWD: ALL例如，如果為用戶admin添加sudo權(quán)限，在文件的末尾增添的內(nèi)容是：admin ALL=(ALL) NOPASSWD:ALL5. 操作系統(tǒng)安裝 | 136. Transwarp Manager的安裝本章節(jié)將詳細(xì)描述如何在管理節(jié)點(diǎn)上安裝Transwarp Manager。6.1. 安裝前

50、系統(tǒng)配置改動如果您有DNS，那么您可以直接跳到下一節(jié)。如果您沒有DNS，在安裝前，請打開管理節(jié)點(diǎn)下的/etc/hosts文件，查看該文件是否包含管理節(jié)點(diǎn)的hostname和它IP地址的對應(yīng)，例如：2 tw-node2022如果/etc/hosts文件不包含這一行，請?zhí)砑印５侨氲焦芾砉?jié)點(diǎn)使用 hostname 命令檢查管理節(jié)點(diǎn)的名字名字和上述/etc/hosts里設(shè)置的名字相同：#hostname #tw-node2022注意，/etc/hosts文件的第一行必須為的前主機(jī)名寫在該行中。通常如下：，不能將此行注釋掉，不能將當(dāng)Zlocalho

51、st6.2. 安裝介質(zhì)如果有安裝光盤可將安裝光盤服務(wù)器CD/DVD ROM中直接運(yùn)行。由于安裝過程中會使用到操作系統(tǒng)的安裝介質(zhì)，建議用戶將OS的ISO文件事先拷貝到管理服務(wù)器上。如客戶服務(wù)代表或技術(shù)支持提供的是壓縮包，請將壓縮文件導(dǎo)入服務(wù)器中。請找到名稱以“transwarp-”為起始的安裝文件，例如transwarp-transwarp-4.7-Final-45071-zh.el6.x86_64.tar.gz，解壓并 cd 進(jìn)入目錄，運(yùn)行下面的install，開始安裝TDH系統(tǒng)：$ cd $package #進(jìn)入解壓后的目錄$ ./install#執(zhí)行install二進(jìn)制文件14 | 6.

52、Transwarp Manager的安裝1. 安裝包中有如下六種壓縮文件。其中 * 表示文件的版本信息。a.b.3rd_party_tools-*-*-*.tar.gz：用于Discover的安裝rstudio-server-rhel-*-*.tar.gz：用于實(shí)現(xiàn)R IDE和Discover的對接，官網(wǎng)地址：midas_transwarp-*-*-*-*.tar.gz：安裝Midas Servermidas-client_transwarp-*-*-*-*.tar.gz：用于安裝Midas ClientZc.d.e.f.tda_transwarp-*-*-*-*.tar.gz：實(shí)時同步工具T

53、DA的安裝包transwarp-*-*-*-*.tar.gz：TDH安裝包6.3. 安裝Transwarp Manager1.系統(tǒng)首先需要您閱讀Java。閱讀完畢，點(diǎn)擊“Accept”進(jìn)入下一步。2.系統(tǒng)將自動檢查管理節(jié)點(diǎn)的環(huán)境配置，主要包括時間、日期、時區(qū)及主機(jī)名信息并確認(rèn)。顯示在屏幕上，請6. Transwarp Manager的安裝 | 153.取決于管理節(jié)點(diǎn)上的網(wǎng)卡數(shù)量，您需要進(jìn)行如下操作： 如果管理節(jié)點(diǎn)上只有一塊網(wǎng)卡，安裝結(jié)束后，您會被要求設(shè)置Transwarp口“8180”。Manager端口，推薦默認(rèn)端 如果管理節(jié)點(diǎn)上有多塊網(wǎng)卡，系統(tǒng)會要求您從中選擇一塊網(wǎng)卡，用于Transwarp 他節(jié)點(diǎn)通信。在這一步，您應(yīng)該選擇用于集群內(nèi)部通信的網(wǎng)卡。Manager和集群中其4.安裝Transwarp Manager需要一個包含對應(yīng)版本操作系統(tǒng)的庫（repo）。這一步中，您需要決定是否清除當(dāng)前集群上已有的庫配置。如果您的操作系統(tǒng)為CentOS或者Red Hat，您會看到如下提示：16 | 6. Transwarp Manager的安裝如果您的操作系統(tǒng)為SUSE，您會看到如下提示：在這一步，取