科技安裝手冊(cè)installmanual t00148x

TranswarpDataTranswarpDataHubVersion4.8安裝手冊(cè)星環(huán)信息科技（上海）版本號(hào)T00148x-01-010,2017-04-10目錄1.1.1.TranswarpDataHub介紹...............................1.2.集群結(jié)構(gòu)......................................222444556678889910101010101111111111121213141414152223272732323535目錄1.1.1.TranswarpDataHub介紹...............................1.2.集群結(jié)構(gòu)......................................2224445566788899101010101011111111111212131414141522232727323235353..4.支持的瀏覽器...................................................................................................................................................6.3.7.系統(tǒng)磁盤(pán)分區(qū)要求..................................內(nèi)存容量要求....................................網(wǎng)絡(luò)設(shè)置......................................集群和網(wǎng)絡(luò)拓?fù)湟?................................NTP服務(wù)設(shè)置.....................................安全設(shè)置......................................系統(tǒng)的推薦設(shè)置...................................4.TDH服務(wù)的..........................................................................................................................................................................................................................................................................................................................................................................................................................4.9.ZookeeperHDFSYARNHyperbaseInceptorStreamSqoopKafkaOozie4.10.HUE4.11.Elasticsearch.................................5.6.操作系統(tǒng)安裝......................................TranswarpManager.6.3.安裝前系統(tǒng)配置改動(dòng).................................安裝介質(zhì)......................................安裝TranswarpManager...............................7.用TranswarpManager.7.3.添加集群服務(wù)器...................................刪除集群中的服務(wù)器.................................其他配置......................................8.用TranswarpManager..Guardian的安裝和配置................................安裝Discover前的環(huán)境準(zhǔn)備..............................選擇服務(wù)......................................服務(wù)的分配...................................8.5.服務(wù)的配置.....................................8.6.服務(wù)安裝......................................9.用TranswarpManager38444651515252525353535557578.5.服務(wù)的配置.....................................8.6.服務(wù)安裝......................................9.用TranswarpManager3844465151525252535353555757575758585858585959595959606.10.4.證管理....................................證激活和使用.................................查看證管理..................................................................證過(guò)期11.卸載TDH........................................11.1.使用方法.....................................11.2.常見(jiàn)問(wèn)題.....................................12.附錄A:A.1.A.2.A.3.A.4.A.5.A.6.A.7.A.8.A.9.A.10.A.11.A.12.A.13.A.14.Zookeeper相關(guān)端口.................................HDFS相關(guān)端口....................................YARN相關(guān)端口....................................Hyperbase相關(guān)端口.................................Inceptor相關(guān)端口..................................Discover相關(guān)端口..................................StreamSQL相關(guān)端口.................................Sqoop相關(guān)端口.........................................................................................................HUE相關(guān)端口....................................Elasticsearch相關(guān)端口...............................TranswarpManager相關(guān)端口.............................Kerberos相關(guān)端口.................................免責(zé)本說(shuō)明書(shū)依據(jù)現(xiàn)有信息制作,其內(nèi)容更改,恕不另行通知。星環(huán)信息科技（上海）有限公司在編寫(xiě)該說(shuō)明書(shū)的時(shí)候已盡最大努力保證期內(nèi)容準(zhǔn)確可靠,但星環(huán)信息科技（上海）任。具體不對(duì)本說(shuō)明書(shū)中的遺漏、使用請(qǐng)以實(shí)際使用為準(zhǔn)。確或印刷錯(cuò)誤導(dǎo)致的損失和損害承擔(dān)責(zé)注釋:Hadoop?和SPARK?是ApacheTM軟件Java?Oracle公司在美國(guó)和其他和Xeon?在美國(guó)和其他的商標(biāo)或的的商標(biāo)或的商標(biāo)或的商標(biāo)。Intel?的商標(biāo)。所有?2013年-2017年星環(huán)信息科技（上海）。保留所利。?星環(huán)信息科技（上海）修改權(quán)。本說(shuō)明書(shū)的所有,并保留對(duì)本說(shuō)明書(shū)及本的最終解釋權(quán)和歸星環(huán)信息科技（上海）所有。未得到星環(huán)信息科技（上海）的,任何人不得以任何方式或形式對(duì)本說(shuō)明書(shū)內(nèi)的任何部分進(jìn)行業(yè)用途。、摘錄、備份、修改、、翻譯成其他語(yǔ)言、或?qū)⑵淙炕虿糠钟糜谏淌謨?cè)版本信息版本號(hào):T00148x-01-010發(fā)布日期:2017-04-10Preface|1免責(zé)本說(shuō)明書(shū)依據(jù)現(xiàn)有信息制作,其內(nèi)容更改,恕不另行通知。星環(huán)信息科技（上海）有限公司在編寫(xiě)該說(shuō)明書(shū)的時(shí)候已盡最大努力保證期內(nèi)容準(zhǔn)確可靠,但星環(huán)信息科技（上海）任。具體不對(duì)本說(shuō)明書(shū)中的遺漏、使用請(qǐng)以實(shí)際使用為準(zhǔn)。確或印刷錯(cuò)誤導(dǎo)致的損失和損害承擔(dān)責(zé)注釋:Hadoop?和SPARK?是ApacheTM軟件Java?Oracle公司在美國(guó)和其他和Xeon?在美國(guó)和其他的商標(biāo)或的的商標(biāo)或的商標(biāo)或的商標(biāo)。Intel?的商標(biāo)。所有?2013年-2017年星環(huán)信息科技（上海）。保留所利。?星環(huán)信息科技（上海）修改權(quán)。本說(shuō)明書(shū)的所有,并保留對(duì)本說(shuō)明書(shū)及本的最終解釋權(quán)和歸星環(huán)信息科技（上海）所有。未得到星環(huán)信息科技（上海）的,任何人不得以任何方式或形式對(duì)本說(shuō)明書(shū)內(nèi)的任何部分進(jìn)行業(yè)用途。、摘錄、備份、修改、、翻譯成其他語(yǔ)言、或?qū)⑵淙炕虿糠钟糜谏淌謨?cè)版本信息版本號(hào):T00148x-01-010發(fā)布日期:2017-04-10Preface|11.簡(jiǎn)介1.1TranswarpDataHub介紹TranswarpDataHub（簡(jiǎn)稱TDH）是國(guó)內(nèi)首個(gè)全面支持Spark的Hadoop版，也是國(guó)內(nèi)落地案例最多的商業(yè)版本，是國(guó)內(nèi)外領(lǐng)先的高性能平臺(tái)，比開(kāi)源基于HadoopMapReduce計(jì)算框架的版本快10x~100x倍。TDH應(yīng)用范圍覆蓋各種規(guī)模和不同數(shù)據(jù)量的企業(yè)，通過(guò)內(nèi)存計(jì)算、高效索引、執(zhí)行優(yōu)化和高度容錯(cuò)的技術(shù)，使得一個(gè)平臺(tái)能夠處理GB級(jí)到PB級(jí)的數(shù)據(jù)，并且在每個(gè)數(shù)量級(jí)上，都能比現(xiàn)有技術(shù)提供更快的性能；企業(yè)客戶不再需要混合架構(gòu)，TDH可以伴隨企業(yè)客戶的數(shù)據(jù)增長(zhǎng)，動(dòng)態(tài)不停機(jī)擴(kuò)容，避免MPP或混合架構(gòu)數(shù)據(jù)遷移的棘手問(wèn)題。星環(huán)科技的大數(shù)據(jù)平臺(tái)TDH包含五個(gè)組成部分:Hadoop企業(yè)版，Inceptor分布式內(nèi)存分析引擎，Hyperbase分?jǐn)?shù)據(jù)處理引擎，Stream流處理引擎和Discover 學(xué)習(xí)引擎，五個(gè)組件了完整的大數(shù)在統(tǒng)一的分布式之上數(shù)據(jù)平臺(tái)上通過(guò)YARN提供統(tǒng)一的管理調(diào)度，結(jié)合LDAP與Kerberos提供完備的權(quán)限管理，不同的部門(mén)以及使用租戶可以按需創(chuàng)建計(jì)算集群其數(shù)據(jù)，包括基于Spark計(jì)算框架的SQL類統(tǒng)計(jì)分析應(yīng)用與數(shù)據(jù)挖掘類應(yīng)用，或者基于MapReduce計(jì)算框架的應(yīng)用。同時(shí)，平臺(tái)通過(guò)使用Hyperbase結(jié)合Inceptor，為用戶提供基于SQL的高并發(fā)的以及分析能力。在數(shù)據(jù)導(dǎo)入與交換方面，數(shù)據(jù)平臺(tái)提供多樣的數(shù)據(jù)導(dǎo)入與交換形式，包括Flume（需要額外安裝）提供海量數(shù)據(jù)文件的聚合匯總到HDFS的功能，F(xiàn)TPOverHDFS提供文件通過(guò)FTP傳入HDFS的通道，Sqoop提供與關(guān)系型數(shù)據(jù)庫(kù)的以及Kafka消息隊(duì)列集群接收實(shí)時(shí)流數(shù)據(jù)。此外，TDH數(shù)據(jù)平臺(tái)提供實(shí)時(shí)的流處理能力，通過(guò)消息隊(duì)列Kafka接收實(shí)時(shí)數(shù)據(jù)流，做到數(shù)據(jù)不丟不重，通過(guò)Stream基于SparkStreaming提供類似與批處理系統(tǒng)的計(jì)算能力、健壯性、擴(kuò)展性的同時(shí)，將數(shù)據(jù)時(shí)延降低至秒級(jí)甚至毫秒級(jí)。1.2.集群結(jié)構(gòu)創(chuàng)建一個(gè)集群前，首先必須對(duì)整個(gè)集群進(jìn)行， 包括集群節(jié)點(diǎn)、網(wǎng)絡(luò)、軟件模塊分布等部分。運(yùn)維人員必須保證將用于構(gòu)造集群的服務(wù)器滿足TranswarpDataHub系統(tǒng)的基本要求。這些要求包括硬件要求、軟2|11.簡(jiǎn)介1.1TranswarpDataHub介紹TranswarpDataHub（簡(jiǎn)稱TDH）是國(guó)內(nèi)首個(gè)全面支持Spark的Hadoop版，也是國(guó)內(nèi)落地案例最多的商業(yè)版本，是國(guó)內(nèi)外領(lǐng)先的高性能平臺(tái)，比開(kāi)源基于HadoopMapReduce計(jì)算框架的版本快10x~100x倍。TDH應(yīng)用范圍覆蓋各種規(guī)模和不同數(shù)據(jù)量的企業(yè)，通過(guò)內(nèi)存計(jì)算、高效索引、執(zhí)行優(yōu)化和高度容錯(cuò)的技術(shù)，使得一個(gè)平臺(tái)能夠處理GB級(jí)到PB級(jí)的數(shù)據(jù)，并且在每個(gè)數(shù)量級(jí)上，都能比現(xiàn)有技術(shù)提供更快的性能；企業(yè)客戶不再需要混合架構(gòu)，TDH可以伴隨企業(yè)客戶的數(shù)據(jù)增長(zhǎng)，動(dòng)態(tài)不停機(jī)擴(kuò)容，避免MPP或混合架構(gòu)數(shù)據(jù)遷移的棘手問(wèn)題。星環(huán)科技的大數(shù)據(jù)平臺(tái)TDH包含五個(gè)組成部分:Hadoop企業(yè)版，Inceptor分布式內(nèi)存分析引擎，Hyperbase分?jǐn)?shù)據(jù)處理引擎，Stream流處理引擎和Discover 學(xué)習(xí)引擎，五個(gè)組件了完整的大數(shù)在統(tǒng)一的分布式之上數(shù)據(jù)平臺(tái)上通過(guò)YARN提供統(tǒng)一的管理調(diào)度，結(jié)合LDAP與Kerberos提供完備的權(quán)限管理，不同的部門(mén)以及使用租戶可以按需創(chuàng)建計(jì)算集群其數(shù)據(jù)，包括基于Spark計(jì)算框架的SQL類統(tǒng)計(jì)分析應(yīng)用與數(shù)據(jù)挖掘類應(yīng)用，或者基于MapReduce計(jì)算框架的應(yīng)用。同時(shí)，平臺(tái)通過(guò)使用Hyperbase結(jié)合Inceptor，為用戶提供基于SQL的高并發(fā)的以及分析能力。在數(shù)據(jù)導(dǎo)入與交換方面，數(shù)據(jù)平臺(tái)提供多樣的數(shù)據(jù)導(dǎo)入與交換形式，包括Flume（需要額外安裝）提供海量數(shù)據(jù)文件的聚合匯總到HDFS的功能，F(xiàn)TPOverHDFS提供文件通過(guò)FTP傳入HDFS的通道，Sqoop提供與關(guān)系型數(shù)據(jù)庫(kù)的以及Kafka消息隊(duì)列集群接收實(shí)時(shí)流數(shù)據(jù)。此外，TDH數(shù)據(jù)平臺(tái)提供實(shí)時(shí)的流處理能力，通過(guò)消息隊(duì)列Kafka接收實(shí)時(shí)數(shù)據(jù)流，做到數(shù)據(jù)不丟不重，通過(guò)Stream基于SparkStreaming提供類似與批處理系統(tǒng)的計(jì)算能力、健壯性、擴(kuò)展性的同時(shí)，將數(shù)據(jù)時(shí)延降低至秒級(jí)甚至毫秒級(jí)。1.2.集群結(jié)構(gòu)創(chuàng)建一個(gè)集群前，首先必須對(duì)整個(gè)集群進(jìn)行， 包括集群節(jié)點(diǎn)、網(wǎng)絡(luò)、軟件模塊分布等部分。運(yùn)維人員必須保證將用于構(gòu)造集群的服務(wù)器滿足TranswarpDataHub系統(tǒng)的基本要求。這些要求包括硬件要求、軟2|1件要求、內(nèi)存要求、網(wǎng)絡(luò)要求等。第二章將對(duì)這些要求進(jìn)行詳細(xì)介紹。TranswarpDataHub通過(guò)網(wǎng)絡(luò)連接所有服務(wù)器并實(shí)現(xiàn)整個(gè)集群的服務(wù)，因此架構(gòu)師需要仔細(xì)計(jì)算應(yīng)用服務(wù)對(duì)網(wǎng)絡(luò)帶寬和延遲的需求并整個(gè)網(wǎng)絡(luò)拓?fù)?，如您需要幫助可以咨詢星環(huán)科技的售前和架構(gòu)師。在應(yīng)用中您需要根據(jù)應(yīng)用的特點(diǎn)決定哪些軟件模塊和組件需要安裝。列出安裝前的硬件和軟件要求，在滿足這些要求的基礎(chǔ)上，您才可以開(kāi)始進(jìn)行系統(tǒng)安裝。系統(tǒng)安裝包括以下步驟：在集群中所有的節(jié)點(diǎn)上安裝所需要的操作系統(tǒng)。在管理節(jié)點(diǎn)上安裝TranswarpManager。通過(guò)TranswarpManager來(lái)把所有的節(jié)點(diǎn)加到集群中、對(duì)這些節(jié)點(diǎn)部署相關(guān)軟件和配置，并運(yùn)行服務(wù)。1|3件要求、內(nèi)存要求、網(wǎng)絡(luò)要求等。第二章將對(duì)這些要求進(jìn)行詳細(xì)介紹。TranswarpDataHub通過(guò)網(wǎng)絡(luò)連接所有服務(wù)器并實(shí)現(xiàn)整個(gè)集群的服務(wù)，因此架構(gòu)師需要仔細(xì)計(jì)算應(yīng)用服務(wù)對(duì)網(wǎng)絡(luò)帶寬和延遲的需求并整個(gè)網(wǎng)絡(luò)拓?fù)?，如您需要幫助可以咨詢星環(huán)科技的售前和架構(gòu)師。在應(yīng)用中您需要根據(jù)應(yīng)用的特點(diǎn)決定哪些軟件模塊和組件需要安裝。列出安裝前的硬件和軟件要求，在滿足這些要求的基礎(chǔ)上，您才可以開(kāi)始進(jìn)行系統(tǒng)安裝。系統(tǒng)安裝包括以下步驟：在集群中所有的節(jié)點(diǎn)上安裝所需要的操作系統(tǒng)。在管理節(jié)點(diǎn)上安裝TranswarpManager。通過(guò)TranswarpManager來(lái)把所有的節(jié)點(diǎn)加到集群中、對(duì)這些節(jié)點(diǎn)部署相關(guān)軟件和配置，并運(yùn)行服務(wù)。1|32.安裝準(zhǔn)備2.1.硬件環(huán)境要求TranswarpDataHub(簡(jiǎn)稱TDH)提供集群服務(wù)來(lái)保證服務(wù)的高可用性，因此集群系統(tǒng)必須是3臺(tái)以上物理服務(wù)器組成，每臺(tái)服務(wù)器必須具備以下最低配置：2顆6或以上帶超線程x86指令集CPU的服務(wù)器64GB以上內(nèi)存2個(gè)300G以上的硬盤(pán)做RAID1，作為系統(tǒng)盤(pán)4個(gè)以上的300GB容量以上的硬盤(pán)作為數(shù)據(jù)存放硬盤(pán)2個(gè)千兆以上網(wǎng)卡，TDH和TranswarpManager推薦使用以下配置：集群內(nèi)不同的模塊有不同的推薦配置，Namenode2顆6核帶超線程的x86指令集CPU服務(wù)器(比如Intel(r)Xeon(r)E5-2620v2CPU)128GB以上內(nèi)存6個(gè)600G以上的硬盤(pán)做RAID1作為系統(tǒng)盤(pán)和管理數(shù)據(jù)2個(gè)千兆以上網(wǎng)口的網(wǎng)卡的硬件配置應(yīng)該根據(jù)不同應(yīng)用的特點(diǎn)進(jìn)行選配，使用Inceptor，Discover和Stream配置的用戶需要比較高的計(jì)算能力的服務(wù)器，其數(shù)據(jù)節(jié)點(diǎn)的推薦配置如下：2顆8或以上帶超線程x86指令集CPU的服務(wù)器(比如Intel?Xeon?E5-2650v2)128GB以上內(nèi)存2個(gè)300G以上的硬盤(pán)做RAID1，作為系統(tǒng)盤(pán)10個(gè)以上的2TB容量以上的硬盤(pán)作為數(shù)據(jù)存放硬盤(pán)2個(gè)千兆以上網(wǎng)卡系統(tǒng)盤(pán)可以做RAID1。但是數(shù)據(jù)盤(pán)不需要RAID，若需要RAID，請(qǐng)做RAID0。2.2.操作系統(tǒng)要求所有集群中的節(jié)點(diǎn)，必須運(yùn)行于同一操作系統(tǒng)。TranswarpDataHub支持以下操作系統(tǒng)。|2.安裝準(zhǔn)備2.1.硬件環(huán)境要求TranswarpDataHub(簡(jiǎn)稱TDH)提供集群服務(wù)來(lái)保證服務(wù)的高可用性，因此集群系統(tǒng)必須是3臺(tái)以上物理服務(wù)器組成，每臺(tái)服務(wù)器必須具備以下最低配置：2顆6或以上帶超線程x86指令集CPU的服務(wù)器64GB以上內(nèi)存2個(gè)300G以上的硬盤(pán)做RAID1，作為系統(tǒng)盤(pán)4個(gè)以上的300GB容量以上的硬盤(pán)作為數(shù)據(jù)存放硬盤(pán)2個(gè)千兆以上網(wǎng)卡，TDH和TranswarpManager推薦使用以下配置：集群內(nèi)不同的模塊有不同的推薦配置，Namenode2顆6核帶超線程的x86指令集CPU服務(wù)器(比如Intel(r)Xeon(r)E5-2620v2CPU)128GB以上內(nèi)存6個(gè)600G以上的硬盤(pán)做RAID1作為系統(tǒng)盤(pán)和管理數(shù)據(jù)2個(gè)千兆以上網(wǎng)口的網(wǎng)卡的硬件配置應(yīng)該根據(jù)不同應(yīng)用的特點(diǎn)進(jìn)行選配，使用Inceptor，Discover和Stream配置的用戶需要比較高的計(jì)算能力的服務(wù)器，其數(shù)據(jù)節(jié)點(diǎn)的推薦配置如下：2顆8或以上帶超線程x86指令集CPU的服務(wù)器(比如Intel?Xeon?E5-2650v2)128GB以上內(nèi)存2個(gè)300G以上的硬盤(pán)做RAID1，作為系統(tǒng)盤(pán)10個(gè)以上的2TB容量以上的硬盤(pán)作為數(shù)據(jù)存放硬盤(pán)2個(gè)千兆以上網(wǎng)卡系統(tǒng)盤(pán)可以做RAID1。但是數(shù)據(jù)盤(pán)不需要RAID，若需要RAID，請(qǐng)做RAID0。2.2.操作系統(tǒng)要求所有集群中的節(jié)點(diǎn)，必須運(yùn)行于同一操作系統(tǒng)。TranswarpDataHub支持以下操作系統(tǒng)。|2操作系統(tǒng)版本RedHatEnterpriseLinux6.4、6.5、6.6、6.7、6.8CentOS6.4、6.5、6.6、6.7、6.8、7.0SUSELinuxEnterpriseServer11SP3、11SP4AsianuxServer4(Hiranya)SP42.3Java環(huán)境要求如果您的集群的上還沒(méi)有安裝JDK，您無(wú)需自行安裝JDK——我們提供的TranswarpDataHub安裝工具會(huì)幫您安裝。如果您的上有不同版本的JDK，可能會(huì)和安裝工具安裝的JDK發(fā)生 。請(qǐng)?jiān)诎惭b前運(yùn)行下面指令來(lái)查看您的JDK版本。java-version如果版本和下面列出的不一樣，請(qǐng)和我們。TDH目前支持以下JDK版本：OracleJDK1.72.4.支持的瀏覽器TranswarpDataHub采用Web頁(yè)面作為平臺(tái)管理界面，管理平臺(tái)支持以下瀏覽器|5瀏覽器版本Chrome（推薦）36.0.1985.143及以上FireFox36.0及以上Safari7.0.2及以上InternetExplorer（不推薦）不支持2.3Java環(huán)境要求如果您的集群的上還沒(méi)有安裝JDK，您無(wú)需自行安裝JDK——我們提供的TranswarpDataHub安裝工具會(huì)幫您安裝。如果您的上有不同版本的JDK，可能會(huì)和安裝工具安裝的JDK發(fā)生 。請(qǐng)?jiān)诎惭b前運(yùn)行下面指令來(lái)查看您的JDK版本。java-version如果版本和下面列出的不一樣，請(qǐng)和我們。TDH目前支持以下JDK版本：OracleJDK1.72.4.支持的瀏覽器TranswarpDataHub采用Web頁(yè)面作為平臺(tái)管理界面，管理平臺(tái)支持以下瀏覽器|5瀏覽器版本Chrome（推薦）36.0.1985.143及以上FireFox36.0及以上Safari7.0.2及以上InternetExplorer（不推薦）不支持3.安裝前的檢查3.1.系統(tǒng)磁盤(pán)分區(qū)要求系統(tǒng)安裝和運(yùn)行需要占用硬盤(pán)空間，在安裝前操作系統(tǒng)硬盤(pán)必須留出200GB守以下幾點(diǎn)要求：至少要分出swap和加載于“/”的系統(tǒng)分區(qū)。推薦系統(tǒng)分區(qū)大小為100GB~300GB，并將該分區(qū)掛載到/目錄。推薦把每個(gè)物理磁盤(pán)掛載在/mnt/disknn(nn為1至2ext4文件系統(tǒng)。每個(gè)這樣的目錄會(huì)被管理節(jié)點(diǎn)自動(dòng)配置為HDFSDataNode的數(shù)據(jù)目錄。HDFSDataNode的數(shù)據(jù)目錄不能放在系統(tǒng)分區(qū)，以避免空間不足和IO競(jìng)爭(zhēng)。同時(shí)也建議不要將數(shù)據(jù)分區(qū)和系統(tǒng)分區(qū)放在同一塊磁盤(pán)上以避免IO競(jìng)爭(zhēng)。除非整個(gè)HDFS上創(chuàng)建數(shù)據(jù)分區(qū)?？臻g不足，否則不要在系統(tǒng)分區(qū)所在磁盤(pán)例1.磁盤(pán)不富余時(shí)的6|3.安裝前的檢查某臺(tái) ，容量都為600GB，分區(qū)及掛載目錄將如下,文件類型推薦為ext4,其中/dev/sda1用作系統(tǒng)分區(qū)：注意，這是磁盤(pán) 不富余情形下的 。如果磁盤(pán) 比較富余，建議操作系統(tǒng)安裝在單獨(dú)磁盤(pán)上，防止數(shù)據(jù)分區(qū)與系統(tǒng)分區(qū)造成數(shù)據(jù)讀寫(xiě)競(jìng)爭(zhēng)，如下一個(gè)例子。文件系統(tǒng)大小掛載目錄文件系統(tǒng)類型/dev/sda1100GB/ext4/dev/sda232GBswap/dev/sda3100GB/var/logext4/dev/sda43.安裝前的檢查3.1.系統(tǒng)磁盤(pán)分區(qū)要求系統(tǒng)安裝和運(yùn)行需要占用硬盤(pán)空間，在安裝前操作系統(tǒng)硬盤(pán)必須留出200GB守以下幾點(diǎn)要求：至少要分出swap和加載于“/”的系統(tǒng)分區(qū)。推薦系統(tǒng)分區(qū)大小為100GB~300GB，并將該分區(qū)掛載到/目錄。推薦把每個(gè)物理磁盤(pán)掛載在/mnt/disknn(nn為1至2ext4文件系統(tǒng)。每個(gè)這樣的目錄會(huì)被管理節(jié)點(diǎn)自動(dòng)配置為HDFSDataNode的數(shù)據(jù)目錄。HDFSDataNode的數(shù)據(jù)目錄不能放在系統(tǒng)分區(qū)，以避免空間不足和IO競(jìng)爭(zhēng)。同時(shí)也建議不要將數(shù)據(jù)分區(qū)和系統(tǒng)分區(qū)放在同一塊磁盤(pán)上以避免IO競(jìng)爭(zhēng)。除非整個(gè)HDFS上創(chuàng)建數(shù)據(jù)分區(qū)?？臻g不足，否則不要在系統(tǒng)分區(qū)所在磁盤(pán)例1.磁盤(pán)不富余時(shí)的6|3.安裝前的檢查某臺(tái) ，容量都為600GB，分區(qū)及掛載目錄將如下,文件類型推薦為ext4,其中/dev/sda1用作系統(tǒng)分區(qū)：注意，這是磁盤(pán) 不富余情形下的 。如果磁盤(pán) 比較富余，建議操作系統(tǒng)安裝在單獨(dú)磁盤(pán)上，防止數(shù)據(jù)分區(qū)與系統(tǒng)分區(qū)造成數(shù)據(jù)讀寫(xiě)競(jìng)爭(zhēng)，如下一個(gè)例子。文件系統(tǒng)大小掛載目錄文件系統(tǒng)類型/dev/sda1100GB/ext4/dev/sda232GBswap/dev/sda3100GB/var/logext4/dev/sda4368GB/mnt/disk1ext4/dev/sdb1600GB/mnt/disk2ext4例2.磁盤(pán)富余時(shí)的3.2.內(nèi)存容量要求每個(gè)節(jié)點(diǎn)必須至少GB的RAM。根據(jù)節(jié)點(diǎn)所安裝的TranswarpDataHub服務(wù)，節(jié)點(diǎn)可能需要超過(guò)64GB的RAM。下表列出在節(jié)點(diǎn)上運(yùn)行不同服務(wù)時(shí)，該節(jié)點(diǎn)所需的額外內(nèi)存。具體節(jié)點(diǎn)需要內(nèi)存的計(jì)算步驟如下所示：TDH服務(wù)。確認(rèn)每個(gè)服務(wù)要求的內(nèi)存容量。將所有內(nèi)存要求相加。3.安裝前的檢查|7服務(wù)要求ManagementServer8GBHDFSNameNode32GBHDFSNameNode32GBHDFSStandbyNameNode32GBHDFSDataNode4GBInceptorServer4GBInceptorexecutor32GBYARNResourceManager4GBYARNNodeManager4GBNodeManager分配給Container的計(jì)算 數(shù)用戶指定ZooKeeper4GBHBaseMaster4GB某臺(tái) 有6塊硬盤(pán)，容量都為600GB，分區(qū)及掛載目錄將如下,文件類型推薦為ext4,其中一塊磁盤(pán)用作系統(tǒng)分區(qū)：文件系統(tǒng)大小掛載目錄文件系統(tǒng)類型/dev/sda1400GB/ext4/dev/sda232GBswap/dev/sda3168GB/var/logext4/dev/sdb1600GB/mnt/disk1ext4/dev/sdc1600GB/mnt/disk2ext4/dev/sdd1600GB/mnt/disk3ext4/dev/sde1600GB/mnt/disk4ext4/dev/sdf1600GB/mnt/disk5ext4例2.磁盤(pán)富余時(shí)的3.2.內(nèi)存容量要求每個(gè)節(jié)點(diǎn)必須至少GB的RAM。根據(jù)節(jié)點(diǎn)所安裝的TranswarpDataHub服務(wù)，節(jié)點(diǎn)可能需要超過(guò)64GB的RAM。下表列出在節(jié)點(diǎn)上運(yùn)行不同服務(wù)時(shí)，該節(jié)點(diǎn)所需的額外內(nèi)存。具體節(jié)點(diǎn)需要內(nèi)存的計(jì)算步驟如下所示：TDH服務(wù)。確認(rèn)每個(gè)服務(wù)要求的內(nèi)存容量。將所有內(nèi)存要求相加。3.安裝前的檢查|7服務(wù)要求ManagementServer8GBHDFSNameNode32GBHDFSNameNode32GBHDFSStandbyNameNode32GBHDFSDataNode4GBInceptorServer4GBInceptorexecutor32GBYARNResourceManager4GBYARNNodeManager4GBNodeManager分配給Container的計(jì)算 數(shù)用戶指定ZooKeeper4GBHBaseMaster4GB某臺(tái) 有6塊硬盤(pán)，容量都為600GB，分區(qū)及掛載目錄將如下,文件類型推薦為ext4,其中一塊磁盤(pán)用作系統(tǒng)分區(qū)：文件系統(tǒng)大小掛載目錄文件系統(tǒng)類型/dev/sda1400GB/ext4/dev/sda232GBswap/dev/sda3168GB/var/logext4/dev/sdb1600GB/mnt/disk1ext4/dev/sdc1600GB/mnt/disk2ext4/dev/sdd1600GB/mnt/disk3ext4/dev/sde1600GB/mnt/disk4ext4/dev/sdf1600GB/mnt/disk5ext4464GB，則最低內(nèi)存要求為64GB。如果相加后內(nèi)存要求大于64GB，則最低內(nèi)存要求為相加后的和。比如，如果節(jié)點(diǎn)上運(yùn)行以下服務(wù)：HDFSDataNodeYARNResourceManagerHBaseRegionServerYARNNodeManager分配給Inceptorexecutor為32G則節(jié)點(diǎn)的內(nèi)存容量要求如下（生產(chǎn)環(huán)境實(shí)際使用內(nèi)存要結(jié)合具體的應(yīng)用場(chǎng)景）：4GB+4GB+32GB+32GB=72GB3.3.網(wǎng)絡(luò)設(shè)置安裝TranswarpDataHub需要最低的網(wǎng)絡(luò)為千兆以太網(wǎng)。當(dāng)一臺(tái)裝TranswarpDataHub之前對(duì)其進(jìn)行綁定配置。上有多個(gè)網(wǎng)絡(luò)適配器時(shí)，用戶可以在安3.4.集群和網(wǎng)絡(luò)拓?fù)湟???決定集群中的節(jié)點(diǎn)數(shù)目。決定每個(gè)機(jī)柜中的節(jié)點(diǎn)數(shù)目。??決定每個(gè)節(jié)點(diǎn)所在的子網(wǎng)（或多個(gè)子網(wǎng)）。決定每個(gè)節(jié)點(diǎn)的主機(jī)名和IP地址。??決定哪個(gè)決定哪些是管理節(jié)點(diǎn)。是NameNode。??決定哪些是客戶端，哪些運(yùn)行TDH服務(wù)，或二者兼是。464GB，則最低內(nèi)存要求為64GB。如果相加后內(nèi)存要求大于64GB，則最低內(nèi)存要求為相加后的和。比如，如果節(jié)點(diǎn)上運(yùn)行以下服務(wù)：HDFSDataNodeYARNResourceManagerHBaseRegionServerYARNNodeManager分配給Inceptorexecutor為32G則節(jié)點(diǎn)的內(nèi)存容量要求如下（生產(chǎn)環(huán)境實(shí)際使用內(nèi)存要結(jié)合具體的應(yīng)用場(chǎng)景）：4GB+4GB+32GB+32GB=72GB3.3.網(wǎng)絡(luò)設(shè)置安裝TranswarpDataHub需要最低的網(wǎng)絡(luò)為千兆以太網(wǎng)。當(dāng)一臺(tái)裝TranswarpDataHub之前對(duì)其進(jìn)行綁定配置。上有多個(gè)網(wǎng)絡(luò)適配器時(shí)，用戶可以在安3.4.集群和網(wǎng)絡(luò)拓?fù)湟???決定集群中的節(jié)點(diǎn)數(shù)目。決定每個(gè)機(jī)柜中的節(jié)點(diǎn)數(shù)目。??決定每個(gè)節(jié)點(diǎn)所在的子網(wǎng)（或多個(gè)子網(wǎng)）。決定每個(gè)節(jié)點(diǎn)的主機(jī)名和IP地址。??決定哪個(gè)決定哪些是管理節(jié)點(diǎn)。是NameNode。??決定哪些是客戶端，哪些運(yùn)行TDH服務(wù)，或二者兼是。一旦主機(jī)名分配給NameNode，主機(jī)名則不能再更改。?????確定你知道要加入到TDH集群中的每個(gè)節(jié)點(diǎn)的root 。決定在集群中使用哪些組件。決定網(wǎng)絡(luò)帶寬和交換機(jī)背板帶寬。決定交換機(jī)型號(hào)。決定如何連接到交換機(jī)。必須知道需要用到哪些以太網(wǎng)端口和是否需要綁定。?確定每臺(tái)的IP地址和主機(jī)名。決定如何分配IP（使用DHCP或靜態(tài)分配）。決定如何主機(jī)名（使用DNS或/etc/hosts）。如果使用/etc/hosts，管理節(jié)點(diǎn)將負(fù)責(zé)更新集群中每臺(tái)的/etc/hosts。3.5NTP服務(wù)設(shè)置決定如何進(jìn)行時(shí)間同步。管理節(jié)點(diǎn)將負(fù)責(zé)所有服務(wù)器上的時(shí)間的同步，但您需要決定是否使用外部的NTP服務(wù)。如果不使用外部NTP服務(wù)，集群中所有服務(wù)器的時(shí)間是相同的，但這個(gè)時(shí)間有可能不是標(biāo)準(zhǔn)時(shí)間，這有可能導(dǎo)致集群與外部連接時(shí)產(chǎn)生錯(cuò)誤。8|3.安裝前的檢查3.6.安全設(shè)置禁掉SELinux和iptables（TranswarpManager會(huì)自動(dòng)禁掉SELinux和iptables）。3.7.系統(tǒng)的推薦設(shè)置以下推薦配置可幫助確保TDH集群的性能優(yōu)化和可管理性。?節(jié)點(diǎn)的主機(jī)名。注意，主機(jī)名只能由英文、數(shù)字和“-”組成，否則之后的安裝會(huì)出現(xiàn)問(wèn)題。??要同時(shí)添加一組節(jié)點(diǎn)到集群中。要減少網(wǎng)絡(luò)延遲，集群中的所有節(jié)點(diǎn)都必須屬于同一子網(wǎng)。??每個(gè)節(jié)點(diǎn)應(yīng)配置一塊10GE的網(wǎng)卡，用于節(jié)點(diǎn)間的通信和執(zhí)行集群中需要網(wǎng)絡(luò)連接的任務(wù)。如果節(jié)點(diǎn)沒(méi)有使用10GE的網(wǎng)卡，則可使用網(wǎng)卡綁定以便將多個(gè)網(wǎng)卡組合在一起以提升網(wǎng)絡(luò)流量。綁定的網(wǎng)卡必須使用工作模式6。300GB的磁盤(pán)空間。每個(gè)節(jié)點(diǎn)應(yīng)至少有6T的可用磁盤(pán)空間用于HDFS。???該分區(qū)包含整個(gè)物理磁盤(pán)。??僅使用物理，不要使用虛擬 。虛擬機(jī)可能會(huì)明顯導(dǎo)致HDFSI/O的緩慢。節(jié)點(diǎn)所在的單個(gè)或多個(gè)子網(wǎng)不有其他。??集群中不能同時(shí)有物理和虛擬。要確保集群中的磁盤(pán)空間。每個(gè)節(jié)點(diǎn)應(yīng)至少不成為性能和I/O的瓶頸，所有必須有相似的硬件和軟件配置，包括RAM、CPU和?GB的內(nèi)存。?由于服務(wù)可能生成大量日志，推薦將/var/log放置在其他邏輯分區(qū)。這可保證日志間。占滿根分區(qū)的空?要加快對(duì)本地文件系統(tǒng)的，可使用noatime選項(xiàng)掛載磁盤(pán)，這表示文件次數(shù)被寫(xiě)回。3.安裝前的檢查|93.6.安全設(shè)置禁掉SELinux和iptables（TranswarpManager會(huì)自動(dòng)禁掉SELinux和iptables）。3.7.系統(tǒng)的推薦設(shè)置以下推薦配置可幫助確保TDH集群的性能優(yōu)化和可管理性。?節(jié)點(diǎn)的主機(jī)名。注意，主機(jī)名只能由英文、數(shù)字和“-”組成，否則之后的安裝會(huì)出現(xiàn)問(wèn)題。??要同時(shí)添加一組節(jié)點(diǎn)到集群中。要減少網(wǎng)絡(luò)延遲，集群中的所有節(jié)點(diǎn)都必須屬于同一子網(wǎng)。??每個(gè)節(jié)點(diǎn)應(yīng)配置一塊10GE的網(wǎng)卡，用于節(jié)點(diǎn)間的通信和執(zhí)行集群中需要網(wǎng)絡(luò)連接的任務(wù)。如果節(jié)點(diǎn)沒(méi)有使用10GE的網(wǎng)卡，則可使用網(wǎng)卡綁定以便將多個(gè)網(wǎng)卡組合在一起以提升網(wǎng)絡(luò)流量。綁定的網(wǎng)卡必須使用工作模式6。300GB的磁盤(pán)空間。每個(gè)節(jié)點(diǎn)應(yīng)至少有6T的可用磁盤(pán)空間用于HDFS。???該分區(qū)包含整個(gè)物理磁盤(pán)。??僅使用物理，不要使用虛擬 。虛擬機(jī)可能會(huì)明顯導(dǎo)致HDFSI/O的緩慢。節(jié)點(diǎn)所在的單個(gè)或多個(gè)子網(wǎng)不有其他。??集群中不能同時(shí)有物理和虛擬。要確保集群中的磁盤(pán)空間。每個(gè)節(jié)點(diǎn)應(yīng)至少不成為性能和I/O的瓶頸，所有必須有相似的硬件和軟件配置，包括RAM、CPU和?GB的內(nèi)存。?由于服務(wù)可能生成大量日志，推薦將/var/log放置在其他邏輯分區(qū)。這可保證日志間。占滿根分區(qū)的空?要加快對(duì)本地文件系統(tǒng)的，可使用noatime選項(xiàng)掛載磁盤(pán)，這表示文件次數(shù)被寫(xiě)回。3.安裝前的檢查|94.TDH服務(wù)的要在集群中運(yùn)行服務(wù)，需要指定集群中的一個(gè)或多個(gè)節(jié)點(diǎn)執(zhí)行該服務(wù)的特定功能。這些功能被歸類為功能性的，用于定義節(jié)點(diǎn)能為集群中的服務(wù)提供哪些功能。分配是必須的，沒(méi)有集群將無(wú)法正常工作。在分配前，需要了解這些的含義，以及對(duì)應(yīng)于服務(wù)節(jié)點(diǎn)需要哪些。4.1.Zookeeper4.2.HDFS4.3.YARN4.4.Hyperbase10|4TDH服務(wù)的描述ResourceManagerResourceManager負(fù)責(zé)將各個(gè) 部分（計(jì)算、內(nèi)存、帶寬等）安排給基礎(chǔ)NodeManager，并與NodeManager一起啟動(dòng)和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。TimelineServer提供對(duì)YARN的作業(yè)歷史日志信息的展現(xiàn)服務(wù)。NodeManagerNodeManager管理一個(gè)YARN集群中的每個(gè)節(jié)點(diǎn)。提供 集群中每個(gè)節(jié)點(diǎn)的服務(wù)，從監(jiān)督對(duì)一個(gè)容器的終生管理到監(jiān)視 和跟蹤節(jié)點(diǎn)的狀態(tài)。描述NameNode于哪些數(shù)據(jù)節(jié)點(diǎn)。當(dāng)客戶端需要從HDFSNameNode通訊來(lái)知道客戶端哪個(gè)數(shù)據(jù)節(jié)點(diǎn)上有客戶端需要的文件。一個(gè)集群中只能有一個(gè)NameNode。NameNode不能被賦予其他 。DataNode在HDFS中，DataNode是用來(lái) 數(shù)據(jù)塊的節(jié)點(diǎn)。StandbyNameNodeStandby模式的NameNode元數(shù)據(jù)（NamespcaeinformationBlocklocationsmap）都是和Active4.TDH服務(wù)的要在集群中運(yùn)行服務(wù)，需要指定集群中的一個(gè)或多個(gè)節(jié)點(diǎn)執(zhí)行該服務(wù)的特定功能。這些功能被歸類為功能性的，用于定義節(jié)點(diǎn)能為集群中的服務(wù)提供哪些功能。分配是必須的，沒(méi)有集群將無(wú)法正常工作。在分配前，需要了解這些的含義，以及對(duì)應(yīng)于服務(wù)節(jié)點(diǎn)需要哪些。4.1.Zookeeper4.2.HDFS4.3.YARN4.4.Hyperbase10|4TDH服務(wù)的描述ResourceManagerResourceManager負(fù)責(zé)將各個(gè) 部分（計(jì)算、內(nèi)存、帶寬等）安排給基礎(chǔ)NodeManager，并與NodeManager一起啟動(dòng)和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。TimelineServer提供對(duì)YARN的作業(yè)歷史日志信息的展現(xiàn)服務(wù)。NodeManagerNodeManager管理一個(gè)YARN集群中的每個(gè)節(jié)點(diǎn)。提供 集群中每個(gè)節(jié)點(diǎn)的服務(wù)，從監(jiān)督對(duì)一個(gè)容器的終生管理到監(jiān)視 和跟蹤節(jié)點(diǎn)的狀態(tài)。描述NameNode于哪些數(shù)據(jù)節(jié)點(diǎn)。當(dāng)客戶端需要從HDFSNameNode通訊來(lái)知道客戶端哪個(gè)數(shù)據(jù)節(jié)點(diǎn)上有客戶端需要的文件。一個(gè)集群中只能有一個(gè)NameNode。NameNode不能被賦予其他 。DataNode在HDFS中，DataNode是用來(lái) 數(shù)據(jù)塊的節(jié)點(diǎn)。StandbyNameNodeStandby模式的NameNode元數(shù)據(jù)（NamespcaeinformationBlocklocationsmap）都是和Active中的元數(shù)據(jù)是同步的，一旦切換成Active模式，馬上就可以提供NameNode服務(wù)。JournalNodeStandbyNameName和ActiveNameNode通過(guò)JournalNode通信，保持信息同步。描述ZookeeperZookeeper服務(wù)的節(jié)點(diǎn)。Zookeeper服務(wù)是指包含一個(gè)或多個(gè)節(jié)點(diǎn)的集群提供服務(wù)框架用于集群管理。對(duì)于集群，Zookeeper服務(wù)提供的功能包括維護(hù)配置信息、命名、提供Hyperbase的分布式同步，以及當(dāng)HMaster停止時(shí)觸發(fā)master選擇。Hyperbase需要有一個(gè)Zookeeper集群才能工作。推薦在Zookeeper集群中至少有3個(gè)節(jié)點(diǎn)。4.5.Inceptor4.6.Stream4.7.Sqoop4.8.Kafka4.TDH服務(wù)的描述KafkaServerKafka的任務(wù)管理工具。描述SqoopSqoop是一款用于在(Inceptor,Hyperbase)與傳統(tǒng)的數(shù)據(jù)庫(kù)(MySql、Postgresql…)間進(jìn)行數(shù)據(jù)的傳遞的工具描述JobServerStream的任務(wù)管理工具描述MetaStore表結(jié)構(gòu)及其元數(shù)據(jù)信息InceptorServerInceptor運(yùn)行的節(jié)點(diǎn)，幫助 的大型數(shù)據(jù)集。InceptorServer提供工具從文件系統(tǒng)中提取、轉(zhuǎn)換和裝載數(shù)據(jù)，實(shí)施數(shù)據(jù)格式結(jié)構(gòu)，以及提供HDFS或Hyperbase的直接文件 。描述Master節(jié)點(diǎn)實(shí)現(xiàn)Hyperbase數(shù)據(jù)庫(kù)以下功能:配區(qū)域給RegionServers，平衡整個(gè)集群。1.確認(rèn)RegionServer2.如果沒(méi)找到參考值，刪除parents。3.管理數(shù)據(jù)庫(kù)表。4.在RegionServers中分發(fā)消息。5.RegionServers以決定是否有必要執(zhí)行恢復(fù)，如果是，則執(zhí)行恢復(fù)。可以分配HMaster給一個(gè)或多個(gè)節(jié)點(diǎn)以進(jìn)行備份切換。如果你分配給多個(gè)節(jié)4.5.Inceptor4.6.Stream4.7.Sqoop4.8.Kafka4.TDH服務(wù)的描述KafkaServerKafka的任務(wù)管理工具。描述SqoopSqoop是一款用于在(Inceptor,Hyperbase)與傳統(tǒng)的數(shù)據(jù)庫(kù)(MySql、Postgresql…)間進(jìn)行數(shù)據(jù)的傳遞的工具描述JobServerStream的任務(wù)管理工具描述MetaStore表結(jié)構(gòu)及其元數(shù)據(jù)信息InceptorServerInceptor運(yùn)行的節(jié)點(diǎn)，幫助 的大型數(shù)據(jù)集。InceptorServer提供工具從文件系統(tǒng)中提取、轉(zhuǎn)換和裝載數(shù)據(jù)，實(shí)施數(shù)據(jù)格式結(jié)構(gòu)，以及提供HDFS或Hyperbase的直接文件 。描述Master節(jié)點(diǎn)實(shí)現(xiàn)Hyperbase數(shù)據(jù)庫(kù)以下功能:配區(qū)域給RegionServers，平衡整個(gè)集群。1.確認(rèn)RegionServer2.如果沒(méi)找到參考值，刪除parents。3.管理數(shù)據(jù)庫(kù)表。4.在RegionServers中分發(fā)消息。5.RegionServers以決定是否有必要執(zhí)行恢復(fù)，如果是，則執(zhí)行恢復(fù)?？梢苑峙銱Master給一個(gè)或多個(gè)節(jié)點(diǎn)以進(jìn)行備份切換。如果你分配給多個(gè)節(jié)點(diǎn)，這將創(chuàng)建一個(gè)active-狀態(tài)的HMaster節(jié)點(diǎn)的集群，即一個(gè)節(jié)點(diǎn)處于active狀態(tài)而集群中的另一個(gè)節(jié)點(diǎn)處于standby狀態(tài)。如果active狀態(tài)的HMaster停止，Zookeeper集群將選出一個(gè)inactive狀態(tài)的HMaster來(lái)作為active狀態(tài)的HMaster。RegionServer負(fù)責(zé)服務(wù)和管理Hyperbase區(qū)域的節(jié)點(diǎn)。HyperbaseThriftThriftClientAPI開(kāi)放的節(jié)點(diǎn)，客戶端可通過(guò)Thrift和Hyperbase通訊。HBase-restHyperbase的restAPI。4.10.HUE4.11.Elasticsearch12|4TDH服務(wù)的描述ElasticsearchserverTDH上的Elasticsearch是一個(gè)開(kāi)源、 小型庫(kù)，可與TDH上的工作進(jìn)行交互。描述HUEserverHUE是一組可與您的集 互的網(wǎng)絡(luò)應(yīng)用程序。HUE應(yīng)用能 瀏覽HDFS和工作,運(yùn)行Inceptor，瀏覽Sqoop出口數(shù)據(jù),提交MapReduce程序,構(gòu)建自定義的搜索引擎與Solr,與Oozie一起調(diào)度重復(fù)性的工作流。描述Oozieserver4.10.HUE4.11.Elasticsearch12|4TDH服務(wù)的描述ElasticsearchserverTDH上的Elasticsearch是一個(gè)開(kāi)源、 小型庫(kù)，可與TDH上的工作進(jìn)行交互。描述HUEserverHUE是一組可與您的集 互的網(wǎng)絡(luò)應(yīng)用程序。HUE應(yīng)用能 瀏覽HDFS和工作,運(yùn)行Inceptor，瀏覽Sqoop出口數(shù)據(jù),提交MapReduce程序,構(gòu)建自定義的搜索引擎與Solr,與Oozie一起調(diào)度重復(fù)性的工作流。描述OozieserverOozie的任務(wù)管理工具。5.操作系統(tǒng)安裝在安裝TranswarpDataHub之前，集群中的所有節(jié)點(diǎn)必須滿足安裝準(zhǔn)備和安裝前的檢查中所列舉的所有要求?？梢允褂脙煞N方式來(lái)安裝集群中的服務(wù)器的操作系統(tǒng)，單獨(dú)安裝方式和PXE安裝方式。其中單獨(dú)安裝方式是使用RedHatEnterpriseLinuxforServers、CentOS系列或SUSELinuxEnterpriseServer的安裝光盤(pán)在每臺(tái)服務(wù)器上安裝操作系統(tǒng)。注意：對(duì)于RedHatEnterpriseLinuxforServers、CentOS用visudo命令打開(kāi)/etc/sudoers配置文件：#visudo將該文件中的“Defaultsrequiretty”注釋掉如要使用非root用戶安裝，使用的sudo權(quán)限。所以，管理員需要向/etc/sudoers文件中添加sudo用戶。方法為在該文件以下部分最后一行的內(nèi)容：####5.操作系統(tǒng)安裝在安裝TranswarpDataHub之前，集群中的所有節(jié)點(diǎn)必須滿足安裝準(zhǔn)備和安裝前的檢查中所列舉的所有要求?？梢允褂脙煞N方式來(lái)安裝集群中的服務(wù)器的操作系統(tǒng)，單獨(dú)安裝方式和PXE安裝方式。其中單獨(dú)安裝方式是使用RedHatEnterpriseLinuxforServers、CentOS系列或SUSELinuxEnterpriseServer的安裝光盤(pán)在每臺(tái)服務(wù)器上安裝操作系統(tǒng)。注意：對(duì)于RedHatEnterpriseLinuxforServers、CentOS用visudo命令打開(kāi)/etc/sudoers配置文件：#visudo將該文件中的“Defaultsrequiretty”注釋掉如要使用非root用戶安裝，使用的sudo權(quán)限。所以，管理員需要向/etc/sudoers文件中添加sudo用戶。方法為在該文件以下部分最后一行的內(nèi)容：##################Nextcomesthemainpart:whichuserscanrunwhatsoftwareonwhichmachines(thesudoersfilecanbesharedbetweenmultiplesystems).Syntax:userMACHINE=COMMANDSTheCOMMANDSsectionmayhaveotheroptionsaddedtoit.##Allowroottorunanycommandsanywhereroot ALL=(ALL)ALL[sudo用戶]ALL=(ALL)NOPASSWD:ALL例如，如果為用戶admin添加sudo權(quán)限，在文件的末尾增添的內(nèi)容是：adminALL=(ALL)NOPASSWD:ALL5.操作系統(tǒng)安裝|136.TranswarpManager的安裝本章節(jié)將詳細(xì)描述如何在管理節(jié)點(diǎn)上安裝TranswarpManager。6.1.安裝前系統(tǒng)配置改動(dòng)那么您可以直接跳到下一節(jié)。如果您沒(méi)有DNS，在安裝前，請(qǐng)打開(kāi)管理節(jié)點(diǎn)下的/etc/hosts文件，查看該文件是否包含管理節(jié)點(diǎn)的hostname和它IP地址的對(duì)應(yīng)，例如：2tw-node2022如果/etc/hosts文件不包含這一行，請(qǐng)?zhí)砑?。登入到管理?jié)點(diǎn)使用hostname命令檢查管理節(jié)點(diǎn)的名字名字和上述/etc/hosts里設(shè)置的名字相同：#hostname注意，/etc/hosts文件的第一行必須為的前主機(jī)名寫(xiě)在該行中。通常如下：，不能將此行注釋掉，不能將當(dāng) localhost6.2.安裝介質(zhì)如果有安裝光盤(pán)可將安裝光盤(pán)服務(wù)器CD/DVDROM中直接運(yùn)行。由于安裝過(guò)程中會(huì)使用到操作系統(tǒng)的安裝介質(zhì)，建議用戶將OS的ISO文件事先拷貝到管理服務(wù)器上。如客戶服務(wù)代表或技術(shù)支持提供的是壓縮包，請(qǐng)將壓縮文件導(dǎo)入服務(wù)器中。請(qǐng)找到名稱以“transwarp-”為起始的安裝文件，例如transwarp-transwarp-4.7-Final-45071-zh.el6.x86_64.tar.gz，6.TranswarpManager的安裝本章節(jié)將詳細(xì)描述如何在管理節(jié)點(diǎn)上安裝TranswarpManager。6.1.安裝前系統(tǒng)配置改動(dòng)那么您可以直接跳到下一節(jié)。如果您沒(méi)有DNS，在安裝前，請(qǐng)打開(kāi)管理節(jié)點(diǎn)下的/etc/hosts文件，查看該文件是否包含管理節(jié)點(diǎn)的hostname和它IP地址的對(duì)應(yīng)，例如：2tw-node2022如果/etc/hosts文件不包含這一行，請(qǐng)?zhí)砑?。登入到管理?jié)點(diǎn)使用hostname命令檢查管理節(jié)點(diǎn)的名字名字和上述/etc/hosts里設(shè)置的名字相同：#hostname注意，/etc/hosts文件的第一行必須為的前主機(jī)名寫(xiě)在該行中。通常如下：，不能將此行注釋掉，不能將當(dāng) localhost6.2.安裝介質(zhì)如果有安裝光盤(pán)可將安裝光盤(pán)服務(wù)器CD/DVDROM中直接運(yùn)行。由于安裝過(guò)程中會(huì)使用到操作系統(tǒng)的安裝介質(zhì)，建議用戶將OS的ISO文件事先拷貝到管理服務(wù)器上。如客戶服務(wù)代表或技術(shù)支持提供的是壓縮包，請(qǐng)將壓縮文件導(dǎo)入服務(wù)器中。請(qǐng)找到名稱以“transwarp-”為起始的安裝文件，例如transwarp-transwarp-4.7-Final-45071-zh.el6.x86_64.tar.gz，cd進(jìn)入目錄，運(yùn)行下面的install，開(kāi)始安裝TDH系統(tǒng)：$cd${package}#進(jìn)入解壓后的目錄$./install#執(zhí)行install二進(jìn)制文件14|6.TranswarpManager的安裝1*表示文件的版本信息。3rd_party_tools-*-*-*.tar.gz：用于Discover的安裝rstudio-server-rhel-*-*.tar.gz：用于實(shí)現(xiàn)RIDE和Discover的對(duì)接，官網(wǎng)地址：midas_transwarp-*-*-*-*.tar.gz：安裝MidasServermidas-client_transwarp-*-*-*-*.tar.gz：用于安裝MidasClienttda_transwarp-*-*-*-*.tar.gz：實(shí)時(shí)同步工具TDA的安裝包transwarp-*-*-*-*.tar.gz：TDH安裝包1*表示文件的版本信息。3rd_party_tools-*-*-*.tar.gz：用于Discover的安裝rstudio-server-rhel-*-*.tar.gz：用于實(shí)現(xiàn)RIDE和Discover的對(duì)接，官網(wǎng)地址：midas_transwarp-*-*-*-*.tar.gz：安裝MidasServermidas-client_transwarp-*-*-*-*.tar.gz：用于安裝MidasClienttda_transwarp-*-*-*-*.tar.gz：實(shí)時(shí)同步工具TDA的安裝包transwarp-*-*-*-*.tar.gz：TDH安裝包系統(tǒng)首先需要您閱讀Java。閱讀完畢，點(diǎn)擊“Accept”進(jìn)入下一步。確認(rèn)。顯示在屏幕上，請(qǐng)6.TranswarpManager的安裝|15取決于管理節(jié)點(diǎn)上的網(wǎng)卡數(shù)量，您需要進(jìn)行如下操作：如果管理節(jié)點(diǎn)上只有一塊網(wǎng)卡，安裝結(jié)束后，您會(huì)被要求設(shè)置Transwarp口“8180”。Manager端口，推薦默認(rèn)端Transwarp他節(jié)點(diǎn)通信。在這一步，您應(yīng)該選擇用于集群內(nèi)部通信的網(wǎng)卡。Manager和集群中其安裝TranswarpManager需要一個(gè)包含對(duì)應(yīng)版本操作系統(tǒng)的庫(kù)（repo）。這一步中，您需要決定是否清除當(dāng)前集群上已有的庫(kù)配置。如果您的操作系統(tǒng)為CentOS或者RedHat，您會(huì)看到如下提示：16|6.TranswarpManager的安裝取決于管理節(jié)點(diǎn)上的網(wǎng)卡數(shù)量，您需要進(jìn)行如下操作：如果管理節(jié)點(diǎn)上只有一塊網(wǎng)卡，安裝結(jié)束后，您會(huì)被要求設(shè)置Transwarp口“8180”。Manager端口，推薦默認(rèn)端Transwarp他節(jié)點(diǎn)通信。在這一步，您應(yīng)該選擇用于集群內(nèi)部通信的網(wǎng)卡。Manager和集群中其安裝TranswarpManager需要一個(gè)包含對(duì)應(yīng)版本操作系統(tǒng)的庫(kù)（repo）。這一步中，您需要決定是否清除當(dāng)前集群上已有的庫(kù)配置。如果您的操作系統(tǒng)為CentOS或者RedHat，您會(huì)看到如下提示：16|6.TranswarpManager的安裝如果您的操作系統(tǒng)為SUSE，您會(huì)看到如下提示：在這一步，取決于您的集群是否部署在公有云上，您的操作會(huì)有所不同。不是部署在公有云上，推薦選擇“Yes”將集群上原有的重新配置，以保證平滑的安裝。庫(kù)配置清除，在下一步?如果您的集群部署在公有云上，您不能清除已有的庫(kù)配置，必須選擇“No”。5（該步驟中所有操作以CentOS/RedHat系統(tǒng)為例，SUSE系統(tǒng)的操作完全相同，區(qū)別在于如果您使用的是SUSE系統(tǒng)，示例步驟中顯示“yum”的地方將會(huì)在您的操作中顯示“zypper”）這一步中，您可以選擇是否添加一個(gè)新的操作系統(tǒng)庫(kù)。取決于您在上一步的操作，這里您看到的提示將會(huì)略有不同：?如果您的操作系統(tǒng)為SUSE，您會(huì)看到如下提示：在這一步，取決于您的集群是否部署在公有云上，您的操作會(huì)有所不同。不是部署在公有云上，推薦選擇“Yes”將集群上原有的重新配置，以保證平滑的安裝。庫(kù)配置清除，在下一步?如果您的集群部署在公有云上，您不能清除已有的庫(kù)配置，必須選擇“No”。5（該步驟中所有操作以CentOS/RedHat系統(tǒng)為例，SUSE系統(tǒng)的操作完全相同，區(qū)別在于如果您使用的是SUSE系統(tǒng)，示例步驟中顯示“yum”的地方將會(huì)在您的操作中顯示“zypper”）這一步中，您可以選擇是否添加一個(gè)新的操作系統(tǒng)庫(kù)。取決于您在上一步的操作，這里您看到的提示將會(huì)略有不同：?庫(kù)配置，那么您在這一步必須添加一個(gè)如果您在上一步中選擇了“Yes”清除了原有的6.TranswarpManager的安裝|17庫(kù)。您會(huì)看到下面兩個(gè)選項(xiàng)：Useexistingrepository：使用已經(jīng)創(chuàng)建好的庫(kù)Createnewrepository：創(chuàng)建一個(gè)新庫(kù)如果您在上一步中選擇了“No”保留了原有的庫(kù)配置，您會(huì)看到三個(gè)選項(xiàng)：Useexistingrepository：添加已經(jīng)創(chuàng)建好的 庫(kù)Createnewrepository：創(chuàng)建并添加一個(gè)新庫(kù)Skipthisstep：跳過(guò)該步驟，不添加庫(kù)因?yàn)槟谏弦徊奖Ａ袅嗽械?庫(kù)配置，您在這一步可以添加庫(kù)（“Useexistingrepository”或者“Createnewrepository”），也可以選擇不添加庫(kù)（“Skipthis18|6.TranswarpManager的安裝庫(kù)。您會(huì)看到下面兩個(gè)選項(xiàng)：Useexistingrepository：使用已經(jīng)創(chuàng)建好的庫(kù)Createnewrepository：創(chuàng)建一個(gè)新庫(kù)如果您在上一步中選擇了“No”保留了原有的庫(kù)配置，您會(huì)看到三個(gè)選項(xiàng)：Useexistingrepository：添加已經(jīng)創(chuàng)建好的 庫(kù)Createnewrepository：創(chuàng)建并添加一個(gè)新庫(kù)Skipthisstep：跳過(guò)該步驟，不添加庫(kù)因?yàn)槟谏弦徊奖Ａ袅嗽械?庫(kù)配置，您在這一步可以添加庫(kù)（“Useexistingrepository”或者“Createnewrepository”），也可以選擇不添加庫(kù)（“Skipthis18|6.TranswarpManager的安裝step”）。版本信息如果您使用的TranswarpDataHub是4.3.7之前的4.3.x版本或者4.5.3之前的4.5.x版本，您不能選擇“Skipthisstep”，必須選擇另外兩個(gè)選項(xiàng)。這是一個(gè)已知問(wèn)題，在4.3.7,4.5.3和4.6.0之后的版本中已經(jīng)修復(fù)。取決于您的選擇，您需要進(jìn)行下面的操作：如果您選擇“Useexistingrepository”，您需要輸入已經(jīng)創(chuàng)建好的庫(kù)的URL：如果您選擇“Cratenewrepository”，您需要準(zhǔn)備好對(duì)應(yīng)版本操作系統(tǒng)的ISO文件或光盤(pán)。我們建議您采用IS像方法生成庫(kù)庫(kù)包。使用鏡像生成時(shí)，您需要將OS的ISO文件copy至服務(wù)器用戶File”：目錄中，然后點(diǎn)擊“UseISO6.TranswarpManager的安裝|19step”）。版本信息如果您使用的TranswarpDataHub是4.3.7之前的4.3.x版本或者4.5.3之前的4.5.x版本，您不能選擇“Skipthisstep”，必須選擇另外兩個(gè)選項(xiàng)。這是一個(gè)已知問(wèn)題，在4.3.7,4.5.3和4.6.0之后的版本中已經(jīng)修復(fù)。取決于您的選擇，您需要進(jìn)行下面的操作：如果您選擇“Useexistingrepository”，您需要輸入已經(jīng)創(chuàng)建好的庫(kù)的URL：如果您選擇“Cratenewrepository”，您需要準(zhǔn)備好對(duì)應(yīng)版本操作系統(tǒng)的ISO文件或光盤(pán)。我們建議您采用IS像方法生成庫(kù)庫(kù)包。使用鏡像生成時(shí)，您需要將OS的ISO文件copy至服務(wù)器用戶File”：目錄中，然后點(diǎn)擊“UseISO6.TranswarpManager的安裝|19并在“SelectISOFile”中選擇ISO文件所在的目錄：如果您選擇“Skipthisstep”，您在該步驟無(wú)需進(jìn)行其他操作。您進(jìn)行選擇后，系統(tǒng)會(huì)庫(kù)緩存：庫(kù)緩存完畢后，系統(tǒng)會(huì)自動(dòng)開(kāi)始安裝和配置TranswarpManager。安裝程序會(huì)自動(dòng)安裝必需的軟件包，全程靜默安裝，安裝配置完成后自動(dòng)跳轉(zhuǎn)到下一步。7TranswarpManager安裝完成，可以錄管理界面繼續(xù)接下來(lái)的配置。提示的安裝地址并使用默認(rèn)的用戶名/（admin/admin）去登20|6.TranswarpManager的安裝并在“SelectISOFile”中選擇ISO文件所在的目錄：如果您選擇“Skipthisstep”，您在該步驟無(wú)需進(jìn)行其他操作。您進(jìn)行選擇后，系統(tǒng)會(huì)庫(kù)緩存：庫(kù)緩存完畢后，系統(tǒng)會(huì)自動(dòng)開(kāi)始安裝和配置TranswarpManager。安裝程序會(huì)自動(dòng)安裝必需的軟件包，全程靜默安裝，安裝配置完成后自動(dòng)跳轉(zhuǎn)到下一步。7TranswarpManager安裝完成，可以錄管理界面繼續(xù)接下來(lái)的配置。提示的安裝地址并使用默認(rèn)的用戶名/（admin/admin）去登20|6.TranswarpManager的安裝6.TranswarpManager的安裝|216.TranswarpManager的安裝|217.用TranswarpManager配置集群（推薦使用如Chrome瀏覽器），輸入安裝好的管理節(jié)點(diǎn)IP或DNS地址，比（0是管理節(jié)點(diǎn)的IP地址）。這個(gè)地址，您會(huì)看到下面的登陸頁(yè)面。TranswarpManager會(huì)試著根據(jù)您的系統(tǒng)您使用的語(yǔ)言，如果當(dāng)前顯示的語(yǔ)言和您想要使用的不同，可以點(diǎn)擊右上角的來(lái)選擇語(yǔ)言。目前TranswarpManager支持中文和英文：以admin的登錄，也是admin。22|7TranswarpManager配置集群7.用TranswarpManager配置集群（推薦使用如Chrome瀏覽器），輸入安裝好的管理節(jié)點(diǎn)IP或DNS地址，比（0是管理節(jié)點(diǎn)的IP地址）。這個(gè)地址，您會(huì)看到下面的登陸頁(yè)面。TranswarpManager會(huì)試著根據(jù)您的系統(tǒng)您使用的語(yǔ)言，如果當(dāng)前顯示的語(yǔ)言和您想要使用的不同，可以點(diǎn)擊右上角的來(lái)選擇語(yǔ)言。目前TranswarpManager支持中文和英文：以admin的登錄，也是admin。22|7TranswarpManager配置集群登陸后，您需要先接受最終用戶協(xié)議才可以進(jìn)行進(jìn)一步操作。7.1.添加集群服務(wù)器您需要給您的集群設(shè)置一個(gè)名字。輸入集群名字后點(diǎn)擊“下一步”。您在這個(gè)頁(yè)面添加/刪除/修改機(jī)柜。將鼠標(biāo)移到機(jī)柜的名字和描述上可以對(duì)機(jī)柜的名字和描述進(jìn)行修改。完成后點(diǎn)擊“下一步”。7TranswarpManager登陸后，您需要先接受最終用戶協(xié)議才可以進(jìn)行進(jìn)一步操作。7.1.添加集群服務(wù)器您需要給您的集群設(shè)置一個(gè)名字。輸入集群名字后點(diǎn)擊“下一步”。您在這個(gè)頁(yè)面添加/刪除/修改機(jī)柜。將鼠標(biāo)移到機(jī)柜的名字和描述上可以對(duì)機(jī)柜的名字和描述進(jìn)行修改。完成后點(diǎn)擊“下一步”。7TranswarpManager|23在這一步給您的集群分配節(jié)點(diǎn)。點(diǎn)擊“添加節(jié)點(diǎn)”會(huì)彈出下面窗口：24|7Transwarp在這一步給您的集群分配節(jié)點(diǎn)。點(diǎn)擊“添加節(jié)點(diǎn)”會(huì)彈出下面窗口：24|7TranswarpManager配置集群在搜索框中輸入符式的節(jié)點(diǎn)IP然后點(diǎn)擊“搜索”，TranswarpManager會(huì)搜索您輸入的節(jié)點(diǎn)：SSH了兩種認(rèn)證方法：權(quán)限配置的界面，在該節(jié)點(diǎn)上您可以選擇節(jié)點(diǎn)使用，并且它提供1如果您選擇此選項(xiàng)，請(qǐng)?jiān)趯?duì)應(yīng)的輸入框中輸入您管理節(jié)點(diǎn)的、確認(rèn)、輸入ssh端：7TranswarpManager|25在搜索框中輸入符式的節(jié)點(diǎn)IP然后點(diǎn)擊“搜索”，TranswarpManager會(huì)搜索您輸入的節(jié)點(diǎn)：SSH了兩種認(rèn)證方法：權(quán)限配置的界面，在該節(jié)點(diǎn)上您可以選擇節(jié)點(diǎn)使用，并且它提供1如果您選擇此選項(xiàng)，請(qǐng)?jiān)趯?duì)應(yīng)的輸入框中輸入您管理節(jié)點(diǎn)的、確認(rèn)、輸入ssh端：7TranswarpManager|25所有節(jié)點(diǎn)使用同一密鑰制）：瀏覽按鈕上傳密鑰文件，并輸入ssh端；也可以輸入密鑰口令（非強(qiáng)上述配置完成后，點(diǎn)擊“完成”。節(jié)點(diǎn)便添加完成。如果我們只有一個(gè)機(jī)柜，TranswarpManager自動(dòng)將所有（如果您的集群中有6個(gè)以上的節(jié)點(diǎn)，那么您必須配置機(jī)柜信息，方便以后的運(yùn)維和服務(wù)配置）26|7所有節(jié)點(diǎn)使用同一密鑰制）：瀏覽按鈕上傳密鑰文件，并輸入ssh端；也可以輸入密鑰口令（非強(qiáng)上述配置完成后，點(diǎn)擊“完成”。節(jié)點(diǎn)便添加完成。如果我們只有一個(gè)機(jī)柜，TranswarpManager自動(dòng)將所有（如果您的集群中有6個(gè)以上的節(jié)點(diǎn)，那么您必須配置機(jī)柜信息，方便以后的運(yùn)維和服務(wù)配置）26|7TranswarpManager配置集群7.2.刪除集群中的服務(wù)器如果您需要?jiǎng)h除剛剛添加的節(jié)點(diǎn)，您可以先選中需要?jiǎng)h除的節(jié)點(diǎn)，然后點(diǎn)擊“刪除”。節(jié)點(diǎn)添作完成后，點(diǎn)擊“下一步”進(jìn)入集群的“其他配置”。7.3.其他配置7TranswarpManager|7.2.刪除集群中的服務(wù)器如果您需要?jiǎng)h除剛剛添加的節(jié)點(diǎn)，您可以先選中需要?jiǎng)h除的節(jié)點(diǎn)，然后點(diǎn)擊“刪除”。節(jié)點(diǎn)添作完成后，點(diǎn)擊“下一步”進(jìn)入集群的“其他配置”。7.3.其他配置7TranswarpManager|277.3.1DNS配置如果配置集群中的節(jié)點(diǎn)可以通過(guò)用主機(jī)名互相，用戶必須配置有效的DNS服務(wù)器或/etc/hosts文件。否則請(qǐng)選擇不能通過(guò)主機(jī)名，TranswarpManager會(huì)相應(yīng)為您配置/etc/hosts文