Cloudera大數(shù)據(jù)平臺環(huán)境搭建CDH傻瓜式說明書

Cloudera大數(shù)據(jù)平臺環(huán)境搭建CDH傻瓜式說明書Companynumber【W(wǎng)T-1898YT-1W8CB-9UUT-921081089】Cloudera大數(shù)據(jù)平臺環(huán)境搭建（版）版本版本作者郭維忠發(fā)布日期2018-03-10目錄目錄

基礎(chǔ)環(huán)境軟件環(huán)境本文將介紹離線安裝CDH和ClouderaManager過程，軟件版本如下：NO.NO.軟件名稱版本1.操作系統(tǒng)64位2.JDKjdk-8u151-linux-x643.ClouderManager4.5.數(shù)據(jù)庫Mysql6.JDBC配置規(guī)劃本次安裝共5臺服務(wù)器，服務(wù)器配置及用途如下：NO.NO.機器名稱內(nèi)網(wǎng)IP配置用途1.node168C/32Gb/1TB8主，CM，MysqlDB2.node1698C/32Gb/1TB從3.node170C/32Gb/1TB8從4.node1718C/32Gb/1TB從5.node1728C/32Gb/1TB從所需要的軟件資源JDK環(huán)境：JDK版本：下載地址：包：CM版本：下載地址：包CDH版本：，；；下載地址：連接jar包：jar包版本：，下載地址：修改機器名（所有節(jié)點）修改機器名稱#hostnamectlset-hostnamexxx2)sh/root@node169:~sh下，如果沒有可以新建）：#cat>>~/.ssh/authorized_keys如果提示下面信息，則需要創(chuàng)建./ssh目錄：-bash:/root/.ssh/authorized_keys:Nosuchfileordirectorysh目錄,再追加公鑰內(nèi)容#mkdir~/.ssh#cat>>~/.ssh/authorized_keys并設(shè)置authorized_keys的訪問權(quán)限：#chmod600~/.ssh/authorized_keys測試：在node168點上執(zhí)行sshnode169，正常情況下，不需要密碼就能直接登陸進去了。在node168節(jié)點出現(xiàn)下面表示成功登錄node169節(jié)點：以同樣的方式將公鑰拷貝至其他節(jié)點服務(wù)器上。1.5.關(guān)閉SELINUX（所有節(jié)點）關(guān)閉linuxSELINUX安全內(nèi)核#setenforce0（臨時生效）修改/etc/selinux/config下的SELINUX=disabled（重啟后永久生效）#vi/etc/selinux/config#vi/etc/selinux/config內(nèi)容增加：SELINUX=disabled重啟后生效：#reboot#reboot查看SELINUX是否關(guān)閉：##sestatus （在Centos7中遇到SELINUX無法關(guān)閉的問題，重新啟動機器恢復(fù)正常）1.6.修改Linux內(nèi)核參數(shù)（所有節(jié)點）為避免安裝過程中出現(xiàn)的異常問題，首先調(diào)整Linux內(nèi)核參數(shù)。1)設(shè)置swappiness，控制換出運行時內(nèi)存的相對權(quán)重，Cloudera建議將1)2)3)4)5)7)6)6) 1) 2)3)4)toroot@localhostidentifiedby'root'withgrantoption;grantallon*.*toroot@"%"Identifiedby"root";toroot@localhostidentifiedby'root'withgrantoption;grantallon*.*toroot@"%"Identifiedby"root";flushprivileges;exit;

因：有些網(wǎng)上說是由文件句柄數(shù)限制引起，所以按照網(wǎng)上說明進行了修改：此問題原在主節(jié)點上，修改/opt/文件：此問題原#ulimit-n#ulimit-n1024//修改限制#vi/etc/security///在文件后加入下面內(nèi)容：*softnofile100000*hardnofi