Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建CDH5131傻瓜式說(shuō)明書

1、Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建（CDH版）版本v1.0作者郭維忠發(fā)布日期2018-03-10目錄Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建1（CDH5.13.1版）11.基礎(chǔ)環(huán)境41.1.軟件環(huán)境41.2.配置規(guī)劃41.3.所需要的軟件資源41.4.修改機(jī)器名（所有節(jié)點(diǎn)）51.5.設(shè)置防火墻（所有節(jié)點(diǎn)）51.6.配置免密碼登錄SSH61.7.關(guān)閉SELINUX（所有節(jié)點(diǎn)）81.8.修改Linux內(nèi)核參數(shù)（所有節(jié)點(diǎn)）81.9.其他安裝與配置（所有節(jié)點(diǎn)）101.10.配置NTP服務(wù)101.11.安裝oracle JDK1.8 （所有節(jié)點(diǎn)）121.12.Mysql安裝（主節(jié)點(diǎn)）132.安裝CM152.1

2、.傳包，解包152.2.創(chuàng)建數(shù)據(jù)庫(kù)152.3.創(chuàng)建用戶162.4.制作本地YUM源162.5.拷貝jar包172.6.修改cloudera-scm-agent配置172.7.啟動(dòng)CM Server和Agent182.8.訪問(wèn)CM183.安裝CDH183.1.登錄后界面183.2.選擇CM版本193.3.指定主機(jī)203.4.選擇CDH版本213.4.1.出現(xiàn) “主機(jī)運(yùn)行狀態(tài)不良”錯(cuò)誤223.5.檢查主機(jī)正確性233.6.選擇安裝的服務(wù)233.7.角色分配243.8.數(shù)據(jù)庫(kù)設(shè)置243.8.1.測(cè)試連接報(bào)錯(cuò)：253.9.群集設(shè)置263.10.開始安裝283.11.安裝完成293.11.1.警告信息：

3、294.常見錯(cuò)誤314.1.初始化數(shù)據(jù)庫(kù)錯(cuò)誤：314.2.未能連接到 Host Monitor321. 基礎(chǔ)環(huán)境1.1. 軟件環(huán)境本文將介紹Centos7.4 離線安裝CDH和Cloudera Manager過(guò)程，軟件版本如下：NO.軟件名稱版本1.操作系統(tǒng)Centos7.4 64 位2.JDKjdk-8u151-linux-x643.Clouder Manager5.13.14.CDH5.13.15.數(shù)據(jù)庫(kù)Mysql 5.76.JDBCmysql-connector-java-.jar1.2. 配置規(guī)劃本次安裝共5臺(tái)服務(wù)器，服務(wù)器配置及用途如下：NO.機(jī)器名稱內(nèi)網(wǎng)IP配置用途1.node16

4、88C/32Gb/1TB主，CM，MysqlDB2.node16998C/32Gb/1TB從3.node170708C/32Gb/1TB從4.node171718C/32Gb/1TB從5.node172728C/32Gb/1TB從1.3. 所需要的軟件資源1) JDK環(huán)境：JDK版本：51 jdk-8u151-linux-x64.rpm下載地址：2) CM包：CM版本：5.13.1 下載地址：3) CDH包CDH版本：5.13.1，； .sha1； manifest.json下載地址：4) JDBC連接jar包：jar包版本：5.1.43， mysql-connector-java-5.1.4

5、3.jar下載地址： 1.4. 修改機(jī)器名（所有節(jié)點(diǎn)）1) 修改機(jī)器名稱# hostnamectl set-hostname xxx /設(shè)置機(jī)器名#hostname / 查看本機(jī)名這種方式，在Centos7中可以永久性改變主機(jī)名稱。2) 每個(gè)節(jié)點(diǎn)機(jī)器，都要配置hosts# vi /etc/hosts內(nèi)容都改為： localhost /建議保留此行68 node16869 node16970 node17071 node17172 node1721.5. 設(shè)置防火墻（所有節(jié)點(diǎn)）注

6、：為了簡(jiǎn)便，可以先關(guān)閉防所有節(jié)點(diǎn)火墻，安裝完成后，再按照下面步驟設(shè)置。防火墻常用命令：# firewall-cmd -state（查詢防火墻狀態(tài)） #systemctl stop firewalld.service （關(guān)閉防火墻） #systemctl start firewalld.service （開啟防火墻）#systemctl disable firewalld.service （禁止firewall開機(jī)啟動(dòng)） 設(shè)置防火墻策略，在所有節(jié)點(diǎn)執(zhí)行下面腳本（執(zhí)行前要啟動(dòng)防火墻）：/集群機(jī)器間可以相互訪問(wèn)firewall-cmd -permanent -add-rich-rule="

7、rule family='ipv4' source address='68' port protocol='tcp' port='0-65535' accept"firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='69' port protocol='tcp' port='0-65535' accept"

8、;firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='70' port protocol='tcp' port='0-65535' accept"firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='71' port protocol=&#

9、39;tcp' port='0-65535' accept"firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='72' port protocol='tcp' port='0-65535' accept" /設(shè)置可以訪問(wèn)的端口firewall-cmd -permanent -add-port=0-65535/tcpfirewall-cmd -reload注意：

10、需要在所有的節(jié)點(diǎn)上執(zhí)行，因?yàn)樯婕暗降亩丝谔嗔?，臨時(shí)開放所有端口是為了安裝起來(lái)方便，安裝完畢后可以根據(jù)需要設(shè)置防火墻策略，保證集群安全。1.6. 配置免密碼登錄SSH將子節(jié)點(diǎn)設(shè)置為從主節(jié)點(diǎn)ssh無(wú)密碼登陸（主節(jié)點(diǎn)訪問(wèn)從節(jié)點(diǎn)需要無(wú)密碼互通，否則后面會(huì)出現(xiàn)問(wèn)題）在主節(jié)點(diǎn)上執(zhí)行：#cd /進(jìn)入到 根目錄# ssh-keygen -t rsa 一路回車，生成無(wú)密碼的密鑰對(duì)。把公鑰拷貝至node169服務(wù)器上 ： # scp /root/.ssh/id_rsa.pub rootnode169: /輸入node169機(jī)器上root用戶密碼拷備成功登錄到node169服務(wù)器上：然后在node169

11、服務(wù)器上，把公鑰的內(nèi)容追加到authorized_keys文件末尾（這個(gè)文件也在隱藏文件夾.ssh下，如果沒(méi)有可以新建）：# cat id_rsa.pub >> /.ssh/authorized_keys如果提示下面信息，則需要?jiǎng)?chuàng)建./ssh目錄：-bash: /root/.ssh/authorized_keys: No such file or directory/創(chuàng)建/.ssh目錄,再追加公鑰內(nèi)容# mkdir /.ssh# cat id_rsa.pub >> /.ssh/authorized_keys并設(shè)置authorized_keys的訪問(wèn)權(quán)限：# chmod

12、600 /.ssh/authorized_keys測(cè)試：在node168點(diǎn)上執(zhí)行ssh node169，正常情況下，不需要密碼就能直接登陸進(jìn)去了。在node168節(jié)點(diǎn)出現(xiàn)下面表示成功登錄node169節(jié)點(diǎn)：以同樣的方式將公鑰拷貝至其他節(jié)點(diǎn)服務(wù)器上。 1.7. 關(guān)閉SELINUX（所有節(jié)點(diǎn)）關(guān)閉linux SELINUX安全內(nèi)核# setenforce 0 （臨時(shí)生效）修改 /etc/selinux/config 下的 SELINUX=disabled （重啟后永久生效）# vi /etc/selinux/config內(nèi)容增加：SELINUX=disabled 重啟后生效：# reboot查看S

13、ELINUX 是否關(guān)閉：#sestatus（在Centos7中遇到SELINUX無(wú)法關(guān)閉的問(wèn)題，重新啟動(dòng)機(jī)器恢復(fù)正常）1.8. 修改Linux內(nèi)核參數(shù)（所有節(jié)點(diǎn)）為避免安裝過(guò)程中出現(xiàn)的異常問(wèn)題，首先調(diào)整Linux內(nèi)核參數(shù)。1) 設(shè)置swappiness，控制換出運(yùn)行時(shí)內(nèi)存的相對(duì)權(quán)重，Cloudera 建議將 swappiness 設(shè)置為 10：/查看swappiness# cat /proc/sys/vm/swappiness/永久性修改，執(zhí)行下面兩條命令# sysctl -w vm.swappiness=10# echo vm.swappiness = 10 >> /etc/sy

14、sctl.conf 2) 關(guān)閉透明大頁(yè)面：自CentOS6版本開始引入了Transparent Huge Pages(THP)，從CentOS7版本開始，該特性默認(rèn)就會(huì)啟用。盡管THP的本意是為提升內(nèi)存的性能，不過(guò)某些數(shù)據(jù)庫(kù)廠商還是建議直接關(guān)閉THP，否則可能會(huì)導(dǎo)致性能出現(xiàn)下降。首先查看透明大頁(yè)是否啟用，always never表示已啟用，always never表示已禁用：# cat /sys/kernel/mm/transparent_hugepage/defragalways madvise never# cat /sys/kernel/mm/transparent_hugepage/e

15、nabledalways madvise never以上狀態(tài)就說(shuō)明是啟用的。臨時(shí)關(guān)閉（重啟機(jī)器會(huì)變回默認(rèn)開啟狀態(tài)）：# echo never > /sys/kernel/mm/transparent_hugepage/defrag#echo never > /sys/kernel/mm/transparent_hugepage/enabled永久關(guān)閉：/編輯/etc/rc.d/rc.local# vi /etc/rc.d/rc.local/在文件后添加下面內(nèi)容:if test -f /sys/kernel/mm/transparent_hugepage/enabled; thene

16、cho never > /sys/kernel/mm/transparent_hugepage/enabledfiif test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defragfi保存退出，然后賦予rc.local文件執(zhí)行權(quán)限：#chmod +x /etc/rc.d/rc.local重啟系統(tǒng)，以后再檢查THP狀態(tài)，顯示狀態(tài)被禁用了。3) 修改文件句柄數(shù)：修改系統(tǒng)文件句柄數(shù)限制：/查看文件句柄數(shù)，顯示1024，顯然太小#

17、 ulimit -n 1024/修改限制#vi /etc/security/limits.conf /在文件后加入下面內(nèi)容：* soft nofile 100000* hard nofile 100000修改后需要重啟機(jī)器。1.9. 其他安裝與配置（所有節(jié)點(diǎn)）為避免安裝過(guò)程中出現(xiàn)異常問(wèn)題，安裝相關(guān)依賴包：# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd ht

18、tpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel#yum install -y python-lxml#yum install

19、 krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel# chmod +x /etc/rc.d/rc.local# yum -y install rpcbind# systemctl start rpcbind# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local1.

20、10. 配置NTP服務(wù)集群中所有主機(jī)必須保持時(shí)間同步，如果時(shí)間相差較大會(huì)引起各種問(wèn)題。 具體建設(shè)過(guò)程如下：所有節(jié)點(diǎn)安裝相關(guān)組件：# yum install  ntp  ntpdate  -yNTP服務(wù)端（主節(jié)點(diǎn)）：1) 查找時(shí)間同步服務(wù)器：打開網(wǎng)址，內(nèi)容如下：2) 編輯 /etc/ntp.conf：# vi /etc/ntp.conf/在文件中輸入上面網(wǎng)頁(yè)內(nèi)容：3) 啟動(dòng)ntp服務(wù)：# systemctl start  ntpd4) 配置開機(jī)啟動(dòng)：# systemctl enable  

21、;ntpd.service  注意：如果ntpd 開機(jī)啟動(dòng)失效，有可能是因?yàn)榘惭b了chronyd 并且是開機(jī)自啟狀態(tài)，所以導(dǎo)致ntpd開機(jī)自啟失敗。# 查看  chronyd設(shè)置狀態(tài)# systemctl status chronyd顯示如下：以面表明，chronyd顯示為開機(jī)啟動(dòng)狀態(tài)。將chronyd設(shè)為禁用狀態(tài)：# systemctl disable chronyd.service此時(shí)，NTP的服務(wù)開機(jī)自啟動(dòng)完成！ 5) 檢查是否設(shè)置成功：# ntpq  -p/更新時(shí)間#timedatectl NTP客戶端（所有從節(jié)點(diǎn)）：6) 遠(yuǎn)

22、程客戶端時(shí)間同步測(cè)試# date# ntpdate 是NTP服務(wù)端IP，顯示如下信息，測(cè)試成功：7) 客戶端設(shè)置計(jì)劃任務(wù)，每30分鐘同步時(shí)間#crontab -e /加入內(nèi)容：0-59/30 * * * * /usr/sbin/ntpdate 68 && /sbin/hwclock -w8) 設(shè)置定時(shí)任務(wù)開機(jī)啟動(dòng)/設(shè)置開機(jī)啟動(dòng)# systemctl enable crond.service/查看狀態(tài)# systemctl status crond1.11. 安裝oracle JDK1.8 （所有節(jié)點(diǎn)）下載rpm 安裝包jdk-8u151-linux-x64.

23、rpm CentOS系統(tǒng)一般自帶OpenJdk，需要卸載掉自帶的OpenJdk，使用# rpm -qa | grep java查詢java相關(guān)的包，使用# rpm -e nodeps +包名強(qiáng)制卸載掉，下面安裝oralce JDK# rpm -ivh jdk-8u151-linux-x64.rpm配置JAVA_HOME環(huán)境變量：修改/etc/profile文件配置環(huán)境變量， 執(zhí)行命令：# vi /etc/profile 在profile文件最后，輸入下面內(nèi)容，保存并退出。export JAVA_HOME=/usrexport PATH=$PATH:$JAVA_HOME/bin 執(zhí)行下面命令，讓

24、配置生效# source /etc/profile /使修改立即生效# echo $PATH /查看PATH值# echo $JAVA_HOME /查看JAVA_HOME值在Centos7中修改/etc/profile文件配置環(huán)境變量，機(jī)器啟動(dòng)后有時(shí)不生效，可以修改/etc/ bashrc文件配置環(huán)境變量：# vi /etc/bashrc /在文件最后加入：export JAVA_HOME=/usrexport PATH=$PATH:$JAVA_HOME/bin /使修改立即生效# source /etc/bashrc /查看JAVA_HOME值# echo $JAVA_HOME 1.12.

25、Mysql安裝（主節(jié)點(diǎn)）到官網(wǎng)選擇對(duì)應(yīng)安裝包：1) 下載安裝包#wget2) 解壓安裝包# tar -xvf/解壓后文件列表：3) 按次序安裝按common>libs>client>server的順序安裝：# rpm -ivh# rpm -ivh# rpm -ivh# rpm -ivh# rpm -ivh /安裝下面包，否則Hue安裝報(bào)連接錯(cuò)誤# rpm -ivh 4) 啟動(dòng)數(shù)據(jù)庫(kù)# systemctl start mysqld 查看狀態(tài)： # systemctl status mysqld5) 修改MySQL初始密碼1、先修改配置文件/etc/f令MySQL跳過(guò)登錄時(shí)的權(quán)限

26、檢驗(yàn)，在mysqld下加入一行：skip-grant-tables2、重啟MySQL#service mysqld restart3、免密碼登錄MySQL。#mysql4、mysql客戶端執(zhí)行如下命令，修改root密碼mysql> use mysql;mysql> UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost' AND user = 'root'mysql> select host,user, a

27、uthentication_string, password_expired from user; mysql> update user set password_expired='N' where password_expired='Y' /密碼不過(guò)期mysql> update user set host='%' where user='root' and host='localhost' /遠(yuǎn)程可訪問(wèn)mysql> flush privileges; /刷新mysql> exit;/退出5

28、、修改配置文件/etc/f刪除此前新增那一行skip-grant-tables，并重啟MySQL(這一步非常重要，不執(zhí)行可能導(dǎo)致嚴(yán)重的安全問(wèn)題)#service mysqld restart /重啟 Mysql 2. 安裝CM2.1. 傳包，解包在主節(jié)點(diǎn)上下載相關(guān)軟件包，這里將軟件包下載到/data/ cdh/目錄下。#cd /data/cdh下載Mysql JDBC包：#wget 下載CM：#wget 下載CDH：#wget #wget .sha1#wget 將CM解壓到/opt/目錄：# tar -zxvf -C /opt/# ls /opt/cloudera cm2.2. 創(chuàng)建數(shù)據(jù)庫(kù)在主

29、節(jié)點(diǎn)上：# mysql -h -uroot -p /加參數(shù)-h 指定本機(jī)方式，否則可能不允許執(zhí)行g(shù)rantEnter password: 輸入數(shù)據(jù)庫(kù)密碼/在MariaDB (none)>命令狀態(tài)輸入下面腳本：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hue DEFAULT CHARSET utf8 CO

30、LLATE utf8_general_ci;create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to rootlocalhost identified by 'root' with grant option;grant all on *.* to root"%" Identified b

31、y "root"flush privileges;exit;/復(fù)制Mysql JDBC包到/opt/cm-/share/cmf/lib/目錄#cp /opt/cm-/share/cmf/lib/初始化CM，執(zhí)行下面腳本# mysql cm -hnode168 -uroot -proot -scm-host node168 scm scm scm/如果出現(xiàn)下面錯(cuò)誤：: Access denied for user 'root''localhost' (using password: YES)/解決辦法：在/etc/hosts 文件中，加上127

32、.0.0.1 localhost.node168主節(jié)點(diǎn)/etc/hosts內(nèi)容：腳本/scm_prepare_database.sh 執(zhí)行成功界面：2.3. 創(chuàng)建用戶在所有節(jié)點(diǎn)上執(zhí)行：# useradd -system -home=/opt/cm-/run/cloudera-scm-server -shell=/bin/false -comment "Cloudera SCM User" cloudera-scm2.4. 制作本地YUM源在主節(jié)點(diǎn)上：/進(jìn)入軟件包目錄#cd /data/cdh/拷貝三個(gè)文件到/opt/cloudera/parcel-repo/目錄#cp CD

33、H-5.13.1-1.cdh5.13.1.p0.2-el7.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/進(jìn)入/opt/cloudera/parcel-repo/目錄#cd /opt/cloudera/parcel-repo/修改文件名#1.cdh5.13.1.p0.2-el7.parcel.sha1 此時(shí)/opt/cloudera/parcel-repo/目錄下文件：2.5. 拷貝jar包在所有節(jié)點(diǎn)上：/如果沒(méi)有/usr/share/java/目錄，則創(chuàng)建#

34、 cp /usr/share/java/mysql-connector-java.jar在主節(jié)點(diǎn)上：/將mysql JDBC jar 包拷貝到 /opt/cm-/share/cmf/lib/ 目錄#cp /opt/cm-/share/cmf/lib/ 2.6. 修改cloudera-scm-agent配置在主節(jié)點(diǎn)上，修改/opt/cm-/etc/cloudera-scm-agent/config.ini文件：/將config.ini server_host=localhost 內(nèi)容改為server_host# sed -i "s/server_host=localhost/serve

35、r_host=68/" /opt/cm-/etc/cloudera-scm-agent/config.ini在主節(jié)點(diǎn)上：/將cm- 打包，并復(fù)制到其他節(jié)點(diǎn)#cd /opt #tar czf cm-.tar.gz cm-/復(fù)制到其他節(jié)點(diǎn)#scp cm-.tar.gz node169:/opt/#scp cm-.tar.gz node170:/opt/#scp cm-.tar.gz node171:/opt/#scp cm-.tar.gz node172:/opt/ 在所有從節(jié)點(diǎn)上解壓：/將cm- 包解壓#cd opt #tar -xzvf cm-.tar.gz /解

36、壓后刪除#rm -rf cm-.tar.gz2.7. 啟動(dòng)CM Server和Agent在主節(jié)點(diǎn)上，啟動(dòng)cloudera-scm-server：# /opt/cm-/etc/init.d/cloudera-scm-server start啟動(dòng)過(guò)程較慢，可通過(guò)/opt/cm-/log/cloudera-scm-server日志，查看啟動(dòng)過(guò)程。在所有節(jié)點(diǎn)上，啟動(dòng)cloudera-scm-agent：# /opt/cm-/etc/init.d/cloudera-scm-agent start2.8. 訪問(wèn)CM地址：http:/主節(jié)點(diǎn)IP:7180用戶名、密碼：admin 3. 安裝CDH3.1. 登

37、錄后界面接受協(xié)議：3.2. 選擇CM版本本文檔選擇Cloudera Express免費(fèi)版。3.3. 指定主機(jī)在搜索主機(jī)名和IP地址框輸入node169-172，這里輸入的內(nèi)容支持正則表達(dá)式。輸入后點(diǎn)【搜索】按鈕，出現(xiàn)機(jī)器列表：選擇“當(dāng)前管理的主機(jī)“選擇項(xiàng)卡，點(diǎn)【繼續(xù)】。3.4. 選擇CDH版本這里需要選擇制作本地源時(shí)的版本，如果選擇別的版本的就會(huì)去官網(wǎng)下載，那樣安裝速度會(huì)很慢。點(diǎn)【繼續(xù)】按鈕，進(jìn)入安裝界面。3.4.1. 出現(xiàn) “主機(jī)運(yùn)行狀態(tài)不良”錯(cuò)誤遇到節(jié)點(diǎn)“主機(jī)運(yùn)行狀態(tài)不良”的提示，解決辦法是刪除故障節(jié)點(diǎn)Agent服務(wù)cm_guid文件：#rm -rfcloudera-scm-agent/cm_guid重新啟動(dòng)故障節(jié)點(diǎn)Agent服務(wù)：etc/init.d/cloudera-scm-agent restart重啟故障節(jié)點(diǎn)Agent服務(wù)后，故障消失：注：出現(xiàn)故障原因是，因?yàn)槲抑霸诠收瞎?jié)點(diǎn)啟動(dòng)過(guò)cloudera-scm-agent服務(wù)。3.5. 檢查主機(jī)正確性確保全部驗(yàn)證通過(guò)。3.6. 選擇安裝的服務(wù)本文選擇的是安裝所有服務(wù)。3.7. 角色分配這里應(yīng)該根據(jù)實(shí)際需求和服務(wù)器的硬件參數(shù)自己選擇3.8. 數(shù)據(jù)庫(kù)設(shè)置指定的數(shù)據(jù)庫(kù)名稱，要與2.2節(jié)創(chuàng)建的數(shù)據(jù)庫(kù)（hive,monitor