Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建課件

1、Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建CDH簡(jiǎn)紹2Hadoop簡(jiǎn)紹1平臺(tái)搭建流程3總結(jié)4目錄CONTENTS第1頁，共36頁。Hadoop簡(jiǎn)紹1）Hadoop 是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。2）主要解決，海量數(shù)據(jù)的存儲(chǔ)和海量數(shù)據(jù)的分析計(jì)算問題。3）Hadoop通常是指一個(gè)更廣泛的概念，Hadoop生態(tài)圈。第2頁，共36頁。CDH簡(jiǎn)紹目前Hadoop比較流行的主要有2個(gè)版本，Apache和Cloudera版本。Apache Hadoop：維護(hù)人員比較多，更新頻率比較快，但是穩(wěn)定性比較差。Cloudera Hadoop（CDH）：CDH：Cloudera公司的發(fā)行版本，基于Ap

2、acheHadoop的二次開發(fā)，優(yōu)化了組件兼容和交互接口、簡(jiǎn)化安裝配置、增加Cloudera兼容特性。 簡(jiǎn)單來說：CDH是一個(gè)擁有集群自動(dòng)化安裝、中心化管理、集群監(jiān)控、報(bào)警功能的一個(gè)工具（軟件），使得集群的安裝可以從幾天的時(shí)間縮短為幾個(gè)小時(shí)，運(yùn)維人數(shù)也會(huì)從數(shù)十人降低到幾個(gè)人，極大的提高了集群管理的效率。CDH體系架構(gòu)批處理（M/R，Hive，Pig）數(shù)據(jù)分析（Impala）搜索引擎（Cloudera Search）流處理（Spark）機(jī)器學(xué)習(xí)（Spark、MapReduce、Mahout）資源管理（YARN）FileSystem（HDFS）OnlineNosql（Hbase）多種數(shù)據(jù)類型存儲(chǔ)S

3、qoopflumenfs第3頁，共36頁。CDH簡(jiǎn)紹CDH安裝完成后，系統(tǒng)主界面，了解大數(shù)據(jù)，就從搭建大數(shù)據(jù)平臺(tái)開始吧，讓技術(shù)不再難而卻步，大數(shù)據(jù)底層組件不再陌生，親手搭建，成功就在眼前。第4頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建CDH簡(jiǎn)紹2Hadoop簡(jiǎn)紹1平臺(tái)搭建流程3總結(jié)4目錄CONTENTS第5頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建大數(shù)據(jù)平臺(tái)的搭建，需要了解linux命令、基本的Hadoop組件知識(shí)，同時(shí)需要掌握一套清晰的搭建系統(tǒng)的流程，而這些知識(shí)的綜合，把大多數(shù)人就擋在門檻之外，為了學(xué)習(xí)和了解大數(shù)據(jù)底層知識(shí)的人員，我們特提供一套詳細(xì)搭建過程，便于跨過這個(gè)門檻?；?/p>

4、Cloudera構(gòu)建大數(shù)據(jù)1、系統(tǒng)準(zhǔn)備2、平臺(tái)規(guī)劃4、數(shù)據(jù)庫環(huán)境3、系統(tǒng)環(huán)境6、CDH安裝5、CM安裝7、CDH配置平臺(tái)搭建步驟圖：第6頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建系統(tǒng)準(zhǔn)備：通過win10遠(yuǎn)程登錄到虛擬機(jī)環(huán)境操作相應(yīng)業(yè)務(wù)流程，需在win10環(huán)境安裝相應(yīng)的工具。1）本機(jī)環(huán)境為win10環(huán)境，通過搭建虛擬機(jī)-linux系統(tǒng)來搭建大數(shù)據(jù)環(huán)境， 安裝WinScp文件傳輸工具，傳輸相應(yīng)的安裝文件到linux系統(tǒng)。 WinSCP是一個(gè)Windows環(huán)境下使用SSH的開源圖形化SFTP客戶端。它的主要功能就是在本地與遠(yuǎn)程計(jì)算機(jī)間安全的復(fù)制文件。鏈接linux系統(tǒng)等。2）安裝Xshell遠(yuǎn)

5、程工具，通過遠(yuǎn)程命令行的方式操作linux系統(tǒng)，不用頻繁切換linux系統(tǒng)。 Xshell是一個(gè)強(qiáng)大的安全終端模擬軟件，支撐Microsoft Windows 平臺(tái)的TELNET 協(xié)議。通過互聯(lián)網(wǎng)到遠(yuǎn)程主機(jī)的安全連接以及它創(chuàng)新性的設(shè)計(jì)和特色幫助用戶在復(fù)雜的網(wǎng)絡(luò)環(huán)境中進(jìn)行工作。3）虛擬機(jī)VMware 15，安裝centos7系統(tǒng)構(gòu)建大數(shù)據(jù)環(huán)境，3臺(tái)虛擬機(jī)以上，VM12以上版本支持linux圖形界面。第7頁，共36頁。平臺(tái)規(guī)劃：本次規(guī)劃為3臺(tái)服務(wù)器組建集群環(huán)境；其中一臺(tái)主機(jī)，另外2臺(tái)代理，主機(jī)作為主控服務(wù)器，相應(yīng)內(nèi)存大點(diǎn)，另外2臺(tái)主做存儲(chǔ)和 計(jì)算。內(nèi)存大小分配會(huì)影響后續(xù)CDH圖表頁面的顯示。Clo

6、udera大數(shù)據(jù)平臺(tái)環(huán)境搭建-平臺(tái)規(guī)劃序號(hào)服務(wù)器名稱IP配置備注1CM5-01016G主、CM2CM5-02023G從3CM5-03033G從第8頁，共36頁。序號(hào)服務(wù)名稱子服務(wù)說明CM5-01CM5-02CM5-031HDFSNameNode主控服務(wù)，保存文件元數(shù)據(jù)信息和操作路由選擇2DateNode數(shù)據(jù)存儲(chǔ)服務(wù)，文件數(shù)據(jù)塊的存儲(chǔ)和而后和查詢選擇選擇選擇3SecondaryNameNode輔助NameNode服務(wù)選擇4YarnNodeManager負(fù)責(zé)具體任務(wù)的執(zhí)行選擇選擇選擇5Resourcemanager主控服務(wù)，負(fù)責(zé)資源的調(diào)度和分配選擇6ZooKeeperZooKeeper serve

7、r負(fù)責(zé)任務(wù)的協(xié)同和管理選擇選擇選擇7KafkaKafka消息接收、發(fā)送、消息主題等工作選擇選擇選擇集群服務(wù)規(guī)劃如下：Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-平臺(tái)規(guī)劃第9頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境1、虛擬機(jī)2、修改機(jī)器名稱、IP地址所有機(jī)器4、免密登錄SSH主服務(wù)器所有機(jī)器3、設(shè)置防火墻所有機(jī)器6、NTP服務(wù)所有機(jī)器5、關(guān)閉SELINUX所有機(jī)器7、系統(tǒng)參數(shù)所有機(jī)器系統(tǒng)環(huán)境虛擬機(jī)設(shè)置： 安裝一臺(tái)虛擬機(jī)后，系統(tǒng)環(huán)境修改完畢后，克隆2臺(tái)機(jī)器，同時(shí)記著更新MAC地址。第10頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境修改機(jī)器名稱：序號(hào)編輯命令查詢命令1vim

8、/etc/hostnamehostname2vi /etc/hoststail /etc/hosts3vim /etc/sysconfig/networkcat /etc/sysconfig/networkifconfig -a第11頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境虛擬機(jī)上網(wǎng)設(shè)置1）采用NAT共享主機(jī)IP上網(wǎng)地址，同時(shí)在linux環(huán)境下配置上網(wǎng)IP，并用默認(rèn)的瀏覽器進(jìn)行上網(wǎng)測(cè)試。第12頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境防火墻設(shè)置：序號(hào)編輯命令備注1systemctl stop firewalld.service #停止firewall2syst

9、emctl disable firewalld.service #禁止firewall開機(jī)啟動(dòng)3firewall-cmd -state #查看默認(rèn)防火墻狀態(tài)（關(guān)閉后顯示notrunning，開啟后顯示running）第13頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境設(shè)置免密鑰登錄：不錄入密碼條件下，可由主機(jī)自動(dòng)登錄到其它agent機(jī)器，便于后續(xù)主機(jī)進(jìn)行文件分發(fā)。具體參考：/article/107955.htm1、所有機(jī)器：vi /etc/ssh/sshd_configRSAAuthentication yesPubkeyAuthentication yesPermitRootLo

10、gin yes 2、所有機(jī)器都執(zhí)行命令：ssh-keygen -t rsa，生成 key，一律不輸入密碼，直接回車，/root 就會(huì)生成 .ssh 文件夾。3、主服務(wù)器cd /root/.sshcat id_rsa.pub authorized_keysssh root02 cat /.ssh/id_rsa.pub authorized_keysssh root03 cat /.ssh/id_rsa.pub authorized_keysscp authorized_keys root02:/root/.ssh/scp authorized_keys root03:/root/.ssh/scp

11、 known_hosts root02:/root/.ssh/scp known_hosts root03:/root/.ssh/4、在主服務(wù)登錄：ssh root02第14頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境selinux關(guān)閉：所有服務(wù)器都要設(shè)置。序號(hào)編輯命令查詢命令1vi /etc/sysconfig/selinuxSELINUX=disabledsestatus vSELinux status: disabled #表示已經(jīng)關(guān)閉了第15頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境安裝配置ntpd服務(wù)：所有服務(wù)器都要設(shè)置，由于本人采用簡(jiǎn)單方式，沒有按照網(wǎng)

12、上查詢文檔進(jìn)行安裝設(shè)置 查詢相關(guān)文檔https:/A/A7zgmwB154/序號(hào)編輯命令查詢命令1timedatectl set-timezone Asia/Shanghaidate2crontab -e00 00 * * * /usr/sbin/ntpdate 013reboot第16頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境系統(tǒng)參數(shù)已啟用透明大頁面壓縮，可能會(huì)導(dǎo)致重大性能問題。請(qǐng)運(yùn)行：echo 10 /proc/sys/vm/swappinessecho vm.swappiness=10 /etc/sysctl.confecho echo never /sys/kernel

13、/mm/transparent_hugepage/defrag /etc/rc.localecho echo never /sys/kernel/mm/transparent_hugepage/enabled /etc/rc.local第17頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-系統(tǒng)環(huán)境系統(tǒng)參數(shù)出現(xiàn)如下錯(cuò)誤，可能內(nèi)存不足，另外就是文件句柄數(shù)進(jìn)行了 限制，默認(rèn)是1024個(gè)文件，可修改如下幾個(gè)文件，可成功啟動(dòng)Host Monitor和Service Monitor服務(wù)。解除 Linux 系統(tǒng)的最大進(jìn)程數(shù)和最大文件打開數(shù)限制：查看命令：ulimit -n1、vi /etc/securit

14、y/limits.conf # 添加如下的行 * soft noproc 11000 * hard noproc 11000 * soft nofile 10000 * hard nofile 10000/2、修改所有 linux 用戶的環(huán)境變量文件：vi /etc/profile ulimit -u 10000ulimit -n 10000ulimit -d unlimited ulimit -m unlimited ulimit -s unlimited ulimit -t unlimited ulimit -v unlimited 第18頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-

15、數(shù)據(jù)庫環(huán)境1、JDK2、Mysql4、創(chuàng)建數(shù)據(jù)庫3、JDBC數(shù)據(jù)庫環(huán)境 本節(jié)主要統(tǒng)一介紹與數(shù)據(jù)庫相關(guān)組件的安裝，便于統(tǒng)一規(guī)劃，因?yàn)檫@些組件在安裝、應(yīng)用過程中都有關(guān)聯(lián)，這節(jié)配置基本與后續(xù)的數(shù)據(jù)庫配置頁面相關(guān)，隨后再提，現(xiàn)在有個(gè)準(zhǔn)備，保留。第19頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-數(shù)據(jù)庫環(huán)境安裝配置java版本:具體參考：/sxdcgaq8080/p/7492426.html1)卸載系統(tǒng)自帶的OpenJDK以及相關(guān)的java文件, 查看命令：rpm -qa | grep java使用命令刪除系統(tǒng)自帶的Java文件，rpm -e -nodepsjava-1.7.0-openjdk-he

16、adless-5-.el7_0.x86_64python-javapackages-3.4.1-6.el7_0.noarchjavapackages-tools-3.4.1-6.el7_0.noarchtzdata-java-2015a-1.el7.noarchjava-1.7.0-openjdk-5-.el7_0.x86_642)在系統(tǒng)根user目錄下，建立java文件，命令：cd /user mkdir java 解壓安裝jdktar -zxvf jdk-8u144-linux-x64.tar.gz3)編輯 vim /etc/profile export JAVA_HOME=/usr/ja

17、va/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin執(zhí)行命令 ，文件生效 source /etc/profile4)編輯 vi /etc/bashrc export JAVA_HOME=/usr/java/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin執(zhí)行命令 ，文件生效 source /etc/bashrc 5）查詢 Home值，echo $JAVA_HOME6）查看jdk版本，java -version第20頁，共36頁。安裝，mysql，主機(jī)Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-數(shù)據(jù)庫環(huán)境1、可參考此文

18、檔，https:/wishwzp/p/7113403.html下載數(shù)據(jù)源 wget /get/mysql57-community-release-el7-11.noarch.rpm安裝 yum -y localinstall mysql57-community-release-el7-11.noarch.rpm 在線安裝 ym -y install mysql-community-server序號(hào)編輯命令說明1systemctl start mysqld啟動(dòng)Mysql服務(wù)2systemctl enable mysqldsystemctl daemon-reload設(shè)置開機(jī)啟動(dòng)3vi /var/

19、log/mysqld.log修改初始密碼4mysql -u root -p登錄5ALTER USER rootlocalhost IDENTIFIED BY 123456;修改默認(rèn)密碼6GRANT ALL PRIVILEGES ON *.* TO root% IDENTIFIED BY 123456 WITH GRANT OPTION;允許遠(yuǎn)程登錄7firewall-cmd -zone=public -add-port=3306/tcp -permanentfirewall-cmd -reload開放3306端口第21頁，共36頁。序號(hào)編輯命令說明8vi /etc/f character_se

20、t_server=utf8 init_connect=SET NAMES utf8配置默認(rèn)編碼為utf89systemctl restart mysqld重啟服務(wù)10show variables like %character%;查詢編碼字符Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-數(shù)據(jù)庫環(huán)境續(xù)上文，安裝mysql第22頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-數(shù)據(jù)庫環(huán)境mysql驅(qū)動(dòng)包 所有機(jī)器相關(guān)目錄中1)上傳安裝包到/root/Downloads/ cd /root/Downloads/ 在線下載：wget http:/courses/1136/mysql-connector-java

21、-5.1.46.tar.gz2) 解壓安裝： tar -zxvf mysql-connector-java-5.1.46.tar.gz cd mysql-connector-java-5.1.463）復(fù)制mysql驅(qū)動(dòng)包到 所有機(jī)器 此目錄中，mkdir /usr/share/java/cd /usr/share/java/cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/scp mysql-connector-java-5.1.46-bin.jar rootCM5-02:/usr/share/java/mysql-connector

22、-java-5.1.46-bin.jarscp mysql-connector-java-5.1.46-bin.jar rootCM5-03:/usr/share/java/mysql-connector-java-5.1.46-bin.jar4)在服務(wù)器端安裝： 此安裝需要先安裝CMcd /opt/cm-5.13.1/share/cmf/lib/cp mysql-connector-java-5.1.46-bin.jar /opt/cm-5.13.1/share/cmf/lib/如下文件，安裝hive組件時(shí)需要安裝，負(fù)責(zé)在配置hive數(shù)據(jù)庫頁面報(bào)錯(cuò)cp mysql-connector-jav

23、a-5.1.46-bin.jar /opt/cloudera/parcels/cm-5.13.1/lib/hive/lib第23頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-數(shù)據(jù)庫環(huán)境在主服務(wù)器，創(chuàng)建相應(yīng)組件的數(shù)據(jù)庫序號(hào)編輯命令說明1mysql -u root -p登錄已安裝的好的mysql2show databases; 查詢數(shù)據(jù)庫3drop database + 庫名;刪除數(shù)據(jù)庫在命令行下執(zhí)行，創(chuàng)建相應(yīng)數(shù)據(jù)庫：create database hive DEFAULT CHARACTER SET utf8;create database rman DEFAULT CHARACTER SE

24、T utf8;create database amon DEFAULT CHARACTER SET utf8;create database oozie DEFAULT CHARACTER SET utf8;create database hue DEFAULT CHARACTER SET utf8;create database monitor DEFAULT CHARACTER SET utf8;create database reports DEFAULT CHARACTER SET utf8;create database navigatoraudit DEFAULT CHARACTE

25、R SET utf8;create database navigatormetadata DEFAULT CHARACTER SET utf8;flush privileges; exit;第24頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-CM1、安裝包下載2、創(chuàng)建用戶3、制作本地yum源CM Cloudera Manager(簡(jiǎn)稱CM)是Cloudera公司開發(fā)的一款大數(shù)據(jù)集群安裝部署利器，這款利器具有集群自動(dòng)化安裝、中心化管理、集群監(jiān)控、報(bào)警等功能，使得安裝集群從幾天的時(shí)間縮短在幾小時(shí)以內(nèi)，運(yùn)維人員從數(shù)十人降低到幾人以內(nèi)，極大的提高集群管理的效率。5、分發(fā)包6、啟動(dòng)服務(wù)第25頁，共3

26、6頁。安裝包下載：wget /cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gzwget /cdh5/parcels/5.13.1/manifest.jsonwget /cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcelwget http:/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1統(tǒng)一下載到：cd /root/Downloads/Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-CM建立文件夾mk

27、dir /opt/1）在主服務(wù)器，根目錄， mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo2）在所有的節(jié)點(diǎn)上創(chuàng)建parcels目錄，操作如下： mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels創(chuàng)建用戶，所有服務(wù)器useradd -system -home=/opt/cm-5.13.1/run/cloudera-scm-server/ -sh

28、ell=/bin/false -comment Cloudera SCM User cloudera-scm第26頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-CM1）制造本地YUN源，配置主節(jié)點(diǎn)倉庫目錄cd /root/Downloads/cp CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/cd /opt/cloudera/parcel-repomv CDH-5.13.1-1.cdh5.13

29、.1.p0.2-el7.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha2）安裝CMcd /root/Downloads/tar -zxvf cloudera-manager-centos7-cm5.13.1_x86_64.tar -C /opt/3）分發(fā)包將cm-5.13.1 打包，并復(fù)制到其他服務(wù)器cd /opt tar czf cm-5.13.1.tar.gz cm-5.13.1/復(fù)制到其他節(jié)點(diǎn)scp cm-5.13.1.tar.gz rootCM5-02:/opt/scp cm-5.13.1.tar.gz rootCM5-03:/opt/其它節(jié)點(diǎn)，/將cm-5.13.1 包解壓cd /opt tar -xzvf cm-5.13.1.tar.gz 第27頁，共36頁。Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建-CM啟動(dòng)主節(jié)點(diǎn)/opt