hadoop大數(shù)據(jù)-安裝配置說明書

準備工 說 修 JDK安裝配 程序安 Cdh4安裝配 Hive安裝配 Sqoop安裝配 Hue安 配 Hadoop配 Hive配 Sqoop配 Hue配 啟動服 準備工 JDK安裝配 啟動 啟動 啟動 需要注意的問 Hive安裝和配 準備工 安裝 配置 開啟Hive服 Hive高可 sqoop安裝和配 準備工 安裝 11準備工作說明說明鑒于文檔分組件介紹安裝配置，閱讀跳躍性太強，給出該文檔，并在文還是建議參考文檔。此外，CDH安裝配置比ApacheHadoop復(fù)雜多，需要耐根據(jù)操作系統(tǒng)類型及版本，相應(yīng)的rpm安裝包。以下為RedHat/CentOS6系統(tǒng)安裝。修改修改Hadoop集群涉及多種組件（見《Hadoop&Hive高可用架構(gòu)》），應(yīng)確定好組件部署的物理機器。修改/etc/hosts文件，加入集群中所有節(jié)點的ip地址和對應(yīng)主機名，保證節(jié)點間能夠相互通主機名。注意：在Hadoop中，主機名不要包含下劃線“_”，但可以有橫線“-”。否則啟動Hadoop錯：ERROR pleteHDFSURI,nohost:HDFS://namenode:9000JDKJDK安裝配置exportexportjdk的具體安裝步驟省略，此處jdk1.7，hadoophivejdk版本22程序安安裝前首先將安裝文件夾setup上傳到所有集群服務(wù)器中。本次說明上傳到服務(wù)器的data 2.12.1CDH4.2.0集群安裝和配置2.1.1準備工作Hadoop集群涉及多種組件（見《Hadoop&Hive高可用架構(gòu)》），應(yīng)確定好修改/etc/hosts文件，加入集群中所有節(jié)點的ip地址和對應(yīng)主機名，保證節(jié)點間能夠相互通主機名。注意：在Hadoop中，主機名不要包含下劃線“_”，但可以有橫線“-”。否則啟動Hadoop錯：ERROR.apache.hadoop.HDFS.node.NameNode:java.io.IOException:pleteHDFSURInohost: pleteHDFSURI.2JDK安裝配置exportexport.3CDH4.2.0(MRV1)的安裝Cdh4各集群中的機器都安裝相同，知識配置和所啟動的服務(wù)不同來劃分職普通安裝模式：安裝命令為yuminstall文件名s,文件名可以是多個，表示同時第一步：hadfs安安裝cdh4.2.0/bigTop…….rpm這三個安裝文件；安裝zookeeper；安裝cdh4.2.0/hadoop-2.0.0+922-1.cdh4.2.0.p0.12.el6.x86_64.rpm；安裝hadoop-hdfs-2.0.0922-1.cdh4.2.0.p0.12.el6.x86_64.rpm；第二步：mapreduce安裝安裝hadoop-0.20-mapreduce-0.20.2 安裝jobtracker安裝tasktracker安裝mrzkfc安裝hadoop-yarn-2.0.0+922-安裝hadoop-mapreduce-2.0.0+922-安裝hadoop注意：在命令行輸入命令時，若文件（夾）名字中有空格例如文件夾hadoop要使用\來轉(zhuǎn)意空格寫為hadoop\client；各hadoop集群中的機器重復(fù)此安裝過程使用CD本為4.2.0。以下為CDH提供的“一鍵安裝”模式進行安裝（由于該模式自動選擇穩(wěn)定版進行安裝，無法保證版本為4.2.0），下面僅簡要說明安裝步驟，詳見文檔。安裝CDH4.2.0 添加repositorykeyrpm--import/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-安裝在需要安裝Zookeeper的節(jié)點上安裝Zookeeperyuminstallyuminstallzookeeper-在Hadoop集群所有節(jié)點上安裝以下yuminstallhadoop-hdDataNode&yuminstallhadoop-.4CDH4.2.0(MRV1)基本配置配置配置/etc/zookeeper/conf/zoo.cfg文件，并到 下配置必須正確安裝和配置ssh，否則namenode主備切換將失敗?。?！路徑還必須與hdfs-site中配置的ssh私鑰路徑一致。安裝CDH時，會新建用戶hdfs，mapred和用戶組hadoop，此處需要為所有的namenode的hdfs用戶配置ssh免登陸。具體步驟如下：安裝ssh假設(shè)有兩個namenodeA&B在其中一個A上進行以下步驟進入hdfs用戶，在hdfs用戶home 下執(zhí)行ssh-keygen-trsa，一路回車，遇到y(tǒng)/n選擇y，即在默認 下/var/lib/hadoop-hdfs生成id_rsa和id_rsa.pub兩個文件，id_rsa為私鑰，id_rsa.pub為公鑰。進入 下，將id_rsa.pub給authorized_keys文件，并給予權(quán) $ $scpauthorized_keysroot@主機名var/lib/hadoop-此時A將能ssh免登陸B(tài)，測試ssh 在B上設(shè)置免登陸A，進行以下步驟：將公鑰id_rsa.pub到A，并重命名為ip地址 root@Aip地址var/lib/hadoop-hdfs/.sshBip地catBip地址.id_rsa.pub此時B將能免登陸A，測試 namenodeA的主機名ssh主機名時，若出現(xiàn)錯誤：Agentadmittedfailuretosignusingthekey.解決辦法：使用ssh-add指令加入私鑰：ssh-add 若出現(xiàn)sshlocalhost總是無法免登陸，檢查各 od755. od755.sshod644配置 配置Hadoop的所有配置文件core-site.xml,hdfs-mapred-site.xml,slaves，并將hadoop-env.sh進行相應(yīng)配置后.5啟動在所有zookeeper節(jié)點，進行zookeeper“1”zookeeper集群中的id，zoo.cfg在usr/lib/zookeeper下運行啟動ZooKeeper：java-cpconf.apache.zookeeper.server.quorum.QuoruPeerMainzoo.cfg原本應(yīng)該到usr/lib/zookeeper下運行bin/zkServer.shstart啟動zookeeper，但安裝時發(fā)現(xiàn)首次啟動沒有運行，故采用1中的方式。以后再次啟動zookeeper可使用這種方式。檢查Zookeeper.6啟動在JournalNode所在節(jié)點啟動JournalNode在所有NameNode節(jié)點上，格式化zkfchdfszkfc-在NameNodesu在所有NameNode節(jié)點上，啟動所有servicehadoop-hdamenode在所有DataNode節(jié)點上，啟動所有servicehadoop-hdfs-datanode啟動后WebUIactivenamenode，standbynamenode.7啟動在所有JobTracker節(jié)點上，格式化mrzkfcservicehadoop-0.20-mapreduce-zkfcinit在所有JobTracker節(jié)點上，啟動所有servicehadoop-0.20-mapreduce-jobtrackerha在所有TaskTracker節(jié)點上，啟動所有servicehadoop-0.20-mapreduce-tasktracker啟動后WebUIactiveJobTracker，tasktracker和作業(yè)的運行狀.8需要注意的問題如果MapReduce程序拋出Oracle連接斷開，游標過多之類的錯誤，Hadoop不會標記任務(wù)失敗而重新啟動該任務(wù)，只會在標準錯誤日志中（stderrlogs）但是由于MapReduce本身導(dǎo)致的異常(eg.map的輸出類型與reduce的輸入類型不匹配，工作節(jié)點宕機)，Hadoop會標記當前任務(wù)失敗，并重啟。每個失敗任務(wù)重啟的次數(shù)默認為4，可通過mapred-site.xml中的mapred.map.max.attempts和mapred.reduce.max.attempts兩個參數(shù)配置。如果tasktracker宕機，不向jobtracker發(fā)送心跳時間達到10minLinux文件系統(tǒng)對子數(shù)據(jù)有上限，而HadoopTASKTRACKER會為 userlogs 112個map/reduce任務(wù)數(shù)，且所有任務(wù)并行時，所用個map，8個reduce)300MB內(nèi)存，一共(16*300)MB。外其他用戶執(zhí)行mapreduce報無權(quán)限。程序需要用到的存放在HDFSjar包，要事先上傳到HDFS的相應(yīng)下，如odjbc14.jar。hadoopjava編寫，jvm空間不足會引起hadoop在配置從節(jié)點map/redcue槽數(shù)時，需要注意一般1個核配置12個16個任務(wù)(8個map，8個reduce)同時運行，每個占用300MB內(nèi)存，一共(16*300)MB。注意HiveQL書寫技巧外，可以根據(jù)物理節(jié)點內(nèi)存增大該值。如果需要修改Hadoop和mapred2.22.2HIVE安裝和配置.1準備工作CDH集群安裝完成后。Hive必須安裝在CDH安裝mysql數(shù)據(jù)庫。建立Hive表，并設(shè)置用戶（默認用戶為root）權(quán)限為可遠createdatabaseGRANTallONhive.*TOroot@'%'IDENTIFIEDBY.2安裝yuminstallhivehive-serverhive-將mysql的JDBCDriver包放到/usr/lib/hive/lib將hive-exec-0.10.0-cdh4.2.0.jar包放到/usr/lib/hive/lib下替換原jar#hadoopfs-mkdir/tmp此為Hive臨時文件存放 均為HDFS中目#hadoopfsmkdiruser/hive/warehouse此為Hive#hadoopfs-odg+w#hadoopfs odg+w.3配置將配置文件hive-site.xml放到 <description>Thedefaultinputformat.SetthistoHiveInputFormatifyouencounterproblemswithCombineHiveInputFormat.</description>此3項配置將決定任務(wù)的map個數(shù)，hive根據(jù)文件大小來決定map任務(wù)個數(shù)，現(xiàn)在的value代表沒64M一個map。此三個選項只在CombineHiveInputFormat以下省略name決定reduce個數(shù)，如map決定最大的reduce數(shù)，-1表示默認使用hadoop.4開啟HIVE服務(wù)$nuhuphive–-service2.2.5HIVE2.2.5HIVE高可用1、安裝HAProxy可以配置在任何機器上。假設(shè)安裝在228上。安裝運行rpm安裝$rpm–ivhhaproxy-1.4.8-2、配置nbprocpidfile retries2optionredispatchmaxconn1024balanceleastconntimeoutconnect1dtimeoutclient1dtimeoutserver1dloglocal0 bindmodehttpstatsrefresh30sstatsuri/statsrealmHive\Haproxystatsauthadmin:123456listen #hive后端定bind #ha作為proxy所綁定的m