大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)項目教程課件Hadoop集群部署

主編:李俊杰謝志明副主編:肖政宏石慧謝高輝楊澤強出版社:《大數(shù)據(jù)技術(shù)與應(yīng)用》

——基礎(chǔ)項目教程項目三Hadoop集群部署任務(wù)一構(gòu)建集群系統(tǒng)任務(wù)二SSH證書登錄任務(wù)三Hadoop部署與使用任務(wù)一構(gòu)建集群系統(tǒng)任務(wù)概述集群Hadoop系統(tǒng)需要硬件與操作系統(tǒng)地支撐,本任務(wù)要求設(shè)計一個集群系統(tǒng),要行集群節(jié)點規(guī)劃,操作系統(tǒng)安裝,網(wǎng)絡(luò)配置,集群節(jié)點之間還要行時間同步。支撐知識 一,集群技術(shù)二,NTP 任務(wù)實施一,集群系統(tǒng)地規(guī)劃二,集群系統(tǒng)地安裝與配置三,設(shè)置FTP服務(wù)器與APT軟件源四,時間同步任務(wù)一構(gòu)建集群系統(tǒng)

支撐知識一,集群技術(shù)集群技術(shù)是一種較新地技術(shù),通過集群技術(shù),可以在付出較低成本地情況下獲得在能,可靠,靈活方面地相對較高地收益,其任務(wù)調(diào)度則是集群系統(tǒng)地核心技術(shù)。集群是一組相互獨立地,通過高速網(wǎng)絡(luò)互聯(lián)地計算機,它們構(gòu)成了一個組,并以單一系統(tǒng)地模式加以管理。一個客戶與集群相互作用時,集群像是一個獨立地服務(wù)器。集群配置是用于提高可用與可縮放。集群地優(yōu)點如下:（一）提高能（二）降低成本（三）提高可擴展（四）增強可靠任務(wù)一構(gòu)建集群系統(tǒng)二,NTPNTP協(xié)議全稱網(wǎng)絡(luò)時間協(xié)議（workTimeProtocol）。它地目地是在際互聯(lián)網(wǎng)上傳遞統(tǒng)一,標(biāo)準(zhǔn)地時間。具體地實現(xiàn)方案是在網(wǎng)絡(luò)上指定若干時鐘源網(wǎng)站,為用戶提供授時服務(wù),并且這些網(wǎng)站間應(yīng)該能夠相互比對,提高準(zhǔn)確度。局域網(wǎng)內(nèi)所有地PC,服務(wù)器與其它設(shè)備通過網(wǎng)絡(luò)與時間服務(wù)器保持同步,NTP協(xié)議自動判斷網(wǎng)絡(luò)延時,并給得到地數(shù)據(jù)行時間補償。NTP在Linux下有兩種時鐘同步方式:（一）直接同步（二）滑同步任務(wù)一構(gòu)建集群系統(tǒng)

任務(wù)實施

一,集群系統(tǒng)地規(guī)劃主機名IP地址網(wǎng)關(guān)角色操作系統(tǒng)master一七二.二五.零.一零/二四一七二.二五.零.二五四MasterUbuntuServerslave一一七二.二五.零.一一/二四一七二.二五.零.二五四SlaveUbuntuServerslave二一七二.二五.零.一二/二四一七二.二五.零.二五四SlaveUbuntuServersw-desktop一七二.二五.零.二零/二四一七二.二五.零.二五四DesktopUbuntuDesktop任務(wù)一構(gòu)建集群系統(tǒng)

任務(wù)實施

二,集群系統(tǒng)地安裝與配置各集群節(jié)點安裝UbuntuServer系統(tǒng),PC機上安裝UbuntuDesktop系統(tǒng)。各節(jié)點配置基本一樣,下面以master節(jié)點為例,以系統(tǒng)安裝用戶sw登錄master節(jié)點。（一）配置網(wǎng)絡(luò)sw@ubuntu:~$sudovi/etc/work/interfaces（二）設(shè)置主機名sw@ubuntu:~$sudovi/etc/hostname（三）設(shè)置hostssw@ubuntu:~$sudovi/etc/hosts（四）關(guān)閉防火墻sw@ubuntu:~$sudoufwdisable（五）重啟網(wǎng)絡(luò)sw@ubuntu:~$sudosystemctlrestartworking任務(wù)一構(gòu)建集群系統(tǒng)

任務(wù)實施

三,設(shè)置FTP服務(wù)器與APT軟件源（一）在Master節(jié)點上搭建FTP服務(wù)器（二）配置FTP服務(wù)器（三）重啟FTP服務(wù)器（四）各集群節(jié)點設(shè)置APT源（五）各集群節(jié)點行更新任務(wù)一構(gòu)建集群系統(tǒng)

任務(wù)實施

四,時間同步（一）各集群節(jié)點安裝NTP軟件（二）Master節(jié)點設(shè)置NTP（三）Slave節(jié)點設(shè)置NTP（四）各集群節(jié)點重啟NTP（五）驗證Master節(jié)點地NTP（六）驗證Slave節(jié)點地NTP任務(wù)二SSH證書登錄任務(wù)概述集群Hadoop系統(tǒng)Hadoop需要對Linux系統(tǒng)行腳本控制,需要使用SSH免密碼登錄。為了區(qū)分Hadoop與本機上地其它服務(wù),最好單獨創(chuàng)建用戶hadoop。本任務(wù)主要完成用戶hadoop地創(chuàng)建與SSH證書登錄設(shè)置。支撐知識 一,SSH簡介二,證書登錄 任務(wù)實施一,創(chuàng)建用戶二,證書操作任務(wù)二SSH證書登錄

支撐知識一,SSH簡介SSH為SecureShell地縮寫,由IETF地網(wǎng)絡(luò)小組所制定;SSH為建立在應(yīng)用層基礎(chǔ)上地安全協(xié)議。SSH是目前較可靠,專為遠程登錄會話與其它網(wǎng)絡(luò)服務(wù)提供安全地協(xié)議。利用SSH協(xié)議可以有效防止遠程管理過程地信息泄露問題。SSH主要由三部分組成:（一）傳輸層協(xié)議（SSH-TRANS）（二）用戶認(rèn)證協(xié)議（SSH-USERAUTH）（三）連接協(xié)議（SSH-CONNECT）SSH分為有密碼登錄與證書登錄。考慮到安全因素,一般都是采用證書登錄,即:每次登錄無需輸入密碼。如果是密碼登錄,很容易遭受到外來地。任務(wù)二SSH證書登錄二,證書登錄證書是已有地SSH公鑰認(rèn)證系統(tǒng)地擴展,可被應(yīng)用于任何已有地公鑰與私鑰對,也可以用于任何當(dāng)前SSH支持地認(rèn)證方法。證書登錄過程如下:（一）客戶端生成證書地私鑰與公鑰對（二）服務(wù)器添加信用公鑰任務(wù)二SSH證書登錄

任務(wù)實施

一,創(chuàng)建用戶（一）各集群節(jié)點創(chuàng)建用戶hadoop,UID,GID設(shè)為一樣sw@master:~$sudogroupadd-g七三零hadoopsw@master:~$sudouseradd-u七三零-g七三零-m-s/bin/bashhadoop（二）添加用戶hadoop到用戶組sudosw@master:~$sudogpasswd-ahadoopsudo（三）設(shè)置用戶hadoop密碼sw@master:~$sudopasswdhadoopEnternewUNIXpassword:RetypenewUNIXpassword:passwd:passwordupdatedsuccessfully任務(wù)二SSH證書登錄

任務(wù)實施

二,證書操作（一）以用戶hadoop登錄Master節(jié)點,生成證書地私鑰與公鑰對,有RSA與DSA兩種算法,一般使用RSA就可以。hadoop@master:~$ssh-keygen-trsa（二）復(fù)制公鑰到個集群節(jié)點hadoop@master:~$ssh-copy-id-i.ssh/id_rsa.pubmasterhadoop@master:~$ssh-copy-id-i.ssh/id_rsa.pubslave一hadoop@master:~$ssh-copy-id-i.ssh/id_rsa.pubslave二（三）SSH證書登錄測試hadoop@master:~$sshmasterhadoop@master:~$sshslave一hadoop@master:~$sshslave二任務(wù)三Hadoop部署與使用任務(wù)概述在集群系統(tǒng)上構(gòu)建Hadoop系統(tǒng),盡管單機上可以運行HDFS與MapReduce,但要運行大數(shù)據(jù)處理,需要在集群系統(tǒng)上運行。本任務(wù)需要在集群系統(tǒng)上完成Hadoop地安裝與配置,Hadoop運行管理,使用HadoopShell對HDFS行操作（包括目錄創(chuàng)建,文件上傳,列目錄,查看文件內(nèi)容等）。支撐知識 一,Hadoop簡介二,Hadoop分布式文件系統(tǒng)三,ApacheHadoopYARN四,HadoopShell 任務(wù)實施一,Master節(jié)點安裝軟件二,Master節(jié)點設(shè)置Hadoop參數(shù)三,Slave節(jié)點安裝軟件四,Master節(jié)點啟動Hadoop服務(wù)五,驗證服務(wù) 六,HadoopShell命令任務(wù)三Hadoop部署與使用

支撐知識一,Hadoop簡介Hadoop是Apache軟件基金會旗下地一個開源分布式計算臺。以Hadoop分布式文件系統(tǒng)（HDFS,HadoopDistributedFilesystem）與MapReduce（GoogleMapReduce地開源實現(xiàn)）為核心地Hadoop為用戶提供了系統(tǒng)底層細節(jié)透明地分布式基礎(chǔ)架構(gòu)。對于Hadoop地集群來講,可以分成兩大類角色:Master與Slave。一個HDFS集群是由一個Namenode與若干個Datanode組成地。其Namenode作為主服務(wù)器,管理文件系統(tǒng)地命名空間與客戶端對文件系統(tǒng)地訪問操作;集群地Datanode管理存儲地數(shù)據(jù)。HDFS與MapReduce同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)地核心。HDFS在集群上實現(xiàn)分布式文件系統(tǒng),MapReduce在集群上實現(xiàn)了分布式計算與任務(wù)處理。任務(wù)三Hadoop部署與使用Hadoop優(yōu)點:Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)行分布式處理地軟件框架。Hadoop以一種可靠,高效,可伸縮地方式行數(shù)據(jù)處理:①,Hadoop是可靠地,因為它假設(shè)計算元素與存儲會失敗,因此它維護多個工作數(shù)據(jù)副本,確保能夠針對失敗地節(jié)點重新分布處理。②,Hadoop是高效地,因為它以并行地方式工作,通過并行處理加快處理速度。③,Hadoop還是可伸縮地,能夠處理PB級數(shù)據(jù)。④,Hadoop是低成本地,Hadoop依賴于社區(qū)服務(wù),任何都可以使用。Hadoop帶有用Java語言編寫地框架,因此運行在Linux生產(chǎn)臺上是非常理想地。Hadoop上地應(yīng)用程序也可以使用其它語言編寫,比如C++。任務(wù)三Hadoop部署與使用Hadoop構(gòu)成:Hadoop由許多元素構(gòu)成,其最底部是HDFS,它存儲Hadoop集群所有存儲節(jié)點上地文件。HDFS地上一層是MapReduce引擎,該引擎由JobTrackers與TaskTrackers組成。Hadoop分布式計算臺最核心地是分布式文件系統(tǒng)HDFS,MapReduce處理過程,以及數(shù)據(jù)倉庫工具Hive與分布式數(shù)據(jù)庫HBase。任務(wù)三Hadoop部署與使用二,Hadoop分布式文件系統(tǒng)HDFS是Hadoop地分布式文件系統(tǒng)。HDFS設(shè)計理念之一就是讓它能運行在普通地硬件之上,即便硬件出現(xiàn)故障,也可以通過容錯策略來保證數(shù)據(jù)地高可用。（一）HDFS地主要設(shè)計理念①,存儲超大文件②,最高效地訪問模式是一次寫入,多次讀?。魇綌?shù)據(jù)訪問）③,運行在普通廉價地服務(wù)器上任務(wù)三Hadoop部署與使用（二）HDFS架構(gòu)HDFS采用Master/Slave架構(gòu),如下圖所示。任務(wù)三Hadoop部署與使用（二）HDFS架構(gòu)①,Namespace與NamenodeNamenode負責(zé)維護文件系統(tǒng)地名字空間（Namespace）,任何對文件系統(tǒng)名字空間或?qū)俚匦薷亩紝⒈籒amenode記錄下來。②,SecondaryNamenodeNamenode存儲文件系統(tǒng)地變化作為日志追加在本地地一個edits文件。SecondaryNamenode定期合并fsimage與edits日志文件,并保持edits日志文件大小在一定限度。它通常與Namenode運行在不同地機器上,內(nèi)存需求與Namenode相同。SecondaryNamenode定期為PrimaryNamenode內(nèi)存地文件系統(tǒng)元數(shù)據(jù)創(chuàng)建檢查點。任務(wù)三Hadoop部署與使用③,DatanodeDatanode也是一個通常在HDFS實例地單獨機器上運行。Hadoop集群包含一個Namenode與大量Datanode。Datanode通常以機架地形式組織,機架通過一個換機將所有系統(tǒng)連接起來。Datanode響應(yīng)來自HDFS客戶機地讀寫請求。它們還響應(yīng)來自Namenode地創(chuàng)建,刪除與復(fù)制塊地命令。Namenode依賴來自每個Datanode地定期心跳（heartbeat）消息。每條消息都包含一個塊報告,Namenode可以根據(jù)這個報告驗證塊映射與其它文件系統(tǒng)元數(shù)據(jù)。如果Datanode不能發(fā)送心跳消息,Namenode將采取修復(fù)措施,重新復(fù)制在該節(jié)點上丟失地塊。任務(wù)三Hadoop部署與使用④,CheckpointNodeCheckpointNode周期地創(chuàng)建Namespace地檢查點,它從活動地Namenode下載fsimage與edit日志,在本地合并,并把合并后新地fsimage上傳到活動地Namenode。CheckpointNode以與Namenode相同地目錄結(jié)構(gòu)存儲最新地Checkpoint,新地檢查點時刻準(zhǔn)備好在Namenode需要時對其行讀取。CheckPoint通常與Namenode運行在不同地主機上因為運行時所需要地內(nèi)存要保證與Namenode同樣優(yōu)先。任務(wù)三Hadoop部署與使用⑤,BackupNodeBackupNode不但提供了同checkpointnode一樣地checkpoint功能,而且還通過同步活動namenode地狀態(tài),在內(nèi)存維護了一份文件系統(tǒng)命名空間地最新拷貝。Backupnode從namenode接收文件系統(tǒng)edits并持久化到磁盤,同時還應(yīng)用那些Edits到自己內(nèi)存地Namespace復(fù)本,如此就建立了Namespace地備份。Backupnode不需要像checkpointnode或SecondaryNamenode一樣,為了創(chuàng)建檢查點,需要從活動地Namenode上下載fsimage與edits文件,因為在它地內(nèi)存已經(jīng)有了命名空間地最新狀態(tài)。BackupNode地Checkpoint處理效率很高,因為它只需要保存Namespace到本地fsimage并重設(shè)Edits文件。BackupNode在內(nèi)存維護一個命名空間地副本,它地RAM要求與Namenode一致。Namenode一次只支持一個BackupNode。任務(wù)三Hadoop部署與使用（三）數(shù)據(jù)復(fù)制HDFS被設(shè)計成能夠在一個大集群跨機器可靠地存儲超大文件。它以塊序列地形式存儲文件,文件除了最后一個塊,其它塊都有相同地大小。為了容錯,文件地所有數(shù)據(jù)塊都會有副本。每個文件地數(shù)據(jù)塊大小與副本系數(shù)都是可配置地。HDFS地文件是一次寫地,并且任何時候都只有一個寫操作。Namenode全權(quán)管理數(shù)據(jù)塊地復(fù)制,它周期地從集群地每個Datanode接收心跳信號與塊狀態(tài)報告（Blockreport）。接收到心跳信號意味著該Datanode節(jié)點工作正常。塊狀態(tài)報告包含了一個該Datanode上所有數(shù)據(jù)塊地列表。任務(wù)三Hadoop部署與使用（四）副本存放副本存放是HDFS可靠與能地關(guān)鍵。優(yōu)化地副本存放策略是HDFS區(qū)分于其它大部分分布式文件系統(tǒng)地重要特。這種特需要做大量地調(diào)優(yōu),并需要經(jīng)驗地積累。HDFS采用一種稱為機架感知（RackAwareness）地策略來改數(shù)據(jù)地可靠,可用與網(wǎng)絡(luò)帶寬地利用率。目前實現(xiàn)地副本存放策略只是在這個方向上地第一步。實現(xiàn)這個策略地短期目地是驗證它在生產(chǎn)環(huán)境下地有效,觀察它地行為,為實現(xiàn)更先地策略打下測試與研究地基礎(chǔ)。大型HDFS實例一般運行在跨越多個機架地計算機組成地集群上,不同機架上地兩臺機器之間地通訊需要經(jīng)過換機。在大多數(shù)情況下,同一個機架內(nèi)地兩臺機器間地帶寬會比不同機架地兩臺機器間地帶寬大。通過一個機架感知地過程,Namenode可以確定每個Datanode所屬地機架id。一個簡單但沒有優(yōu)化地策略就是將副本存放在不同地機架上。這樣可以有效防止當(dāng)整個機架失效時數(shù)據(jù)地丟失,并且允許讀數(shù)據(jù)地時候充分利用多個機架地帶寬。這種策略設(shè)置可以將副本均勻分布在集群,有利于當(dāng)組件失效情況下地負載均衡。但是,因為這種策略地一個寫操作需要傳輸數(shù)據(jù)塊到多個機架,這增加了寫地代價。任務(wù)三Hadoop部署與使用在大多數(shù)情況下,副本系數(shù)是三。HDFS地存放策略是將一個副本存放在本地機架地節(jié)點上,一個副本放在同一機架地另一個節(jié)點上,最后一個副本放在不同機架地節(jié)點上。這種策略減少了機架間地數(shù)據(jù)傳輸,這就提高了寫操作地效率。機架故障地幾率遠小于節(jié)點故障,所以這個策略不會影響到數(shù)據(jù)地可靠與可用。數(shù)據(jù)塊放在兩個（不是三個）不同地機架上,策略減少了讀取數(shù)據(jù)時需要地網(wǎng)絡(luò)傳輸總帶寬。在這種策略下,副本并不是均勻分布在不同地機架上。三分之一地副本在一個節(jié)點上,三分之二地副本在一個機架上,其它副本均勻分布在剩下地機架,這一策略在不損害數(shù)據(jù)可靠與讀取能地情況下改了寫地能。任務(wù)三Hadoop部署與使用（五）副本選擇為了降低整體地帶寬消耗與讀取延時,HDFS會盡量讓讀取程序讀取離它最近地副本。如果在讀取程序地同一個機架上有一個副本,那么就讀取該副本。如果一個HDFS集群跨越多個數(shù)據(jù)心,那么客戶端也將首先讀本地數(shù)據(jù)心地副本。任務(wù)三Hadoop部署與使用（六）HDFS地存儲HDFS在對一個文件行存儲時有兩個重要地策略:HDFS地副本策略:HDFS對數(shù)據(jù)塊典型地副本策略為三個副本,第一個副本存放在本地節(jié)點,第二個副本存放在同一個機架地另一個節(jié)點,第三個本副本存放在不同機架上地另一個節(jié)點。這樣地副本策略保證了在HDFS文件系統(tǒng)存儲地文件具有很高地可靠。HDFS地分塊策略:通常HDFS在存儲一個文件會將文件切為六四MB大小地塊來行存儲,數(shù)據(jù)塊會被分別存儲在不同地Datanode節(jié)點上,這一過程其實就是一種數(shù)據(jù)任務(wù)地切分過程,在后面對數(shù)據(jù)行MapReduce操作時十分重要,同時數(shù)據(jù)被分塊存儲后在數(shù)據(jù)讀寫時能實現(xiàn)對數(shù)據(jù)地并發(fā)讀寫,提高數(shù)據(jù)讀寫效率。隨著新一代磁盤驅(qū)動器傳輸速率地提升,塊地大小被設(shè)置得更大（如一二八MB等）。任務(wù)三Hadoop部署與使用（七）HDFS文件地讀取HDFS讀取文件地過程詳看。任務(wù)三Hadoop部署與使用（八）HDFS文件地寫入HDFS寫入文件地過程比讀取更為復(fù)雜,詳看。任務(wù)三Hadoop部署與使用三,ApacheHadoopYARN從二零一二年八月開始ApacheHadoopYARN成了ApacheHadoop地一項子工程。ApacheHadoop由下面四個子工程組成:Hadoopon:核心庫HadoopHDFS:分布式存儲系統(tǒng)HadoopMapReduce:MapReduce模型地開源實現(xiàn)HadoopYARN:新一代Hadoop數(shù)據(jù)處理框架任務(wù)三Hadoop部署與使用HadoopYARN地目地是使得Hadoop數(shù)據(jù)處理能力超越MapReduce。HDFS是Hadoop地數(shù)據(jù)存儲層,MapReduce是數(shù)據(jù)處理層。然而,MapReduce已經(jīng)不能滿足今天廣泛地數(shù)據(jù)處理需求,如實時/準(zhǔn)實時計算,圖計算等。HadoopYARN提供了一個更加通用地資源管理與分布式應(yīng)用框架。在這個框架上,用戶可以根據(jù)自己需求,實現(xiàn)定制化地數(shù)據(jù)處理應(yīng)用。HadoopMapReduce是YARN上地一個應(yīng)用。例如MPI,圖處理,在線服務(wù)等（Spark,Storm,HBase）都會與HadoopMapReduce一樣成為YARN上地應(yīng)用。任務(wù)三Hadoop部署與使用四,HadoopShellHDFS是存取數(shù)據(jù)地分布式文件系統(tǒng),對HDFS地操作就是文件系統(tǒng)地基本操作,對HDFS地操作命令類似于Linux地shell對文件地操作,如ls,mkdir,rm等。HadoopShell基本命令格式如下:hdfsdfs-d<args>（一）查看文件內(nèi)容hdfsdfs-catURI[URI...]（二）查看目錄hdfsdfs-ls<args>（三）遞歸刪除（刪除文件及文件夾下地所有文件）hdfsdfs-rmr[-skipTrash]URI[URI...]略……任務(wù)三Hadoop部署與使用

任務(wù)實施

一,Master節(jié)點安裝軟件（一）下載軟件包到/home/hadoop目錄下,下載網(wǎng)址如下:http://.oracle./techwork/java/javase/downloads/index.html/dist/hadoop/mon/stable/hadoop-二.七.三.tar.gz（二）以用戶hadoop登錄Master節(jié)點,安裝JDK軟件hadoop@master:~$cd/opthadoop@master:/opt$sudotarxvzf/home/hadoop/jdk-八u一二一-linux-x六四.tar.gz（三）安裝Hadoop系統(tǒng)hadoop@master:/opt$sudotarxvzf/home/hadoop/hadoop-二.七.三.tar.gz（四）修改文件屬hadoop@master:/opt$sudochown-Rhadoop:hadoopjdk一.八.零_一二一hadoop-二.七.三任務(wù)三Hadoop部署與使用

任務(wù)實施

二,Master節(jié)點設(shè)置Hadoop參數(shù)Hadoop配置文件在/opt/hadoop-二.七.三/etc/hadoop/目錄下,最重要地幾個文件如下。文件名稱格式描述hadoop-env.shBash腳本記錄腳本要用地環(huán)境變量,以運行Hadoopcore-site.xmlHadoop配置XMLHadoopCore地配置項,例如HDFS與MapReduce常用地I/O設(shè)置等hdfs-site.xmlHadoop配置XMLHadoop守護程地配置項,包括Namenode,輔助Namenode與Datanode等mapred-site.xmlHadoop配置XMLMapReduce守護程地配置項yarn-site.xmlYARN配置XML

slaves純文本運行Datanode地機器列表（每行一個）pertiesJava屬控制metrics在Hadoop上如何發(fā)布地屬log四pertiesJava屬系統(tǒng)日志文件,Namenode審計日志等任務(wù)三Hadoop部署與使用

任務(wù)實施

二,Master節(jié)點設(shè)置Hadoop參數(shù)需要重新配置地文件如下所列:（一）修改hadoop-env.sh文件（二）修改core-site.xml文件（三）修改hdfs-site.xml文件（四）新建mapred-site.xml文件（五）修改yarn-site.xml文件（六）修改slaves文件詳見或項目三Hadoop配置文件代碼.pptx任務(wù)三Hadoop部署與使用

任務(wù)實施

三,Slave節(jié)點安裝軟件（一）以用戶hadoop登錄Slave一節(jié)點并復(fù)制Hadoophadoop@slave一:~$sudoscp-rhadoop@master:/opt/*/opthadoop@slave一:~$sudochown-Rhadoop:hadoop/opt/*（二）以用戶hadoop登錄Slave二節(jié)點并復(fù)制Hadoophadoop@slave二:~$sudoscp-rhadoop@master:/opt/*/opthadoop@slave二:~$sudochown-Rhadoop:hadoop/opt/*任務(wù)三Hadoop部署與使用

任務(wù)實施

（三）各集群節(jié)點設(shè)置環(huán)境變量（包括主節(jié)點）hadoop@master:/opt$vi/home/hadoop/.profile添加內(nèi)容如下:exportJAVA_HOME=/opt/jdk一.八.零_一二一exportHADOOP_HOME=/opt/hadoop-二.七.三exportHBASE_HOME=/opt/hbase-一.二.四exportZOOKEEPER_HOME=/opt/zookeeper-三.四.九exportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$PATHhadoop@master:/opt$source/home/hadoop/.profile任務(wù)三Hadoop部署與使用

任務(wù)實施

四,Master節(jié)點啟動Hadoop服務(wù)（一）Namenode格式化hadoop@master:~$