《云計(jì)算(第二版)》教材配套課件13-第六章-Hadoop：Google云計(jì)算的開源實(shí)現(xiàn)2

電子工業(yè)出版社《云計(jì)算(第二版)》配套課件解放軍理工大學(xué)教授主編華東交通大學(xué)制作第6章Hadoop：Google云計(jì)算的開源實(shí)現(xiàn)

《云計(jì)算（第二版）》購買網(wǎng)址：當(dāng)當(dāng)網(wǎng)

京東商城姊妹力作《實(shí)戰(zhàn)Hadoop》購買網(wǎng)址：當(dāng)當(dāng)網(wǎng)

京東商城提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

在Linux系統(tǒng)中安裝Hadoop

1．安裝環(huán)境配置1）安裝Linux虛擬機(jī)安裝軟件VMwareWorkstationv7.1.3

2）安裝SSH$sudoapt-getinstallssh3）安裝Java$cd/usr/java/$/mnt/hgfs/share/jdk-6u24-linux-i586.bin4）解壓Hadoop安裝包$tar–zxvf/mnt/hgfs/share/hadoop-0.20.2.tar.gz5）編輯conf/hadoop-env.sh文件$viconf/hadoop-env.sh2．安裝步驟

1）單機(jī)模式默認(rèn)情況下，Hadoop被配置成一個(gè)以非分布式模式運(yùn)行的獨(dú)立Java進(jìn)程，適合開始時(shí)做調(diào)試工作WordCount實(shí)例

$mkdirinput$cdinput$echo"helloworld">test1.txt$echo"hellohadoop">test2.txt$bin/hadoopjarhadoop-mapred-examples-0.20.2.jarwordcountinputoutput

查看執(zhí)行結(jié)果$catoutput/*在Linux系統(tǒng)中安裝Hadoop

2．安裝步驟

2）偽分布式模式用不同的Java進(jìn)程模擬分布式運(yùn)行中各類節(jié)點(diǎn)（1）Hadoop配置在Linux系統(tǒng)中安裝Hadoop

core-site.xml配置文檔hdfs-site.xml配置文檔mapred-site.xml配置文檔

（2）免密碼SSH設(shè)置生成密鑰對$ssh-keygen-trsa一直按【Enter】鍵，按照默認(rèn)的選項(xiàng)將生成的密鑰對保存在.ssh/id_rsa文件中進(jìn)入.ssh目錄$cpid_rsa.pubauthorized_keys

執(zhí)行$sshlocalhost，可以實(shí)現(xiàn)用SSH連接并且不需要輸入密碼在Linux系統(tǒng)中安裝Hadoop

將密鑰對保存在.ssh/id.rsa文件中

在Linux系統(tǒng)中安裝Hadoop

（3）Hadoop運(yùn)行（a）格式化分布式文件系統(tǒng)$bin/hadoopnamenode–format（b）啟動(dòng)Hadoop守護(hù)進(jìn)程$bin/start-all.sh成功執(zhí)行后將會(huì)在本機(jī)上啟動(dòng)NameNode、DataNode、JobTracker、TaskTracker和SecondaryNameNode5個(gè)新的Java進(jìn)程（c）運(yùn)行WordCount實(shí)例

$bin/hadoopdfs–copyFromLocalinputin$bin/hadoopjarhadoop-mapred-examples-0.20.2.jarwordcountinout

查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理的結(jié)果

$bin/hadoopdfs-catout/*

把輸出文件從Hadoop分布式文件系統(tǒng)復(fù)制到本地文件系統(tǒng)查看

$bin/hadoopdfs-getoutoutput$catoutput/*（d）停止Hadoop守護(hù)進(jìn)程。最后需要停止Hadoop守護(hù)進(jìn)程$bin/stop-all.sh3）完全分布式模式（1）配置NameNode和DataNode（2）在所有的機(jī)器上建立相同的用戶grid

$useradd-mgrid$passwdgrid

（3）SSH配置在所有機(jī)器上建立.ssh目錄$mkdir.ssh在ubuntunamenode上生成密鑰對$ssh-keygen-trsa在Linux系統(tǒng)中安裝Hadoop

配置ubuntunamenode的/etc/hosts

ubuntudata1和ubuntudata2的hosts配置

在Linux系統(tǒng)中安裝Hadoop

（3）SSH配置然后一直按【Enter】鍵，就會(huì)按照默認(rèn)的選項(xiàng)將生成的密鑰對保存在.ssh/id_rsa文件中$cd~/.ssh$cpid_rsa.pubauthorized_keys$scpauthorized_keysubuntudata1:/home/grid/.ssh$scpauthorized_keysubuntudata2:/home/grid/.ssh最后進(jìn)入所有機(jī)器的.ssh目錄，改變authorized_keys文件的許可權(quán)限$chmod644authorized_keys（4）在所有機(jī)器上配置Hadoop在ubuntunamenode上配置（a）編輯core-site.xml、hdfs-site.xml和mapred-site.xml（b）編輯conf/masters，修改為master的主機(jī)名，每個(gè)主機(jī)名一行，此外即為ubuntunamenode（c）編輯conf/slaves，加入所有slaves的主機(jī)名，即ubuntudata1和ubuntudata2（d）把Hadoop安裝文件復(fù)制到其他機(jī)器上$scp–rhadoop-0.20.2ubuntudata1:/home/grid$scp–rhadoop-0.20.2ubuntudata2:/home/grid（e）編輯所有機(jī)器的conf/hadoop-env.sh文件在Linux系統(tǒng)中安裝Hadoop

（5）Hadoop運(yùn)行格式化分布式文件系統(tǒng)$bin/hadoop

namenode

-format啟動(dòng)Hadoop守護(hù)進(jìn)程$bin/start-all.sh$/usr/java/jdk1.6.0_24/bin/jps

格式化分布式文件系統(tǒng)

啟動(dòng)Hadoop守護(hù)進(jìn)程在Linux系統(tǒng)中安裝Hadoop

用戶也可以根據(jù)自己的需要來執(zhí)行如下命令（a）start-all.sh：啟動(dòng)所有的Hadoop守護(hù)進(jìn)程，包括NameNode、DataNode、JobTracker和Tasktrack（b）stop-all.sh：停止所有的Hadoop守護(hù)進(jìn)程（c）start-mapred.sh：啟動(dòng)Map/Reduce守護(hù)進(jìn)程，包括JobTracker和Tasktrack（d）stop-mapred.sh：停止Map/Reduce守護(hù)進(jìn)程（e）start-dfs.sh：啟動(dòng)HadoopDFS守護(hù)進(jìn)程，包括NameNode和DataNode（f）stop-dfs.sh：停止DFS守護(hù)進(jìn)程修改C:\WINDOWS\system32\drivers\etc\hosts文件，加入三臺虛擬機(jī)的IP地址及其對應(yīng)的主機(jī)名，即： localhost36ubuntunamenode40ubuntudata141ubuntudata2在Linux系統(tǒng)中安裝Hadoop

NameNode運(yùn)行狀態(tài)在Linux系統(tǒng)中安裝Hadoop

JobTracker運(yùn)行狀態(tài)

在Linux系統(tǒng)中安裝Hadoop

（g）運(yùn)行WordCount實(shí)例$bin/hadoopdfs–putinputin$bin/hadoopjarhadoop-0.20.2-examples.jarwordcountinout查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理結(jié)果$bin/hadoopdfs-catout/*從Hadoop分布式文件系統(tǒng)復(fù)制到本地文件系統(tǒng)查看$bin/hadoopdfs-getoutoutput$catoutput/*（h）停止Hadoop守護(hù)進(jìn)程$bin/stop-all.sh在Linux系統(tǒng)中安裝Hadoop

運(yùn)行WordCount實(shí)例

查看數(shù)據(jù)處理結(jié)果停止Hadoop守護(hù)進(jìn)程運(yùn)行結(jié)果

在Windows系統(tǒng)中安裝Hadoop

1．安裝環(huán)境配置1）下載安裝Cygwin編輯系統(tǒng)變量，新建系統(tǒng)變量CYGWIN，變量值為ntsectty，如圖6-19所示。編輯系統(tǒng)變量里的Path變量，加入C:\cygwin\bin

2）安裝Java默認(rèn)的安裝目錄為C:\ProgramFiles\Java\jdk1.6.0_13新建系統(tǒng)變量JAVA_HOME編輯系統(tǒng)變量里的Path變量，加入%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin新建系統(tǒng)變量CLASSPATH，值為.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar2.安裝步驟1）單機(jī)模式默認(rèn)的解壓縮目錄為用戶的根目錄，即C:\cygwin\home\Administrator。編輯conf/hadoop-env.sh文件，將JAVA_HOME變量設(shè)置為JAVA安裝的根目錄。例如JAVA安裝在目錄C:\ProgramFiles\Java\jdk1.6.0_13在Windows系統(tǒng)中安裝Hadoop

配置完之后即可運(yùn)行WordCount實(shí)例file1.txt:helloworldhellohadoopfile2.txt:byehadoop運(yùn)行實(shí)例，并將結(jié)果輸出到指定的output目錄（執(zhí)行之前output目錄必須為空，或者不存在這個(gè)目錄，否則會(huì)出錯(cuò)）$bin/hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput2）偽分布式模式（1）編輯文件conf/core-site.xml和mapred-site.xml（2）安裝配置SSH啟動(dòng)cygwin$ssh-host-config當(dāng)詢問“Shouldprivilegeseparationbeused?”時(shí)，輸入no當(dāng)詢問“Doyouwanttoinstallsshdasaservice?”，選擇yes，把sshd作為一項(xiàng)服務(wù)安裝當(dāng)提示“EnterthevalueofCYGWINforthedaemon:[ntsec]”時(shí)，選擇ntsec輸入命令$netstartsshd，啟動(dòng)SSH或通過服務(wù)啟動(dòng)CYGWINsshd在Windows系統(tǒng)中安裝Hadoop

執(zhí)行$ssh-keygen來生成密鑰對，然后一直按【Enter】鍵，就會(huì)按照默認(rèn)的選項(xiàng)將生成的密鑰對保存在.ssh目錄下。將RSA公鑰加入到公鑰授權(quán)文件authorized_keys中$cd.ssh$catid_rsa.pub>>authorized_keys（3）Hadoop運(yùn)行（a）格式化分布式文件系統(tǒng)$bin/hadoopNameNode–format（b）啟動(dòng)Hadoop守護(hù)進(jìn)程$bin/start-all.sh（c）運(yùn)行WordCount實(shí)例$bin/hadoopdfs–putinputin$bin/hadoopjarhadoop-0.20.2-examples.jarwordcountinout查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理的結(jié)果$bin/hadoopdfs-catout/*從Hadoop分布式文件系統(tǒng)復(fù)制到本地文件系統(tǒng)查看$bin/hadoopdfs-getoutoutput$catoutput/*（d）停止Hadoop守護(hù)進(jìn)程$bin/stop-all.sh在Windows系統(tǒng)中安裝Hadoop

3）完全分布式模式

（1）修改相應(yīng)文件修改所有機(jī)器的C:\WINDOWS\system32\drivers\etc\hosts文件，加入各機(jī)器IP地址及其對應(yīng)的主機(jī)名，即： localhost54 centos25453centos25352centos252（2）在所有機(jī)器上建立相同的賬戶stony（3）在所有機(jī)器上進(jìn)行SSH配置執(zhí)行$ssh-keygen來生成密鑰對。然后一直按【Enter】鍵，就會(huì)按照默認(rèn)的選項(xiàng)生成密鑰對，并保存在.ssh/id_rsa文件中。執(zhí)行下面的命令將RSA公鑰加入到公鑰授權(quán)文件authorized_keys中：$cd~/.ssh$catid_rsa.pub>>authorized_keys在centos254上執(zhí)行$cd~/.ssh$scpauthorized_keysstony@cenos253:/home/stony/.ssh$scpauthorized_keysstony@cenos252:/home/stony/.ssh在Windows系統(tǒng)中安裝Hadoop

分別進(jìn)入centos253、centos252和centos251的.ssh目錄，改變authorized_keys文件的許可權(quán)限$chmod644authorized_keys（4）在所有機(jī)器上配置Hadoop在centos254上配置$tar-zxvf/cygdrive/d//hadoop-0.20.2.tar.gz$mvhadoop-0.20.2hadoop編輯conf/core-site.xml編輯conf/mapred-site.xml編輯conf/hdfs-site.xml

在Windows系統(tǒng)中安裝Hadoop

編輯conf/master，修改為master的主機(jī)名，每個(gè)ip一行，在這里就是54。編輯conf/slaves，加入所有slaves的主機(jī)名，即53和52。把hadoop復(fù)制到其他機(jī)器，命令如下：$scp~/hadoopstony@centos253:/home/stony/$scp~/hadoopstony@centos252:/home/stony/編輯所有機(jī)器的conf/hadoop-env.sh文件，將JAVA_HOME變量設(shè)置為JAVA安裝的根目錄，不同機(jī)器可以使用不同的JAVA版本，但需要jdk1.5版本以上在Windows系統(tǒng)中安裝Hadoop

（5）Hadoop運(yùn)行格式化分布式文件系統(tǒng)。在centos254上執(zhí)行如下的命令：$bin/hadoop

namenode

-format啟動(dòng)Hadoop守護(hù)進(jìn)程$bin/start-all.sh同樣的，訪問h