云計算虛擬化hadoop實驗報告

1、四川大學(xué)計算機(jī)學(xué)院、軟件學(xué)院實驗報告學(xué)號：姓名：專業(yè)：班級：9 第15周課程 名稱云計算與分布式系統(tǒng)實驗課時6實驗 項目在最終部署的 Hadoop上運行 WordCount程序?qū)嶒灂r間2015年6月11日星期四實驗 目的1. 首先通過Linux系統(tǒng)和KVM虛擬機(jī)的安裝達(dá)成對Linux系統(tǒng)與虛擬機(jī)相關(guān)知識的了解和熟悉；2. 通過Linux下JAVA-ADT勺安裝以及Hadoop的相關(guān)配置了解Hadoop的基礎(chǔ)知識及基礎(chǔ)的應(yīng)用 方法；3. 通過多臺主機(jī)的虛擬化以及 Hadoop的聯(lián)合部者，在該平臺上運行 WordCou nt程序，體驗基本 的云計算的雛形應(yīng)用并加深對云計算相關(guān)知識的了解。實驗 環(huán)境

2、硬件環(huán)境：PC機(jī)軟件環(huán)境：Ubuntu鏡像，Linux鏡像以及KVM虛擬機(jī)程序包實驗背景1. 在云計算及其相關(guān)應(yīng)用日益火爆的今天，我們通過課堂上老師講述的云計算相關(guān)的基本知識， 已經(jīng)對于利用Hadoop的配置實現(xiàn)一個較為簡單的云計算環(huán)境有了一定的認(rèn)識，因此，在本課程的期末設(shè)計中，我們采用 Linux下的Hadoop搭建來運行一些簡單的程序比如 Wordcount來 達(dá)成對云計算的實現(xiàn)的基本知識的學(xué)習(xí)效果；2. 本實驗中使用的是MapReduce勺編程模型，采用“分而治之”的基本思想，把對大規(guī)模數(shù)據(jù)集 的操作，分發(fā)給一個主節(jié)點管理下的各個分節(jié)點共同完成， 然后通過整合各個節(jié)點的中間結(jié)果， 得到最

3、終結(jié)果。簡單地說，MapReduce就是"任務(wù)的分解與結(jié)果的匯總"3. 在Hadoop中，用于執(zhí)行 Map Reduce任務(wù)的機(jī)器角色有兩個：一個是 JobTracker ;另一個是 TaskTracker，JobTracker是用于調(diào)度工作的，TaskTracker是用于執(zhí)行工作的。一個 Hadoop 集群中只有一臺JobTracker ;4. 但是值得注意的一點是若要使用本實驗中的 MapReduce來處理數(shù)據(jù)集（或任務(wù)），其必須具備 如下特點：待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行實驗內(nèi)容（算 法、 程 序、 步驟 和方 法）地進(jìn)行處

4、理。二、Linux及KVM虛擬機(jī)安裝1. 首先我們找到比較常用的 Linux適用版本鏡像文件，這里我們使用的是圖形化做得非常好的 Ubuntu ，然后使用UltraISO做出一個啟動盤并在電腦上做出一個雙系統(tǒng)，分區(qū)大小我們參照網(wǎng)絡(luò)上的建議將主分區(qū)目錄設(shè)置為 20G成功做出一個Linux系統(tǒng)（這里我忘了截圖了）裝機(jī)的過程和下面的虛擬機(jī)裝機(jī)是一樣的。2. 然后我們在完成Linux下的基礎(chǔ)軟件安裝的情況下進(jìn)行程序的KVM虛擬機(jī)安裝，首先使用如下指令：$ egrep -o '（vmx|svm）' /proc/cpuinfo檢查Linux是否支持安裝 KVM結(jié)果顯示是可以安裝的，于是我們

5、這里使用指令：$ apt-get in stallqemu-kvmlibvirt-b invirt-ma nagerbridge-utils 安裝KVM虛擬機(jī)，安裝過程是自動完成的，如下圖所示：3. 經(jīng)驗證我們發(fā)現(xiàn)KVM是安裝成功并且正常運行的，安裝成功的驗證指令為：# lsmod | grep kvm, 到這里KVM的安裝就基本完成了。4. 然后我們需要在KVM上創(chuàng)建一個虛擬機(jī)，具體操作步驟如下：在根下創(chuàng)建images目錄，在images下創(chuàng)建iso 和test 目錄。5. 之后我們使用指令：virt-i nstall -n ame ubu ntutest -hvm -ram 1024 -v

6、cpus 1 -disk path=/images/test/,size=10 -n etwork n etwork:default -accelerate -vnc-vncport=5911 -cdrom /images/iso/- d創(chuàng)建虛擬機(jī)，至此我們基本完成了前期的基礎(chǔ)性工作，操作流程圖如下所示：虛擬機(jī)裝機(jī)界面：6. 虛擬機(jī)創(chuàng)建完成之后還可以使用# virsh list- all指令驗證虛擬機(jī)是否存在，以及# virshstart VMNAME指令啟動虛擬機(jī)三、SSH的創(chuàng)建及使用首先創(chuàng)建Hadoop用戶組，使用指令：$ sudo addgroup hadoop ,然后創(chuàng)建一個Hadoo

7、p用戶，使用如下指令：$ sudo adduser -ingroup hadoop hadoop,并且為用戶添加權(quán)限，使用如下指令：$ sudo gedit /etc/sudoers,操作截圖如下所示：1.2. 然后我們使用新增加的Hadoop用戶登錄Ubuntu系統(tǒng)，之后我們使用指令sudo apt-getin stall ope nssh-server安裝ssh，運行截圖如下所示：3. ssh安裝元成之后我們使用指令：sudo /etc/ssh start啟動服務(wù)，并且使用指令 ps -e | grep ssh查看服務(wù)是否啟動正確，程序運行截圖如下所示：4. 然后我們設(shè)置免密碼登錄并生成公

8、鑰和私鑰，使用如下指令：ssh-keygen -t rsa -P ""，程序運行截圖如下所示：（接 上） 實驗 內(nèi)容（算 法、程 序、 步驟 和方 法）5. 此時會在/ home/hadoop/.ssh下生成兩個文件：id_rsa和，前者為私鑰，后者為公鑰。下面我們將公鑰追加到authorized_keys 中,它用戶保存所有允許以當(dāng)前用戶身份登錄到ssh客戶端用戶的公鑰內(nèi)容。cat /.ssh/ >> /.ssh/authorized_keys，程序截圖如下所6. 最后我們使用指令：ssh localhost 來登錄ssh，元成我們第一部分的前期準(zhǔn)備工作，程序

9、截 圖如下所示：四、JAVA環(huán)境變量配置1.我們使用指令：sudo即t-get in stall openjdk-7-jdk來獲取并安裝java的jdk，并使用指令：java - version來檢測jdk是否安裝成功，程序截圖如下所示：五、安裝Hadoop1. 首先從官網(wǎng)下載Hadoop的安裝包，然后使用指令：sudo tar xzf 將hadoop解壓，然后我們在命令窗口中輸入指令：sudo mv /usr/local/hadoop拷貝到/usr/local/ 下，使用指令：sudochmod 774 /usr/local/hadoop獲取文件讀與權(quán)限，步驟截圖如下所示：2. 然后我們需要

10、對/.bashrc文件進(jìn)行配置，需要知道 JAVHOM環(huán)境變量，使用如下指令查詢：update-alternatives - -config java，然后禾U用指令： sudo gedit /.bashrc打開文本編輯窗口，并如圖所示編輯內(nèi)谷，保存后關(guān)閉，執(zhí)行指令：source /.bashrc使更改生效，步驟截圖如下所示：3.最后我們進(jìn)行目錄為 /usr/local/hadoop/etc/hadoop/的文件更改，執(zhí)行命令：sudo gedit/usr/local/hadoop/etc/hadoop/打開文本編輯窗口，如圖所示修改文本內(nèi)谷，保存后關(guān)閉，步驟截圖如下所示：六、WordCou

11、nt實例測試1. 首先我們在/usr/local/hadoop路徑下創(chuàng)建in put文件夾，使用指令：mkdir in put ，然后使用指令：cp in put將拷貝到in put文件夾下，步驟截圖如下所示：2. 最后到現(xiàn)在我們已經(jīng)基本頭現(xiàn)了程序運行的初始化條件，然后我們輸入如下指令：bin/hadoopjar share/hadoop/mapreduce/sources/ in put output完成程序的運行，運行截圖如下所結(jié) 論 （結(jié) 果）由上圖的實驗記錄以及截圖過程可以看到，本次實驗基本完成了老師的要求，成功安裝linux 操作系統(tǒng)，在linux操作系統(tǒng)中成功安裝KVM虛擬機(jī)，但是在KVMF在安裝linux操作系統(tǒng)還存 在問題，安裝遇到麻煩，并沒有成功。成功安裝JAVA環(huán)境以及hadoop,并成功執(zhí)行了 hadoop下經(jīng)典的WordCount程序，完成了老 師的要求。小結(jié)雖然只是安裝，配置好hadoop的環(huán)境，但是在實驗過程中，并不是想象的那么簡單，還是遇 到了較大的問題。在安裝kvm的時候，由于沒有在操作系統(tǒng)里開虛擬機(jī)，所以造成了后面的命令 一直不能成功，在這里卡了很久。再后來查閱資料后，弄清楚了這些細(xì)節(jié)，才能完成后續(xù)的實驗 安裝操作。然后就是我找的教程上面的 wordcount部分是有錯誤的，導(dǎo)致很