Hadoop開發(fā)環(huán)境eclipse搭建

1、1.1. 文檔說明本文檔包含使用eclipse開發(fā)工具基于hadoop平臺(tái)開發(fā)Map/Reduce的說明和示例。2. 開發(fā)前準(zhǔn)備下面所述中除了MR要安裝在服務(wù)器上之外，其他的都是需要在本地開發(fā)環(huán)境上安裝。2.1. 安裝MR由于Map/Reduce的運(yùn)行依賴于MR，所以要提前將MR安裝在服務(wù)器上，并且保證MR的hdfs和mr進(jìn)程運(yùn)行正常。同時(shí)復(fù)制MR到本地，解壓到任意目錄，供本地開發(fā)使用，服務(wù)器上MR的安裝請(qǐng)參考MR相關(guān)安裝手冊(cè)。2.2. 安裝Cygwin如果本地開發(fā)環(huán)境的操作系統(tǒng)是Windows，需要先安裝Cygwin，如果是Linux則不需要。2.2.1. Cygwin的安裝如果只是Dmp的

2、本地開發(fā)可以不安裝Cygwin；Cygwin可以在windows環(huán)境下安裝一個(gè)linux模擬環(huán)境來進(jìn)行調(diào)試。在安裝Cygwin之前，得先下載Cygwin安裝程序setup-x86.exe。Cygwin安裝程序下載地址：Cygwin 安裝程序的存放目錄可隨意無要求。當(dāng)下載成功后，運(yùn)行setup-x86.exe，彈出如下圖所示的對(duì)話框：在上圖所示的對(duì)話框中，直接點(diǎn)擊“下一步”，進(jìn)入如下圖所示的對(duì)話框：在上圖所示的對(duì)話框中，選擇“Install from Internet”，然后點(diǎn)擊“下一步”，進(jìn)入如下圖所示對(duì)話框：在上圖所示的對(duì)話框中，設(shè)置Cygwin 的安裝目錄，Install For 選擇“A

3、ll Users”，DefaultText File Type 選擇“Unix/binary”，然后點(diǎn)擊“下一步”，進(jìn)入如下圖所示對(duì)話框：在上圖所示的對(duì)話框中，設(shè)置Cygwin 安裝包存放目錄，然后點(diǎn)擊“下一步”，進(jìn)入如下圖所示對(duì)話框：在上圖所示的對(duì)話框中，根據(jù)實(shí)際網(wǎng)絡(luò)情況選擇連網(wǎng)方式，然后點(diǎn)擊“下一步”，如果進(jìn)入如下圖所示對(duì)話框：在上圖所示的對(duì)話框中，點(diǎn)擊“下一步”，將進(jìn)入如下圖所示的對(duì)話框：進(jìn)入“Select Packages”對(duì)話框后，必須保證“Net Category”下的“OpenSSL和openssh”被安裝，如下圖所示：如果還打算在eclipse 上編譯Hadoop，則還必須安裝

4、“Base Category”下的“sed”，如下圖所示：當(dāng)完成上述操作后，點(diǎn)擊“Select Packages”對(duì)話框中“下一步”，進(jìn)入Cygwin 安裝包下載過程，如下圖所示：等待安裝包下載完畢，當(dāng)下載完后，會(huì)自動(dòng)進(jìn)入到如下圖所示的對(duì)話框：在上圖所示的對(duì)話框中，選中“Create icon on Desktop”，以方便直接從桌面上啟動(dòng)Cygwin，然后點(diǎn)擊“完成”按鈕。至此，Cgywin 已經(jīng)安裝完。2.2.2. 配置環(huán)境變量Cygwin 的bin 目錄，以及Cygwin 的usrsbin 目錄都必須添加到PATH 環(huán)境變量中，如下圖所示：2.2.3. 安裝sshd服務(wù)點(diǎn)擊桌面上的Cyg

5、win圖標(biāo)，啟動(dòng)Cygwin，執(zhí)行ssh-host-config命令，如下圖所示：在執(zhí)行ssh-host-config 時(shí)，當(dāng)要求輸入yes/no 時(shí)，選擇輸入yes，如下圖所示：當(dāng)出現(xiàn)提示是否要將sshd作為windows服務(wù)安裝時(shí)，選擇yes然后出現(xiàn)下圖所示時(shí)輸入：ntsec完成配置，如下圖所示：2.2.4. 啟動(dòng)sshd服務(wù)在桌面上的“我的電腦”圖標(biāo)上單擊右鍵，點(diǎn)擊“管理”菜單，進(jìn)入Windows 計(jì)算機(jī)管理，如下圖所示：在上圖所示的對(duì)話框中，選中“CYGWIN sshd”，彈出右鍵，并啟動(dòng)CYGWIN sshd服務(wù)，成功后，如下圖所示：當(dāng)CYGWIN sshd 的狀態(tài)為“已啟動(dòng)”后，接

6、下來就是配置ssh 登錄。2.2.5. 配置ssh登錄執(zhí)行ssh-keygen命令生成密鑰文件，需要輸入時(shí)，直接按回車鍵即可，如果不出錯(cuò)，應(yīng)當(dāng)是需要三次按回車鍵。接下來生成authorized_keys文件：cd .ssh/cat id_rsa.pub > authorized_keys完成上述操作后，執(zhí)行exit命令先退出Cygwin窗口，至此，配置ssh 登錄成功，下面就可以開始安裝DMP了。.2.3. 安裝JDKJDK安裝此處不再詳述，需要注意的是JDK 必須是1.6 或以上版本，建議使用最新的1.7版本。安裝完成后需要配置環(huán)境變量JAVA_HOME 指向JDK 安裝目錄；JDK的

7、bin 目錄需添加到Path環(huán)境變量中。2.4. 安裝eclipse和eclipse插件2.4.1. 安裝eclipse下載eclipse4.2或者更高版本，解壓到安裝目錄即可使用。建議使用公司的Cloud-IDE集成開發(fā)環(huán)境，到下面地址下載最新版本的Cloud-IDE。0:8080/UMAP/update/download.html2.4.2. 安裝hadoop插件復(fù)制 Hadoop版本插件hadoop-2.0.0-cdh4.1.5-eclipse-plugin.jar 到 eclipse安裝目錄/plugins/ 下，其中插件是自己從網(wǎng)上下載的與hadoo

8、p版本配套的插件版本，重啟eclipse。如果安裝插件成功，打開Window->Preferens，你會(huì)發(fā)現(xiàn)Hadoop Map/Reduce選項(xiàng)，在這個(gè)選項(xiàng)里你需要配置Hadoop installation directory，輸入在本地MR解壓后所在的目錄（hadoop中的所有l(wèi)ib需要在此目錄下），如下圖所示：點(diǎn)擊OK，回到eclipse主界面，然后點(diǎn)擊window->Show View->Other，找到Map/Reduce Locations并選中，如下所示：點(diǎn)擊OK，回到eclipse主界面，在Map/Reduce Locations視圖中依此點(diǎn)擊右鍵，選擇New Hadoop location，出現(xiàn)如下圖所示：其中Location name是用來標(biāo)識(shí)當(dāng)前配置的，由用戶自定義，在Map/Reduce Master選項(xiàng)卡里Host為安裝好的MR服務(wù)器（jobtracker）的IP地址或域名，Port為服務(wù)器上jobtracker的監(jiān)聽端口，DFS Master選項(xiàng)卡里Host為安裝好的MR服務(wù)器（NameNode）的IP地址或域名，如果與jobtracker同在一臺(tái)機(jī)器上則勾選Use M/R Master host，端口為NameNode的監(jiān)聽端口，User name為使