eclipse hadoop開發(fā)環(huán)境配置

1、eclipse hadoop開發(fā)環(huán)境配置win7下安裝hadoop完成后，接下來就是eclipse hadoop開發(fā)環(huán)境配置了。具體的操作如下：一、在eclipse下安裝開發(fā)hadoop程序的插件安裝這個(gè)插件很簡單，haoop-0.20.2自帶一個(gè)eclipse的插件，在hadoop目錄下的 contribeclipse-pluginhadoop-0.20.2-eclipse-plugin.jar，把這個(gè)文件copy到eclipse的eclipseplugins目錄下，然后啟動(dòng)eclipse就算完成安裝了。這里說明一下，haoop-0.20.2自帶的eclipse的插件只能安裝在eclipse

2、 3.3上才有反應(yīng)，而在eclipse 3.7上運(yùn)行hadoop程序是沒有反應(yīng)的，所以要針對eclipse 3.7重新編譯插件。另外簡單的解決辦法是下載第三方編譯的eclipse插件，下載地址為：/p/hadoop-eclipse-plugin/downloads/list由于我用的是Hadoop-0.20.2，所以下載hadoop-0.20.3-dev-eclipse-plugin.jar.然后將hadoop-0.20.3-dev-eclipse-plugin.jar重命名為hadoop-0.20.2-eclipse-plugin.jar，把它c(diǎn)op

3、y到eclipse的eclipseplugins目錄下，然后啟動(dòng)eclipse完成安裝。安裝成功之后的標(biāo)志如圖：1、在左邊的 project explorer 上頭會(huì)有一個(gè) DFS locations的標(biāo)志2、在 windows - preferences里面會(huì)多一個(gè)hadoop map/reduce的選項(xiàng)，選中這個(gè)選項(xiàng)，然后右邊，把下載的hadoop根目錄選中如果能看到以上兩點(diǎn)說明安裝成功了。二、插件安裝后，配置連接參數(shù)插件裝完了，啟動(dòng)hadoop，然后就可以建一個(gè)hadoop連接了，就相當(dāng)于eclipse里配置一個(gè) weblogic的連接。第一步，如圖所示，打開Map/Reduce Loc

4、ations 視圖，在右上角有個(gè)大象的標(biāo)志點(diǎn)擊第二步，在點(diǎn)擊大象后彈出的對話框進(jìn)行進(jìn)行參數(shù)的添加，如下圖location name: 這個(gè)隨便填寫，我填寫的是：localhost.Map/Reduce Master 這個(gè)框里Host：就是jobtracker 所在的集群機(jī)器，這里寫localhostHort：就是jobtracker 的port，這里寫的是9001這兩個(gè)參數(shù)就是mapred-site.xml里面mapred.job.tracker里面的ip和portDFS Master 這個(gè)框里Host：就是namenode所在的集群機(jī)器，這里寫localhostPort：就是namenode

5、的port，這里寫9000這兩個(gè)參數(shù)就是core-site.xml里面里面的ip和port（Use M/R master host，這個(gè)復(fù)選框如果選上，就默認(rèn)和Map/Reduce Master這個(gè)框里的host一樣，如果不選擇，就可以自己定義輸入，這里jobtracker 和namenode在一個(gè)機(jī)器上，所以是一樣的，就勾選上）user name：這個(gè)是連接hadoop的用戶名，因?yàn)槲沂怯胹ony用戶安裝的hadoop，而且沒建立其他的用戶，所以就用sony。下面的不用填寫。然后點(diǎn)擊finish按鈕，此時(shí)，這個(gè)視圖中就有多了一條記錄。第三步，重啟eclipse并

6、重新編輯剛才建立的那個(gè)連接記錄，如圖現(xiàn)在我們編輯advance parameters tab頁（重啟編輯advance parameters tab頁原因：在新建連接的時(shí)候，這個(gè)advance paramters tab頁面的一些屬性會(huì)顯示不出來，顯示不出來也就沒法設(shè)置，所以必須重啟一下eclipse再進(jìn)來編輯才能看到）這里大部分的屬性都已經(jīng)自動(dòng)填寫上了，其實(shí)就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置屬性展示出來。因?yàn)樵诎惭bhadoop的時(shí)候，其site系列配置文件里有改動(dòng)，所以這里也要弄成一樣的設(shè)置。主要關(guān)注的有以下屬性：：這個(gè)在General tab頁已經(jīng)設(shè)置了mapred.job.tracker：這個(gè)在General tab頁也設(shè)置了dfs.replication：這個(gè)這里默認(rèn)是3，因?yàn)槲以趆dfs-site.xml里面設(shè)置成了1，所以這里也要設(shè)置成1hadoop.job.ugi：剛才說看不見的那個(gè)，就是這個(gè)屬性，這里要填寫：sony,Tardis，逗號前面的是連接的hadoop的用戶，逗號后面就寫死Tardis然后點(diǎn)擊finish，然后就連接上了，連接上的標(biāo)志如圖：DFS Locations下面會(huì)有一只大象，下面會(huì)有一個(gè)文件夾，即