Hadoop開發(fā)者第一期-大數(shù)據(jù)文檔資料

hadoophadoop技術論壇HaalloHaalloowl技術論壇 Hudoop技術論壇分享互助分享互助歡人貢獻力量的開源者們的共同努力，才有了Hadoop自誕生時的倍受關注到現(xiàn)在能聚到一起，為了一個共同的愛好策劃這本雜志，這本身就是Hadoop魅力的體現(xiàn)。當然，也要感謝大師DougCutting和Hadoop社區(qū)的開源者們，因為有了您，這里才變得如此精彩！《Hadoop開發(fā)者》編輯組2010-1-27目錄2Hadoop在國內應用情況3Hadoop源代碼ecli7在Windows28Nutch與Hadoop31在Windowsec42Hive執(zhí)行計劃解析53海量數(shù)據(jù)存儲和計算平臺的調試器研究63Hadoop計算平臺和Hadoop數(shù)據(jù)倉庫的區(qū)別hadoop技術論壇Hudoop技術論壇Hadoop是Apache下的一個項目，由HDFS、MapReduce、HBase、等成員組成。其中，HDFS和MapReduce是兩HDFS是GoogleGFS的開源版本，一個高度容錯的分布式文件系統(tǒng)，它能夠提供采用Master/Slave結構。NameNode維護集群內的元數(shù)據(jù)，對外提定期向NameNode上報心跳，NameNode通過響應心跳來控制DataNode。InfoWord將MapReduce評為2009年十大新興技術的冠軍。MapReduce是大規(guī)模數(shù)據(jù)（TB級）計算的利器，Map和Reduce是它的主要思想，來源于函數(shù)式編程語言，它的原h(huán)adoop技術論壇Hudoop技術論壇更多的數(shù)據(jù)請瀏覽：/在2009年度還舉辦過幾次Hadoop技術大會，加速了Ha hadoop技術論壇Hudoop技術論壇Hadoop各成員源代碼下載地址：/rep/repos/asf/hadoop/common/trunk，原因是/repos/asf/hadoop/common目錄下包括了很多非源代編譯Hadoop會依賴很多第三方庫，但編譯工2.3.java些文件，但這個不是必須的，下載不成功時，并未見出錯，2.5.Eclipsehadoop技術論壇Hudoop技術論壇步驟1)在Elipse的Package視圖中單擊右鍵，hadoop技術論壇Hudoop技術論壇Name為common_Builder（Name可以改成其它的，但建議使用common_Builder，因為Hadoop各成員都需要編譯成jar，所以做如下圖所示的一個修改： hadoop技術論壇Hudoop技術論壇 1.安裝JDK不建議只安裝JRE，而是建議直接安裝JDK，因為安裝JDK時，可以同時安裝JRE。MapReduce程序的編寫和Hadoop的編譯都依賴于JDK，光JRE是不夠的。JRE下載地址：/zh_CN/download/manual.jspCygwin安裝程序下載地址：/setup.exe，當然也可以從/setup.exe下載，本教程下載的是Cygwin1.7.1。setup.exe的存 hadoop技術論壇Hudoop技術論壇hadoop技術論壇Hudoop技術論壇hadoop技術論壇Hudoop技術論壇4.安裝sshd服務hadoop技術論壇Hudoop技術論壇5.啟動sshd服務6.配置ssh登錄執(zhí)行ssh-keygen命令生成密鑰文件，一路直接回車即可，如cd~/..ssh/cpid_rsa.pubauthorized_keys接下來，重新運行Cygwin，執(zhí)行sshlocalhost命令，在第一次執(zhí)行時，會有如下圖如果是Windows域用戶，這步操作可能會hadoop技術論壇Hudoop技術論壇這個錯誤暫無解決辦法，問題的解決情況，可關注Hadoop技術論壇中的貼：7.下載hadoop安裝包/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-exportJAVA_HOME=/cygdrive/d/java/jdk1.6.0_13文件復制到D:\hadoop\run\conf目錄下，并將core-default.xml文件名改成core- hadoop技術論壇Hudoop技術論壇文件復制到D:\hadoop\run\conf目錄下，并將hdfs-default.xml文件名改成hdfs-功之后，可以執(zhí)行./hadoopfs-ls/命令，查看hado作者：小米Email：gshexianghui@126.com推薦Hadoop技術論壇。hadoop技術論壇Hudoop技術論壇HexianghuiNameNode、master、jobTrackerDataNode、slave、taskTrackerDataNode、slave、taskTracker臺做DataNode,slave,taskTracker。關于這幾個概念，可以參考Hadoop的官方文檔/itdreams2009/blog/item/dae1cf1208b53e8a6438dbac.html/blog/static/680550312008481822419/安裝openssh-server：$sudoapt-getinstallopenssh-serverhadoop技術論壇Hudoop技術論壇$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa，直接回車，完成后會在~/.ssh/生成兩個文件：id_dsa和id_dsa.pub。這兩個是成對出現(xiàn)，類似鑰匙和鎖。再把id_dsa.pub追加到授權key文件)：$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys。完成后可以實現(xiàn)無密碼登錄本機：$sshlocalhost。(2)實現(xiàn)NameNode無密碼登錄其他DataNode：$scpid_dsa.pubhexianghui@:/home/hexiangb.登錄，執(zhí)行$catid_dsa.pub>>.ssh/authorized_keys注意：如果配置完畢，如果namenode依然不能訪問datanode，可以authorized_keys：$chmod600authorized_keys。$sudoufwdisable安裝。本例的安裝路徑為/home/hexianghui/jdk1.6.0_14。exportexportJAVA_HOME=/home/hexianghui/jdk1.6.0_14exportJRE_HOME=/home/hexianghui/jdk1.6.0_14/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH下載hadoop-0.20.1.tarexportHADOOP_HOME=/home/hexianghui/hadoop-0.20.1exportHADOOP_HOME=/home/hexianghui/hadoop-0.20.1 hadoop技術論壇Hudoop技術論壇exportPATH=$HADOOP_HOME/bin:$PATHexportPATH=$HADOOP_HOME/bin:$PATH$gedithadoop-env.sh$exportJAVA_HOME=/home/heximasters:(3)配置conf/core-site.xml,conf/hdfs-site.xml<configuration><!globalproperties--><property><name>hadoop.tmp.dir</name><value>/home/hexianghui/tmp</value><description>Abaseforothertemporarydirectories.</description></property><!--filesystemproperties--><property><name></name><value>hdfs://:9000</value></property></configuration>hdfs-site.xml:(replication默認為<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>mapred-site.xml:<configuration><property><name>mapred.job.tracker</name><value>:9001</value></property></configuration>進入hadoop-0.20.1/bin，首先格式化文件系統(tǒng)：啟動Hadoop：$start-all.sh查看集群狀態(tài)：$hadoopdfsadmin-repo$echo“HelloWorldByeWorld”>file01$echo“HelloHadoopGoodbyeHadoop”>file02$hadoopjarhadoop-0.20.1-examples.jarwordcountinputoutput$hadoopfs-catoutput/part-r-00000hadoop技術論壇Hudoop技術論壇IP欺騙。下載地址：/soft/20089.htm問題以及解決方法發(fā)送到gshexianghui@126.com或者貼在hadoopor技術論壇上hadoop技術論壇Hudoop技術論壇在Windows上使用eclipse編寫Hadoop應用程序本文檔通過圖文結合的方式，展現(xiàn)在Windows上編2.創(chuàng)建Java工程的class，并選中自動創(chuàng)建main函數(shù)，如下圖hadoop技術論壇4.源代碼publicclassDFSOperator{/***@paramargs*/publicstaticvoidmain(String[]args){//TODOAuto-generatedmethodstubConfigurationconf=newConfiguration();try{FileSystemfs=FileSystem.get(conf);Pathf=newPath("hdfs:///dfs_operator.txt");FSDataOutputStreamos=fs.create(f,true);inti=0;for(i=0;i<100000;++i)os.writeChars("test");os.close();}catch(IOExceptione){//TODOAuto-generatedcatchblocke.printStackTrace();}}}5.編譯生成JARhadoop技術論壇hadoop技術論壇按上圖所示，設置好JAR包的文件名和存放位置，然后點擊“Finish”按鈕，生成 hadoop技術論壇(1)查看當前目錄，檢查dfs_operator.jar是否存在：ls(2)查看Hadoop根目錄下是否存在dfs_operator.txt文件：./hadoopfs-ls/./hadoopjar./dfs_operator.jarDFSOperator(4)再查看Hadoop根目錄下是否存在dfs_operator.txt文件：./hadoopfs-ls/(5)檢查dfs_operator.txt文件的內容：./hadoopfs-cat/dfs_operator.txt hadoop技術論壇Hudoop技術論壇作者：飛鴻雪泥Email：jaguar13@論文(/papers/bigtable-發(fā)語言是Java，因此它同樣具有跨平臺的特性，同樣也可以安裝在Windows操作系統(tǒng)上。本文主要闡述在偽分布式模式(Pseudo-distributedmode)下，在W使用Cygwin來安裝、運行和測試HB文以及HBase項目官網(http://hadooHadoop教程》一文。但是根據(jù)筆者的安裝過程，列出以下幾點hadoop技術論壇雜志創(chuàng)刊號中《在Windows上安裝Hadoop教程》一文中的值保持一致，設置為：<name>hbase.rootdir</name><description>Thedirectorysharedbyregionservers.Shouldbefully-qualifiedtoincludethefilesystemtouse.E.g:hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR</description><name>hbase.tmp.dir</name><description>Temporarydirectoryonthelocalfilesystem.</description>4.修改hbase-site.xml配置文件中的“hbase.zookeeper.quorum”屬性的值為<name>hbase.zookeeper.quorum</name><value></value><description>CommaseparatedlistofserversintheZooKeeperQuorum.Forexample,",,host3.mydomainBydefaultthisissettolocalhostforlocalandpseudo-distributedmodesofoperationForafully-distributedsetup,thisshouldbesettoafulllistofZooKeeperquorumservers.IfHBASE_MANAGES_ZKissetinhbase-env.shthisisthelistofserverswhichwewillstart/stopZooKeeperon.</description> hadoop技術論壇4.測試至此，HBase在Windows操作系統(tǒng)中利用Cygwin工具已經安裝完成，并運行良好。用 hadoop技術論壇作者：若冰Email：pi.bingfeng@master：,hostname:crawlerslaver：，hostname:徑為:/usr/java/jdk1.6.0_113.在master上安裝tomcat，設安裝路徑為:示例：從master()到一個scproot@:/root/.sshcat1_rsa.pub>>authorized_keys.5.在master及slave上都要補充/etc/hosts文件配置，將master及slave的IP及vi/etc/hosts:l實驗步驟:3.修改/data/nutch-1.0/conf/hadoop-s<?<?xmlversion="1.0"?> hadoop技術論壇Hudoop技術論壇<?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name></name><value>hdfs://:54310</value><description>master的IP地址加端口，如果沒有沖突，不要修改端口</description></property><property><name>mapred.job.tracker</name><value>hdfs://:54311</value><description>jobtraker的配置，master的IP地址加端口</description></property><<property><<name>dfs.replication</name><value>1</value><description>replicationofdfssystem，測試階段可以設為1</description></</property><property><name>hadoop.tmp.dir</name><value>/data/hadoopdata/tmp</value><description>Abaseforothertemporarydirectories.</description></property><property><name>dfs.data.dir</name><value>/data/hadoopdata/data</value><description>DetermineswhereonthelocalfilesystemanDFSdatanodeshouldstoreitsblocks.Ifthisisacomma-delimitedlistofdirectories,thendatawillbestoredinallnameddirectories,typicallyondifferentdevices.Directoriesthatdonotexistareignored.</description></property><property><name>.dir</name><value>/data/hadoopdata/name</value><description>DetermineswhereonthelocalfilesystemtheDFSnamenodeshouldstorethenametable(fsimage).Ifthisisacomma-delimitedlist hadoop技術論壇Hudoop技術論壇ofofdirectoriesthenthenametableisreplicatedinallofthedirectoriesdirectories,forredundancy.</description></</property></configuration>說明：在hadoop的0.20等新版本中，取消了h#Thejavaimplementationtouse.Required.exportJAVA_HOME=/usr/java/jdk1.6.0_11我們修改該文件，以抓取網站為例。修改/data/nutch-1.0/conf/crawl-urlfilter.txt文件如下：#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/+^http://([a-z0-9]*\.)*/<property><name></name><value>nutch-1.0</value><description></description></property>在master本機建立url入口地址，這里只添bin/hadoopfs–putroot.txtrooturlhadoop技術論壇Hudoop技術論壇jar-xvfnutch-1.0.tar/usr/local/tomcat/webapps/nutch<property><name>searcher.dir</name><value>/data/search</value><description></description></property>4.啟動tomcat，查詢測試地址：http://172.16.100.3.在抓取之前，必須確保各個slave與4.有些網站的robots.txt對爬蟲做了限制，不本教程假設你已經掌握了Hadoop在Cygwin上的安裝，以及Hive在WindowsEclipse上的編譯技能，否則請先掌握安裝和編譯方法，3.安裝Hadoop和編譯Hhadoop技術論壇Hudoop技術論壇編譯Hive成功后，還不能立即調試Hive，需要先將編譯后生成的jar安裝好。3)將E:\hadoop\src\hive\build目錄下相關的j錄下，README和LICENSE文件不用復制。需要復制的jar文件如下圖所示：hadoop技術論壇Hudoop技術論壇在“Newlaunchconfiguration”界面中，點擊hadoop技術論壇Hudoop技術論壇“E:\hadoop\run\lib”和“E:\hadoop\run\hive\lib”兩個目錄下所有的hadoop技術論壇Hudoop技術論壇在上圖所示對話框中，選擇“AddExtern加進來，然后點擊“Apply”按鈕，結while((line=reader.readLine(curPrompt+">"))!=null){Scannersc=newScanner(System.in);hadoop技術論壇Hudoop技術論壇System.out.print(curPrompt+">");line=sc.nextLine();if(null==line)break;保存修改，再編譯Hive，當編譯成功后F5：單步，并進入函數(shù)內F6：單步，但不進入函數(shù)內F7：從當前函數(shù)內跳到上一級調用有關eclipse更多的快捷鍵，請參考貼：http://bbs.hadoopor.c要供從C/C++等非java語言轉過來的Hadoop開發(fā)者。歡迎大家加入Hadoop技術論壇（hadoop技術論壇作者：李均Email：fiberlijun@之間的界限已經變得模糊。Greenplum和AsterData兩家初創(chuàng)的數(shù)據(jù)庫公司分別推出了集Facebook的開源項目Hive在Hadoop之上提供了類似于SQL的查開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持Hhadoop-0.19.1集成了hive，安裝配置起來比往常版本要更加傻瓜化。exportHADOOP=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop-0.19.1ExportIVE_HOME=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop-0.19.1/contrib/hive hadoop技術論壇Hudoop技術論壇CREATETABLEtcss(domain_idINT,log_timeSTRING,log_dateSTRING,log_typeINT,uinBIGINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LOCATION'/user/hivetest/tcss';缺省配置下，Hive會在hadoop文件系統(tǒng)創(chuàng)建目錄/user/hive/warehouse/tcss來存放數(shù)據(jù)hadoopfs-put./tcss_20090301_qq.small/user/hivetest/tcss/small1hadoopfs-put./tcss_20090301_qq.small/user/hivetest/tcss/small210180,2009-03-0100:34:44,2009010180,2009-03-0100:34:44,2009010180,2009-03-0100:34:46,2009030110180,2009-03-0100:34:48,20090301,101810180,2009-03-0100:34:50,2009030INSERTOVERWRITETABLEtcssoutselecttcss.*fromtcss;INSERTOVERWRITEDIRECTORY'/tmp/reg_4'FIELDDELIMITER','selecttcss.*fromtcss;selectcount(tcss.uin)fromtcss;要求，就采用mapred.reduce.tasks這個參數(shù)作為hadoop技術論壇Hudoop技術論壇FROMuserINSERTOVERWRITETABLEuser_activeSELECTuser.*WHEREuser.active=true;FROMpage_viewpvJOINuseruON(pv.userid=u.id)INSERTOVERWRITETABLEpv_usersSELECTpv.*,u.gender,u.ageWHEREpv.date=2008-03-03;FROMpage_viewpvJOINuseruON(pv.userid=u.id)JOINfriend_listfON(u.id=f.uid)INSERTOVERWRITETABLEpv_friendsSELECTpv.*,u.gender,u.age,ff.riendsWHEREpv.date=2008-03-03;FROMpv_usersINSERTOVERWRITETABLEpv_gender_sumSELECTpv_users.gender,count(DISTINCTpv_users.userid)GROUPBYpv_users.gender;FROMpv_usersINSERTOVERWRITETABLEpv_gender_aggSELECTpv_users.gender,count(DISTINCTpv_users.userid),count(),sum(DISTINCTpv_users.userid)GROUPBYpv_users.gender;UnionallCasestatement（Hivehadoop技術論壇Hudoop技術論壇4.1.準備每個目錄有1個數(shù)據(jù)文件。具體見下圖每個目錄有1個數(shù)據(jù)文件,具體見下圖。接下來我們要qzone_partion_t按partdate參數(shù)做Partition存儲，注意pCREATETABLEqzone_partion_t(logidstring,datetime1string,uin1bigint,datetime2string,uin2bigint,ipstring,logtypeint,mdatestring)PARTITIONEDBY(partdateDATETIME)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'LOCATION'/user/distribute-hadoop-boss/ISD_QZONE';2）把hadoop某個目錄的文件按Parti先建一個臨時表映射到目錄/ISD/20090717，表結構和上面的一致，只是沒有partitionCREATEEXTERNALTABLEqzone_20090717(logidstring,datetime1string,uin1bigint,datetime2string,uin2bigint,ipstring,logtypeint,mdatestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'LOCATION'/user/distribute-hadoop-boss/ISD/20090717';再把臨時表的所有內容按PARTITION(partdate='2009-07-17')參數(shù)插入qzone_partion_tFROMqzone_20090717tINSERTOVERWRITETABLEqzone_partion_tPARTITION(partdate='2009-07-17')select*;上面這個過程其實是一個拷貝過程通過map完成，見下圖。如果目錄內容很大會有一通過上述操作我們把./ISD/20090717到./ISD/20090722六個目錄的數(shù)據(jù)按日期partition插入到了qzone_partion_t表里。每個partition對應一個子目錄，比如：hadoop技術論壇Hudoop技術論壇1.針對某一個partition日期查詢，hive只會對partition對應的這個目錄做selectcount(1)fromqzone_partion_twhereqzone_partion_t.partdate='2009-07-17';2.針對某個partition區(qū)間查詢，hive也只會對對相應目錄selectcount(1)fromqzone_partion_twhereqzone_partion_t.partdate>='2009-07-01'andpartdate<='2009-07-30';庫中，通過自己的SQL去查詢分析需要的內容，這套SQL簡稱Hivehadoop技術論壇Hudoop技術論壇解析執(zhí)行計劃劃生成對應的MapReduce任務提交給Hadoo中不刪除，一份保存在HDFS緩存區(qū)內，執(zhí)行結束后成，整個任務計劃可能會包含多個MapReduce任務和非MapReduce任務，一個MapReduce在整個的任務執(zhí)行中，HiveSql任務經歷了“語法解析->生 INSERTOVERWRITETABLEdestj1SELECTsrc1.key,src2.value FROMsrcsrc1JOINsrcsrc2ON(src1.key=src2.key); BaseSemanticAnalyzerDriverDriverParseDriverSQL抽象語法樹->QB(QueryBlock)->邏輯計劃樹(Operator)->執(zhí)行計劃樹TokenStreamHiveLexer圖3就是在語法解析過程中的類之間的關系。在程序編譯過程中antlr解件會生成HiveLexer.java與HivePars字段，HiveParser通過statement方法生成對應的語法樹，并通過statement_return的TokenStreamHiveLexerHiveParser+execStatement()+statement():statement_returnHiveParserXTokenRewriteStreamHiveLexerX+setTreeAdaptor(in:CommonTreeAdaptor)CommonTreeAdaptorHiveParserXTokenRewriteStreamHiveLexerX+setTreeAdaptor(in:CommonTreeAdaptor)CommonTreeAdaptor-leaf-HiveParserANTLRNoCaseStringStreaminsertClauseselectClausefromClause(whereClause)?(groupByClause)?(orderByClause)?(clusterByClause)?(distributeByClause)?(sortByClause)?(limitClause)?->^(TOK_QUERYfromClause^(TOK_INSERTinsertClauseselectClause(whereClause)?(groupByClause)?(orderByClause)?(clusterByClause)?(distributeByClause)?(sortByClause)?(limitClause)?))|selectStatement)分析。對獨立的SQL進行select、from、析并加載到QBParseInfo中，如果是復合查詢的話自然在語法樹種記錄publicvoiddoPhase1(ASTNodeast,QBqb,Phase1Ctxctx_1){QBParseInfoqbp=qb.getParseInfo();booleanskipRecursion=false;if(ast.getToken()!=null){skipRecursion=true;switch(ast.getToken().getType()){...caseHiveParser.TOK_SELECT:...//selectcaseHiveParser.TOK_WHERE:...//wherecaseHiveParser.TOK_FROM:...//fromcaseHiveParser.TOK_SORTBY:...//sortcaseHiveParser.TOK_ORDERBY:...//ordercaseHiveParser.TOK_GROUPBY:...//groupcaseHiveParser.TOK_LIMIT:...//limitcaseHiveParser.TOK_UNION:...//uniondefault:skipRecursion=false;break;}}if(!skipRecursion){//迭代子查詢intchild_count=ast.getChildCount();for(intchild_pos=0;child_pos<child_count;++child_pos){//遞歸doPhase1((ASTNode)ast.getChild(child_pos),qb,ctx_1);}} EXPLAININSERTOVERWRITETABLEdestj1SELECTsrc1.key,src2.valueFROMsrcsrc1JOINsrcsrc2ON(src1.key=src2.key);Stage-0dependsonstages:StageAlias->MapOperatorTreMap-reducepartitioncolumnhadoop技術論壇Hudoop技術論壇Map-reducepartitioncolumnInnerJoin0to1conditionexpressionoutputColumnNames:_col0,_cooutputColumnNames:_col0,_coorg.apache.hadoop.mapreduce.lib.input.org.apache.hadoop.hive.ql.io.HiveIgnoreKeyThadoop技術論壇Hudoop技術論壇serde:org.apache.hadoop.hive.serde2.lazy.LazySimpleinputformat:org.apache.hadoop.mapreduce.lib.inoutputformat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyserde:org.apache.hadoop.hive.serdStage-1isarootstageStage-0dependsonstages:Stage-1SELECTsrc1.key,src2.valueFROMsrcsrc1JOINsrcsrc2ON(src1.key=src2.key);(2)insertoverwriteintodest_j1； 道src1與src2分別是連接查詢的元數(shù)據(jù)列，就如同執(zhí)行了select*fromsrcsrc1;與select*fromsrcsrc2;兩個Map任務產生的輸出成為了Reduce的輸入文件。表的時候，沒有指定該表的存儲格式，默認會以Text為存儲格式，輸入輸出會以TextInputFormat與TextOutputFinputformat:org.apache.hadoop.mapreduce.lib.input.TextInputFormatoutputformat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormatserde:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDename:destj1_ hadoop技術論壇Hudoop技術論壇Serde值為org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe類，這時這個對outputformat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat可注意，通常我們使用的Hadoop程序中看到OutFormat的RecordWriter中方法write(key,value)是同時輸出key與value值，而在這里LazySimp一步驗證:ProtectedstaticclassIgnoreKeyWriterextendsRecordWriter{publicsynchronizedvoidwrite(Kkey,Vvalue)throwsIOException{this.mWriter.write(null,value);}}Stage-2對應上面提到的第二步操作。這時stage-1產生的臨時處理文件舉例如tmp,需要經過stage-2階段操作處理到dest_j1表中。MoveOperator代表了這并不是一個MapReduce任務，只需要調用MoveTask的處理就行，在處理之前會去檢查輸入文件是否符db.loadTable(newPath(tbd.getSourceDir()),tbd.getTable().getTableName(),tbd.getReplace(),newPath(tbd.getTmpDir()));if(work.getOutputs()!=work.getOutputs().add(newWriteEntity(table));hadoop技術論壇MapReduce是現(xiàn)今一個非常流行的分布式計算框架，它被設計用于并行計算海量數(shù)據(jù)。第一個提出該技術框架的是Google公司，而Google的靈hadoop技術論壇每個Map任務都有一個用來寫入輸出數(shù)據(jù)的循環(huán)內存緩沖區(qū)。這個緩沖區(qū)默認大小是(io.sort.mb*io.sort.spill.percent，其中io.在把緩沖區(qū)的數(shù)據(jù)寫到磁盤前，會對它進行一個二次快速排序，首先根據(jù)數(shù)據(jù)所屬的程，最大歸并路數(shù)由io.sort.factor控制(默認是10)。如果）， hadoop技術論壇對寫入到磁盤的數(shù)據(jù)進行壓縮（這種壓縮同Combiner的壓縮不一樣）通常是一個很好的方法，因為這樣做使得數(shù)據(jù)寫入磁盤的速度更快，節(jié)省磁盤空間，并減少需要傳送到無務已完成。Reducers通過HTTP來獲取對應的數(shù)據(jù)。用來傳輸partitions數(shù)據(jù)的工作線程個數(shù)由tasktracker.http.threads控制，這個設定是針對每一個TaskTracker的，并不是單個Map，默認值為40，在運行大作業(yè)的大集群上可以增大以提升數(shù)據(jù)傳輸速率?，F(xiàn)在讓我們轉到Shuffle的Reduce部分。Map的輸出文件放置在運行Map任務的是寫到HDFS它是運行Reduce任務的TaskTracker所mapred.reduce.parallel.copies來改變線程數(shù)，默認是5。通知信息是通過心跳通信機制傳輸?shù)?。因此針對一個特定的作業(yè)，JobTracker知道Map輸出的地址，直到把所有的數(shù)據(jù)都取到。在Reducer取走了Map輸出之后，TaskTrackers不會立即刪除這些數(shù)據(jù)，因為Reducer可能會失敗。它們會在整個作業(yè)完成后，JobTracker如果Map輸出足夠小，它們會被拷貝到ReduceTaskTracker的內存中（緩沖區(qū)的大小由mapred.job.shuffle.input.buffer.percent控制，制定了用于此目的的堆內存的百分（由mapred.job.shuffle.memapred.inmem.merge.thre當所有的Map輸出都被拷貝后，Reduce任務進入排序階段（更恰當?shù)恼f應該是歸并階假設這里有50個Map輸出（可能有保存在內存中的并且歸并因子是10（由hadoop技術論壇接寫到輸出文件系統(tǒng)，一般是HDFS。在HDFS中，因為TaskTracker節(jié)點也運行著一個DataNode進程，所以第一個塊備份會直海量數(shù)據(jù)存儲和計算平臺的調試器研究hadoop技術論壇Job直接面向用戶，由用戶提交，并且用戶可以控制它的運行。每一個Job5.Job優(yōu)先級可以有多個絕對優(yōu)先級Job，多個絕對優(yōu)先級的Job之間6.時間片和Task操作系統(tǒng)的調度器是有時間片概念的，以達到并多進程并發(fā)運行的目的。同樣，hadoop技術論壇到空閑的CPUCORE上，即使當前的Job是否處于絕對優(yōu)先級，目的是為了最大的利用硬由于本調度策略充分利用了硬件資源，具體工作節(jié)點的內存占用主要分三部分：框架公共部分內存、Tasks框架占用內存和Tasks設一個block大小為64M，且一次性將它映射到內存）以內.，一個帶4個CPUCORE的節(jié)點需要的內存也不會超過1G，其余的內存供Taskshadoop技術論壇如果數(shù)據(jù)量一直在以TB級的數(shù)量增長，系統(tǒng)需要支撐PB量級，甚至EB量級時，什從存儲和計算的分層角度來看：存儲和計算兩個層面都鍵一點就是看均衡控制得如何，均衡還會影響到它的核心功能——調度通常采用規(guī)避的辦法來解決這個問題，由編寫MapReduce代碼的程序員來保證，這也使得MapReduce的調度器無法實現(xiàn)得相當靈活，多調度策略無法使用，而只能分集群多調度器hadoop技術論壇新的模型仍然保持簡單性，針對reduce輸入不均衡的缺陷，在reduce之前增加balance一層，這層的作用就是保證reduce的輸入是均衡的，同時保證語義不變，因此用戶需要實現(xiàn)的接口由map和reduce兩個變成三個，還需要實現(xiàn)bapublicclassMapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{protectedvoidmap(KEYINkey,VALUEINvalue,Contextcontext}publicclassReducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{protectedvoidreduce(KEYINkey,Iterable<VALUEIN>values,Contextcontext);}publicclassBalancer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{protectedvoidbalance(KEYINkey,VALUEINvalue);}hadoop技術論壇聚集后的結果相同，對于前者可以考慮在map端優(yōu)4.1.MBR優(yōu)點(2)可以實現(xiàn)非常強的調度器，有關調度器的研究，請參見《海量數(shù)4.2.MBR缺點