hadoop開發(fā)視頻教程

Hadoop大數(shù)據(jù)解決方案進階應用Hadoop講師：迪倫（北風網版權所有）MapReduce高階實現(xiàn)(7)hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第1頁!計數(shù)器

內置計數(shù)器

用戶定義的Java計數(shù)器

計數(shù)器名稱的易讀性課程目標hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第2頁!計數(shù)器通過計數(shù)器了解待分析的數(shù)據(jù)，比如分析數(shù)據(jù)集中的無效記錄計數(shù)器是一種手機作業(yè)統(tǒng)計信息的有效手段，用于質量控制或應用級統(tǒng)計計數(shù)器可輔助診斷系統(tǒng)故障對于大型分布式作業(yè)而言，使用計數(shù)器檢測事件更為方便獲取計數(shù)器比輸出日志更方便根據(jù)計數(shù)器值統(tǒng)計特定時間的發(fā)生次數(shù)要比分析一堆日志文件容易得多計數(shù)器由其關聯(lián)任務維護，并定期傳給tasktracker，再由tasktracker傳給jobtracker用戶可以自定義計數(shù)器，需要在整個網絡中發(fā)送一個任務的計數(shù)器值每次都是完整傳輸?shù)模窃隽總鬏斨挥挟斪鳂I(yè)執(zhí)行成功后，計數(shù)器的值才是完整可靠的hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第3頁!用戶定義的Java計數(shù)器MapReduce允許用戶編寫程序來定義計數(shù)器，計數(shù)器的值可在mapper或reducer中增加多個計數(shù)器由一個Java枚舉(enum)類型來定義，以便對計數(shù)器分組一個作業(yè)可以定義的枚舉類型數(shù)量不限，各個枚舉類型所包含的字段數(shù)量也不限枚舉類型名稱即為組的名稱，枚舉類型的字段就是計數(shù)器名稱MapReduce框架將跨所有map和reduce聚集這些計數(shù)器，并在作業(yè)結束時產生一個最終結果hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第4頁!用戶自定義計數(shù)器實例實例：統(tǒng)計最高氣溫的作業(yè)，也統(tǒng)計氣溫值缺失的記錄，不規(guī)范的字段和質量代碼hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第5頁!用戶自定義計數(shù)器實例運行程序：

$hadoopjarjob.jarMaxTemperatureWithCountersinput/ncdc/alloutput-counters作業(yè)成功完成執(zhí)行后，可以看到如下輸出：hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第6頁!內置計數(shù)器Hadoop為每個作業(yè)維護若干內置計數(shù)器，以描述該作業(yè)的各項指標Map-Reduce框架計數(shù)器map輸入的記錄、跳過的記錄、輸入的字節(jié)，輸出的記錄、輸出的字節(jié)Combine輸入的記錄、輸出的記錄Reduce輸入的記錄、輸出的記錄、跳過的組、溢出的記錄文件系統(tǒng)計數(shù)器文件系統(tǒng)讀的字節(jié)文件系統(tǒng)寫的字節(jié)作業(yè)計數(shù)器已啟用的map任務、reduce任務（包括推測執(zhí)行的任務）失敗的map任務、reduce任務數(shù)據(jù)本地/機架本地/其他本地的map任務hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第7頁!動態(tài)計數(shù)器動態(tài)計數(shù)器不由Java枚舉類型定義的計數(shù)器定義動態(tài)計數(shù)器：

publicvoidincrCounter(Stringgroup,Stringcounter,longamount)Hadoop會先將Java枚舉類型轉變成String類型，再通過RPC發(fā)送計數(shù)器值使用枚舉類型和String類型在事實上是等價的枚舉類型易于使用，還提供類型安全，適合大多數(shù)作業(yè)使用某些特定場合需要動態(tài)創(chuàng)建計數(shù)器，可以使用String接口hadoop開發(fā)視頻教程共10頁，您現(xiàn)在瀏覽的是第8頁!用戶自定義計數(shù)器實例ha