基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案TP07

第七章天氣查詢系統(tǒng)

項目案例預習檢查HBase適合實時查詢嗎？為什么？MapReduce適合實時查詢嗎？為什么？為什么在Mapper或Reducer類中定義的System.out.println()語句不會在客戶端中輸出？請解釋配置項“io.serializations”的作用集中測試2/33訓練的技能點會使用HDFSFS命令能夠進行MapReduce編程能夠讓Mapper輸出到HBase能夠讓Reducer輸出到HBase會使用HBaseJavaAPI進行內(nèi)容查詢能夠使用HBase過濾器進行內(nèi)容查詢能夠部署作業(yè)驅(qū)動客戶端3/33系統(tǒng)概述任務(wù)描述2-1天氣查詢系統(tǒng)天氣數(shù)據(jù)導入查詢某一天的天氣數(shù)據(jù)查詢每年的最高氣溫查詢每年的最低氣溫查詢每年的平均氣溫查詢每年下雨天數(shù)預測明天氣溫4/33任務(wù)描述2-2用例圖演示案例：天氣查詢系統(tǒng)5/33問題分析1：整體開發(fā)思路系統(tǒng)開發(fā)步驟明確需求準備氣象數(shù)據(jù)創(chuàng)建項目編碼順序測試作業(yè)驅(qū)動主程序查詢某天天氣數(shù)據(jù)查詢每年最高（最低、平均）氣溫查詢每年的下雨天數(shù)預測明天的氣溫231546/33問題分析2：界面交互設(shè)計界面交互設(shè)計的原則易用性原則操作方式自然、易理解友好性原則輸入錯誤或系統(tǒng)發(fā)生錯誤有及時的提示7/33問題分析3：技術(shù)分析技術(shù)實現(xiàn)中需要考慮的問題原始數(shù)據(jù)格式數(shù)據(jù)存儲設(shè)計導入數(shù)據(jù)工具選擇離線計算：MapReduce實時查詢：HBase統(tǒng)計年最高、最低、平均氣溫年下雨天數(shù)天氣預測8/33難點分析：理解業(yè)務(wù)統(tǒng)計年最高氣溫、最低氣溫、平均氣溫map階段:依次讀取每一條氣象數(shù)據(jù)，分別輸出MAX、MIN、TEMP值，key應(yīng)為年份reduce階段：分別求出最大值、最小值、平均值統(tǒng)計一年中下雨天數(shù)統(tǒng)計記錄字段FRSHTT，如果R為1則計數(shù)一次天氣預測功能根據(jù)歷史氣象數(shù)據(jù)，統(tǒng)計不同年的同一日期的TEMP、MAX、MIN，再分別求得平均數(shù)模擬預測功能9/33開發(fā)計劃準備數(shù)據(jù)

[30分鐘]用例1：查詢某一天的天氣數(shù)據(jù) [30分鐘]用例2：查詢每年的最高氣溫 [50分鐘]用例3：查詢每年的最低氣溫 [25分鐘]用例4：查詢每年的平均氣溫 [25分鐘]用例5：查詢每年下雨的天數(shù) [30分鐘]用例6：預測明天的氣溫 [50分鐘]10/33準備數(shù)據(jù)使用Mapper逐條導入解析氣象數(shù)據(jù)格式使用TableOutputFormat格式輸出輸出鍵：“STN+YEARMODA”輸出值：解析后的Put實例Configurationconf.setStrings("io.serializations",conf.get("io.serializations"), MutationSerialization.class.getName(), ResultSerialization.class.getName(), KeyValueSerialization.class.getName());使得MapTask可以對TableOutputFormat的輸出鍵/值類型進行序列化演示案例：導入數(shù)據(jù)完成時間：30分鐘11/33用例1：查詢某一天的天氣數(shù)據(jù)2-1需求說明用戶選擇功能【1】，系統(tǒng)提示用戶輸入日期格式根據(jù)輸入日期返回天氣數(shù)據(jù)方法一使用Get對象查詢行鍵“STN+YEARMODA”方法二使用Scan對象對表掃描為Scan添加過渡器SingleColumnValueFilter指導講解需求說明分析完成時間：30分鐘scan.setFilter(newSingleColumnValueFilter(Bytes.toBytes(“info”),

Bytes.toBytes(“YEARMODA”),

CompareOp.EQUAL,Bytes.toBytes(“20080808”)));12/33啟動后是否正確顯示菜單輸入“0”，程序關(guān)閉輸入除“0”以外的操作編號，是否繼續(xù)顯示菜單輸入“1”并輸入正確日期，結(jié)果是否達到預期要求互相驗證完成的程序功能小組長檢查本組完成情況功能測試用例1：查詢某一天的天氣數(shù)據(jù)2-213/33共性問題集中講解常見問題及解決辦法代碼規(guī)范問題調(diào)試技巧共性問題集中講解14/33用例2：查詢每年的最高氣溫2-1需求說明用戶選擇功能【2】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:max”作業(yè)結(jié)束后，查詢表并輸出實現(xiàn)Mappermap()：獲得每一天的最高氣溫，作為本年度最高氣溫的候選項實現(xiàn)Reducerreduce()：從本年度每天的最高溫度中選擇最大值，作為本年度最高氣溫輸出指導講解需求說明完成時間：50分鐘分析15/33輸入“2”，是否正確顯示結(jié)果要求互相驗證完成的程序功能小組長檢查本組完成情況功能測試用例2：查詢每年的最高氣溫2-216/33共性問題集中講解常見問題及解決辦法代碼規(guī)范問題調(diào)試技巧共性問題集中講解17/33用例3：查詢每年的最低氣溫2-1需求說明用戶選擇功能【3】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:min”作業(yè)結(jié)束后，查詢表并輸出實現(xiàn)Mappermap()：獲得每一天的最高氣溫，作為本年度最低氣溫的候選項實現(xiàn)Reducerreduce()：從本年度每天的最低溫度中選擇最小值，作為本年度最低氣溫輸出講解需求說明完成時間：25分鐘練習提示18/33輸入“3”，是否正確顯示結(jié)果要求互相驗證完成的程序功能小組長檢查本組完成情況功能測試用例3：查詢每年的最低氣溫2-219/33共性問題集中講解常見問題及解決辦法代碼規(guī)范問題調(diào)試技巧共性問題集中講解20/33用例4：查詢每年的平均氣溫2-1需求說明用戶選擇功能【4】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:avg”作業(yè)結(jié)束后，查詢表并輸出實現(xiàn)Mappermap()：獲得每一天的平均氣溫，作為本年度平均氣溫的候選項實現(xiàn)Reducerreduce()：從本年度每天的平均溫度中再求平均值，作為本年度平均氣溫輸出講解需求說明完成時間：25分鐘練習提示21/33輸入“4”，是否正確顯示結(jié)果要求互相驗證完成的程序功能小組長檢查本組完成情況功能測試用例4：查詢每年的平均氣溫2-222/33共性問題集中講解常見問題及解決辦法代碼規(guī)范問題調(diào)試技巧共性問題集中講解23/33用例5：查詢每年的下雨天數(shù)2-1需求說明用戶選擇功能【5】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“results”表的列“statistic:rain”作業(yè)結(jié)束后，查詢表并輸出實現(xiàn)Mappermap()：輸出的前提條件是該行的“FRSHTT”中第1位（由0開始）為1實現(xiàn)Reducerreduce()：對輸入key的所有值求和，并按“results”表的行鍵key輸出該求和值到列“statistic:rain”講解需求說明完成時間：30分鐘練習提示24/33輸入“5”，是否正確顯示結(jié)果要求互相驗證完成的程序功能小組長檢查本組完成情況功能測試用例5：查詢每年的下雨天數(shù)2-225/33共性問題集中講解常見問題及解決辦法代碼規(guī)范問題調(diào)試技巧共性問題集中講解26/33用例6：預測明天的氣溫2-1需求說明用戶選擇功能【6】，作業(yè)被提交到Hadoop，并將統(tǒng)計結(jié)果輸出到“forecast”表的列族“item”作業(yè)結(jié)束后，查詢表并輸出列族“item”所有列實現(xiàn)Mappermap()：獲得每年“明天”天氣數(shù)據(jù)，以MapWritable封裝后輸出輸出鍵/值：<STN+明天日期，{TEMP,MAX,MIN}>實現(xiàn)Reducerreduce()：統(tǒng)計所有當天的TEMP、MAX、MIN，并分別求出平均值指導講解需求說明分析完成時間：50分鐘27/33輸入“6”，是否正確顯示結(jié)果要求互相驗證完成的程序功能小組長檢查本組完成情況功能測試用例6：預測明天的氣溫2-228/33共性問題集中講解常見問題及解決辦法代碼規(guī)范問題調(diào)試技巧共性問題集中講解29/33項目總結(jié)講解要點完成情況、技能總結(jié)、經(jīng)驗分享、項目收獲表達要求清晰流暢、有條理、重點突出作品展示30/33技能總結(jié)技術(shù)實現(xiàn)靈活利用Hadoop提供的MapReduce編程模型Mapper在多節(jié)點間并行、逐行分解數(shù)據(jù)原始記錄Reducer合并