二級(jí)工程實(shí)踐用戶流量分析1組作業(yè)

Product密級(jí)ityProductTotalXpagesX擬制 日期審核 日期簡 編寫目 適用范 術(shù)語定 參考資 Use UseCase概 業(yè)務(wù)流 接口詳 綜分與DPI間策略接 DPI到大數(shù)據(jù)數(shù)據(jù)接 UseCase1:指定大類指定小類應(yīng)用APP的流量趨勢分 UseCase2:指定應(yīng)用大類所有應(yīng)用小類的APP流量趨勢分 UseCase3:所有應(yīng)用大類的APP流量趨勢分 MR定時(shí)啟 Flume數(shù)據(jù)接收解 具體的MapReduce HBase中的表結(jié)構(gòu)設(shè) Mysql所需表（庫 UseUseCase分析類以堆積圖的方式呈現(xiàn)，Top分析以表格的方式呈現(xiàn)、占比分析以餅圖的方式呈現(xiàn)。（DPI需回應(yīng)相應(yīng)的ACK給綜分平臺(tái)，已確保策略正常下發(fā)DPIDPIU接口規(guī)范，對(duì)于本用例，綜分平臺(tái)需下發(fā)流量分析結(jié)DPI值UcUcMessageMessageNMessageSequenceJMessageKUc值PacketUd1Packet0054IPUsocketLDPI值UcUcMessageMessageMessageSequenceMessageMUcMessageDPIMessageNDPIMessageJDPI設(shè)備所收到策略的序列號(hào),MessageSequenceNo0-DPI值UdUdDPIPacketPacketPacketMUd44212144M4MUseCase1:APP趨勢APP、時(shí)間段段（起始日期和結(jié)束日期）APP在0:5JSONapp_dataJSONfreq、startdateenddatestartdate和enddatefreq0，則返回的數(shù)據(jù)中，應(yīng)該288個(gè)元素。UseCase2:指定應(yīng)用大類所有應(yīng)用小類的APP量趨勢0:5未識(shí)別應(yīng)用",[0,0,0,0,33,0,……0,0,0,]],["人人網(wǎng)app_dataJSONfreq、startdateenddatestartdate和enddatefreq0，則返回的數(shù)據(jù)中，應(yīng)該288個(gè)元素。:0:5未識(shí)別應(yīng)用",[0,0,0,0,33,0,……0,0,0,]],["人人網(wǎng)app_dataJSONfreq、startdateenddate參288個(gè)元素。在定時(shí)執(zhí)行MapReduce后，先向namenode獲得各個(gè)節(jié)點(diǎn)的數(shù)據(jù)的位置和文件信MR5APP的流量趨勢分析指定應(yīng)用大類所有應(yīng)用小類APP流量趨勢APP流量趨勢分析描述：DPI55MapReduce處理數(shù)據(jù)HBase，DPIMapReduce。TOPN流量TOPNappTOPN流量者占比存入天Top表或者占比表中。每月1號(hào)00:00HBase中的天Top表或者M(jìn)apReduceTopTop表或者占比表中。Host5描述：DPI55MapReduce處理數(shù)據(jù)HBase，DPIMapReduce。需求：TopNTopTop表中。指 5描述：DPI55MapReduce處理數(shù)據(jù)HBase，DPIMapReduce。TopN類指定的用戶趨勢分析者占比存入天Top表或者占比表中。每月1號(hào)00:00HBase中的天Top表或者M(jìn)apReduceTopTop表或者占比表中。大數(shù)據(jù)接收采用Flume組件接5140FlumeUseCase1APP的流量趨勢值UdUdDPIPacketPacketPacketMUd44212144M4MDPIflume接收然后將分ip加到報(bào)文頭中然后解析。java類型轉(zhuǎn)換，將二進(jìn)制字段轉(zhuǎn)化為明文信息。包名：tocol(數(shù)據(jù)接收包，UdMsgdecorderV2.java)org.apacheflume.custom.source.parse.tools(數(shù)據(jù)解析工具包,BussinessType.java)org.apacheflume.custom.source.parse.type(業(yè)務(wù)類型解析包,InternetApp BusinessType類：業(yè)務(wù)類型判斷（PacketType、PacketSubType）不同業(yè)務(wù)類：解析不同業(yè)務(wù)存入hdfs不同的431031112244420142614494243444解析的數(shù)據(jù)以數(shù)據(jù)預(yù)定到HDFS上，每個(gè)字段以\001分隔，一行為一條：/flume/business/InternetAppysis/日期（2015-07-20）/時(shí)間（00-00）/數(shù)UseCase2單個(gè)應(yīng)用大類APP流量趨勢5.2.3FlumeAPP的流UseCase3應(yīng)用大類APP流量趨勢5.2.3FlumeAPP的流數(shù)據(jù)以MR方式處理每由flume接收在HDFS中的數(shù)據(jù)，其中處理過程HBase表，區(qū)別是行鍵不一樣，方便對(duì)時(shí)間粒度不一致的查詢。MapReduceHDFSMap進(jìn)行判斷應(yīng)用小類ID0MysqlAppId號(hào)，將其入庫拼接0AppIdmysqlAppName，并將其入庫拼接到行鍵中。其中在Reduce將數(shù)據(jù)按不同的行鍵入庫兩張HBase表中，這兩種表的區(qū)別是拼接行鍵中g(shù)enTraff_5minute比genTraff_hour少一個(gè)屬于哪個(gè)小時(shí)的值。UseCase1APP的流量趨勢需要根據(jù)數(shù)據(jù)中的AppType（id）mysqlapptypetypename（大類AppId（id）mysqlappdef表中獲取對(duì)應(yīng)的appname（小類名稱數(shù)據(jù)到hdfs/flume/business/InternetApp 錄中，MapReduce5分鐘一個(gè)周期包名：greenet.InternetApp ysisMapper：MapReduceHBaseMapmysqlInternetAppysisReduce：MapReduce入庫HBaseReduce類，聚合入庫HBase根據(jù)5.3.3中指定大類指定小類應(yīng)用APP的流量趨勢分析中HBase表結(jié)構(gòu)入庫genTraff_5minutegenTraff_hourUseCase2單個(gè)應(yīng)用大類APP流量趨勢與use UseCase3應(yīng)用大類APP流量趨勢與use HBase指定應(yīng)用大類所用應(yīng)用小類的APP流量趨勢分析APP流量趨勢分析—成1—數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，13位毫秒值時(shí)間——如上報(bào)的業(yè)務(wù)沒有對(duì)應(yīng)AppID0使用本應(yīng)用的用戶數(shù)統(tǒng)計(jì)周期內(nèi)本應(yīng)用4Session5Session6使用本應(yīng)用的用戶匯總總數(shù)，初始值為數(shù)據(jù)中AppUserNum上行流量，初始值 下行流量，初始值 統(tǒng)計(jì)周期內(nèi)本應(yīng)用產(chǎn)生的報(bào)文數(shù)，初AppPacketsNum值A(chǔ)ppSessionsNum值m——數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，13位毫秒值時(shí)間——如上報(bào)的業(yè)務(wù)沒有對(duì)應(yīng)AppID0使用本應(yīng)用的用戶數(shù)統(tǒng)計(jì)周期內(nèi)本應(yīng)用4Session5Session6使用本應(yīng)用的用戶匯總總數(shù)，初始值為數(shù)據(jù)中AppUserNum上行流量，初始值 下行流量，初始值 統(tǒng)計(jì)周期內(nèi)本應(yīng)用產(chǎn)生的報(bào)文數(shù)，初AppPacketsNum值A(chǔ)ppSessionsNum值mtop查詢和占比查詢所用的表（一天入庫一次）APPTOPN流量APPTOPN流量—id1—數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，13位毫秒值時(shí)間——如上報(bào)的業(yè)務(wù)沒有對(duì)應(yīng)AppID0使用本應(yīng)用的用戶數(shù)統(tǒng)計(jì)周期內(nèi)本應(yīng)用4Session5Session6使用本應(yīng)用的用戶匯總總數(shù)，初始值 AppUserNum上行流量，初始值 下行流量，初始值 統(tǒng)計(jì)周期內(nèi)本應(yīng)用產(chǎn)生的報(bào)文數(shù)，初AppPacketsNum值A(chǔ)ppSessionsNum值m—ID、月、小類id1—數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，位毫秒值時(shí)間——如上報(bào)的業(yè)務(wù)沒有對(duì)應(yīng)AppID0使用本應(yīng)用的用戶數(shù)統(tǒng)計(jì)周期內(nèi)本應(yīng)用4Session5Session6使用本應(yīng)用的用戶匯總總數(shù)，初始值為數(shù)據(jù)中AppUserNum上行流量，初始值 下行流量，初始值 統(tǒng)計(jì)周期內(nèi)本應(yīng)用產(chǎn)生的報(bào)文數(shù)，初AppPacketsNum值A(chǔ)ppSessionsNum值mInligentTerminalDay(天—表主鍵由數(shù)據(jù)日Type按”\001”拼1—數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，13位毫秒值時(shí)間———表主鍵由數(shù)據(jù)年1—數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，13位毫秒值時(shí)間——單用戶分析應(yīng)用偏好（所有應(yīng)用小類的TOPN）—表主鍵,（分三個(gè)、用戶AppName或者類—數(shù)據(jù)統(tǒng)計(jì)結(jié)束時(shí)間，13位毫秒值時(shí)間——Mysql所需表（列1列9UseCase1APP的流量趨勢0:5JSONJSONtraffic_uptraffic_downJSONfreq、startdateenddatestartdateenddatefreq0，