大數(shù)據(jù)平臺規(guī)劃方案匯報(bào)

1、 大數(shù)據(jù)平臺有助于提升現(xiàn)網(wǎng)分析能力 p 基于Hadoop構(gòu)建 大數(shù)據(jù)的用戶行為 分析系統(tǒng) p 系統(tǒng)提供了核心的 分布式云存儲、分 布式并行計(jì)算、分 布式數(shù)據(jù)倉庫、分 布式列數(shù)據(jù)庫整體 解決方案 路由器 路由 器 互聯(lián)網(wǎng) 分光鏡像 日志采集 網(wǎng)元設(shè)備(GGSN PDSNWAP網(wǎng)關(guān)、NET網(wǎng)關(guān)/ 數(shù)據(jù)采集Agent Apache日志 DPI 數(shù)據(jù)爬取 數(shù)據(jù)爬取 建設(shè)方案 防火墻 WWW網(wǎng)站 WAP網(wǎng)站 正向采集 用戶行為 數(shù)據(jù) 反向采集 互聯(lián)網(wǎng)數(shù) 據(jù) 方案延伸 p 基于Hadoop的大數(shù)據(jù)解決方案提供了 基礎(chǔ)的云存儲和云計(jì)算的能力，基于 該技術(shù)框架可進(jìn)行應(yīng)用的擴(kuò)展和衍 生。 p 基于用戶互聯(lián)網(wǎng)訪問

2、行為分析結(jié)果， 形成詳細(xì)的戶興趣愛好列表，可進(jìn)行 即時(shí)、精準(zhǔn)的廣告投放 collector Pcap數(shù)據(jù)（DPI） 核心設(shè)備話單 互聯(lián)網(wǎng)頁面數(shù)據(jù) 20 大數(shù)據(jù)平臺有效提升數(shù)據(jù)查詢速度 Ø 以手機(jī)上網(wǎng)詳單查詢?yōu)閼?yīng)用案例 關(guān)鍵性指標(biāo) 數(shù)據(jù)存儲 p 上網(wǎng)記錄入庫時(shí)間：一般 小于30分鐘，實(shí)際約10分 鐘 p 歷史5個(gè)月+當(dāng)前月 數(shù)據(jù)查詢 p 上網(wǎng)記錄查詢速度：不高 于1秒（不含用戶訪問查詢 頁面的時(shí)間） p 并發(fā)查詢數(shù)目：1000請求 /秒 系統(tǒng) 構(gòu)成 p 系統(tǒng)主要包含數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、 數(shù)據(jù)查詢與分析子系統(tǒng) p 采用Hadoop/HBase作為上網(wǎng)記錄存儲方

3、案 p 采用MapReduce/Hive作用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具 21 大數(shù)據(jù)平臺適應(yīng)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)整合應(yīng)用 n 項(xiàng)目背景 運(yùn)營商建設(shè)有多套垂直的網(wǎng)管子系統(tǒng)，目前系統(tǒng)數(shù)據(jù)集中程度不夠，還未形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù) 共享框架，對運(yùn)營支撐的支撐力度不夠，而網(wǎng)絡(luò)運(yùn)維分析在面向服務(wù)轉(zhuǎn)型的過程中對數(shù)據(jù)的匯聚和共 享要求極為迫切，因此需要建立統(tǒng)一的網(wǎng)管資源池 p 網(wǎng)管資源池主要負(fù)責(zé)各個(gè)垂直網(wǎng)管子系統(tǒng)信令數(shù)據(jù)、日志數(shù)據(jù)的、告警數(shù)據(jù)的統(tǒng)一管理，實(shí)現(xiàn)跨平臺 的數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用和數(shù)據(jù)共享等功能， p 網(wǎng)管統(tǒng)一資源池需提供海量歷史數(shù)據(jù)的查詢功能，滿足運(yùn)維人員日常信息查詢和信息追溯的需要。 p 系統(tǒng)與呼叫中心

4、、工單系統(tǒng)對接，實(shí)現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)） p n 難點(diǎn)分析 多個(gè)垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)千差萬別，抽取后的數(shù)據(jù)無法關(guān)聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關(guān)系型數(shù) 據(jù)庫優(yōu)勢無法體現(xiàn) p 系統(tǒng)需要滿足OLAP類應(yīng)用分析，并面向上層應(yīng)用提供一致性的數(shù)據(jù)查詢，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫受限 于數(shù)據(jù)體量和數(shù)據(jù)種類，無法滿足多類型的海量數(shù)據(jù)的查詢和分析要求 p 系統(tǒng)需同時(shí)從多個(gè)數(shù)據(jù)源實(shí)現(xiàn)數(shù)據(jù)庫數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的ETL工具無法滿足流 式數(shù)據(jù)的采集要求，導(dǎo)致進(jìn)程擁塞。 p n 建設(shè)方案 基于不同的數(shù)據(jù)源及應(yīng)用分析模式采用Flume、Sqoop等系統(tǒng)工具完成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入 基于HDFS實(shí)現(xiàn)海量歷史數(shù)據(jù)的存儲 Hive組件可通過SQL命令完成大數(shù)據(jù)的統(tǒng)計(jì)分析，并與傳統(tǒng)關(guān)系型數(shù)