某大數(shù)據平臺規(guī)劃方案匯報課件

1、某大數(shù)據平臺規(guī)劃方案匯報某大數(shù)據平臺規(guī)劃方案匯報目 錄二、大數(shù)據平臺整體規(guī)劃一、大數(shù)據應用發(fā)展趨勢目 錄二、大數(shù)據平臺整體規(guī)劃一、大數(shù)據應用發(fā)展趨勢大數(shù)據所謂“大數(shù)據”，指的是所涉及的數(shù)據量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內達到截取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的信息。大數(shù)據處理技術代表了新一代的技術架構，這種架構通過高速獲取數(shù)據并對其進行分析和挖掘，從海量形式各異的數(shù)據源中更有效地抽取出富含價值的信息。從大量數(shù)據中挖掘高價值知識是各界對于大數(shù)據的一個共識。海量數(shù)據可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點。 Google 首席經濟學家 Hal Varia

2、n大數(shù)據主要被用于分析和決策，企業(yè)用以分析的數(shù)據越全面，分析的結果就越接近于真實。大數(shù)據分析意味著企業(yè)能夠從這些新的數(shù)據中獲取新的洞察力，并將其與已知業(yè)務的各個細節(jié)相融合，對企業(yè)產生新的價值。大數(shù)據所謂“大數(shù)據”，指的是所涉及的數(shù)據量規(guī)模巨大到無法通過大數(shù)據對電信運營商的應用價值體現(xiàn)31542自助分析、生產管道可視化、資源解耦隨需而動，營銷實時，以業(yè)務效率提升為標志。提升業(yè)務效率數(shù)據集中到數(shù)據中心，多數(shù)據源管理，透明服務支持，實時的決策和預測能力提升整體經營管理水平。增強管理水平數(shù)據開放服務、與OTT廠商合作的后向收費、廣告等新業(yè)務.創(chuàng)新商業(yè)模式互聯(lián)網化的電子渠道全景體驗、個性化商品推薦、LB

3、S位置營銷、面向客戶個體的深度洞察提升客戶體驗以技術驅動為標志，內存計算、MPP、CEP分而治之的分布式計算讓運營商實時高效決策.技術高效、低成本大數(shù)據對電信運營商的應用價值體現(xiàn)31542自助分析、生產管道上海聯(lián)通數(shù)據平臺現(xiàn)狀精細化營銷數(shù)據中心營賬系統(tǒng)經分(BI)GN口上網話單終端(DM)VAC短彩信中心語音通話詳單客服接觸記錄流媒體平臺詳單位置信令話單基站信息116114企業(yè)黃頁信息渠道應用助銷信息經過一二期的建設，精細化運營平臺的數(shù)據中心，已經成為上海聯(lián)通最大、內容最豐富的數(shù)據倉庫；隨著數(shù)據量的增長，需要對基礎架構做長遠規(guī)劃；有必要深入挖掘數(shù)據價值，研究新的商業(yè)模式，將成本中心轉化為利潤中

4、心上海聯(lián)通數(shù)據平臺現(xiàn)狀精細化營銷數(shù)據中心營賬系統(tǒng)經分(BI)G6擴展性增量式的、幾乎無限的擴展可用性要求系統(tǒng)總是在線運行靈活性靈活可動態(tài)改變的數(shù)據模型擴展性縱向擴展橫向擴展分布式資源集中計算和存儲分布可用性單份數(shù)據數(shù)據復制一致性不要使用分布式事務處理大數(shù)據處理的需求和特點8擴展性增量式的、幾乎無限的擴展可用性要求系統(tǒng)總是在線運行靈低成本運營一體化運營精細化運營全網運營實時、智能化運營集中化建設、管理和維護可不斷線性擴展提高資源綜合利用率標準化功能組件，可共享可復用按業(yè)務量、按需支付BASS與BOSS、CRM的一體化BSS與MSS、OSS、VAS等跨域一體化對外部客戶和應用的一體化片區(qū)化、網格化

5、管理長尾市場、小眾市場的支撐個性化、短周期需求的滿足異地客戶、家庭客戶、集團客戶一點接入、全網服務、全網客戶畫像全國統(tǒng)一套餐、全網營銷、 統(tǒng)一客服實時數(shù)據獲取、處理、分析智能化主動事件觸發(fā)智能管道移動互聯(lián)網業(yè)務運營發(fā)展趨勢對業(yè)務支撐平臺的集中化要求對數(shù)據架構的集中化要求集中化、大容量、高擴展、高可用數(shù)據庫平臺：支持全網型數(shù)據、跨域數(shù)據的整合，形成集中化管理的的企業(yè)級數(shù)據中心高性能：支持3G時代更高的實時性要求、支持動態(tài)資源共享：支持多租戶管理、資源動態(tài)按需供應可重用、標準化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益 數(shù)據集中化趨勢使得運營商面臨著海量數(shù)據的存儲及分析問題

6、，大數(shù)據在支撐移動業(yè)務發(fā)展趨勢中，充當重要角色。電信運營商數(shù)據集中化趨勢低成本運營一體化運營精細化運營全網運營實時、智能化運營集中化8電信運營面臨的大數(shù)據挑戰(zhàn)移動互聯(lián)網和個人消費領域業(yè)務擴展和CEM導致海量數(shù)據的及時分析帶來挑戰(zhàn)運營商一體化集中運營和透明管控，催生巨大的經營分析數(shù)據倉庫，對大數(shù)據的存儲、性能、開放帶來挑戰(zhàn)DPI和信令監(jiān)測，產生的大量事件在存儲和用戶通信行為分析的實時處理性能帶來挑戰(zhàn)ICT融合，核心網絡、運營支撐和VAS業(yè)務數(shù)據的融合催生海量User Profile并集，對大數(shù)據的關聯(lián)分析計算效能帶來挑戰(zhàn)移動互聯(lián)網流量井噴與客戶行為分析業(yè)務融合、能力互通帶來數(shù)據融合提升客戶體驗要

7、求分析網絡服務數(shù)據IT系統(tǒng)集中化和行業(yè)數(shù)據價值挖掘BSS BI數(shù)據：河南17個地市，每天抽取正常用戶數(shù)7000多萬，撥備用戶數(shù)3000多萬，DW層用戶表總量1億多條；語音清單每天2.7億條數(shù)據，GPRS清單每天4.2億條數(shù)據；賬務每天4.7億條數(shù)據 ；GPRS文件每個100M左右，其它文件25M。日接口數(shù)據量：2000G，其中話單 220G，WAP清單 300G ， 工單服務 200G ， 用戶、帳務 300G，其它980G。每月124TB數(shù)據量入庫，歷史數(shù)據保留1年，總數(shù)據量1.45PB。按照用戶數(shù)簡單測算, 6.5億用戶下，總數(shù)據量 10PB!聯(lián)通總部3G互聯(lián)網訪問記錄查詢及分析系統(tǒng)：全國

8、每日新增10TB數(shù)據，每月近萬億條記錄，要存放6個月，約 2PB的上網記錄數(shù)據。上網記錄入庫時間小于30分鐘， 原始上網記錄保留6個月。上網查詢速度不高于1秒，并發(fā)查詢數(shù)1000請求/秒。集群規(guī)模188個數(shù)據節(jié)點，存儲容量2.6 PB10電信運營面臨的大數(shù)據挑戰(zhàn)移動互聯(lián)網和個人消費領域業(yè)務擴展傳統(tǒng)數(shù)據倉庫無法有效存儲日益增長的業(yè)務數(shù)據存儲需求基礎數(shù)據（用戶資料，產品訂購信息）：15G/日*365+40G *12月 = 5T/年考慮20%的業(yè)務增長率后為： 6T/年用戶上網數(shù)據話單數(shù)據：250T/年考慮20%的業(yè)務增長率后為：300T/年MR數(shù)據話單數(shù)據：634G/日634G/日*365 = 2

9、27T/年考慮20%的業(yè)務增長率后為：272T/年BSS數(shù)據新增新增評估中日使用流量（TB）6月 10月隨著業(yè)務發(fā)展數(shù)據量的增加，隨著應用復雜導致的數(shù)據量增加，這些數(shù)據量導致了數(shù)據存儲和處理壓力； 數(shù)據倉庫無法線性擴容，管理難度加大，成本高擴容壓力大，效率下降等傳統(tǒng)數(shù)據倉庫只保存處理后的匯總數(shù)據。在大數(shù)據架構下需要對用戶原始話單進行長期保存。需要擴容大量存儲空間。大數(shù)據使得現(xiàn)有的數(shù)據處理方法面臨新問題用戶層現(xiàn)平臺的數(shù)據保存周期大數(shù)據的數(shù)據保存周期應用層KR/CB/DM層永久保留至少2年數(shù)據存儲層MK層永久保留至少2年DW層5個月永久保留數(shù)據獲取層ODS層37天永久保留面對海量的數(shù)據壓力，需要大

10、數(shù)據平臺提供可供線性擴容的存儲能力。傳統(tǒng)數(shù)據倉庫無法有效存儲日益增長的業(yè)務數(shù)據存儲需求基礎數(shù)據用每個應用需求的變化就是一場災難。由于數(shù)據處理與業(yè)務的緊密關聯(lián)可能需要對中間每個處理環(huán)節(jié)進行逐個調整。重新生成數(shù)據的周期也非常緩慢。由于傳統(tǒng)數(shù)據倉庫的數(shù)據處理流程與業(yè)務保持緊密關聯(lián)。整個數(shù)據加工流程為最終應用服務。為緩解存儲壓力在數(shù)據抽取和清洗階段會過濾掉與業(yè)務無關的數(shù)據記錄和字段。大數(shù)據使得現(xiàn)有的數(shù)據處理方法面臨新問題數(shù)據源明細數(shù)據層 （DW）匯總層（MK）報表數(shù)據標簽庫指標數(shù)據客戶統(tǒng)一視圖應用層DW&MK操作型數(shù)據ODS層Oracle數(shù)據庫精細化營銷架構短信中心經分DMVACGN話單流媒體客服系統(tǒng)

11、計費中心MC話單彩信中心MR數(shù)據BSS用戶互聯(lián)網聯(lián)系方式（總部研究院）241234現(xiàn)網數(shù)據平臺是傳統(tǒng)關系型數(shù)據庫架構。大量的用戶上網、用戶行為等半結構化和非結構化數(shù)據無法保存和處理，缺乏非結構化數(shù)據的處理能力。用戶上網行為等互聯(lián)網行為數(shù)據以結構化數(shù)據方式保存至數(shù)據倉庫中。傳統(tǒng)數(shù)據倉庫無法有效應對大數(shù)據分析需求1現(xiàn)網每日用戶上網HTTP話單達14億條。每月匯總的記錄條數(shù)也近30億條。隨著移動互聯(lián)網正在迅猛增長，傳統(tǒng)數(shù)據倉庫將很難駕馭，無法滿足數(shù)據處理時限和事務處理需求。3面對海量的數(shù)據壓力，需要大數(shù)據平臺提供快速的處理能力。每個應用需求的變化就是一場災難。由于數(shù)據處理與業(yè)務的緊密關聯(lián)大數(shù)據使得現(xiàn)

12、有的數(shù)據處理方法面臨新問題傳統(tǒng)數(shù)據倉庫組網將是大數(shù)據分析的瓶頸現(xiàn)網精細化營銷平臺的數(shù)據庫既存放著所有采集的原始數(shù)據，又承擔所有的數(shù)據加工任務，還承載所有報表和業(yè)務應用的數(shù)據存儲和計算。缺乏對數(shù)據分層分級及生命周期的有效管理。系統(tǒng)核心架構為Oracle數(shù)據庫+小型機+磁陣。數(shù)據存放在磁陣上，計算時由數(shù)據庫服務器從磁陣讀到本地后進行計算結果。隨著數(shù)據量增長，磁盤I/O、網絡帶寬、數(shù)據庫服務器的處理能力將存在瓶頸，處理時延嚴重。由于傳統(tǒng)架構的可擴展性差，無法滿足大數(shù)據的計算的擴容需求。為應對海量數(shù)據處理需求，大數(shù)據將從集中數(shù)據庫向分布式數(shù)據庫進行轉變。計算和存儲資源都由x86服務器提供。大數(shù)據使得現(xiàn)

13、有的數(shù)據處理方法面臨新問題傳統(tǒng)數(shù)據倉庫組網將是大 因為在移動互聯(lián)網和物聯(lián)網上需要有新領域的突破，不同于傳統(tǒng)通信業(yè)務分析特點，需要對內容等非結構化、大容量信息進行有效分析，傳統(tǒng)的架構處理吃力。關系數(shù)據庫引入對XML 的支持仍然無法有效處理 ETL大數(shù)據使得現(xiàn)有的數(shù)據處理方法面臨新問題傳統(tǒng)數(shù)據倉庫無法有效處理新型的業(yè)務數(shù)據主要關鍵技術自然語言理解，文本分詞、語義分析，情感分析或者大規(guī)模計算技術非結構化數(shù)據索引技術，如搜索引擎倒排索引技術多媒體處理，包括圖像識別，語音識別，多媒體索引等技術傳統(tǒng)數(shù)據倉庫無法有效支撐數(shù)據合作運營由于保存原始話單數(shù)據周期較短，合作運營無法追溯歷史原始數(shù)據?，F(xiàn)網傳統(tǒng)主數(shù)據庫

14、的設計只適用與向上層提供既定好的數(shù)據分析任務結果。對外開放底層數(shù)據將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據處理流程。同時數(shù)據的處理方式及結果也恐難以滿足合作運營的需要。大數(shù)據平臺的架構將數(shù)據分層管理。在各層提供數(shù)據開放接口，以滿足不同數(shù)據需求。將更有效支撐數(shù)據合作運營。同時歷時數(shù)據能促使合作在第一時間就開展起來。 因為在移動互聯(lián)網和物聯(lián)網上需要有新領域的突破，不同于目 錄二、大數(shù)據平臺整體規(guī)劃一、大數(shù)據應用發(fā)展趨勢目 錄二、大數(shù)據平臺整體規(guī)劃一、大數(shù)據應用發(fā)展趨勢上海聯(lián)通大數(shù)據平臺目標架構及定位準實時采集批量采集Hadoop平臺MPP，基于X86平臺主數(shù)據倉庫分布式數(shù)據庫基于X86平臺數(shù)據采集（

15、云化ETL，流數(shù)據處理、爬蟲）數(shù)據層獲取層能力層精細化營銷智能運營物聯(lián)網應用應用商店客服應用基礎分析能力數(shù)據挖掘能力實時分析能力自助分析能力多維分析能力數(shù)據共享能力指標應用報表應用主題分析專題分析互聯(lián)網GN口半結構化、非結構化數(shù)據BSS經分DMVACMC話單業(yè)務平臺結構化數(shù)據數(shù)據源分布式文件系統(tǒng) HDFS記錄明細數(shù)據HBaseM/RHive記錄匯總數(shù)據數(shù)據統(tǒng)一服務和開放SQL、FTP、WS、MDX、API、分布式數(shù)據庫（MPP）：存儲加工、關聯(lián)、匯總后的業(yè)務數(shù)據，并提供分布式計算，支撐數(shù)據深度分析和數(shù)據挖掘能力，向主數(shù)據倉庫輸出KPI和高度匯總數(shù)據。主數(shù)據倉庫（與MPP合設）：存儲指標數(shù)據、K

16、PI數(shù)據和高度匯總數(shù)據。Hadoop云平臺：負責存儲海量的流量話單數(shù)據，提供并行的計算和非結構化數(shù)據的處理能力，實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力。數(shù)據開放接口：向大數(shù)據應用方提供大數(shù)據平臺的能力。數(shù)據采集（ETL）：負責源數(shù)據的采集、清洗、轉換和加載包括：1、把原始數(shù)據加載到Hadoop平臺。2、把加工后的數(shù)據加載分布式數(shù)據庫和主數(shù)據倉庫應用層上海聯(lián)通大數(shù)據平臺目標架構及定位準實時采集批量采集HadooHDFS：分布式文件系統(tǒng)有較強的容錯性可在x86平臺上運行，減少總體成本可擴展，能構建大規(guī)模的應用HBase：非結構化NoSQl分布式數(shù)據庫 基于分布式文件系統(tǒng)HDFS，保證數(shù)據安全列

17、式存儲，節(jié)省存儲空間提供大數(shù)據量的高速讀寫操作Hive：分布式關系型數(shù)據庫數(shù)據可保存在HDFS，可提供海量的數(shù)據存儲類SQL的查詢語句，提供大數(shù)據的統(tǒng)計和分析操作，適合海量數(shù)據的批處理通過MapReduce實現(xiàn)大規(guī)劃并行計算MapReduce：大規(guī)劃并行計算引擎可將任務分布并行運行在一個集群服務器中Hadoop平臺提供了海量數(shù)據的分布式存儲與處理的框架?；诜掌鞅镜氐挠嬎闩c存儲資源， Hadoop集群可以擴展到上千臺服務器。同時，Hadoop在設計時充分考慮了硬件設備的不可靠因素，在軟件層面提供數(shù)據和計算的高可靠保證。大數(shù)據平臺： Hadoop主要功能HBaseMapReduceHiveHD

18、FS快速的數(shù)據讀取大數(shù)據存儲統(tǒng)計復雜計算并行處理HDFS：分布式文件系統(tǒng)Hadoop平臺提供了海量數(shù)據的分布Shared Nothing代表數(shù)據庫：GreenPlum、Vertica、Teradata適合大數(shù)據量的OLAP應用缺點優(yōu)點線性擴展：X86平臺高可用性較低新型MPP數(shù)據庫主要構建在x86平臺上，為無共享架構（Share Nothing），依靠軟件架構上的創(chuàng)新和數(shù)據多副本機制，實現(xiàn)系統(tǒng)的高可用性和可擴展性。負責深度分析、復雜查詢、KPI計算、數(shù)據挖掘以及多變的自助分析應用等，支持PB級的數(shù)據存儲。大數(shù)據平臺： 分布式數(shù)據庫新型MPP分布式數(shù)據庫基于開放平臺x86服務器大規(guī)模的并發(fā)處理能

19、力無單點故障，可線性擴展多副本機制保證數(shù)據安全支撐PB級的數(shù)據量支持SQL，開放靈活Shared Nothing代表數(shù)據庫：GreenPlum、數(shù)據分級存儲原則數(shù)據融合與分級存儲實施按數(shù)據血緣按邏輯層次按業(yè)務種類按設備網絡劃分按設備物理地址在線、近線、離線按訪問頻度內存數(shù)據庫按響應及時性內存數(shù)據庫數(shù)據生命周期中在線數(shù)據對高性能存儲的需求，以及隨著數(shù)據生命周期的變更，逐漸向一般性能存儲的遷移，是分級存儲管理的一條主線。同時兼顧考慮其他分級原則，共同作用影響數(shù)據遷移機制。基于生命周期基于訪問壓力基于業(yè)務用途基于物理屬性分級原則高性能磁盤庫磁帶光盤庫中低性能磁盤庫將核心模型（即中度匯總的模型）通過改

20、造融入到現(xiàn)有主數(shù)據倉庫的核心模型中，減少數(shù)據冗余，提升數(shù)據質量。將主數(shù)據倉庫中的歷史數(shù)據和清單數(shù)據遷移到低成本分布式數(shù)據庫，減輕主數(shù)據倉庫的計算與存儲壓力并支撐深度數(shù)據分析。數(shù)據數(shù)據數(shù)據1、核心模型融入主數(shù)據倉庫主數(shù)據倉庫2、歷史數(shù)據遷移到分布式數(shù)據庫分布式數(shù)據庫1、清單數(shù)據入MPP數(shù)據庫大數(shù)據平臺： 數(shù)據分級存儲數(shù)據分級存儲原則數(shù)據融合與分級存儲實施按數(shù)據血緣按邏輯層次按Hadoop平臺主數(shù)據倉庫報表數(shù)據標簽庫指標數(shù)據客戶統(tǒng)一視圖信息子層話單數(shù)據非結構化數(shù)據信息子層：報表數(shù)據、多維數(shù)據、指標庫等數(shù)據來源于匯總層。匯總層：主題域之間進行關聯(lián)、匯總計算。匯總數(shù)據服務于信息子層，目的是為了節(jié)約信息

21、子層數(shù)據計算成本和計算時間。輕度匯總層：主題域內部基于明細層數(shù)據，進行多維度的、用戶級的匯總。明細數(shù)據層：主題域內部進行拆分、關聯(lián)。是對ODS操作型數(shù)據按照主題域劃分規(guī)則進行的拆分及合并ODS層：數(shù)據來源于各生產系統(tǒng)，通過ETL工具對接口文件數(shù)據進行編碼替換和數(shù)據清洗轉換，不做關聯(lián)操作。未來也可用于準實時數(shù)據查詢。明細數(shù)據層 （DW）輕度匯總層（MK）高度匯總層（MK）應用庫精細化營銷分布式數(shù)據庫MPP其他應用1其他應用2應用層：應用系統(tǒng)的私有數(shù)據，應用的業(yè)務數(shù)據。精細化營銷做為大數(shù)據平臺的一個上層應用，有由大數(shù)據平臺提供數(shù)據支撐數(shù)據訪問SQLFTPHSQLAPIETL數(shù)據采集ETL互聯(lián)網GN

22、口非結構化數(shù)據BSS經分DMVACMC話單業(yè)務平臺結構化數(shù)據數(shù)據源獲取層12123344大數(shù)據平臺： 數(shù)據分層Hadoop平臺主數(shù)據倉庫報表數(shù)據標簽庫指標數(shù)據客戶統(tǒng)一視圖源數(shù)據導入ETL，進行數(shù)據的清洗、轉換和入庫。基礎數(shù)據加載到主數(shù)據倉庫，規(guī)劃保存3年清洗、轉換后的ODS加載到分布式數(shù)據庫規(guī)劃保存1+1月，在分布式數(shù)據庫內完成明細數(shù)據和輕度匯總數(shù)據加工生成，規(guī)劃保存2年ODS數(shù)據和非結構化數(shù)據，如爬到的網頁數(shù)據ftp到Hadoop平臺做長久保存非結化數(shù)據分析處理在Hadoop平臺完成，產生的結果加載到分布式數(shù)據庫生成KPI和高度匯總數(shù)據加載到主數(shù)據倉庫。Hadoop平臺主數(shù)據倉庫報表數(shù)據標簽

23、庫客戶統(tǒng)一視圖信息子層話單數(shù)據非結構化數(shù)據明細數(shù)據層 （DW）輕度匯總層（MK）高度匯總層（MK）應用庫分布式數(shù)據庫MPP數(shù)據訪問SQLFTPHSQLAPIETL數(shù)據采集ETL互聯(lián)網GN口非結構化數(shù)據BSS經分DMVACMC話單業(yè)務平臺結構化數(shù)據數(shù)據源獲取層123465業(yè)務應用通過數(shù)據訪問接口獲取所需求數(shù)據。7精細化營銷其他應用1其他應用2指標數(shù)據大數(shù)據平臺： 數(shù)據處理流程源數(shù)據導入ETL，進行數(shù)據的清洗、轉換和入庫?；A數(shù)據加載到消息采集文件采集話單預處理信令預處理Gn話單位置信令DCNBSS炫鈴VAC短彩平臺物聯(lián)網客服平臺1*10GE1*GE2*GES9300S9300分布式數(shù)據庫集群新建

24、ETL、分布式數(shù)據庫和Hadoop集群內部各自獨立組網。分別通過10GE網口接入匯聚交換機。 Hadoop集群1*10GEETL集群1*10GE大數(shù)據平臺的組網消息文件話單信令Gn位置DCNBSS炫鈴VAC短彩物聯(lián)網客服21Pcap數(shù)據（DPI）互聯(lián)網路由器路由器防火墻WAP網站WWW網站分光鏡像DPI數(shù)據爬取數(shù)據爬取數(shù)據采集Agentcollector日志采集網元設備(GGSNPDSNWAP網關、NET網關)/Apache日志核心設備話單互聯(lián)網頁面數(shù)據正向采集用戶行為數(shù)據反向采集互聯(lián)網數(shù)據建設方案基于Hadoop構建大數(shù)據的用戶行為分析系統(tǒng)系統(tǒng)提供了核心的分布式云存儲、分布式并行計算、分布式數(shù)據倉庫、分布式列數(shù)據庫整體解決方案方案延伸基于Hadoop的大數(shù)據解決方案提供了基礎的云存儲和云計算的能力，基于該技術框架可進行應用的擴展和衍生?；谟脩艋ヂ?lián)網訪問行為分析結果，形成詳細的戶興趣愛好列表，可進行即時、精準的廣告投放大數(shù)據平臺有助于提升現(xiàn)網分析能力23Pcap數(shù)據（DPI）互聯(lián)網路由器路由器防火墻WAP網站22系統(tǒng)構成系統(tǒng)主要包含數(shù)據采集子系統(tǒng)、數(shù)據入庫子系統(tǒng)、數(shù)據存儲子系統(tǒng)、數(shù)據查詢與分析子系統(tǒng)采用Hadoop/HBase作為上網記錄存儲方案采用MapReduce/Hive