綠網(wǎng)-基于DPI技術的大數(shù)據(jù)應用 武漢綠網(wǎng)

1、基于基于DPI技術的大數(shù)據(jù)應用技術的大數(shù)據(jù)應用武漢綠色網(wǎng)絡信息服務有限責任公武漢綠色網(wǎng)絡信息服務有限責任公司司2016/4/6 DPI技術原理介紹技術原理介紹 基于DPI技術的大數(shù)據(jù)應用目錄目錄3DPI原理介紹原理介紹DPIDPI說明說明應用層網(wǎng)絡設備應用層網(wǎng)絡設備 DPI除了對4層以下的基礎信息進 行分析外，還增加了應用層分析， 識別各種應用及其內(nèi)容。 DPI通過RADIUS屬性和信令屬性 及IP地址來識別用戶，通過“包分 析”和“流分析”來識別應用， 將其進行組合，識別用戶行為并 根據(jù)策略進行控制的重要技術。 DPI(Deep Packet Inspection)深度包檢 測技術，是一種基

2、于應用層的流量檢測和 控制技術。DPI價值體現(xiàn)價值體現(xiàn) DPI系統(tǒng)應該作為網(wǎng)絡運營商進行IP業(yè)務流量監(jiān)控的一種 輔助手段，其主要目的是為實現(xiàn)服務差異化、計費多樣化、 營銷精細化以及為部分增值業(yè)務提供技術支持，同時也是面向大數(shù)據(jù)方向的信息采集系統(tǒng)。DPI原理-特征碼檢測2016/4/6L7按照特征字符識別報文間的邏輯關系L2-L4Get報文（字符長A個字節(jié)）http回應報文（字符長3A）按照協(xié)議指紋FIN/PSH/URG關閉的TCP端口ACK=初始值+1打印機服務 ACK=初始值其他服務信令分析類信令分析類DPI整合方案整合方案信令分析DPI功能簡述 主要對信令進行采集解析，生成信令XDR話單提

3、供給上層業(yè)務系統(tǒng)InterneteNodeBP-GWS-GWSAE-GWS8 GTP-CS8 GTP-USGIS1-UMMES1-MMEHSSS6aS11ePCFA10/A11HS-GWS2aRxGxGxc分流器數(shù)據(jù)解析和存儲鏡像/復制接口FTP接口實時接口其他系統(tǒng)手機惡意軟件監(jiān)控系統(tǒng)信令分析系統(tǒng) 現(xiàn)網(wǎng)部署位置3G信令分析DPI設備主要部署在Gn/Gb口等位置；4G網(wǎng)絡部署在UU、X2、S1-MME、S6a和SGs等位置。上網(wǎng)日志留存系統(tǒng)網(wǎng)絡狀態(tài)分析系統(tǒng)數(shù)據(jù)采集點XDR話單樣本 信令XDR摘錄2016/4/6序號字段名字段類型字段長度說明1Interfaceunsigned byte11：Gn

4、 2：reserve 3：IuPS4：Gb2IMSIstring15用戶IMSI（TBCD編碼）3IMEIstring16終端IMEI（TBCD編碼）4MSISDNstring24用戶號碼5USER_IPunsigendInt4用戶IP地址6LACint4LAC7RACint4RAC8CIDint4CI（或者SAC，ECI）9SGSN_C_IPunsigendInt4SGSN信令面IP10SGSN_U_IPunsigendInt4SGSN用戶面IP11GGSN_C_IPunsigendInt4GGSN信令面IP12GGSN_U_IPunsigendInt4GGSN用戶面IP13RATstrin

5、g321 UTRAN0-未攜帶2 GERAN3 WLAN4 GAN5 HSPA Evolution6 EUTRAN14APNstring32XDR話單樣本 HTTP XDR規(guī)范摘錄：45HOSTchar64全F46URIchar128全F47X-Online-Hostchar128全F48User-Agentchar64全F49HTTP_content_typechar64全FHTTP的內(nèi)容是文字還是圖片、視頻、應用等50refer_URIchar128全F參考URI51Cookie字段char64全F協(xié)議中Cookie字段52Content-Length字段unsignedbyte40協(xié)議中

6、Content-Length字段53目標行為unsignedbyte1全F目標行為，0：會話是用戶主動點擊的頁面；1站點目標而產(chǎn)Th的頁面。54wtp中斷類型unsignedbyte1WTP層的失敗類型55wtp中斷原因unsignedbyte1WTP層失敗原因56titlechar256全F在上網(wǎng)內(nèi)容里解析57key wordchar256全F在上網(wǎng)內(nèi)容里解析58charge_IDunsignedInt20計費信息DPI技術原理介紹 基于基于DPI技術的大數(shù)據(jù)應用技術的大數(shù)據(jù)應用目錄目錄關系鏈數(shù)據(jù)構建 對自然人在網(wǎng)絡行為中提取和關聯(lián) 幫助構建基于自然人的網(wǎng)絡唯一ID 幫助精確追蹤自然人的網(wǎng)絡

7、行為淘寶騰訊 百度基于關系鏈數(shù)據(jù)的應用有效區(qū)分自然人，保證畫像結果精確?？缙链蛲ǎ琍C, Pad, 手機上完整關聯(lián)用戶畫像用戶畫像基于自然人的數(shù)據(jù)更有效支撐風控模型計算對催收業(yè)務可以支持惡意欠款用戶位置查找征信精準營銷應用用戶畫像 通過自然人ID標識用戶 通過APP協(xié)議識別標識 用戶興趣點 通過URL知識庫標識用 戶興趣點 通過搜索關鍵字標識用戶興趣點基于畫像屬性反查用戶 輸入用戶使用APP屬性 反查用戶群 輸入用戶搜索興趣屬性反查用戶群 輸入用戶位置屬性反查 用戶群用戶觸達 通過運營商外呼平臺接觸用戶 通過運營商信息推送平 臺接觸用戶咨詢報告類應用人流/選址數(shù)據(jù)分析 通過信令數(shù)據(jù)積累人流 統(tǒng)計信息 給出指定位置的人群畫像信息競品分析 報告和分析同類APP的 使用情況 報告和分析同類內(nèi)容網(wǎng) 站的使用情況輿情分析 分析URL中的詳細內(nèi)容 追蹤論壇中用戶的發(fā)布 內(nèi)容和用戶畫像關于數(shù)據(jù)質(zhì)量的話題數(shù)據(jù)質(zhì)量是大數(shù)據(jù)運營的核心競爭力數(shù)據(jù)質(zhì)量是大數(shù)據(jù)運營的核心競爭力如何定義和度量數(shù)據(jù)質(zhì)量？ 用戶話單的信令關聯(lián)率 （唯一ID的覆蓋率） 用戶流量的覆蓋率 （DPI鏈路覆蓋率） 用戶上行流量還是上下行流量的同時數(shù)據(jù)提取 （同源同宿問題） 能夠提取