綠網(wǎng)-基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用 武漢綠網(wǎng)

1、基于基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用技術(shù)的大數(shù)據(jù)應(yīng)用武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責(zé)任公武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責(zé)任公司司2016/4/6 DPI技術(shù)原理介紹技術(shù)原理介紹 基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用目錄目錄3DPI原理介紹原理介紹DPIDPI說(shuō)明說(shuō)明應(yīng)用層網(wǎng)絡(luò)設(shè)備應(yīng)用層網(wǎng)絡(luò)設(shè)備 DPI除了對(duì)4層以下的基礎(chǔ)信息進(jìn) 行分析外，還增加了應(yīng)用層分析， 識(shí)別各種應(yīng)用及其內(nèi)容。 DPI通過(guò)RADIUS屬性和信令屬性 及IP地址來(lái)識(shí)別用戶，通過(guò)“包分 析”和“流分析”來(lái)識(shí)別應(yīng)用， 將其進(jìn)行組合，識(shí)別用戶行為并 根據(jù)策略進(jìn)行控制的重要技術(shù)。 DPI(Deep Packet Inspection)深度包檢 測(cè)技術(shù)，是一種基

2、于應(yīng)用層的流量檢測(cè)和 控制技術(shù)。DPI價(jià)值體現(xiàn)價(jià)值體現(xiàn) DPI系統(tǒng)應(yīng)該作為網(wǎng)絡(luò)運(yùn)營(yíng)商進(jìn)行IP業(yè)務(wù)流量監(jiān)控的一種 輔助手段，其主要目的是為實(shí)現(xiàn)服務(wù)差異化、計(jì)費(fèi)多樣化、 營(yíng)銷精細(xì)化以及為部分增值業(yè)務(wù)提供技術(shù)支持，同時(shí)也是面向大數(shù)據(jù)方向的信息采集系統(tǒng)。DPI原理-特征碼檢測(cè)2016/4/6L7按照特征字符識(shí)別報(bào)文間的邏輯關(guān)系L2-L4Get報(bào)文（字符長(zhǎng)A個(gè)字節(jié)）http回應(yīng)報(bào)文（字符長(zhǎng)3A）按照協(xié)議指紋FIN/PSH/URG關(guān)閉的TCP端口ACK=初始值+1打印機(jī)服務(wù) ACK=初始值其他服務(wù)信令分析類信令分析類DPI整合方案整合方案信令分析DPI功能簡(jiǎn)述 主要對(duì)信令進(jìn)行采集解析，生成信令XDR話單提

3、供給上層業(yè)務(wù)系統(tǒng)InterneteNodeBP-GWS-GWSAE-GWS8 GTP-CS8 GTP-USGIS1-UMMES1-MMEHSSS6aS11ePCFA10/A11HS-GWS2aRxGxGxc分流器數(shù)據(jù)解析和存儲(chǔ)鏡像/復(fù)制接口FTP接口實(shí)時(shí)接口其他系統(tǒng)手機(jī)惡意軟件監(jiān)控系統(tǒng)信令分析系統(tǒng) 現(xiàn)網(wǎng)部署位置3G信令分析DPI設(shè)備主要部署在Gn/Gb口等位置；4G網(wǎng)絡(luò)部署在UU、X2、S1-MME、S6a和SGs等位置。上網(wǎng)日志留存系統(tǒng)網(wǎng)絡(luò)狀態(tài)分析系統(tǒng)數(shù)據(jù)采集點(diǎn)XDR話單樣本 信令XDR摘錄2016/4/6序號(hào)字段名字段類型字段長(zhǎng)度說(shuō)明1Interfaceunsigned byte11：Gn

4、 2：reserve 3：IuPS4：Gb2IMSIstring15用戶IMSI（TBCD編碼）3IMEIstring16終端IMEI（TBCD編碼）4MSISDNstring24用戶號(hào)碼5USER_IPunsigendInt4用戶IP地址6LACint4LAC7RACint4RAC8CIDint4CI（或者SAC，ECI）9SGSN_C_IPunsigendInt4SGSN信令面IP10SGSN_U_IPunsigendInt4SGSN用戶面IP11GGSN_C_IPunsigendInt4GGSN信令面IP12GGSN_U_IPunsigendInt4GGSN用戶面IP13RATstrin

5、g321 UTRAN0-未攜帶2 GERAN3 WLAN4 GAN5 HSPA Evolution6 EUTRAN14APNstring32XDR話單樣本 HTTP XDR規(guī)范摘錄：45HOSTchar64全F46URIchar128全F47X-Online-Hostchar128全F48User-Agentchar64全F49HTTP_content_typechar64全FHTTP的內(nèi)容是文字還是圖片、視頻、應(yīng)用等50refer_URIchar128全F參考URI51Cookie字段char64全F協(xié)議中Cookie字段52Content-Length字段unsignedbyte40協(xié)議中

6、Content-Length字段53目標(biāo)行為unsignedbyte1全F目標(biāo)行為，0：會(huì)話是用戶主動(dòng)點(diǎn)擊的頁(yè)面；1站點(diǎn)目標(biāo)而產(chǎn)Th的頁(yè)面。54wtp中斷類型unsignedbyte1WTP層的失敗類型55wtp中斷原因unsignedbyte1WTP層失敗原因56titlechar256全F在上網(wǎng)內(nèi)容里解析57key wordchar256全F在上網(wǎng)內(nèi)容里解析58charge_IDunsignedInt20計(jì)費(fèi)信息DPI技術(shù)原理介紹 基于基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用技術(shù)的大數(shù)據(jù)應(yīng)用目錄目錄關(guān)系鏈數(shù)據(jù)構(gòu)建 對(duì)自然人在網(wǎng)絡(luò)行為中提取和關(guān)聯(lián) 幫助構(gòu)建基于自然人的網(wǎng)絡(luò)唯一ID 幫助精確追蹤自然人的網(wǎng)絡(luò)

7、行為淘寶騰訊 百度基于關(guān)系鏈數(shù)據(jù)的應(yīng)用有效區(qū)分自然人，保證畫像結(jié)果精確?？缙链蛲ǎ琍C, Pad, 手機(jī)上完整關(guān)聯(lián)用戶畫像用戶畫像基于自然人的數(shù)據(jù)更有效支撐風(fēng)控模型計(jì)算對(duì)催收業(yè)務(wù)可以支持惡意欠款用戶位置查找征信精準(zhǔn)營(yíng)銷應(yīng)用用戶畫像 通過(guò)自然人ID標(biāo)識(shí)用戶 通過(guò)APP協(xié)議識(shí)別標(biāo)識(shí) 用戶興趣點(diǎn) 通過(guò)URL知識(shí)庫(kù)標(biāo)識(shí)用 戶興趣點(diǎn) 通過(guò)搜索關(guān)鍵字標(biāo)識(shí)用戶興趣點(diǎn)基于畫像屬性反查用戶 輸入用戶使用APP屬性 反查用戶群 輸入用戶搜索興趣屬性反查用戶群 輸入用戶位置屬性反查 用戶群用戶觸達(dá) 通過(guò)運(yùn)營(yíng)商外呼平臺(tái)接觸用戶 通過(guò)運(yùn)營(yíng)商信息推送平 臺(tái)接觸用戶咨詢報(bào)告類應(yīng)用人流/選址數(shù)據(jù)分析 通過(guò)信令數(shù)據(jù)積累人流 統(tǒng)計(jì)信息 給出指定位置的人群畫像信息競(jìng)品分析 報(bào)告和分析同類APP的 使用情況 報(bào)告和分析同類內(nèi)容網(wǎng) 站的使用情況輿情分析 分析URL中的詳細(xì)內(nèi)容 追蹤論壇中用戶的發(fā)布 內(nèi)容和用戶畫像關(guān)于數(shù)據(jù)質(zhì)量的話題數(shù)據(jù)質(zhì)量是大數(shù)據(jù)運(yùn)營(yíng)的核心競(jìng)爭(zhēng)力數(shù)據(jù)質(zhì)量是大數(shù)據(jù)運(yùn)營(yíng)的核心競(jìng)爭(zhēng)力如何定義和度量數(shù)據(jù)質(zhì)量？ 用戶話單的信令關(guān)聯(lián)率 （唯一ID的覆蓋率） 用戶流量的覆蓋率 （DPI鏈路覆蓋率） 用戶上行流量還是上下行流量的同時(shí)數(shù)據(jù)提取 （同源同宿問(wèn)題） 能夠提取