大數(shù)據(jù)建設(shè)與應(yīng)用解決方案

1、建設(shè)情況與應(yīng)用匯報(bào)大數(shù)據(jù)+大數(shù)據(jù)DT時(shí)代江西聯(lián)通信息化部第1頁贏在數(shù)據(jù)時(shí)代理念篇平臺(tái)篇應(yīng)用篇展望篇大數(shù)據(jù)服務(wù)理念大數(shù)據(jù)領(lǐng)先平臺(tái)大數(shù)據(jù)應(yīng)用展望未來第2頁理念篇第3頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C8

2、8846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664大數(shù)據(jù)服務(wù)理念+=大數(shù)據(jù)服務(wù) 數(shù)據(jù)資產(chǎn)變現(xiàn)快捷數(shù)據(jù)服務(wù)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)提升經(jīng)營決議效率全方面精準(zhǔn)、洞察客戶提供準(zhǔn)確、實(shí)時(shí)營銷服務(wù)透明使用數(shù)據(jù)服務(wù)數(shù)據(jù)使用像使用水、電一樣便捷提供脫敏數(shù)據(jù)，促進(jìn)數(shù)據(jù)資產(chǎn)交易融合外部數(shù)據(jù)，促進(jìn)大數(shù)據(jù)增值變現(xiàn)企業(yè)賦能價(jià)值提升第4頁平臺(tái)篇第5頁大數(shù)據(jù)技術(shù)與傳統(tǒng)技術(shù)對(duì)比e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707

3、381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664傳統(tǒng)集中式計(jì)算經(jīng)過不停增加處理器數(shù)量來增強(qiáng)單個(gè)計(jì)算機(jī)計(jì)算能力，從而提升處理數(shù)據(jù)速度，比如傳統(tǒng)大型機(jī)、小型機(jī)，硬件費(fèi)用昂貴，新興互聯(lián)網(wǎng)企業(yè)根本負(fù)擔(dān)不起優(yōu)點(diǎn)：技術(shù)實(shí)現(xiàn)不復(fù)雜，有豐富應(yīng)用經(jīng)驗(yàn)缺點(diǎn)：主機(jī)費(fèi)用昂貴，需要專用硬件支持，比如專用處理器，處理大量數(shù)據(jù)時(shí)碰到瓶頸當(dāng)

4、前情況：去IOE，逐步被互聯(lián)網(wǎng)企業(yè)拋棄VS大數(shù)據(jù)分布式計(jì)算把一組計(jì)算機(jī)經(jīng)過網(wǎng)絡(luò)相互連接組成份散系統(tǒng)，然后將需要處理大量數(shù)據(jù)分散成多個(gè)部分，交由分散系統(tǒng)內(nèi)計(jì)算機(jī)組同時(shí)計(jì)算，最終將這些計(jì)算結(jié)果合并得到最終結(jié)果。愈加開放HDFS： 負(fù)責(zé)數(shù)據(jù)存放大規(guī)模編程模型MapReduce:負(fù)責(zé)計(jì)算優(yōu)點(diǎn)：使用X86服務(wù)器，硬件廉價(jià)，能處理大容量數(shù)據(jù)，關(guān)鍵是軟件是開源，無償缺點(diǎn)：早期分布式計(jì)算技術(shù)復(fù)雜，實(shí)現(xiàn)比較困難，大數(shù)據(jù)技術(shù)人才匱乏當(dāng)前情況：Hadoop分布式計(jì)算框架被廣泛應(yīng)用勝出第6頁運(yùn)行商到底有哪些數(shù)據(jù)e7d195523061f1c01ef2b70529884c179423570dbaad84926380AB

5、C1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664運(yùn)行商大數(shù)據(jù)具備全方面性、多維性、中立性、完整性是其它企業(yè)極難比擬，而且經(jīng)過這些不一樣維度數(shù)據(jù)交叉關(guān)聯(lián)，能夠創(chuàng)造更多新數(shù)據(jù)和新價(jià)值 。身份上網(wǎng)位置社交支出通信終端時(shí)

6、序基于通信交往圈大小，主被叫，時(shí)間序列，得到用戶社交特征運(yùn)行商經(jīng)過位置信息，能夠掌握用戶出行特征，給用戶帶來生活極大便利基于用戶訪問什么網(wǎng)址，下載什么應(yīng)用，訪問什么內(nèi)容等，得到上網(wǎng)喜好運(yùn)行商不但客戶信息覆蓋完整，還能夠基于實(shí)際行為進(jìn)行驗(yàn)證。經(jīng)過身份信息，幫助金融機(jī)構(gòu)快速判定用戶信用程度 運(yùn)行商有客戶最為詳實(shí)消費(fèi)賬單，比如流量費(fèi)，短信費(fèi)、語音費(fèi)、新業(yè)務(wù)費(fèi)等，能反應(yīng)用戶一些特征 經(jīng)過用戶通信使用情況，比如當(dāng)?shù)兀?，長(zhǎng)途，了解用戶通話行為特征識(shí)別統(tǒng)計(jì)手機(jī)終端型號(hào)，了解用戶手機(jī)使用特征，發(fā)展趨勢(shì)，用戶換機(jī)周期等 經(jīng)過用戶上網(wǎng)，位置，通話等行為按照時(shí)間排列，了解更多規(guī)律提供更多服務(wù) 第7頁運(yùn)行商數(shù)據(jù)優(yōu)

7、勢(shì)e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664 數(shù)據(jù)封閉性 數(shù)據(jù)局部性 數(shù)據(jù)割裂性互聯(lián)網(wǎng)數(shù)據(jù)受限于本

8、身數(shù)據(jù)基因運(yùn)行商是數(shù)據(jù)管道，掌控全局?jǐn)?shù)據(jù)1數(shù)據(jù)準(zhǔn)確性高：實(shí)名制，且能夠準(zhǔn)確反應(yīng)用戶實(shí)時(shí)行為狀態(tài)2數(shù)據(jù)含有連續(xù)和可追溯性:用號(hào)碼ID整適用戶全生命周期數(shù)據(jù)3運(yùn)行商數(shù)據(jù)天然優(yōu)越性運(yùn)行商數(shù)據(jù)處理互聯(lián)網(wǎng)三大問題：你是誰，你在哪，你在干什么123第8頁主流大數(shù)據(jù)架構(gòu)平臺(tái)e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A

9、48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)運(yùn)維數(shù)據(jù)生命周期統(tǒng)一調(diào)度DW大數(shù)據(jù)處理數(shù)據(jù)透明訪問實(shí)時(shí)流流任務(wù)流計(jì)算批量計(jì)算非關(guān)系型數(shù)據(jù)庫內(nèi)存計(jì)算分布式文件系統(tǒng)大數(shù)據(jù)模型聚合視圖/分析模型DWADWDODSB域O域M域自主經(jīng)營體系統(tǒng)經(jīng)營分析自助查詢用戶位置信令手機(jī)上網(wǎng)日志BSSCBSS大數(shù)據(jù)整合大數(shù)據(jù)采集寬帶營銷2I網(wǎng)絡(luò)優(yōu)化智能引擎旅游大數(shù)據(jù)標(biāo)簽服務(wù)對(duì)內(nèi)應(yīng)用對(duì)外運(yùn)行大數(shù)據(jù)應(yīng)用第9頁平臺(tái)大數(shù)據(jù)處理能力日處理上網(wǎng)統(tǒng)計(jì)天

10、天處理數(shù)據(jù)規(guī)模日處理位置信令數(shù)據(jù)平臺(tái)存放能力天天處理文件接口數(shù)50億條10億條2TB500個(gè)接口1.2PB第10頁平臺(tái)關(guān)鍵數(shù)據(jù)1：傳統(tǒng)電信數(shù)據(jù)客戶基本資料用戶消費(fèi)信息用戶終端信息用戶狀態(tài)信息用戶繳費(fèi)信息用戶通信行為用戶訂購信息用戶信用信息用戶分群信息業(yè)務(wù)支撐系統(tǒng)（BSS/CBSS）姓名性別客戶類型電話號(hào)碼證件號(hào)碼地域年紀(jì)住址語音短信通話類型通話時(shí)間流量通話地點(diǎn)通話時(shí)長(zhǎng)對(duì)端號(hào)碼初始信用度動(dòng)態(tài)信用度欠費(fèi)額度欠費(fèi)頻次欠費(fèi)賬齡號(hào)碼狀態(tài)欠費(fèi)狀態(tài)年紀(jì)業(yè)務(wù)開通狀態(tài)手機(jī)號(hào)碼終端型號(hào)IMEI終端廠商IMSI消費(fèi)金額流量費(fèi)月租費(fèi)短信費(fèi)通信費(fèi)訂購產(chǎn)品開通渠道流量包發(fā)展員工合約計(jì)劃繳費(fèi)渠道繳費(fèi)時(shí)間繳費(fèi)金額集客分群客戶

11、分群VIP分群第11頁平臺(tái)關(guān)鍵數(shù)據(jù)2：用戶位置信息123用戶實(shí)時(shí)位置依據(jù)用戶信令定位，5分鐘更新一次用戶實(shí)時(shí)軌跡跟蹤用戶出現(xiàn)每一個(gè)位置，生成改變軌跡小區(qū)實(shí)時(shí)熱力某一范圍內(nèi)人流量改變，以熱力圖形式展現(xiàn)68工作地信息定位用戶工作時(shí)段所處地理位置居住地信息定位用戶宿息時(shí)段所處地理位置娛樂地信息定位用戶娛樂所在地地理位置745地理圍欄感知在地圖上圈定范圍，隨即進(jìn)行解析、匹配、應(yīng)用實(shí)時(shí)路段客流量依據(jù)某一路段基站經(jīng)緯度，定位基站承載客流量10漫游監(jiān)控國內(nèi)漫游由用戶開卡地確認(rèn)起源地，國際漫入由IMSI確認(rèn)起源國出行方式監(jiān)控依據(jù)用戶實(shí)時(shí)位置和實(shí)時(shí)軌跡，匹配交通方式（飛機(jī)、火車、汽車等）9第12頁平臺(tái)關(guān)鍵數(shù)據(jù)3

12、：用戶上網(wǎng)行為編號(hào)數(shù)據(jù)源字段信息業(yè)務(wù)含義1手機(jī)號(hào)碼用戶上網(wǎng)使用手機(jī)號(hào)碼2位置區(qū)編碼用戶上網(wǎng)所在位置區(qū)域及詳細(xì)基站信息3CI號(hào)碼4終端IMEI用戶上網(wǎng)使用終端全球統(tǒng)一編號(hào)5流量類型DPI流量解析類型6開始時(shí)間用戶網(wǎng)絡(luò)使用時(shí)長(zhǎng)、流量統(tǒng)計(jì)信息7結(jié)束時(shí)間8時(shí)長(zhǎng)（秒）9上行流量10下行流量11總流量12RATType網(wǎng)絡(luò)類型:2G 3G 4G 13訪問IP用戶訪問詳細(xì)網(wǎng)站IP地址或URL信息14網(wǎng)址15User Agent用戶使用APP信息16源端口URL端口信息17目標(biāo)端口. .誰在哪里在什么時(shí)間以何種方式訪問了哪些網(wǎng)站內(nèi)容使用了什么APP 中國聯(lián)通互聯(lián)網(wǎng)信息庫網(wǎng)站識(shí)別規(guī)則APP識(shí)別規(guī)則UA精準(zhǔn)解析規(guī)

13、則IP+Port補(bǔ)充解析規(guī)則四級(jí)域名分類規(guī)則URL路徑規(guī)則站內(nèi)動(dòng)作識(shí)別規(guī)則搜索識(shí)別規(guī)則搜索詞庫網(wǎng)站內(nèi)容解析規(guī)則URL參數(shù)規(guī)則第13頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC457

14、1F9415002F4432C631761E04B37734D4BF7664關(guān)鍵數(shù)據(jù)應(yīng)用：用戶畫像第14頁應(yīng)用篇第15頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415

15、002F4432C631761E04B37734D4BF7664大數(shù)據(jù)應(yīng)用產(chǎn)品體系寬帶營銷2I2C網(wǎng)絡(luò)優(yōu)化自助報(bào)表旅游大數(shù)據(jù)環(huán)境保護(hù)應(yīng)用精準(zhǔn)營銷對(duì)內(nèi)應(yīng)用對(duì)外應(yīng)用能力開放第16頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2

16、C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664 寬帶營銷點(diǎn)擊鏈接展示各小區(qū)寬帶資源和端口占用情況，以及近15天將到期用戶數(shù)，點(diǎn)擊可查看即將到期用戶明細(xì)，用于寬帶維系。展示基站下寬帶潛在用戶（無寬帶、異網(wǎng)寬帶），點(diǎn)擊可查看潛在用戶明細(xì)，用于融合業(yè)務(wù)發(fā)展。第17頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF

17、5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664 2I2C網(wǎng)絡(luò)優(yōu)化點(diǎn)擊鏈接依據(jù)2I2C流量分布，結(jié)合基站負(fù)載數(shù)據(jù)，為基站新建、擴(kuò)容、優(yōu)化提供參考依據(jù)，保障2I2C用戶網(wǎng)絡(luò)服務(wù)展示每個(gè)基站下2I2C用戶數(shù)、2I2C流量占比、投訴數(shù)和訂單數(shù)，用于分析參考。第18頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC

18、1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664 自助報(bào)表點(diǎn)擊鏈接第19頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC05

19、1856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664 精準(zhǔn)營銷國際漫游流量包營銷營銷場(chǎng)景：實(shí)時(shí)獲取江西聯(lián)通用戶在全國國際航站樓數(shù)據(jù)，對(duì)用戶實(shí)時(shí)營銷國際漫游流量包，提升國際漫游收入增加。營銷效果：從1月12日至2月9日，共計(jì)對(duì)68170戶用戶進(jìn)行營銷

20、， 成功辦理國際漫游包用戶為2817戶，轉(zhuǎn)化率為4.1%；第20頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664 旅游大數(shù)據(jù)平臺(tái)點(diǎn)擊鏈接第21頁e7d195523061f1c01ef2b70529884c179423570dbaad84926380ABC1F97BAEF0C8FC051856578EAB7874501A1FFE158C4981707381814BCC4D9A8E3554438DEE4FBCF5A5B4D2A8B0989AB57E8BAC65EBA34ED8FB1A48FECAC0ED8A4DF70CC7B90FD7A086B1F16DEEBEB2C5CF2C88846FC5891EC4571F9415002F4432C631761E04B37734D4BF7664