大數(shù)據(jù)平臺產(chǎn)品建設(shè)和應(yīng)用課件

大數(shù)據(jù)平臺產(chǎn)品建設(shè)和應(yīng)用大數(shù)據(jù)平臺產(chǎn)品建設(shè)和應(yīng)用11.大數(shù)據(jù)概述2.大數(shù)據(jù)平臺建設(shè)3.大數(shù)據(jù)平臺應(yīng)用目錄Contents1.大數(shù)據(jù)概述2.大數(shù)據(jù)平臺建設(shè)3.大數(shù)據(jù)平臺應(yīng)用目2Part1大數(shù)據(jù)概述Part1大數(shù)據(jù)概述3大數(shù)據(jù)：成為國家戰(zhàn)略《十三五規(guī)劃綱要》提出實(shí)施國家大數(shù)據(jù)戰(zhàn)略，把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，全面實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展行動，加快推動數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用；2016年3月18日2016年8月31日江蘇省政府《關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對市場主體服務(wù)和監(jiān)管的若干意見》提高政府運(yùn)用大數(shù)據(jù)能力；推動簡政放權(quán)和政府職能轉(zhuǎn)變；提高政府服務(wù)水平和監(jiān)管效率，降低服務(wù)和監(jiān)管成本；2015年9月5日國務(wù)院2015年7月1日國務(wù)院《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》大力推動政府信息系統(tǒng)和公共數(shù)據(jù)互聯(lián)開放共享，加快政府信息平臺整合；以企業(yè)為主體，加大大數(shù)據(jù)關(guān)鍵技術(shù)研發(fā)，著力推進(jìn)數(shù)據(jù)匯集和發(fā)掘，深化大數(shù)據(jù)在各行業(yè)創(chuàng)新應(yīng)用；大數(shù)據(jù)成為國家戰(zhàn)略《江蘇省大數(shù)據(jù)發(fā)展行動計劃》工信部、發(fā)改委大數(shù)據(jù)：成為國家戰(zhàn)略《十三五規(guī)劃綱要》提出實(shí)施國家大數(shù)據(jù)戰(zhàn)略4大數(shù)據(jù)實(shí)例：中國電信海量數(shù)據(jù)攜程、途牛、去哪兒、同程、美團(tuán)等月上網(wǎng)總量5.02億條/月手機(jī)定位7億條/天上網(wǎng)搜索、瀏覽、點(diǎn)擊等行為數(shù)據(jù)100億條/天海量數(shù)據(jù)實(shí)時獲取GPS定位500萬/天次海量數(shù)據(jù)覆蓋人口固定電話2000萬用戶家庭、公共景區(qū)WiFi使用者90%以上IPTV用戶600萬政府大企業(yè)200萬全省網(wǎng)民6500萬手機(jī)用戶2300萬10T

僅江蘇省每天數(shù)據(jù)量大數(shù)據(jù)實(shí)例：中國電信海量數(shù)據(jù)攜程、途牛、去哪兒、同程、美團(tuán)等5江蘇電信數(shù)據(jù)現(xiàn)狀容量大（Volume）：江蘇電信數(shù)據(jù)總量已達(dá)10P+，日均產(chǎn)生網(wǎng)絡(luò)日志數(shù)據(jù)10T+、話單數(shù)據(jù)1T、…類型多（Variety）：包括位置信令數(shù)據(jù)、用戶網(wǎng)絡(luò)數(shù)據(jù)、呼叫記錄數(shù)據(jù)、終端數(shù)據(jù)、視頻數(shù)據(jù)、…存取速度快（Volecity）：海量數(shù)據(jù)的快速產(chǎn)生、快速存儲、快速使用應(yīng)用價值高（Value）：最真實(shí)的客戶、產(chǎn)品、資源和訂單等數(shù)據(jù)；最詳實(shí)的用戶行為數(shù)據(jù)電信用戶基本數(shù)據(jù)號碼身份信息繳費(fèi)信息消費(fèi)信息移動位置數(shù)據(jù)基站信息移動信息滯留信息……信令數(shù)據(jù)主叫信息被叫信息IP信息位置信息終端數(shù)據(jù)Mac地址終端ESNAPP信息……網(wǎng)絡(luò)日志數(shù)據(jù)移動／固網(wǎng)源地址目的地IP目的地URL……用戶觸點(diǎn)數(shù)據(jù)10000網(wǎng)廳……大數(shù)據(jù)特征大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。江蘇電信數(shù)據(jù)現(xiàn)狀容量大（Volume）：江蘇電信數(shù)據(jù)總量已達(dá)6大數(shù)據(jù)行業(yè)生態(tài)圖譜大數(shù)據(jù)的核心-企業(yè)技術(shù)大數(shù)據(jù)基本上就是管道設(shè)施的一種。大數(shù)據(jù)為許多消費(fèi)者或商業(yè)用戶體驗提供了動力，但它的核心是企業(yè)技術(shù)：數(shù)據(jù)庫、分析等。大數(shù)據(jù)的關(guān)鍵-無縫集成大數(shù)據(jù)的成功不在于實(shí)現(xiàn)技術(shù)的某一方面（像Hadoop、spark等），而是需要把一連串的技術(shù)、人和流程糅合到一起。大數(shù)據(jù)的構(gòu)成-多層遞進(jìn)大數(shù)據(jù)基礎(chǔ)設(shè)施日益完善，大數(shù)據(jù)分析BI平臺普遍成熟，大數(shù)據(jù)應(yīng)用層正在快速構(gòu)建。大數(shù)據(jù)行業(yè)生態(tài)圖譜大數(shù)據(jù)的核心-企業(yè)技術(shù)7大數(shù)據(jù)思維-數(shù)據(jù)范疇信息管理堅實(shí)的信息基礎(chǔ)標(biāo)準(zhǔn)化的數(shù)據(jù)管理實(shí)踐可獲得并且可用的洞察力分析技能和工具作為核心專業(yè)而發(fā)展的技能通過一套可靠的工具和解決方案而實(shí)現(xiàn)培養(yǎng)面向行動的洞察力面向數(shù)據(jù)的文化基于事實(shí)的領(lǐng)導(dǎo)力用作戰(zhàn)略資產(chǎn)的分析技術(shù)洞察力知道的戰(zhàn)略和運(yùn)營管理數(shù)據(jù)理解數(shù)據(jù)使用數(shù)據(jù)企業(yè)必須掌握三項分析技能才能實(shí)現(xiàn)競爭優(yōu)勢大數(shù)據(jù)思維-數(shù)據(jù)范疇信息管理堅實(shí)的信息基礎(chǔ)標(biāo)準(zhǔn)化的數(shù)據(jù)管理實(shí)8大數(shù)據(jù)思維-三原則“大數(shù)據(jù)三原則”：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果。小數(shù)據(jù)大數(shù)據(jù)抽樣數(shù)據(jù)、局部數(shù)據(jù)和片面數(shù)據(jù)用全體代替抽樣統(tǒng)計抽樣的局限性精準(zhǔn)性用數(shù)量代替精確擁抱混雜性：容錯性更強(qiáng)經(jīng)驗、假設(shè)和價值觀用相關(guān)性代替因果性知道是什么比知道為什么更重要大數(shù)據(jù)思維-三原則“大數(shù)據(jù)三原則”：要全體不要抽樣，要效率不9大數(shù)據(jù)角色業(yè)務(wù)人員業(yè)務(wù)用戶：提出業(yè)務(wù)需求，并制定優(yōu)先級業(yè)務(wù)分析師：有較深的行業(yè)業(yè)務(wù)知識，通過分析業(yè)務(wù)數(shù)據(jù)提供決策支持?jǐn)?shù)據(jù)科學(xué)家：具有專業(yè)領(lǐng)域知識、統(tǒng)計分析背景和計算機(jī)技術(shù)基礎(chǔ)，從數(shù)據(jù)中挖掘有效信息以解決業(yè)務(wù)深度分析需求機(jī)器學(xué)習(xí)專家：具有統(tǒng)計學(xué)思維、豐富的編程和數(shù)據(jù)建模經(jīng)驗，通過開發(fā)算法進(jìn)行業(yè)務(wù)分析和預(yù)測技術(shù)人員平臺/系統(tǒng)架構(gòu)師：軟件工程師背景，對大數(shù)據(jù)、云計算有較深的理解，負(fù)責(zé)技術(shù)選型和實(shí)現(xiàn)流程數(shù)據(jù)工程師：負(fù)責(zé)數(shù)據(jù)的采集、存儲、處理IT/運(yùn)維人員：負(fù)責(zé)平臺的開發(fā)、部署、運(yùn)營、發(fā)布、管理和監(jiān)控大數(shù)據(jù)時代，解析海量難以理解的信息足以導(dǎo)致改變世界的革新。但真正理解這些數(shù)據(jù)，需要各個方面專業(yè)人士。大數(shù)據(jù)思維-角色劃分大數(shù)據(jù)角色業(yè)務(wù)人員技術(shù)人員大數(shù)據(jù)時代，解析海量難以理解的信息10數(shù)據(jù)倉庫數(shù)據(jù)源不斷擴(kuò)大（新增互聯(lián)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)等），數(shù)據(jù)量由TB級向PB級增長幾乎所有互聯(lián)網(wǎng)企業(yè)都在業(yè)務(wù)或分析系統(tǒng)中采用了大數(shù)據(jù)(特別是Hadoop數(shù)據(jù)分析技術(shù)），一方面應(yīng)對不確定的業(yè)務(wù)增長和處理各種結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，另一方面降低采購和運(yùn)維成本。采用Hadoop大數(shù)據(jù)平臺的互聯(lián)網(wǎng)企業(yè)如國際上的Facebook、亞馬遜（Amazon）、ebay等，國內(nèi)的淘寶、阿里巴巴、京東、蘇寧云商、百度、騰訊、優(yōu)酷等電信運(yùn)營商包括國際上的AT&T、Vodafone等，國內(nèi)的中國電信、中國聯(lián)通、中國移動也已經(jīng)引入了hadoop大數(shù)據(jù)平臺誰在使用大數(shù)據(jù)？數(shù)據(jù)倉庫數(shù)據(jù)源不斷擴(kuò)大（新增互聯(lián)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)等），數(shù)據(jù)量由11調(diào)研報告-大數(shù)據(jù)使用和分析的目標(biāo)使用數(shù)據(jù)和分析提高贏取客戶的能力使用數(shù)據(jù)和分析改進(jìn)客戶體驗使用數(shù)據(jù)和分析提高贏取客戶的能力使用數(shù)據(jù)和分析改進(jìn)客戶體驗調(diào)研報告-大數(shù)據(jù)使用和分析的目標(biāo)使用數(shù)據(jù)和分析使用數(shù)據(jù)和分析12調(diào)研報告-大數(shù)據(jù)來源企業(yè)主要使用內(nèi)部數(shù)據(jù)源開展大數(shù)據(jù)舉措交易日志數(shù)據(jù)事件電子郵件88%57%73%59%社交媒體傳感器外部來源RFID掃描或POS數(shù)據(jù)自由格式文本

地理空間

音頻靜態(tài)圖像/

視頻41%41%42%42%43%40%38%34%調(diào)研報告-大數(shù)據(jù)來源企業(yè)主要使用內(nèi)部數(shù)據(jù)源開展大數(shù)據(jù)舉措交13調(diào)研報告-大數(shù)據(jù)基礎(chǔ)設(shè)施（平臺）信息整合可擴(kuò)展的存儲基礎(chǔ)架構(gòu)高容量數(shù)據(jù)倉庫安全與治理65%64%59%58%腳本與開發(fā)工具列存儲數(shù)據(jù)庫復(fù)雜事件處理工作負(fù)載優(yōu)化分析加速器Hadoop/MapReduceNoSQL引擎流計算54%51%45%45%44%42%42%38%受訪者大數(shù)據(jù)基礎(chǔ)設(shè)施的組件信息整合是任何分析項目的關(guān)鍵組成要素，對大數(shù)據(jù)來說，它甚至更加重要。企業(yè)的數(shù)據(jù)必須隨時可被需要數(shù)據(jù)的人員使用和獲得。調(diào)研報告-大數(shù)據(jù)基礎(chǔ)設(shè)施（平臺）信息整合可擴(kuò)展的存儲基礎(chǔ)14調(diào)研報告-大數(shù)據(jù)分析能力（應(yīng)用）查詢與報表數(shù)據(jù)挖掘數(shù)據(jù)可視化預(yù)測建模優(yōu)化65%67%71%77%91%模擬仿真自然語言文本地理空間分析流分析視頻分析語音分析35%43%52%56%25%26%受訪者采用多種高級分析技能調(diào)研報告-大數(shù)據(jù)分析能力（應(yīng)用）查詢與報表數(shù)據(jù)挖掘數(shù)據(jù)15Part2大數(shù)據(jù)平臺建設(shè)Part2大數(shù)據(jù)平臺建設(shè)16人在干、數(shù)在轉(zhuǎn)、云在算把握數(shù)據(jù)靈魂找準(zhǔn)應(yīng)用抓手夯實(shí)能力基礎(chǔ)風(fēng)險防控

輿情分析行為預(yù)測……

電信自有數(shù)據(jù)+業(yè)務(wù)應(yīng)用數(shù)據(jù)政務(wù)+教育+醫(yī)衛(wèi)+交通+旅游+基礎(chǔ)設(shè)施能力云網(wǎng)融合關(guān)鍵業(yè)務(wù)能力安全服務(wù)運(yùn)營保障能力運(yùn)營支撐云計算云計算強(qiáng)調(diào)的是底層基礎(chǔ)設(shè)施的資源復(fù)用，讓資源的能力盡量發(fā)揮出來。大數(shù)據(jù)大數(shù)據(jù)是主要面向業(yè)務(wù)，業(yè)務(wù)需要什么樣的構(gòu)架，大數(shù)據(jù)就要有相應(yīng)的平臺、技術(shù)和構(gòu)架。人在干、數(shù)在轉(zhuǎn)、云在算把握數(shù)據(jù)靈魂找準(zhǔn)應(yīng)用抓手夯實(shí)能力基礎(chǔ)風(fēng)17智慧的醫(yī)療智慧的市民服務(wù)智慧的公共安全智慧的交通實(shí)時路況發(fā)送公交到站提醒通暢路線規(guī)劃遠(yuǎn)程會診智慧處方臨床決策系統(tǒng)犯罪信息挖掘突發(fā)事件響應(yīng)高危位區(qū)域統(tǒng)計、預(yù)警智慧的公共事業(yè)智能用電分析環(huán)境狀況分析預(yù)測水處理/水資源管理智能就業(yè)匹配政策輿情分析商品優(yōu)惠客戶匹配全面感知充分整合智能處理協(xié)同運(yùn)作精確管控創(chuàng)新應(yīng)用政務(wù)大數(shù)據(jù)需求外部數(shù)據(jù)源內(nèi)部數(shù)據(jù)源互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)物聯(lián)網(wǎng)社交媒體等政府部門資料信息及相關(guān)系統(tǒng)：經(jīng)濟(jì)運(yùn)行、產(chǎn)業(yè)、投資、消費(fèi)、能耗、交通、電力、裝備、中小企業(yè)……等大數(shù)據(jù)來源輿情評論社交關(guān)系實(shí)時位置旅游度假城市車位使用……智慧的醫(yī)療智慧的市民服務(wù)智慧的公共安全智慧的交通實(shí)時路況發(fā)送18企業(yè)大數(shù)據(jù)需求助力運(yùn)營企業(yè)大數(shù)據(jù)需求助力運(yùn)營19大數(shù)據(jù)挑戰(zhàn)-客戶分析全流程567891234項目是為了實(shí)現(xiàn)哪個業(yè)務(wù)目標(biāo)？如何表達(dá)成功（通過哪些數(shù)據(jù)）？您需要分析哪數(shù)據(jù)，哪些數(shù)據(jù)具有相關(guān)性您有哪些數(shù)據(jù)，缺乏哪些數(shù)據(jù)，哪些數(shù)據(jù)具有相關(guān)性您需要哪些溝通能力來實(shí)施您的研究結(jié)果，并實(shí)現(xiàn)公司戰(zhàn)略？您需要采取哪些行動？這些活動與哪些客戶和產(chǎn)品相關(guān)？您選擇哪些溝通渠道？您在哪些方面成功(包括響應(yīng)能力和業(yè)務(wù)績效的衡量和反饋)？客戶分析舉措的治理檢查表大數(shù)據(jù)挑戰(zhàn)-客戶分析全流程567891234項目是為了實(shí)現(xiàn)如20數(shù)據(jù)源多種多樣數(shù)據(jù)存儲代價高昂數(shù)據(jù)資產(chǎn)缺乏有效管理數(shù)據(jù)價值缺乏有效利用用管存收大數(shù)據(jù)挑戰(zhàn)59%59%數(shù)據(jù)自然流失70%70%數(shù)據(jù)過于復(fù)雜85%85%企業(yè)數(shù)據(jù)架構(gòu)無法適應(yīng)數(shù)據(jù)量和復(fù)雜性增長的需求98%98%企業(yè)無法及時、準(zhǔn)確地為業(yè)務(wù)提供正確的信息數(shù)據(jù)源多種多樣數(shù)據(jù)存儲代價高昂數(shù)據(jù)資產(chǎn)缺乏有效管理數(shù)據(jù)價值缺21性能靈活共享價值安全關(guān)注要素大數(shù)據(jù)關(guān)注要素關(guān)鍵功能點(diǎn)多級團(tuán)隊管理資源開通和隔離數(shù)據(jù)安全和隔離程序管理和調(diào)度數(shù)據(jù)查詢分析數(shù)據(jù)開放共享數(shù)據(jù)隱私保護(hù)性能靈活共享價值安全關(guān)注要素大數(shù)據(jù)關(guān)注要素22數(shù)據(jù)應(yīng)用層數(shù)據(jù)共享層數(shù)據(jù)存儲與分析層數(shù)據(jù)采集層任務(wù)調(diào)度與元數(shù)據(jù)管理安全、權(quán)限與監(jiān)控搜索報表OLAP其它數(shù)據(jù)接口DBRedisHBaseOtherFile/ftp/http實(shí)時計算（Storm/SparkStreaming)MRHiveSparkSparksqlHDFSFlumekafka網(wǎng)站日志ftp/httpMysqlOracleOtherDrillAD-HOCsqoopKylin批處理抽取程序依據(jù)數(shù)據(jù)特性和應(yīng)用特點(diǎn)，建立批處理和實(shí)時計算的大數(shù)據(jù)平臺系統(tǒng)架構(gòu)1收2存4用3管大數(shù)據(jù)系統(tǒng)架構(gòu)-Hadoop方案數(shù)據(jù)應(yīng)用層數(shù)據(jù)共享層數(shù)據(jù)存儲與分析層數(shù)據(jù)采集層任務(wù)調(diào)度與元數(shù)23電信大數(shù)據(jù)定位基礎(chǔ)設(shè)施提供商

數(shù)據(jù)產(chǎn)品與能力提供商

分析技術(shù)提供商

業(yè)務(wù)應(yīng)用提供商

大數(shù)據(jù)使用者

基礎(chǔ)設(shè)施提供商數(shù)據(jù)和分析提供商業(yè)務(wù)應(yīng)用提供商數(shù)據(jù)標(biāo)簽

位置信息

趨勢預(yù)測

精準(zhǔn)營銷

咨詢報告我們能做什么觀云大數(shù)據(jù)產(chǎn)品觀云大數(shù)據(jù)應(yīng)用電信大數(shù)據(jù)定位基礎(chǔ)設(shè)施提供商數(shù)據(jù)和分析提供商業(yè)務(wù)應(yīng)用提供商數(shù)24大數(shù)據(jù)管理數(shù)據(jù)地圖數(shù)據(jù)開發(fā)生產(chǎn)部署調(diào)度管理數(shù)據(jù)管理系統(tǒng)管理數(shù)據(jù)交換……大數(shù)據(jù)存儲數(shù)據(jù)批處理數(shù)據(jù)實(shí)時處理大數(shù)據(jù)收集結(jié)構(gòu)化數(shù)據(jù)實(shí)時數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)分析BI分析可視化大數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)決策支持觀云提供大數(shù)據(jù)一站式解決方案，幫助客戶收集、存儲、管理、使用（分析和挖掘）相關(guān)數(shù)據(jù)，提升客戶業(yè)務(wù)支撐水平。觀云基于成熟的大數(shù)據(jù)開源技術(shù)（hadoop/spark），結(jié)合鴻信大數(shù)據(jù)團(tuán)隊的技術(shù)特長和項目實(shí)施經(jīng)驗，形成了具有自主知識產(chǎn)權(quán)的大數(shù)據(jù)軟件產(chǎn)品。觀云概述大數(shù)據(jù)管理數(shù)據(jù)地圖數(shù)據(jù)開發(fā)生產(chǎn)部署調(diào)度管理數(shù)據(jù)管理系統(tǒng)管理數(shù)25大數(shù)據(jù)源日志數(shù)據(jù)大數(shù)據(jù)集群大數(shù)據(jù)文件結(jié)構(gòu)化數(shù)據(jù)多媒體數(shù)據(jù)實(shí)時收集實(shí)時毫秒級不間斷采集數(shù)據(jù)，并存入大數(shù)據(jù)集群批量收集按小時、日、周、月等時間周期，批量采集各類數(shù)據(jù)，存入大數(shù)據(jù)集群大數(shù)據(jù)收集非結(jié)構(gòu)化數(shù)據(jù)實(shí)時數(shù)據(jù)數(shù)據(jù)流觀云-收集大數(shù)據(jù)源日志數(shù)據(jù)大數(shù)據(jù)集群大數(shù)據(jù)文件結(jié)構(gòu)化數(shù)據(jù)多媒體數(shù)據(jù)實(shí)時26小型機(jī)光纖交換機(jī)存儲陣列網(wǎng)絡(luò)交換機(jī)X86服務(wù)器數(shù)據(jù)庫軟件（ORACLE/DB2等）大數(shù)據(jù)軟件（Hadoop/Spark）成本顯著降低同等存儲和計算能力，軟硬件綜合成本最低僅需10%VS架構(gòu)健壯擴(kuò)展靈活Volume海量支持GB\TB\PB各種量級數(shù)據(jù)存儲和運(yùn)算，實(shí)現(xiàn)海量數(shù)據(jù)并發(fā)管理。

Variety多樣輕松處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，包括Web\語音\圖像\視頻等數(shù)據(jù)。

Velocity實(shí)時實(shí)時&流式處理，支持海量數(shù)據(jù)的毫秒級運(yùn)算。Scale規(guī)模適用小\中\(zhòng)大各種規(guī)模，可根據(jù)數(shù)據(jù)發(fā)展情況靈活、快速擴(kuò)展集群：幾臺-千臺。實(shí)時處理高效迅捷不同數(shù)據(jù)同地存儲海量數(shù)據(jù)輕松存儲觀云-存儲小型機(jī)光纖交換機(jī)存儲陣列網(wǎng)絡(luò)交換機(jī)X86服務(wù)器數(shù)據(jù)庫軟件（O27數(shù)據(jù)資產(chǎn)管理1分門別類觀云-管理分散各處，雜亂無序各取所需一點(diǎn)匯總，整齊統(tǒng)一數(shù)據(jù)血緣管理2尋根溯源關(guān)系不清，野蠻生長枝繁葉茂，欣欣向榮正本清源數(shù)據(jù)資產(chǎn)管理1分門別類觀云-管理分散各處，雜亂無序各取所需一28團(tuán)隊和資源管理3觀云-管理開發(fā)工具管理4五花八門，參差不齊僧多粥少，山頭眾多團(tuán)隊1團(tuán)隊2管理靈活，合理調(diào)配核心自主降低門檻統(tǒng)一規(guī)范，提升效率削峰填谷合作無間團(tuán)隊和資源管理3觀云-管理開發(fā)工具管理4五花八門，參差不齊僧29數(shù)據(jù)安全管理5觀云-管理IP和工具限制函數(shù)授權(quán)用戶審計數(shù)據(jù)表授權(quán)4大安全保障字段加密數(shù)據(jù)分級2重隱私保護(hù)數(shù)據(jù)安全管理5觀云-管理IP和工具限制函數(shù)用戶數(shù)據(jù)表4大安全30處理效率顯著提升2應(yīng)用名稱數(shù)據(jù)量本地集市耗時(分鐘)大數(shù)據(jù)平臺耗時(分鐘)效率提升天翼、快銷品到達(dá)及凈增統(tǒng)計上億級501374%天翼、快銷品、4G新裝統(tǒng)計上億級541572%寬帶日統(tǒng)計千萬級10460%4G產(chǎn)品清單統(tǒng)計千萬級241058%天翼快銷品清單統(tǒng)計上億級341168%根據(jù)現(xiàn)有產(chǎn)品實(shí)例表作的寬表上億級1214563%天翼單產(chǎn)品合約統(tǒng)計千萬級321263%后付費(fèi)寬帶超期繳費(fèi)統(tǒng)計百萬級472057%指定賬目收入統(tǒng)計千萬級532357%應(yīng)收賬款月統(tǒng)計上億級792075%出庫終端匹配月統(tǒng)計千萬級612166%對比大數(shù)據(jù)平臺和傳統(tǒng)數(shù)據(jù)庫處理效率，發(fā)現(xiàn)效率提升60%左右，而且數(shù)據(jù)數(shù)量級越大，效率提升越高。多團(tuán)隊支撐能力1架構(gòu)靈活，可以支撐不同的團(tuán)隊基于企業(yè)數(shù)據(jù)進(jìn)行分析挖掘，實(shí)現(xiàn)了資源的充分利用和數(shù)據(jù)的高效共享。ABCD觀云-使用處理效率顯著提升2應(yīng)用名稱數(shù)據(jù)量本地集市耗時(分鐘)大數(shù)據(jù)平313豐富的可視化展現(xiàn)提供海量數(shù)據(jù)的批量和實(shí)時分析、圖形化操作、豐富的可視化展現(xiàn)，幫助客戶輕松自如地完成數(shù)據(jù)分析、業(yè)務(wù)數(shù)據(jù)探查，提升數(shù)據(jù)化運(yùn)營水平。實(shí)時監(jiān)控大屏展現(xiàn)圖表結(jié)合界面展現(xiàn)用戶自定義界面展現(xiàn)實(shí)景地圖展現(xiàn)觀云-使用3豐富的可視化展現(xiàn)提供海量數(shù)據(jù)的批量和實(shí)時分析、圖形化操作、32一站式大數(shù)據(jù)解決方案提供大數(shù)據(jù)存儲、計算、安全、工具和服務(wù)等基礎(chǔ)設(shè)施及一站式解決方案，可根據(jù)客戶需求進(jìn)行個性化定制。成本大幅降低規(guī)模靈活可調(diào)使用廉價的X86服務(wù)器（新增或利舊）組建大數(shù)據(jù)平臺，極大地降低建設(shè)成本，最低僅需傳統(tǒng)投資成本的10%。架構(gòu)先進(jìn)，適用小\中\(zhòng)大各種規(guī)模，可根據(jù)業(yè)務(wù)數(shù)據(jù)增長情況靈活、快速擴(kuò)展。優(yōu)質(zhì)電信數(shù)據(jù)引用提供客戶數(shù)據(jù)+電信標(biāo)簽的能力，助推客戶業(yè)務(wù)拓展水平躍升。電信級的品質(zhì)保障電信級的實(shí)施團(tuán)隊，電信級的管理規(guī)范，經(jīng)過電信內(nèi)部多年使用的考驗。通過靈活高效的管理，開放的大數(shù)據(jù)解決方案，助力客戶業(yè)務(wù)服務(wù)水平的提升。服務(wù)水平大幅提升觀云差異化優(yōu)勢一站式大數(shù)據(jù)解決方案提供大數(shù)據(jù)存儲、計算、安全、工成本大幅降33科研情況：支持所有主流大數(shù)據(jù)批處理(hadoop)、實(shí)時處理(spark)技術(shù)，秒級同步百萬條記錄；秒級處理TB級別數(shù)據(jù)，小時內(nèi)部署百節(jié)點(diǎn)規(guī)模的大數(shù)據(jù)集群；100+數(shù)據(jù)業(yè)務(wù)挖掘模型，50+并行化數(shù)據(jù)挖掘算法；完整的大數(shù)據(jù)解決方案供應(yīng)商，產(chǎn)品線全面覆蓋基礎(chǔ)平臺、數(shù)據(jù)應(yīng)用和可視化各個層次。成果展示：鴻信公司累計獲得軟件著作權(quán)48項，專利11項；省市以上獎項12項；獲得資質(zhì)包括計算機(jī)信息系統(tǒng)集成一級、CMMI5、ISO9001：2008等。團(tuán)隊組成團(tuán)隊規(guī)模80人，數(shù)據(jù)倉庫及大數(shù)據(jù)行業(yè)從業(yè)經(jīng)驗7年以上；與國內(nèi)領(lǐng)先企業(yè)、高校建立廣泛的合作關(guān)系和聯(lián)合研發(fā)團(tuán)隊。項目經(jīng)驗成功實(shí)施500萬+級項目7個，200萬+級項目5個，100萬+級項目6個，30萬+級項目9個；涉及運(yùn)營商、社保、交通、教育、財政等多個領(lǐng)域。精英團(tuán)隊成熟經(jīng)驗前端科研豐碩成果觀云大數(shù)據(jù)團(tuán)隊科研情況：支持所有主流大數(shù)據(jù)批處理(hadoop)、實(shí)時處理34江蘇電信大數(shù)據(jù)匯聚與共享平臺建設(shè)大數(shù)據(jù)基礎(chǔ)平臺，支撐電信大數(shù)據(jù)存儲和計算：PCSERVER總計200+臺，硬件金額合計：500W+;獲得可用存儲：3PB+，可用內(nèi)存10T+，以及良好的擴(kuò)展性；實(shí)現(xiàn)了話單數(shù)據(jù)處理從傳統(tǒng)數(shù)據(jù)倉庫向大數(shù)據(jù)平臺的遷移；實(shí)現(xiàn)了上層應(yīng)用分析從傳統(tǒng)數(shù)據(jù)倉庫向大數(shù)據(jù)平臺的遷移；基于Hadoop平臺實(shí)現(xiàn)了DPI、信令等數(shù)據(jù)的準(zhǔn)實(shí)時處理；基于觀云處理，實(shí)現(xiàn)多團(tuán)隊靈活入駐：入駐大數(shù)據(jù)分析團(tuán)隊30+，進(jìn)行大數(shù)據(jù)應(yīng)用分析40+，活躍開發(fā)用戶280+等；企業(yè)數(shù)據(jù)應(yīng)用門戶經(jīng)營風(fēng)險管控數(shù)據(jù)應(yīng)用DPI、信令等外部數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)ETL平臺（分布式ETL）Hadoop分布式集群數(shù)據(jù)批處理海量結(jié)構(gòu)化數(shù)據(jù)：話單信令非結(jié)構(gòu)化數(shù)據(jù)：DPI…流處理流式數(shù)據(jù)：信令A(yù)AA認(rèn)證…大數(shù)據(jù)基礎(chǔ)平臺ODS傳統(tǒng)結(jié)構(gòu)數(shù)據(jù)準(zhǔn)實(shí)時處理EDW傳統(tǒng)結(jié)構(gòu)數(shù)據(jù)批量處理數(shù)據(jù)集市數(shù)據(jù)儲存與處理大數(shù)據(jù)匯聚共享平臺開放共享開發(fā)利用安全管理數(shù)據(jù)交換MSSBSSOSS業(yè)務(wù)平臺結(jié)構(gòu)化數(shù)據(jù)CSSCMS數(shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)封裝客戶行為分析數(shù)據(jù)服務(wù)經(jīng)營分析集市營銷維系集市本地應(yīng)用集市客戶行為集市30+分析團(tuán)隊40+專題應(yīng)用280+開發(fā)用戶1000+數(shù)據(jù)表800+流程部署專業(yè)資深的應(yīng)用團(tuán)隊覆蓋廣泛的服務(wù)客戶不同領(lǐng)域的數(shù)據(jù)挖掘規(guī)模龐大的共享數(shù)據(jù)變革創(chuàng)新的行業(yè)領(lǐng)域觀云大數(shù)據(jù)平臺案例江蘇電信大數(shù)據(jù)匯聚與共享平臺企業(yè)數(shù)據(jù)應(yīng)用門戶經(jīng)營風(fēng)險管控數(shù)據(jù)352.4成效一：團(tuán)隊能力拓展成效一：構(gòu)建電信大數(shù)據(jù)開放生態(tài)圈多團(tuán)隊并行開展工作基于統(tǒng)一開放數(shù)據(jù)能力雙百兆營銷移動客戶畫像數(shù)據(jù)稽核30+分析團(tuán)隊40+挖掘模型流失預(yù)警模型快遞員模型信用評估模型省級對內(nèi)應(yīng)用類經(jīng)營分析團(tuán)隊財務(wù)數(shù)據(jù)分析團(tuán)隊經(jīng)營風(fēng)險管控團(tuán)隊…...分公司應(yīng)用類南京數(shù)據(jù)分析團(tuán)隊蘇州數(shù)據(jù)分析團(tuán)隊無錫數(shù)據(jù)分析團(tuán)隊…...對外應(yīng)用類百度ID團(tuán)隊尼爾森團(tuán)隊青稞團(tuán)隊…...基于開源大數(shù)據(jù)技術(shù)，構(gòu)建電信大數(shù)據(jù)開放生態(tài)圈，實(shí)現(xiàn)對內(nèi)對外的數(shù)據(jù)能力開放，目前已面向號百、NOC、終端公司、公信公司和分公司開放能力，初步實(shí)現(xiàn)與外部多個行業(yè)進(jìn)行大數(shù)據(jù)產(chǎn)品開發(fā)與運(yùn)營的協(xié)作模式。2.4成效一：團(tuán)隊能力拓展成效一：構(gòu)建電信大數(shù)據(jù)開放生態(tài)圈36399個南京：對399個重點(diǎn)區(qū)域的基站進(jìn)行優(yōu)化優(yōu)省2.5成效二：對內(nèi)支撐企業(yè)規(guī)模發(fā)展降本增效10%南京：優(yōu)化后每個基站增加約10%用戶150萬元基于大數(shù)據(jù)分析，開展客戶價值導(dǎo)向的4G網(wǎng)絡(luò)建設(shè)和優(yōu)化，提升4G用戶體驗，提高網(wǎng)絡(luò)投資成本收益率4G基站優(yōu)化成效顯著基于大數(shù)據(jù)分析，對低流量用戶進(jìn)行分群和特征刻畫，采用針對性營銷，提升用戶活躍率，規(guī)避業(yè)務(wù)風(fēng)險流量經(jīng)營營銷成效顯著基于大數(shù)據(jù)分析，開展流量經(jīng)營各項精確營銷支撐工作，針對性營銷輔導(dǎo)，推薦流量產(chǎn)品收益1.79億，占流量產(chǎn)品收入29.6%后向流量收入持續(xù)增長647波次全省累計發(fā)起營銷輔導(dǎo)647波次1.79億元翼起來客戶端推薦業(yè)務(wù)直接效益155M輔導(dǎo)81.8萬低流量用戶，戶均提升達(dá)155M166萬成功推薦下載應(yīng)用156萬徐州：月均提升流量17318G，月均提升流量收入151萬元，年增收1248萬元鎮(zhèn)江：月均提升流量8466G，月均提升流量收入104萬元，年增收1812萬元蘇州：發(fā)現(xiàn)5個閑置4G基站*每個30萬元建設(shè)運(yùn)營成本，共計節(jié)省150萬元成效二：對內(nèi)支撐企業(yè)發(fā)展降本增效399個南京：對399個重點(diǎn)區(qū)域的基站進(jìn)行優(yōu)化優(yōu)省2.5成37成效三：對外支撐行業(yè)應(yīng)用拓展成效三：對外支撐行業(yè)應(yīng)用拓展38建設(shè)云計算平臺+大數(shù)據(jù)平臺，提升高校在大數(shù)據(jù)經(jīng)濟(jì)統(tǒng)計、電子商務(wù)、數(shù)據(jù)挖掘、社會網(wǎng)絡(luò)分析、推薦系統(tǒng)、云計算、三維可視化和物聯(lián)網(wǎng)等方面的研究水平。多模態(tài)輿情與決策支持系統(tǒng)的研究匯集互聯(lián)網(wǎng)中的海量輿情信息，對其進(jìn)行深度分析，提供輿情報告并實(shí)時推送敏感信息，為輿情監(jiān)測、預(yù)警、干預(yù)等提供決策支持。大規(guī)模社區(qū)抽取的研究通過搭建一個基于hadoop分布式平臺的BSP計算模型來并行處理數(shù)十億節(jié)點(diǎn)的社交媒體數(shù)據(jù)，研究基于數(shù)據(jù)分片的社區(qū)抽取算法，建立數(shù)據(jù)索引以及分片之間計算和存儲的負(fù)載均衡問題。大規(guī)模復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)的研究擬采用基于Spark框架的內(nèi)存計算技術(shù)。農(nóng)業(yè)環(huán)境監(jiān)控信息經(jīng)濟(jì)統(tǒng)計數(shù)據(jù)庫建設(shè)讓教師在從事科研時能迅速便捷地找到有關(guān)的信息資料，有良好的數(shù)據(jù)處理工具，并保證這些工具的合法性及其分析結(jié)果的可靠性。讓學(xué)生有機(jī)會了解學(xué)科動態(tài)，接觸前沿研究方法。建立良好的科研環(huán)境，包括管理人員優(yōu)質(zhì)的服務(wù)，計算機(jī)良好的運(yùn)行狀況和可靠的軟硬件技術(shù)支持系統(tǒng)等。高校教學(xué)科研大數(shù)據(jù)平臺建設(shè)云計算平臺+大數(shù)據(jù)平臺，提升高校在大數(shù)據(jù)經(jīng)濟(jì)統(tǒng)計、電子商39人社大數(shù)據(jù)平臺建設(shè)項目建設(shè)包括大數(shù)據(jù)基礎(chǔ)平臺建設(shè)和兩個業(yè)務(wù)分析系統(tǒng)建設(shè)。社保大數(shù)據(jù)應(yīng)用基礎(chǔ)平臺社保大數(shù)據(jù)應(yīng)用基礎(chǔ)平臺擬采用傳統(tǒng)數(shù)據(jù)倉庫+分布式數(shù)據(jù)存儲計算框架的混合模式，包括數(shù)據(jù)采集、數(shù)據(jù)存儲處理、數(shù)據(jù)匯聚共享三大模塊。社保統(tǒng)計分析系統(tǒng)根據(jù)統(tǒng)計分析系統(tǒng)設(shè)計要求，結(jié)合業(yè)務(wù)部門實(shí)際需求，設(shè)計開發(fā)各類可定制化的條件查詢統(tǒng)計匯總功能。養(yǎng)老保險關(guān)聯(lián)分析系統(tǒng)按關(guān)聯(lián)分析系統(tǒng)設(shè)計要求，建立指標(biāo)體系，從多維結(jié)構(gòu)化的角度處理對企業(yè)養(yǎng)老保險基金產(chǎn)生影響的政策、宏觀經(jīng)濟(jì)方面的因素，為進(jìn)一步挖掘事件與社保基金之間的深層關(guān)系打好基礎(chǔ)。人社大數(shù)據(jù)平臺建設(shè)項目建設(shè)包括大數(shù)據(jù)基礎(chǔ)平臺建設(shè)和兩個業(yè)務(wù)分40Part3大數(shù)據(jù)平臺應(yīng)用Part3大數(shù)據(jù)平臺應(yīng)用41人車路交通的參與者（駕駛員、行人、乘客、居民）出行OD、停留時間、人口分布、交通工具、異地通勤、交通負(fù)荷、事件分析、政策評估道路交通的主要載體車輛管理、行車路線規(guī)劃、行車軌跡分析交通的重要組成部分交通路況、路況預(yù)測、物流園區(qū)周邊路況負(fù)荷評估數(shù)據(jù)服務(wù)實(shí)時交通路況評測道路信令數(shù)據(jù)…Saas應(yīng)用實(shí)時路況行車軌跡OD分析…咨詢報告交通規(guī)劃咨詢交通事件評估人口交換評估…交通大數(shù)據(jù)應(yīng)用國家大數(shù)據(jù)發(fā)展格局已形成；基于用戶位置信息的數(shù)據(jù)價值得到交通部、規(guī)劃院認(rèn)可；運(yùn)營商大數(shù)量價值已經(jīng)開始變現(xiàn)；各地交通部已著手調(diào)研利用手機(jī)信令進(jìn)行路網(wǎng)監(jiān)測。運(yùn)營商品牌效應(yīng);運(yùn)營商數(shù)據(jù)資源全面、多維、中立；

可實(shí)現(xiàn)不同維度數(shù)據(jù)交叉關(guān)聯(lián)；具有多種定位手段，數(shù)據(jù)價值高；匯聚海量電信用戶位置數(shù)據(jù)。優(yōu)勢Strengths機(jī)會Opportunities人車路交通的參與者（駕駛員、行人、乘客、居民）道路交通的主要42南京-鎮(zhèn)江江寧區(qū)玄武區(qū)溧水縣棲霞區(qū)潤州區(qū)丹徒區(qū)京口區(qū)句容市通勤人口特征分析通勤量分析通勤距離分析通勤目的地分析通過多月手機(jī)信令數(shù)據(jù)，分析手機(jī)用戶每日的出行軌跡，總結(jié)規(guī)律，識別其夜間穩(wěn)定點(diǎn)做為居住地、其白天工作時段穩(wěn)定點(diǎn)做為工作地，并剔除不通勤用戶的干擾，獲取主城的居住地與崗位分布。通勤分析南京-鎮(zhèn)江江寧區(qū)玄武區(qū)溧水縣棲霞區(qū)潤州區(qū)丹徒區(qū)京口區(qū)句容市通43數(shù)據(jù)清洗停留點(diǎn)提取停留點(diǎn)分析刪除重復(fù)位置信息；剔除乒乓切換；剔除超速數(shù)據(jù)…。合并鄰近基站；篩選停留點(diǎn)。停留點(diǎn)特征分析；標(biāo)記停留點(diǎn)類別（居住、工作…）。出行OD產(chǎn)品基于中國電信用戶海量位置信息，抽取用戶出行起點(diǎn)、終點(diǎn)，對特定人群進(jìn)行出行活動行為分析；大數(shù)據(jù)出行OD產(chǎn)品可取代傳統(tǒng)居民出行、道路交通等調(diào)查手段，通過智能方式實(shí)現(xiàn)出行OD調(diào)查；基于位置信息的出行OD產(chǎn)品可應(yīng)用于城市交通道路規(guī)劃、政策評估、城市公交規(guī)道交通規(guī)劃等場景。01城市規(guī)劃人流OD分析城市功能分區(qū)城市空間分布職住分布通勤關(guān)系遷移關(guān)系03城市政策評價城市間人口遷徙城市內(nèi)人口出行城市間異地通勤02城市交通規(guī)劃城市公交站點(diǎn)城市地鐵站規(guī)劃區(qū)域人口出行應(yīng)用場景OD（出行交通量）“O”來源于英文ORIGIN，指出行的出發(fā)地點(diǎn)；“D”來源于英文DESTINATION，指出行的目的地交通大數(shù)據(jù)應(yīng)用——OD分析數(shù)據(jù)清洗停留點(diǎn)提取停留點(diǎn)分析刪除重復(fù)位置信息；剔除乒乓切換；44出發(fā)地：南京

與鎮(zhèn)江、滁州聯(lián)系最緊密城際OD分析出發(fā)地：南京與鎮(zhèn)江、滁州聯(lián)系最緊密城際OD分析45直觀上看，中心城區(qū)（11、12、13、8）是外地-南京出行最密集的地區(qū)，主要是南京的商業(yè)和公共服務(wù)的集聚區(qū)。城際OD分析直觀上看，中心城區(qū)（11、12、13、8）是外地-南京出行最46目的地來源地目的地：從新街口去往各個區(qū)縣的人來源地：指從其他區(qū)縣進(jìn)入到新街口區(qū)域的人在新街口停留一個小時以上算有效用戶，夜間在其他區(qū)縣停留3個小時以上判斷為來源地在新街口停留一個小時以上算有效用戶，分析這些用戶夜間居住在哪里？市內(nèi)OD分析——新街口客流來源、去向目的地來源地目的地：從新街口去往各個區(qū)縣的人來源地：指從其他47市內(nèi)OD分析——夫子廟客流集散市內(nèi)OD分析——夫子廟客流集散4849

交通方式及換乘分析收集區(qū)域內(nèi)所有（含各區(qū)縣）火車站、機(jī)場、汽車站、收費(fèi)口的基站與信令數(shù)據(jù)，并結(jié)合用戶出現(xiàn)在這些交通樞紐前后的位置信息，將用戶的城際交通方式歸類為“鐵路”、“民航”、“客運(yùn)”、“自駕”流入流出交通方式分析用戶出現(xiàn)在客運(yùn)站（剔除常駐人口）用戶在進(jìn)客運(yùn)站一個小時之前的前一個小時內(nèi)無市內(nèi)信令切換記錄用戶在客運(yùn)站最后一條信令后一個小時之后的后一個小時內(nèi)有市內(nèi)信令切換記錄根據(jù)用戶進(jìn)入城市的軌跡與長途汽車路線進(jìn)行匹配用戶出現(xiàn)在客運(yùn)站（剔除常駐人口）用戶在進(jìn)客運(yùn)站一個小時之前的前一個小時內(nèi)有市內(nèi)信令切換記錄用戶在客運(yùn)站最后一條信令后一個小時之后的后一個小時內(nèi)無市內(nèi)信令切換記錄根據(jù)用戶離開城市的軌跡與長途汽車路線進(jìn)行匹配進(jìn)站分析出站分析49 流入流出交通方式分析用戶出現(xiàn)在客運(yùn)站（剔49以南京南站為研究對象，利用大數(shù)據(jù)技術(shù)，將手機(jī)信令、漫游數(shù)據(jù)、用戶標(biāo)簽數(shù)據(jù)、探針等多種數(shù)據(jù)資源信息進(jìn)行融合，并在此基礎(chǔ)上對南京南站的集疏運(yùn)換乘功能進(jìn)行研究，形成宏觀的分析報告，為南站的服務(wù)以及管理改進(jìn)提出優(yōu)化方案，促進(jìn)南站周邊經(jīng)濟(jì)圈的開發(fā)。案例：南京南站交通樞紐集疏運(yùn)大數(shù)據(jù)管理優(yōu)化根據(jù)分析提供的南站各種交通方式的客流信息、換乘波峰波谷時間段，為引導(dǎo)乘客選擇最優(yōu)出行路線以及最佳出行時間提供理論依據(jù)。通過對南站周邊五公里道路路況以及來源目的地分析，為南站周邊道路上的車輛導(dǎo)流提供理論依據(jù)，也為交通路網(wǎng)規(guī)劃提供參考。通過南站區(qū)域內(nèi)人流換乘耗時以及人流動線的分析，可以為改善內(nèi)部尋路措施提供理論依據(jù)。通過分析內(nèi)部人員結(jié)構(gòu)改善針對特定人群的服務(wù)。通過分析內(nèi)部人員結(jié)構(gòu)為南站內(nèi)部的廣告投放、南站內(nèi)部的商鋪建設(shè)以及南站周邊經(jīng)濟(jì)圈的開發(fā)提供參考。以南京南站為研究對象，利用大數(shù)據(jù)技術(shù)，將手機(jī)信令、漫游數(shù)據(jù)、50案例-交通行業(yè)南京交管局大數(shù)據(jù)項目

二橋擁堵時對前往車輛進(jìn)行擁堵短信提醒實(shí)現(xiàn)南京二橋路線實(shí)時路況監(jiān)控玄武湖公園客流量預(yù)測南京南站客流量監(jiān)控1234借助實(shí)時處理能力對海量電信信令數(shù)據(jù)進(jìn)行實(shí)時計算，提供高速路及交通樞紐的實(shí)時路況和客流監(jiān)測。基于BI可視化組件快速實(shí)現(xiàn)對擁堵道路的多維度分析和展示；對景區(qū)和交通樞紐實(shí)現(xiàn)客流實(shí)時監(jiān)控和預(yù)測。案例-交通行業(yè)南京交管局大數(shù)據(jù)項目二橋擁堵時對前往車輛進(jìn)行51分析區(qū)域和城際互聯(lián)互通水平，打造交通樞紐城市出行量目的地分析出行用戶畫像東西南北走向流量分析來源分析駐留時間統(tǒng)計流入和經(jīng)停比例分析流入流出對比分析預(yù)測流入流出分析主干道流出路線（占比）到達(dá)城市占比東西南北走向分析危險品/貨運(yùn)分析跨市通勤用戶分析跨市通勤方式分析跨市通勤地分析跨市通勤趨勢分析跨市通勤時間分析城際通勤分析進(jìn)港分析目的地分析出港分析過站分析分流分析換乘分析交通樞紐分析分析物流經(jīng)濟(jì)走廊分析城市與周邊區(qū)域經(jīng)濟(jì)依賴強(qiáng)弱分析交通方式的占比、趨勢及不足，加強(qiáng)薄弱通道的建設(shè)，合理加密核心圈層的路網(wǎng)密度案例-交通行業(yè)常州交通局大數(shù)據(jù)項目分析指標(biāo)應(yīng)用需求實(shí)現(xiàn)信令數(shù)據(jù)、普貨、危險品、出租車、機(jī)場大巴等多數(shù)據(jù)源的匯聚實(shí)現(xiàn)流入流出、經(jīng)濟(jì)走廊、通勤、客流等8大類50+指標(biāo)的分析和處理實(shí)現(xiàn)各類分析報表、圖表的的可視化展示分析區(qū)域和城際互聯(lián)互通水平，打造交通樞紐城市出行量流入流出分52案例：2016蘇州園博會大數(shù)據(jù)監(jiān)測案例：2016蘇州園博會大數(shù)據(jù)監(jiān)測53對重點(diǎn)區(qū)域運(yùn)營商用戶終端位置信息自建WIFI位置信息道路監(jiān)控的卡口數(shù)據(jù)：過車車號、過車車速、過車時間、過車車輛信息、過車照片時間、地點(diǎn)、用戶、用戶特征等信息強(qiáng)關(guān)聯(lián)位置信息覆蓋范圍廣……監(jiān)控預(yù)測預(yù)警防暴恐、踩踏事件大數(shù)據(jù)重點(diǎn)人群來源去向人群流量人群密度……監(jiān)控預(yù)測預(yù)警措施缺失基于公安信息，結(jié)合運(yùn)營商通信和位置信息，以實(shí)現(xiàn)：擴(kuò)展情報收集來源提升公安反恐作戰(zhàn)能力提供刑偵輔助手段實(shí)現(xiàn)犯罪預(yù)測和防控提供預(yù)警和處置手段公安大數(shù)據(jù)應(yīng)用對重點(diǎn)區(qū)域運(yùn)營商用戶終端位置信息監(jiān)控防暴恐、踩踏事件大數(shù)據(jù)重54犯罪交往圈挖掘根據(jù)嫌疑群體的通信行為，挖掘其組織關(guān)系以及潛在目標(biāo)應(yīng)用4犯罪交往圈挖掘系統(tǒng)根據(jù)其通訊行為，挖掘形成交往圈圖譜警方輸入犯罪嫌疑人號碼，分析其交往圈信息形成犯罪人交往圈分析報告，展示其交往圖譜、關(guān)鍵人、異常人員等系統(tǒng)支持分析交往圈的關(guān)鍵聯(lián)系人，進(jìn)一步分析其個人特征系統(tǒng)支持選擇聯(lián)系人，進(jìn)一步進(jìn)行追溯，并進(jìn)行一定的篩選根據(jù)其交往圈規(guī)律，結(jié)合其位置軌跡，分析交往圈人緣關(guān)系身份犯罪交往圈挖掘根據(jù)嫌疑群體的通信行為，挖掘其組織關(guān)系以及潛在55重點(diǎn)人員布控支持根據(jù)嫌重點(diǎn)監(jiān)控人的實(shí)時位置，輔助實(shí)現(xiàn)人、車布控應(yīng)用2重點(diǎn)人員布控支持根據(jù)嫌疑人習(xí)慣、移動軌跡（人，車：320），制定布控策略警方鎖定嫌疑人，需要布控抓捕準(zhǔn)確定位，捉拿嫌疑人根據(jù)嫌疑人實(shí)時位置，實(shí)施抓捕計劃嫌疑人與其他人通信時，實(shí)時抓取聯(lián)系人信息嫌疑人進(jìn)入車站、機(jī)場等準(zhǔn)備逃竄時，及時預(yù)警重點(diǎn)人員布控支持根據(jù)嫌重點(diǎn)監(jiān)控人的實(shí)時位置，輔助實(shí)現(xiàn)人、車布56罪犯軌跡分析通過分析犯罪嫌疑人的位置軌跡，分析其行為特征和異常信息應(yīng)用3罪犯軌跡分析系統(tǒng)追溯其位置軌跡，形成軌跡路線警方輸入犯罪分子號碼，分析之前的行為根據(jù)其行為軌跡，分析其生活、工作地點(diǎn)、異?；顒拥攸c(diǎn)等信息分析人員可選擇特定區(qū)域，統(tǒng)計其經(jīng)過次數(shù)、時間等信息系統(tǒng)支持輸入其他人員信息，進(jìn)行軌跡對比分析系統(tǒng)分析其停留特征，分析停留位置和時長罪犯軌跡分析通過分析犯罪嫌疑人的位置軌跡，分析其行為特征和異57數(shù)據(jù)獲取位置數(shù)據(jù)基站數(shù)據(jù)用戶畫像手機(jī)數(shù)據(jù)基本特征：數(shù)據(jù)構(gòu)成/更新原理/觸發(fā)機(jī)制/更新頻率等進(jìn)入小區(qū)范圍的用戶畫像數(shù)據(jù)預(yù)處理手機(jī)數(shù)據(jù)質(zhì)量分析手機(jī)數(shù)據(jù)預(yù)處理信令覆蓋于小區(qū)地形匹配手機(jī)數(shù)據(jù)適用性分析手機(jī)數(shù)據(jù)準(zhǔn)確性分析手機(jī)數(shù)據(jù)完整性分析基站與小區(qū)、小區(qū)附近道路映射匹配獲取個體用戶小區(qū)附近出行軌跡獲取個體用戶小區(qū)附近時空分布去除信令數(shù)據(jù)噪聲去除信號擾動影響模型構(gòu)建人群身份識別模型夜間頻繁出入（并停留）于多個小區(qū)的用戶。多個用戶在異常時空軌跡上出現(xiàn)重合多個用戶通話行為與異常時空軌跡發(fā)生時間重合停留點(diǎn)/時長識別與計算出行鏈識別出行模式聚類特殊人群核心人員識別模型小區(qū)居民

小區(qū)工作人員（物業(yè)、快遞等）

經(jīng)常出入小區(qū)的游客保護(hù)用戶隱私：手機(jī)數(shù)據(jù)字段/類型/更新頻率等基站分布/用戶量分析小區(qū)公安監(jiān)控的應(yīng)用小區(qū)異常行為人流實(shí)時監(jiān)控預(yù)警案發(fā)后嫌疑人排查及軌跡跟蹤基于歷史軌跡的嫌疑人挖掘觀云大數(shù)據(jù)處理平臺一般客戶交往圈異常模型人群流量監(jiān)測預(yù)警模型。。。。。。案例-公安監(jiān)控蘇州公安小區(qū)監(jiān)控數(shù)據(jù)獲取位置數(shù)據(jù)基站數(shù)據(jù)用戶畫像手機(jī)數(shù)據(jù)基本特征：數(shù)據(jù)構(gòu)成/58基于軌跡相似度、時空重合度、周期內(nèi)重合次數(shù)及通信交往圈分析建立非法聚集評估指數(shù)，并根據(jù)非法聚集規(guī)模進(jìn)行預(yù)警。案例-司法社區(qū)服刑人員監(jiān)控通過歷史軌跡數(shù)據(jù)分析住所工作地，日?；顒榆壽E?；谶@兩點(diǎn)分析晚歸未歸數(shù)、軌跡相似度，對相似度較高的異常軌跡進(jìn)行預(yù)警活動軌跡分析活動范圍分析非法聚集分析異常軌跡分析、預(yù)警基于軌跡的居住地、工作地分析特定區(qū)域經(jīng)過次數(shù)及停留時間分析異常軌跡相似度分析正常/異?；顒臃秶治黾皥D形化展示異?；顒臃秶卣鞣治黾邦A(yù)警異?；顒臃秶嗨贫确治鲕壽E相似度分析時空重合度分析周期重合次數(shù)統(tǒng)計非法聚集規(guī)模監(jiān)控服刑人員交往圈分析人員活動信息總覽人員分布圖形化展示活動正常/異常比例顯示正常/異常人員地圖高亮顯示非法聚集分析異常軌跡分析基于軌跡相似度、時空重合度、周期內(nèi)重合次數(shù)及通信交往圈分析建59常熟公安基于wifi探針的用戶數(shù)據(jù)采集1項目背景作為“大防控”體系的一部分（不屬于技偵范疇），公安目前在建設(shè)基于wifi探針的用戶數(shù)據(jù)采集項目，并計劃在此基礎(chǔ)之上進(jìn)行大數(shù)據(jù)分析?；趙ifi探針的用戶數(shù)據(jù)采集，難點(diǎn)在于如何獲取用戶手機(jī)MAC地址和手機(jī)號碼的匹配，公安目前的手段是在自己有抓手的公共場所（網(wǎng)吧、賓館等）強(qiáng)制推行號碼登記。蘇州由市公安局統(tǒng)一部署，各區(qū)縣分別試點(diǎn)建設(shè)，常熟想做出自己的特色：引入運(yùn)營商wifi數(shù)據(jù)，提高匹配率。ChinaNet、aWifi等家庭寬帶wifi大數(shù)據(jù)平臺wifi探針數(shù)據(jù)：MAC地址與位置信息MAC地址與手機(jī)號或?qū)拵з~號的關(guān)系數(shù)據(jù)應(yīng)用本期項目內(nèi)容2合作方式甲方：常熟公安乙方：鴻信（數(shù)據(jù)平臺建設(shè)與數(shù)據(jù)集成）丙方1：蘇州國泰實(shí)業(yè)公司常熟分公司（蘇州公安直屬企業(yè)）丙方2：wifi探針廠商項目金額約五六百萬，其中探針設(shè)備約四百萬。政策與技術(shù)的可行性常熟公安基于wifi探針的用戶數(shù)據(jù)采集1項目背景60精準(zhǔn)營銷數(shù)據(jù)基礎(chǔ)數(shù)據(jù)基礎(chǔ)用戶級的基礎(chǔ)口徑數(shù)據(jù)受理與發(fā)展渠道、

資源接入方式、營銷區(qū)域、城鄉(xiāng)標(biāo)志、學(xué)校代碼、樂享3G主副卡標(biāo)志、云卡類型、

智能手機(jī)終端與3G手機(jī)手機(jī)終端、3G終端用戶(集團(tuán)口徑)、是否在網(wǎng)、是否計費(fèi)出賬、是否融合、是否活躍、是否三零用戶…… 網(wǎng)間結(jié)出結(jié)算漫游結(jié)出iTV結(jié)出SP結(jié)出保有傭金傭金發(fā)展傭金話費(fèi)補(bǔ)貼補(bǔ)貼終端補(bǔ)貼其他裝維物料終端結(jié)算營銷成本……用戶級的成本匯聚與計算交往指數(shù)：衡量一個號碼的交往號碼與其交往程度的量化指標(biāo)；涵蓋交往頻度，通話時長，通話次數(shù)因素

用戶交往指數(shù)和交往圈是否新增用戶是否離網(wǎng)（90天內(nèi)沒有通話）本網(wǎng)生活圈交往指數(shù)最高的固話產(chǎn)品本網(wǎng)生活圈交往指數(shù)最高的移動產(chǎn)品異網(wǎng)用戶所在營銷支局中高端用戶類型是否為其他運(yùn)營商的客戶經(jīng)理異網(wǎng)用戶的特征刻畫

全面融合企業(yè)前后端數(shù)據(jù)，通過專業(yè)數(shù)據(jù)團(tuán)隊打造統(tǒng)一業(yè)務(wù)模型，將位置信息、上網(wǎng)行為和用戶標(biāo)簽信息加入到業(yè)務(wù)中間層，使得數(shù)據(jù)更加易用，更加貼近業(yè)務(wù)。精準(zhǔn)營銷數(shù)據(jù)基礎(chǔ)數(shù)據(jù)基礎(chǔ)用戶級的基礎(chǔ)口徑數(shù)據(jù)受理與發(fā)展渠道、61精準(zhǔn)營銷數(shù)據(jù)基礎(chǔ)標(biāo)簽分類個人價值購買力標(biāo)簽資產(chǎn)標(biāo)簽1.月消費(fèi)5.銀行往來7.手機(jī)終端6.電信消費(fèi)8.套餐類型3.工作類別2.電商網(wǎng)站4.常出現(xiàn)地1.房產(chǎn)3.理財購買2.小區(qū)檔次評估目標(biāo)客戶的消費(fèi)能力和資產(chǎn)水平生活習(xí)慣家庭/朋友圈生活習(xí)慣5.飲食習(xí)慣7.手機(jī)信用6.出行習(xí)慣1.活躍時間3.服飾購物2.休息時間1.家庭購車3.社交廣度2.配偶特征描繪目標(biāo)客戶的交往圈、家庭圈和生活習(xí)慣身份特質(zhì)基本情況興趣愛好6.飲食8.閱讀7.旅行9.社交1.電商3.理財2.金融4.旅游1.性別3.歸屬地2.年齡10.視頻5.團(tuán)購12.運(yùn)動11.游戲觀察與目標(biāo)客戶特征緊密相關(guān)的身份狀態(tài)和興趣愛好底層標(biāo)簽分類上層應(yīng)用標(biāo)簽分類精準(zhǔn)營銷數(shù)據(jù)基礎(chǔ)標(biāo)簽分類個人價值購買力標(biāo)簽資產(chǎn)標(biāo)簽1.月消費(fèi)62精準(zhǔn)營銷數(shù)據(jù)基礎(chǔ)標(biāo)簽管理建立標(biāo)簽管理系統(tǒng)，統(tǒng)一管控用戶上網(wǎng)行為標(biāo)簽規(guī)則的維護(hù)及共享。加強(qiáng)對網(wǎng)絡(luò)數(shù)據(jù)的深入解讀，實(shí)現(xiàn)用戶網(wǎng)絡(luò)帳號識別、提升異網(wǎng)用戶識別能力，陸續(xù)建立“個人交往圈模型”、“企業(yè)員工關(guān)系模型”、“寬帶異網(wǎng)號碼識別模型”，實(shí)現(xiàn)數(shù)據(jù)價值提升。賬號識別900萬800萬100萬xxx萬異網(wǎng)識別異網(wǎng)手機(jī)號：300萬移動APP4000+百度地圖微信QQ易信支付寶網(wǎng)站瀏覽18000+新浪網(wǎng)易淘寶天涯論壇電信網(wǎng)廳搜索行為7000+P2P理財小蘋果電信套餐寶馬上網(wǎng)終端2000+小米4MacBook小米盒子iPhone6Plus智能電視標(biāo)簽系統(tǒng)中國電信寬帶描述人與人之間的緊密程度描述企業(yè)與人之間的緊密程度個人交往指數(shù)模型生活圈交往指數(shù)>0.65工作圈交往指數(shù)>0.65綜合圈企業(yè)交往指數(shù)模型通話頻度地理位置重合度通話廣度通話頻度

=(權(quán)重a*本月CDR日數(shù)+權(quán)重b*本月CDR周數(shù)+權(quán)重c*本月CDR旬?dāng)?shù))/本月天數(shù)；交往指數(shù)

=系數(shù)A*CF+系數(shù)B*時長+系數(shù)C*次數(shù))+系數(shù)D*短彩信次數(shù)；通話廣度

=手機(jī)號碼與同一企業(yè)內(nèi)固定電話通話的固話號碼個數(shù)；地理位置重合度

=手機(jī)工作時間駐留時間最長的基站位置與企業(yè)所在物理網(wǎng)格重合度；精準(zhǔn)營銷數(shù)據(jù)基礎(chǔ)標(biāo)簽管理建立標(biāo)簽管理系統(tǒng)，統(tǒng)一63關(guān)鍵人物識別黃名單紅名單構(gòu)建人群的“安全系數(shù)”社交賬號監(jiān)控購買管制刀具、炸藥等頻繁翻墻訪問境外網(wǎng)站多賬號造謠

宣傳行為

綠名單

可疑危險分子持續(xù)動態(tài)追蹤，鎖定真實(shí)人員通信行為監(jiān)控跟蹤行為軌跡經(jīng)常插拔

卡非正常時

段上網(wǎng)位置定位鎖定自然人用戶畫像案例：關(guān)鍵人物識別及管控發(fā)表不良言論搜索敏感詞匯通話詳單中有警方監(jiān)控對象關(guān)鍵人物識別黃名單紅名單構(gòu)建人群的“安全系數(shù)”社交賬號監(jiān)控購64案例：電信云公司旅游目的地畫像通過對移動互聯(lián)網(wǎng)網(wǎng)關(guān)日志的解析和過濾，對游客訪問的旅游類內(nèi)容進(jìn)行識別。對重點(diǎn)旅游網(wǎng)站URL進(jìn)行解析過濾，并通過爬蟲工具對URL對應(yīng)網(wǎng)頁進(jìn)行采集下載，獲取URL對應(yīng)互聯(lián)網(wǎng)內(nèi)容信息。對采集到的海量互聯(lián)網(wǎng)內(nèi)容進(jìn)行分析清理，通過文本分類和分詞工具獲取網(wǎng)頁中