企業(yè)級(jí)大數(shù)據(jù)中心整體規(guī)劃

企業(yè)級(jí)大數(shù)據(jù)中心整體規(guī)劃l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施亞馬遜與數(shù)據(jù)湖數(shù)據(jù)湖（DataLake）的概念在2011年提出后被Gartner、哈佛大學(xué)等國(guó)際組織和學(xué)校發(fā)揚(yáng)光大，并被國(guó)內(nèi)外的多個(gè)企業(yè)如IBM、EMC、普華永道等所采用并實(shí)踐；亞馬遜與數(shù)據(jù)湖亞馬遜與數(shù)據(jù)湖全球領(lǐng)先的互聯(lián)網(wǎng)在線影視服務(wù)供應(yīng)商，在美國(guó)有超過(guò)3千萬(wàn)的訂閱用戶。AWS的通過(guò)云計(jì)算、數(shù)據(jù)湖吸引和支撐了Netflix這樣規(guī)模的客戶。S3作為數(shù)據(jù)湖可以針對(duì)不同的工作負(fù)載彈性阿里巴巴與數(shù)據(jù)中臺(tái)ZJ移動(dòng)2018智慧應(yīng)用百花齊放：開(kāi)放用戶畫(huà)像、時(shí)機(jī)觸發(fā)、產(chǎn)品推薦等5大類(lèi)46個(gè)服務(wù)接口，年支撐創(chuàng)新場(chǎng)景近30個(gè)，月均智慧應(yīng)用百花齊放：開(kāi)放用戶畫(huà)像、時(shí)機(jī)觸發(fā)、產(chǎn)品推薦等5大類(lèi)46個(gè)服務(wù)接口，年支撐創(chuàng)新場(chǎng)景近30個(gè)，月均營(yíng)銷(xiāo)成功用戶數(shù)提升1倍。商用產(chǎn)品全線拓展：拓客類(lèi)產(chǎn)品業(yè)務(wù)布局初步成型，意向客戶超70家；客流、選址等洞察類(lèi)拳頭產(chǎn)品收入突破千萬(wàn)；信用分創(chuàng)新風(fēng)控類(lèi)產(chǎn)品已應(yīng)用于欠費(fèi)免停機(jī)場(chǎng)景，單客戶ARPU可提升1.64元線下零售效能線上千人千面喜傳單喜刷街喜轉(zhuǎn)盤(pán)智慧精選交通治堵全域旅游線下零售效能線上千人千面喜傳單喜刷街喜轉(zhuǎn)盤(pán)智慧精選交通治堵全域旅游微服務(wù)城市規(guī)劃商業(yè)選址喜?（拓客）喜?（拓客）慧?（洞察）信用分金融驗(yàn)真信用分金融驗(yàn)真信信?（風(fēng)控）對(duì)內(nèi)：數(shù)據(jù)驅(qū)動(dòng)“智慧運(yùn)營(yíng)”礎(chǔ)模型近2000多個(gè)。已建成客戶標(biāo)簽體系包應(yīng)用服務(wù)接口：提供用戶畫(huà)像、推薦觸達(dá)、行業(yè)l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施現(xiàn)狀分析現(xiàn)狀分析?完成平臺(tái)擴(kuò)容，搭建了研發(fā)和生?有序推進(jìn)BOM域數(shù)據(jù)整合，已匯聚IT、網(wǎng)絡(luò)、平臺(tái)共39個(gè)系統(tǒng)約2.2P的數(shù)據(jù)?構(gòu)建數(shù)據(jù)資產(chǎn)地圖，支撐數(shù)據(jù)資?搭建了統(tǒng)一的數(shù)據(jù)中心運(yùn)維平臺(tái)，實(shí)現(xiàn)了跨系統(tǒng)運(yùn)維資源的整合?提供了可視化組件，已經(jīng)支撐業(yè)管、電金、新媒體3個(gè)部門(mén)以及樂(lè)山分公司的 問(wèn)題總結(jié)問(wèn)題總結(jié)平臺(tái)架構(gòu)4、hadoop組件開(kāi)源開(kāi)發(fā)能力不足數(shù)據(jù)匯聚數(shù)據(jù)處理數(shù)據(jù)治理數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用系統(tǒng)運(yùn)維數(shù)據(jù)安全規(guī)劃思路規(guī)劃思路智能化運(yùn)維（智能運(yùn)維）智能化分析（機(jī)器學(xué)習(xí)）智能化管理智能化運(yùn)維（智能運(yùn)維）智能化分析（機(jī)器學(xué)習(xí)）智能化管理（數(shù)據(jù)治理）DataasaDataasaServicePlatformasaService線線客戶視圖渠道視圖產(chǎn)品視圖風(fēng)控視圖資源視圖資源資產(chǎn)運(yùn)營(yíng)：打造貫穿數(shù)據(jù)生產(chǎn)服務(wù)鏈的全景式數(shù)據(jù)資產(chǎn)管理及運(yùn)應(yīng)用總體架構(gòu)規(guī)劃建議已建規(guī)劃建議已建精準(zhǔn)營(yíng)銷(xiāo)精確管理精細(xì)服務(wù)精益網(wǎng)運(yùn)行業(yè)應(yīng)用客戶洞察消費(fèi)品洞察渠道洞察位置模型風(fēng)控模型……精準(zhǔn)營(yíng)銷(xiāo)精確管理精細(xì)服務(wù)精益網(wǎng)運(yùn)行業(yè)應(yīng)用客戶洞察消費(fèi)品洞察渠道洞察位置模型風(fēng)控模型……安全策略安全控制安全審計(jì)數(shù)據(jù)網(wǎng)關(guān)DaaS應(yīng)用層A-PaaS應(yīng)用工具A-PaaS平臺(tái)層應(yīng)用托管平臺(tái)層數(shù)據(jù)自服務(wù)數(shù)據(jù)可視化智慧門(mén)戶標(biāo)簽工具指標(biāo)工具數(shù)據(jù)自服務(wù)數(shù)據(jù)可視化智慧門(mén)戶標(biāo)簽工具指標(biāo)工具代碼構(gòu)建應(yīng)用編排統(tǒng)一運(yùn)維數(shù)據(jù)開(kāi)放數(shù)據(jù)資代碼構(gòu)建應(yīng)用編排統(tǒng)一運(yùn)維數(shù)據(jù)開(kāi)放數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)應(yīng)用部署在建/增強(qiáng)在建/增強(qiáng)數(shù)據(jù)開(kāi)發(fā)管控作業(yè)統(tǒng)一調(diào)度D-PaaS數(shù)據(jù)同步數(shù)據(jù)開(kāi)發(fā)管控作業(yè)統(tǒng)一調(diào)度D-PaaS數(shù)據(jù)同步資產(chǎn)目錄及注冊(cè)多租戶管理內(nèi)容解析檢索工具流處理工具API&UI元數(shù)據(jù)管理標(biāo)準(zhǔn)化管多租戶管理內(nèi)容解析檢索工具流處理工具API&UI元數(shù)據(jù)管理標(biāo)準(zhǔn)化管理T-PaaS分布式緩存與計(jì)算RDB存儲(chǔ)與計(jì)算MPP存儲(chǔ)與計(jì)算集群分布式緩存與計(jì)算RDB存儲(chǔ)與計(jì)算MPP存儲(chǔ)與計(jì)算集群流處理存儲(chǔ)與計(jì)算集群數(shù)據(jù)體檢數(shù)據(jù)質(zhì)量管理數(shù)據(jù)層數(shù)據(jù)探索開(kāi)發(fā)庫(kù)統(tǒng)計(jì)分析庫(kù)數(shù)據(jù)挖掘庫(kù)中間層匯總層標(biāo)簽庫(kù)指標(biāo)庫(kù)傳統(tǒng)數(shù)據(jù)體檢數(shù)據(jù)質(zhì)量管理數(shù)據(jù)層數(shù)據(jù)探索開(kāi)發(fā)庫(kù)統(tǒng)計(jì)分析庫(kù)數(shù)據(jù)挖掘庫(kù)中間層匯總層標(biāo)簽庫(kù)指標(biāo)庫(kù)模型據(jù)采集適配平臺(tái)Data采集適配平臺(tái)DataisObject（非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)）DatainModel（結(jié)構(gòu)化數(shù)據(jù)）數(shù)據(jù)源 數(shù)據(jù)源 l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施l基礎(chǔ)架構(gòu)l平臺(tái)能力l數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)l數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)架構(gòu)數(shù)據(jù)資產(chǎn)管控平臺(tái)倉(cāng)庫(kù)MPP布數(shù)據(jù)資產(chǎn)管控平臺(tái)倉(cāng)庫(kù)MPP布網(wǎng)無(wú)限）采集適配平臺(tái)（光1.生產(chǎn)環(huán)境的HDFS作為熱數(shù)據(jù)區(qū)，研發(fā)環(huán)境作為溫?cái)?shù)據(jù)和冷數(shù)據(jù)區(qū)。2.完成資產(chǎn)管理平臺(tái)與采集適配平臺(tái)的對(duì)接。3.定義接口規(guī)范并落實(shí)接4.完善接口稽核和監(jiān)控。平臺(tái)架構(gòu)平臺(tái)架構(gòu)提升數(shù)據(jù)交換能力提升數(shù)據(jù)交換能力提升資產(chǎn)管理平臺(tái)支撐能力實(shí)現(xiàn)本地網(wǎng)應(yīng)用的遷移角色數(shù)據(jù)中心據(jù)角色數(shù)據(jù)中心據(jù)第三方準(zhǔn)實(shí)時(shí)處理l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施l基礎(chǔ)架構(gòu)l平臺(tái)能力l數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)l數(shù)據(jù)驅(qū)動(dòng)多租戶管理多租戶管理租戶帳號(hào)開(kāi)通數(shù)據(jù)授權(quán)服務(wù)13245存儲(chǔ)資源!!!!!!!數(shù)據(jù)授權(quán)服務(wù)調(diào)用組件服務(wù)調(diào)用計(jì)算、存儲(chǔ)資源服務(wù)租戶帳號(hào)開(kāi)通服務(wù)應(yīng)用構(gòu)建服租戶帳號(hào)開(kāi)通數(shù)據(jù)授權(quán)服務(wù)13245存儲(chǔ)資源!!!!!!!數(shù)據(jù)授權(quán)服務(wù)調(diào)用組件服務(wù)調(diào)用計(jì)算、存儲(chǔ)資源服務(wù)租戶帳號(hào)開(kāi)通服務(wù)應(yīng)用構(gòu)建服務(wù)調(diào)用?租戶管理簡(jiǎn)潔化：改變傳統(tǒng)的通過(guò)后臺(tái)分配租戶、數(shù)據(jù)訪問(wèn)權(quán)限等操作，非技術(shù)人員也可以通過(guò)可視化的操作，快速創(chuàng)建租戶，并對(duì)租戶數(shù)據(jù)進(jìn)行賦權(quán)。?權(quán)限管理視圖：解決現(xiàn)階段后臺(tái)操作賦權(quán)后，沒(méi)有統(tǒng)一完整的視圖展現(xiàn)租戶與數(shù)據(jù)庫(kù)表之間的關(guān)系，可視化多租戶管理能夠通過(guò)可視化的界面對(duì)權(quán)限進(jìn)行梳理、分析、配置。?完善管控流程：將現(xiàn)階段線上郵件申請(qǐng)，線下賦權(quán)的管理流程規(guī)范化，統(tǒng)一納入到線上管控流程中，減少了人為因素導(dǎo)致的問(wèn)題出現(xiàn)的概率，同時(shí)也可以記錄操作日志，對(duì)違規(guī)操作進(jìn)行審計(jì)，提高了系統(tǒng)運(yùn)維的安全性。平臺(tái)能力平臺(tái)能力DTS工具：lDTS工具新增“魚(yú)骨圖”、DTS工具：lDTS工具新增“魚(yú)骨圖”、“思維導(dǎo)圖”組件提供業(yè)務(wù)人員診斷能力；lDTS工具優(yōu)化“可視化取數(shù)”支持外關(guān)聯(lián)的取數(shù)支持，方便業(yè)務(wù)人員實(shí)現(xiàn)可視化自助取數(shù)；lDTS工具優(yōu)化“手寫(xiě)SQL”報(bào)表組件UI及鉆取透視功能；lDTS工具集成“SQL查詢”模塊，支持IT人員使用SQL完成臨時(shí)取數(shù)需求；資產(chǎn)管理平臺(tái)：l資產(chǎn)管理平臺(tái)優(yōu)化“數(shù)據(jù)采集類(lèi)組件”，支持準(zhǔn)實(shí)時(shí)的接口提速，并且同步到MPP；l資產(chǎn)管理平臺(tái)優(yōu)化“數(shù)據(jù)開(kāi)發(fā)類(lèi)組件”，支持MPP數(shù)據(jù)庫(kù)的數(shù)據(jù)加工邏輯的開(kāi)發(fā)與任務(wù)調(diào)度開(kāi)發(fā)；l資產(chǎn)管理平臺(tái)優(yōu)化“數(shù)據(jù)處理類(lèi)引擎”，支持MPP數(shù)據(jù)處理邏輯能正常運(yùn)行調(diào)度；SQL取數(shù)組件SQL取數(shù)組件診斷能力類(lèi)組件可視化取數(shù)組件可視化能力類(lèi)組件診斷能力類(lèi)組件可視化取數(shù)組件可視化能力類(lèi)組件MPP本地寬表hive產(chǎn)品銷(xiāo)售品類(lèi)數(shù)據(jù)開(kāi)發(fā)MPP本地寬表hive產(chǎn)品銷(xiāo)售品類(lèi)數(shù)據(jù)開(kāi)發(fā)類(lèi)組件數(shù)據(jù)采集類(lèi)組件數(shù)據(jù)處理類(lèi)引擎流處理工具平臺(tái)需要具備特性可視化監(jiān)控運(yùn)維熔斷/流控管理?yè)?jù)資產(chǎn)統(tǒng)一管理的必要性實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)、離線數(shù)據(jù)統(tǒng)一管理需要與資產(chǎn)資產(chǎn)統(tǒng)一管理的必要性流處理工具l開(kāi)放的label擴(kuò)展l圖表化監(jiān)控視圖l豐富的數(shù)據(jù)訂閱銷(xiāo)數(shù)據(jù)訂閱警l開(kāi)放的label擴(kuò)展l圖表化監(jiān)控視圖l豐富的數(shù)據(jù)訂閱銷(xiāo)數(shù)據(jù)訂閱警薦L營(yíng)像………規(guī)劃目標(biāo)：四川電信目前已經(jīng)具備實(shí)時(shí)數(shù)據(jù)接入能力，但對(duì)實(shí)時(shí)營(yíng)銷(xiāo)、實(shí)時(shí)數(shù)據(jù)分析、實(shí)時(shí)業(yè)務(wù)監(jiān)控等對(duì)實(shí)時(shí)處理能力要求高的業(yè)務(wù)平臺(tái)能力平臺(tái)能力應(yīng)用開(kāi)放服務(wù)路由服務(wù)編排服務(wù)監(jiān)控HadoopjdbcHBaseMPPRDB…...2.提供服務(wù)和數(shù)據(jù)的安全控制策略3.提供各類(lèi)服務(wù)調(diào)用方式（包括文程。平臺(tái)能力平臺(tái)能力1：通過(guò)數(shù)據(jù)服務(wù)化的支撐分公司的應(yīng)用創(chuàng)新。21：通過(guò)數(shù)據(jù)服務(wù)化的支撐分公司的應(yīng)用創(chuàng)新。2：提高應(yīng)用微服務(wù)化的平臺(tái)支撐能力。高高高中高高中高高 為業(yè)務(wù)人員提供魚(yú)骨圖、思維導(dǎo)圖組件：用于分析關(guān)聯(lián)業(yè)務(wù)因素主因，清晰展現(xiàn)診斷思路新增“SQL查詢”（WEB版本SQL查詢頁(yè)面利用JDBC支持多種數(shù)據(jù)源的SQL執(zhí)行，以支撐本地網(wǎng)IT人員完成臨時(shí)需求取數(shù)；可視化工具的“可視化引擎”增加“移動(dòng)端適配”支持，制作圖表可在移動(dòng)端展現(xiàn) 平臺(tái)能力舉措：優(yōu)化門(mén)戶實(shí)現(xiàn)報(bào)表支撐型向智慧服務(wù)型轉(zhuǎn)變 ___自助取數(shù)智慧數(shù)據(jù)門(mén)戶一體化運(yùn)維一體化運(yùn)維應(yīng)用告警界面業(yè)務(wù)運(yùn)維視圖-----------?順序診斷故障業(yè)務(wù)運(yùn)維視圖組件應(yīng)用告警一障診斷，定題類(lèi)型鍵故位問(wèn)應(yīng)用告警界面業(yè)務(wù)運(yùn)維視圖-----------?順序診斷故障業(yè)務(wù)運(yùn)維視圖組件應(yīng)用告警一障診斷，定題類(lèi)型鍵故位問(wèn)題監(jiān)控?cái)?shù)據(jù)關(guān)聯(lián)分析建立業(yè)務(wù)運(yùn)維視圖……各平臺(tái)/系統(tǒng)運(yùn)維界面的統(tǒng)一集成、統(tǒng)一展示l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施l基礎(chǔ)架構(gòu)l平臺(tái)能力l數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)l數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)資產(chǎn)管控與運(yùn)營(yíng)數(shù)據(jù)資產(chǎn)管控與運(yùn)營(yíng)組織架構(gòu)數(shù)據(jù)規(guī)劃數(shù)據(jù)開(kāi)發(fā)資產(chǎn)治理資產(chǎn)評(píng)估數(shù)據(jù)安全資產(chǎn)開(kāi)放制定完善的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，規(guī)劃整體數(shù)據(jù)架構(gòu)》》》制定完善的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，規(guī)劃整體數(shù)據(jù)架構(gòu)開(kāi)發(fā)過(guò)程規(guī)范化，流程化；確保數(shù)據(jù)規(guī)范的落地》》》》加強(qiáng)數(shù)據(jù)資產(chǎn)診斷，提升數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)品質(zhì)提供全流程數(shù)據(jù)脫敏能力，確保數(shù)據(jù)使用可管可控構(gòu)建數(shù)據(jù)運(yùn)營(yíng)機(jī)制，助力數(shù)據(jù)價(jià)值變現(xiàn)01.組織架構(gòu)01.組織架構(gòu)打破公司部門(mén)壁壘，構(gòu)建起多部門(mén)共同參與的數(shù)據(jù)資產(chǎn)管理組織，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理職能統(tǒng)一收斂，并將數(shù)據(jù)資產(chǎn)管理工作從“項(xiàng)目主導(dǎo)“升級(jí)為“公司主導(dǎo)”，從而全面支撐橫向、縱向的數(shù)據(jù)資產(chǎn)管理工作開(kāi)展。優(yōu)化組織結(jié)構(gòu) xxxxx數(shù)據(jù)資產(chǎn)管理專(zhuān)員 xxxxx數(shù)據(jù)資產(chǎn)管理專(zhuān)員 。。。。。。。。。。。。。。。。。。。。。02.數(shù)據(jù)規(guī)劃02.數(shù)據(jù)規(guī)劃數(shù)據(jù)質(zhì)量理規(guī)范數(shù)據(jù)質(zhì)量數(shù)據(jù)安全管理規(guī)范數(shù)據(jù)安全管理規(guī)范命周期管理規(guī)范數(shù)據(jù)服務(wù)封裝規(guī)范主題域29個(gè)子域題域的劃分與DWD層一致DW-統(tǒng)一視圖層主題域共劃分6個(gè)主體域規(guī)定了20個(gè)字段后常用詞匯命名規(guī)范以及357個(gè)常用字段規(guī)范自填擇數(shù)據(jù)庫(kù)下的業(yè)務(wù)匯總03.數(shù)據(jù)開(kāi)發(fā)03.數(shù)據(jù)開(kāi)發(fā)分析/設(shè)計(jì)分析/設(shè)計(jì)資產(chǎn)注冊(cè)資產(chǎn)開(kāi)發(fā)上線/運(yùn)維/分析發(fā)2018年規(guī)劃2019年規(guī)劃04.資產(chǎn)治理04.資產(chǎn)治理……04.資產(chǎn)治理04.資產(chǎn)治理1：效率提升：全面保障數(shù)據(jù)質(zhì)量的前提下，提升數(shù)據(jù)質(zhì)量稽核效率。2：稽核完善：部分重點(diǎn)指標(biāo)和數(shù)據(jù)還需要進(jìn)一步完善監(jiān)控規(guī)則，做到重點(diǎn)指標(biāo)不遺漏，稽核質(zhì)量有保障3：集中展示：統(tǒng)一展示稽核情況，能夠方便快捷的了解稽核全景，保障稽核工作順利開(kāi)展效率提升稽核完善集中展示總結(jié)分析4：總結(jié)分析：實(shí)現(xiàn)月度質(zhì)量分析，逐步形成大數(shù)據(jù)平臺(tái)月度運(yùn)營(yíng)質(zhì)量分析效率提升稽核完善集中展示總結(jié)分析元數(shù)據(jù)質(zhì)量稽核管理優(yōu)化策略元數(shù)據(jù)質(zhì)量稽核管理優(yōu)化策略基礎(chǔ)能力稽核管理統(tǒng)一視圖數(shù)據(jù)質(zhì)量體檢事后管理事前管理事中管理采集告警…….05.資產(chǎn)評(píng)估05.資產(chǎn)評(píng)估注智模型開(kāi)發(fā)注智數(shù)據(jù)服務(wù)注智模型開(kāi)發(fā)注智數(shù)據(jù)服務(wù)注智數(shù)據(jù)管理及服務(wù)注智數(shù)據(jù)運(yùn)營(yíng)注智數(shù)據(jù)管理及服務(wù)注智數(shù)據(jù)運(yùn)營(yíng)?通過(guò)資產(chǎn)價(jià)值評(píng)估規(guī)則管理，分析刻畫(huà)，形成數(shù)據(jù)資產(chǎn)評(píng)價(jià)指標(biāo)?建立全域資產(chǎn)價(jià)值評(píng)估框架?形成資產(chǎn)價(jià)值評(píng)估體系化工作流?根據(jù)數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估結(jié)果，為模型開(kāi)發(fā)、數(shù)據(jù)運(yùn)營(yíng)、數(shù)據(jù)服務(wù)注智?模型開(kāi)發(fā)：輔助建模，提供模型關(guān)聯(lián)、處理、合并策略建議?數(shù)據(jù)運(yùn)營(yíng)：根據(jù)資產(chǎn)價(jià)值評(píng)估結(jié)果，提供資源和調(diào)度優(yōu)化建議，提升高價(jià)值資產(chǎn)保障能力?數(shù)據(jù)服務(wù)：開(kāi)展熱點(diǎn)推薦等基于數(shù)據(jù)價(jià)值提升的服務(wù)06.數(shù)據(jù)資產(chǎn)安全06.數(shù)據(jù)資產(chǎn)安全數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)授權(quán)數(shù)據(jù)授權(quán)服務(wù)層基于應(yīng)用基于租戶授權(quán)文件數(shù)據(jù)授權(quán)基于服務(wù)層租戶服務(wù)層基于應(yīng)用基于租戶授權(quán)文件數(shù)據(jù)授權(quán)基于服務(wù)層租戶 服務(wù)注冊(cè)大數(shù)據(jù)中心大數(shù)據(jù)中心應(yīng)用認(rèn)證接口數(shù)據(jù)授權(quán)接口文件認(rèn)證接口應(yīng)用認(rèn)證接口數(shù)據(jù)授權(quán)接口文件認(rèn)證接口租戶認(rèn)證接口06.數(shù)據(jù)資產(chǎn)安全06.數(shù)據(jù)資產(chǎn)安全2.實(shí)行安全漏洞發(fā)現(xiàn)：補(bǔ)充安全漏洞全全理現(xiàn)估估制護(hù)現(xiàn)估估制護(hù)全理理理全07.數(shù)據(jù)資產(chǎn)開(kāi)放07.數(shù)據(jù)資產(chǎn)開(kāi)放內(nèi)”內(nèi)”l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施l基礎(chǔ)架構(gòu)l平臺(tái)能力l數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)l數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)驅(qū)動(dòng)DaaS 內(nèi)部用戶應(yīng)用層風(fēng)控模型指標(biāo)服務(wù)模型服務(wù)DaaS 內(nèi)部用戶應(yīng)用層風(fēng)控模型指標(biāo)服務(wù)模型服務(wù)平臺(tái)層數(shù)據(jù)層新增規(guī)劃目標(biāo)：構(gòu)建以“數(shù)據(jù)驅(qū)動(dòng)2.0”為核心思想的數(shù)據(jù)運(yùn)營(yíng)模式，通過(guò)引入“數(shù)據(jù)湖”完成對(duì)全生態(tài)數(shù)據(jù)融合的同時(shí)，設(shè)計(jì)DaaS（包括：原子化數(shù)據(jù)服務(wù)、賦能型數(shù)據(jù)產(chǎn)品封裝能力并夯實(shí)數(shù)據(jù)向資產(chǎn)化演進(jìn)的服務(wù)基礎(chǔ)，實(shí)現(xiàn)數(shù)據(jù)從“入湖”到“智慧運(yùn)營(yíng)”自底而上的價(jià)值傳遞根據(jù)電信集團(tuán)轉(zhuǎn)型3.0戰(zhàn)略打造新一代智數(shù)據(jù)驅(qū)動(dòng)指標(biāo)對(duì)內(nèi)OpenAPI體系主要分為“客戶信息、產(chǎn)品信息、渠道信息、資源信息、營(yíng)實(shí)例l實(shí)例l?數(shù)據(jù)驅(qū)動(dòng)規(guī)劃目標(biāo)：規(guī)劃目標(biāo)：基于對(duì)外合作市場(chǎng)訴求完成梳理對(duì)外OpenAPI資產(chǎn)目錄（目前已根據(jù)行業(yè)客戶需求整理對(duì)外API64534個(gè)指標(biāo)對(duì)外API體系主要分為“基礎(chǔ)信息、設(shè)對(duì)外API分類(lèi)體系基礎(chǔ)信息基礎(chǔ)信息通信信息位置信息興趣偏好履約能力+個(gè)人信息+個(gè)人征信+個(gè)人信息+個(gè)人征信+位置信息?個(gè)人實(shí)名認(rèn)證API?個(gè)人基本信息API??個(gè)人實(shí)名認(rèn)證API?個(gè)人基本信息API?個(gè)人經(jīng)歷API?信用等級(jí)API?身份特征API?消費(fèi)情況API?行為習(xí)慣API?歷史信用API?系統(tǒng)參數(shù)API服裝偏好API早餐偏好API中餐偏好API晚餐偏好API宵夜偏好API零食偏好API?常駐區(qū)域API?位置數(shù)據(jù)API?指定區(qū)域的常駐用戶群特征API?位置偏好標(biāo)簽API?常見(jiàn)軌跡API??流量使用API?短/彩信發(fā)送API??+企業(yè)客戶?用戶等級(jí)API?終端信息API??+企業(yè)客戶???產(chǎn)品使用API??+企業(yè)信息+家庭客戶+企業(yè)征信?企業(yè)基本信息API?+家庭客戶+企業(yè)征信?企業(yè)基本信息API?企業(yè)等級(jí)API?集團(tuán)屬性API?消費(fèi)情況API?系統(tǒng)參數(shù)API?家庭基本信息API實(shí)例迭代優(yōu)化符實(shí)例迭代優(yōu)化符合習(xí)慣語(yǔ)言易懂后續(xù)將根據(jù)用戶的意見(jiàn)化。例如新增考慮特定行業(yè)/群體等需求去劃分API分類(lèi)。用外部用戶能看懂的語(yǔ)言詮釋移后續(xù)將根據(jù)用戶的意見(jiàn)化。例如新增考慮特定行業(yè)/群體等需求去劃分API分類(lèi)。用外部用戶能看懂的語(yǔ)言詮釋移動(dòng)開(kāi)放出去的數(shù)據(jù)，例如客戶ARPU表達(dá)成“消費(fèi)”。對(duì)外API分類(lèi)原則專(zhuān)題應(yīng)用專(zhuān)題應(yīng)用光網(wǎng)、無(wú)線專(zhuān)題風(fēng)險(xiǎn)管控專(zhuān)題光網(wǎng)、無(wú)線專(zhuān)題風(fēng)險(xiǎn)管控專(zhuān)題收入保障專(zhuān)題ITV專(zhuān)題光網(wǎng)、無(wú)線風(fēng)險(xiǎn)管控收入保障應(yīng)用層工具層服務(wù)層血緣關(guān)系服務(wù)質(zhì)量信息服務(wù)血緣關(guān)系服務(wù)質(zhì)量信息服務(wù)運(yùn)維信息服務(wù)數(shù)據(jù)封裝服務(wù)息服務(wù)…資產(chǎn)管理平臺(tái)……整合層l行業(yè)標(biāo)桿l規(guī)劃思路l重點(diǎn)措施回顧總結(jié)回顧總結(jié)舉措：優(yōu)化門(mén)戶實(shí)現(xiàn)報(bào)表支撐型向智慧服務(wù)型舉措：建設(shè)全面統(tǒng)一的數(shù)據(jù)安全體系（補(bǔ)充建感謝聆聽(tīng)！數(shù)據(jù)因我們而不同！請(qǐng)您批評(píng)指正！數(shù)據(jù)湖數(shù)據(jù)湖傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)LsswarehouseHadoopwarehouseHadoopStreaStrea新一代大數(shù)據(jù)中心TransactiogsEve數(shù)據(jù)湖數(shù)據(jù)湖現(xiàn)狀引入數(shù)據(jù)湖持新接口類(lèi)型包括如corba、socket、s用于高級(jí)數(shù)據(jù)分析、實(shí)時(shí)流式+批量數(shù)據(jù)復(fù)合分析數(shù)據(jù)湖API&UI數(shù)據(jù)湖API&UI4thesefeaturestointernalArobustsetofsecuritycgovernancethroughtechnologAsearchindexandworkflowwhichAfoundationofhighlydurabledatastorageandstreamingofanytypeof授權(quán)3采集和存儲(chǔ)采集和存儲(chǔ)數(shù)據(jù)湖數(shù)據(jù)湖四川電信數(shù)據(jù)中心面向企業(yè)級(jí)應(yīng)用支撐（私有云四川電信數(shù)據(jù)中心面向企業(yè)級(jí)應(yīng)用支撐（私有云需要提供面向企業(yè)級(jí)統(tǒng)一的數(shù)據(jù)入湖規(guī)范和資產(chǎn)注冊(cè)能力，同時(shí)也提供企業(yè)級(jí)統(tǒng)一的采集能力，實(shí)現(xiàn)資產(chǎn)注冊(cè)即采集企業(yè)級(jí)統(tǒng)一的Collect數(shù)據(jù)資產(chǎn)管控平臺(tái)冊(cè)數(shù)據(jù)入湖采集和存儲(chǔ)ss數(shù)據(jù)源Acceleration數(shù)據(jù)源AccelerationAmazonKinesisAWS作為公有云提供面向互聯(lián)網(wǎng)的數(shù)據(jù)安全、數(shù)據(jù)高吞吐量、數(shù)據(jù)加速傳輸?shù)幕A(chǔ)設(shè)施能力，而采集能力實(shí)現(xiàn)使用者自定義完成平臺(tái)統(tǒng)一提供Databases、Files、Streams類(lèi)采集組件，并通過(guò)“數(shù)據(jù)管控API”將采集的數(shù)據(jù)資產(chǎn)信息，自動(dòng)注冊(cè)到數(shù)據(jù)資產(chǎn)；特殊接口可繼承“自定義”采集框架，完成自定義采集方式、邏輯實(shí)現(xiàn)，但需注冊(cè)來(lái)源與格式、入湖目標(biāo)與格式信息。1數(shù)據(jù)湖1數(shù)據(jù)湖為保障數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)運(yùn)行的穩(wěn)定性與可靠性，數(shù)據(jù)為保障數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)運(yùn)行的穩(wěn)定性與可靠性，數(shù)據(jù)握手機(jī)制保障握手機(jī)制保障握手機(jī)制保障握手機(jī)制保障1、源系統(tǒng)提供數(shù)據(jù)不穩(wěn)定，導(dǎo)致前端業(yè)務(wù)使用數(shù)據(jù)不及時(shí)，不準(zhǔn)確。2、接口建立不規(guī)范，無(wú)相互握手機(jī)制，數(shù)據(jù)提供延遲，導(dǎo)致數(shù)據(jù)中心補(bǔ)錄數(shù)據(jù)流程繁瑣、復(fù)雜。3、接口規(guī)范推進(jìn)困難，源系統(tǒng)配合改造力度低下。數(shù)據(jù)湖數(shù)據(jù)湖采集和存儲(chǔ)采集和存儲(chǔ)SearchAccessArchiveAccessArchive ProcessQueryProcessQueryArchiveAccess數(shù)據(jù)湖數(shù)據(jù)湖1：1：引入Lambda架構(gòu)，提升平臺(tái)流處理和批處理統(tǒng)一視圖的能力。22：完善資產(chǎn)管理平臺(tái)在“數(shù)據(jù)湖”層面“數(shù)據(jù)目錄與注冊(cè)”的管控能力33：OCSearch產(chǎn)品，提升平臺(tái)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的查詢和檢索能力數(shù)據(jù)湖數(shù)據(jù)湖當(dāng)前大數(shù)據(jù)平臺(tái)隨著數(shù)據(jù)量的快速增長(zhǎng)，數(shù)據(jù)種類(lèi)多樣化，應(yīng)用更加豐富，導(dǎo)致數(shù)據(jù)分析的時(shí)間越來(lái)越長(zhǎng)，基于目前四川電信大部分應(yīng)用批處理與流處理并行的現(xiàn)狀，選擇Lambda作為通用架構(gòu)，助力四川電信構(gòu)建敏捷化的大數(shù)據(jù)平臺(tái)。用架構(gòu)，助力四川電信構(gòu)建敏捷化的大數(shù)據(jù)平臺(tái)。批處理層位置信令數(shù)據(jù)批處理（循環(huán)重新計(jì)算）位置信令全量信息用戶歷史軌跡視圖批處理層位置信令數(shù)據(jù)批處理（循環(huán)重新計(jì)算）位置信令全量信息用戶歷史軌跡視圖用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖實(shí)時(shí)計(jì)算視圖用戶實(shí)時(shí)軌跡視圖1用戶實(shí)時(shí)軌跡視圖2查詢獲取用戶軌跡視圖用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖實(shí)時(shí)計(jì)算視圖用戶實(shí)時(shí)軌跡視圖1用戶實(shí)時(shí)軌跡視圖2查詢獲取用戶軌跡視圖實(shí)時(shí)計(jì)算（增量計(jì)算）用戶位置流處理用戶實(shí)時(shí)軌跡視圖實(shí)時(shí)計(jì)算（增量計(jì)算）用戶位置流處理用戶實(shí)時(shí)軌跡視圖 數(shù)據(jù)湖非結(jié)構(gòu)數(shù)據(jù)檢索工具數(shù)據(jù)湖數(shù)據(jù)湖授權(quán)授權(quán)3建立完整的數(shù)據(jù)湖安全體系?數(shù)據(jù)傳輸?數(shù)據(jù)存儲(chǔ)?數(shù)據(jù)傳輸?數(shù)據(jù)存儲(chǔ)?Ranger?Kerberos?knox?Ranger?Solr?HDFS通過(guò)Ambari，Ranger實(shí)現(xiàn)集中配置和管理數(shù)據(jù)湖數(shù)據(jù)湖開(kāi)1開(kāi)1：滿足數(shù)據(jù)湖中非結(jié)構(gòu)化數(shù)據(jù)的API開(kāi)發(fā)、封裝和開(kāi)放能力。API&UI4s2：引入OCUE產(chǎn)品，提供對(duì)數(shù)據(jù)湖區(qū)統(tǒng)一的UI界面。數(shù)據(jù)湖數(shù)據(jù)湖“A