大數(shù)據(jù)平臺規(guī)劃與數(shù)據(jù)價值挖掘應(yīng)用咨詢項目解決方案相關(guān)兩份資料

某乘用車公司

大數(shù)據(jù)平臺規(guī)劃與數(shù)據(jù)挖掘應(yīng)用咨詢項目解決方案

提綱背景與目標篇應(yīng)用功能藍圖篇數(shù)據(jù)治理數(shù)據(jù)夯實篇數(shù)據(jù)模型算法定義和設(shè)計實戰(zhàn)案例一實戰(zhàn)案例二項目實施管理篇附錄成功案例大數(shù)據(jù)平臺

背景與目的篇項目背景4系統(tǒng)數(shù)據(jù)孤島業(yè)務(wù)部門數(shù)據(jù)關(guān)注維度不統(tǒng)一數(shù)據(jù)完整性數(shù)據(jù)真實性業(yè)務(wù)部門無法便捷使用數(shù)據(jù)業(yè)務(wù)部門無法業(yè)務(wù)預測數(shù)據(jù)應(yīng)用體系現(xiàn)狀業(yè)務(wù)部門對提供的數(shù)據(jù)滿意度不高！業(yè)務(wù)分析主題局限與傳統(tǒng)領(lǐng)域！數(shù)據(jù)分析效率低，命中率低，采取的技術(shù)手段和算法比較傳統(tǒng)！數(shù)據(jù)服務(wù)層BigDataPlatform數(shù)據(jù)接入層結(jié)構(gòu)化數(shù)據(jù)庫非結(jié)構(gòu)化數(shù)據(jù)文件項目目標大數(shù)據(jù)平臺

應(yīng)用功能藍圖篇大數(shù)據(jù)平臺應(yīng)用規(guī)劃藍圖7參考示例數(shù)據(jù)數(shù)據(jù)流向與配置8服務(wù)技術(shù)支持維修手冊與技術(shù)通報消費者體驗車輛知曉體驗與購買，備件與精品知曉與購買，服務(wù)預約與購買與反饋、客戶意見與投訴維修站服務(wù)接待、派工、維修、外包、驗收、結(jié)賬、索賠CRM市場活動、客戶回訪、客戶服務(wù)中心、線索商機、分析統(tǒng)計備件中心（總庫、區(qū)域庫、經(jīng)銷商庫）庫存、備件訂單備件工程支持SBOM數(shù)據(jù)整理車輛規(guī)格與配置銷售車輛前工程售后服務(wù)前工程工廠系統(tǒng)車輛規(guī)格與配置成車入庫訂單及狀態(tài)更新車輛制造、零件裝配與質(zhì)量數(shù)據(jù)技術(shù)數(shù)據(jù)車聯(lián)產(chǎn)品管理車輛的信息維護、發(fā)布、定價車載移動/使用數(shù)據(jù)財務(wù)系統(tǒng)物流系統(tǒng)一車一檔（車輛生產(chǎn)制造、制造質(zhì)量、零件裝配等信息）整車管理（總庫、中轉(zhuǎn)庫、經(jīng)銷商庫）存、車輛臺賬產(chǎn)品管理除了車輛，所有其它產(chǎn)品與服務(wù)產(chǎn)品的信息維護、發(fā)布、定價整車銷售預測及訂單資金查詢、凍結(jié)、扣款整車銷售（銷售預測、銷售計劃、批發(fā)訂單運輸物流數(shù)據(jù)GFO車聯(lián)網(wǎng)車輛零件裝配數(shù)據(jù)車輛定位鎖車供應(yīng)商管理產(chǎn)銷協(xié)同銷售預測數(shù)據(jù)、訂單、訂單狀態(tài)采購計劃、訂單客戶管理協(xié)作與廣告輿情監(jiān)控電商與門戶銷售線索采集（潛客）銷售情報采集，分類存儲管理銷售目標客戶預測存量客戶銷售訂單、采購、庫存、保養(yǎng)、維修、精品銷售、置換情報采集銷售線索培育流程預測培育成熟度預測轉(zhuǎn)化車輛生命周期客戶生命周期價值提升客戶價值提升參考示例某汽車集團初步建議的規(guī)劃路線圖建平臺通渠道匯數(shù)據(jù)挖價值創(chuàng)特色現(xiàn)有大數(shù)據(jù)平臺診斷，優(yōu)化，消除數(shù)據(jù)割據(jù)，信息孤島，提升數(shù)據(jù)質(zhì)量快速形成統(tǒng)一的業(yè)務(wù)數(shù)據(jù)視圖，初步實現(xiàn)典型業(yè)務(wù)場景數(shù)據(jù)價值挖掘應(yīng)用以整車銷售為中心，建立完整的數(shù)據(jù)應(yīng)用支持體系大數(shù)據(jù)應(yīng)用團隊與體系團隊建設(shè)數(shù)據(jù)整合拉通完成，產(chǎn)出兩個算法，為市場和業(yè)務(wù)提供精準營銷外部業(yè)務(wù)橫向聯(lián)合（BigData)，豐富完善數(shù)據(jù)視圖，通過ML保障數(shù)據(jù)應(yīng)用持續(xù)提升算法優(yōu)化，提升精準營銷支持能力由數(shù)據(jù)流到數(shù)字化，結(jié)構(gòu)化，可視化供應(yīng)鏈價值鏈，精確分析供應(yīng)鏈關(guān)鍵環(huán)節(jié)成本、效率、質(zhì)量和價值，支撐數(shù)字化精準管控和營銷大數(shù)據(jù)科學家團隊建設(shè)大數(shù)據(jù)平臺改造創(chuàng)新應(yīng)用，多渠道協(xié)作應(yīng)用圍繞產(chǎn)品創(chuàng)新、模式創(chuàng)新、服務(wù)創(chuàng)新以及渠道創(chuàng)新，打造領(lǐng)先的數(shù)字化創(chuàng)新平臺，進一步提升數(shù)據(jù)資產(chǎn)的價值第一年第二年第三年第四年第五年實現(xiàn)思路：邊規(guī)劃，邊建設(shè)，邊收益，逐步完善；不斷夯實擴充數(shù)據(jù)平臺，豐富完善數(shù)據(jù)視圖；從客戶—>銷售—>服務(wù)—>生產(chǎn)—>庫存—>物流全供應(yīng)鏈數(shù)據(jù)應(yīng)用大數(shù)據(jù)平臺

數(shù)據(jù)治理數(shù)據(jù)夯實篇數(shù)據(jù)治理數(shù)據(jù)夯實—主數(shù)據(jù)分析與優(yōu)化11主數(shù)據(jù)集成與規(guī)范優(yōu)化主數(shù)據(jù)定義與主數(shù)據(jù)衍生數(shù)據(jù)的識別代碼：表示特定、唯一Feature的一個或者一組字符編碼：給Feature賦予代碼的過程主數(shù)據(jù)命名和編碼規(guī)范發(fā)布和管理辦法的執(zhí)行代碼推送服務(wù)代碼新增和更新客戶進廠維修/配件保險/信貸汽車精品DMSERP車聯(lián)網(wǎng)O2O汽車論壇汽車之家CRM展廳接待二手車呼叫中心抽取加工推送規(guī)劃配置任務(wù)調(diào)度4S店MES倉儲物流主數(shù)據(jù)路由器主數(shù)據(jù)搬運工數(shù)據(jù)治理數(shù)據(jù)夯實—主數(shù)據(jù)EDM架構(gòu)企業(yè)級銷售大數(shù)據(jù)平臺12DMSERP+MES整合數(shù)據(jù)數(shù)據(jù)質(zhì)量校驗建模數(shù)據(jù)存儲數(shù)據(jù)服務(wù)作業(yè)企業(yè)大數(shù)據(jù)平臺DM1源系統(tǒng)企業(yè)級數(shù)據(jù)倉庫主數(shù)據(jù)DM2TSPCRM。。。O2O……數(shù)據(jù)治理數(shù)據(jù)夯實—自動化數(shù)據(jù)集成數(shù)據(jù)集成ETL平臺

元數(shù)據(jù)統(tǒng)一管理平臺BigData(EDM)中間數(shù)據(jù)庫(ODS)D1D2D…

ApplicationServerMSSQLServerAzureMSSQLServerAzureMSSSISAzureETLD3WebAPPMSOLAP

CubeViewsDataCube數(shù)據(jù)入庫路演數(shù)據(jù)源數(shù)據(jù)應(yīng)用平臺數(shù)據(jù)監(jiān)控管理應(yīng)用安全管理數(shù)據(jù)源元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理商業(yè)元數(shù)據(jù)管理DataCleaningDataIntegrationDataCheckingDataAnalysis13PowerBIOffice365WebURL數(shù)據(jù)治理數(shù)據(jù)夯實—數(shù)據(jù)質(zhì)量校驗完整性丟失關(guān)鍵數(shù)值合法性非法格式一致性數(shù)據(jù)是格式正確并完整，但不符合業(yè)務(wù)邏輯值域劃分界定數(shù)值范圍重復性:模糊匹配主次+多級主鍵mapping體系

數(shù)據(jù)自動校驗

數(shù)據(jù)補錄功能14數(shù)據(jù)治理數(shù)據(jù)夯實—企業(yè)數(shù)據(jù)模型（EDM）15企業(yè)數(shù)據(jù)模型意義通過企業(yè)數(shù)據(jù)模型定義整個企業(yè)信息化體系的數(shù)據(jù)標準，逐步統(tǒng)一企業(yè)內(nèi)數(shù)據(jù)標準，為從根本上解決企業(yè)數(shù)據(jù)分散重復、口徑不一致、共享困難造成的信息孤島等問題奠定堅實的基礎(chǔ)，推動企業(yè)內(nèi)各類信息系統(tǒng)的整合和數(shù)據(jù)的共享，全面提升經(jīng)營決策、運營管理、業(yè)務(wù)拓展和客戶服務(wù)等方面的支撐能力企業(yè)數(shù)據(jù)模型的目的企業(yè)數(shù)據(jù)模型的作用并非是直接做為系統(tǒng)的數(shù)據(jù)模型，而是作為一個企業(yè)的數(shù)據(jù)標準，指導各個應(yīng)用系統(tǒng)的數(shù)據(jù)模型統(tǒng)一設(shè)計，避免出現(xiàn)大的業(yè)務(wù)概念不一致，從根本上保證系統(tǒng)之間能實現(xiàn)數(shù)據(jù)的較好共享，消除由于各個系統(tǒng)自行設(shè)計開發(fā)而導致的數(shù)據(jù)孤島現(xiàn)象，從而提高企業(yè)的運營效益、提高數(shù)據(jù)質(zhì)量數(shù)據(jù)治理數(shù)據(jù)夯實—EDM概念模型16客戶概念模型產(chǎn)品概念模型市場營銷概念模型渠道合作概念模型服務(wù)概念模型資源概念模型數(shù)據(jù)治理數(shù)據(jù)夯實—客戶域概念模型(舉例）17支持統(tǒng)一客戶視圖是客戶域數(shù)據(jù)模型設(shè)計的主要理念將涉及人的信息都集中到“客戶”實體，實現(xiàn)客戶數(shù)據(jù)的統(tǒng)一；整合各個渠道的客戶交互，用“客戶交互”實體統(tǒng)一展現(xiàn)各個渠道的交互信息，為統(tǒng)一客戶接觸提供前提；把以前分散各業(yè)務(wù)系統(tǒng)的客戶信用度、積分、客戶價值、生命周期階段、消費喜好等客戶評估概念集中在“客戶”實體上體現(xiàn)；通過“服務(wù)水平”實體，實現(xiàn)客戶服務(wù)的統(tǒng)一；帳務(wù)部分設(shè)計主要面向金融、保險、醫(yī)療等業(yè)務(wù)，實現(xiàn)對靈活業(yè)務(wù)需求的支撐；“支付關(guān)系”實現(xiàn)對傳統(tǒng)銀行、網(wǎng)絡(luò)支付、保險的支持；18數(shù)據(jù)治理數(shù)據(jù)夯實—邏輯模型－客戶主域（舉例）客戶涵蓋購買者、使用者、潛在客戶等概念，實現(xiàn)客戶資料的統(tǒng)一；整合各個渠道的客戶交互信息，為統(tǒng)一客戶視圖提供前提；將客戶信用度、積分、客戶流失傾向等客戶評估概念在客戶層面集中展現(xiàn)為客戶360°分析提供原材料，作為客戶360視圖里的輸入19數(shù)據(jù)治理數(shù)據(jù)夯實—邏輯模型－客戶信息子域（舉例）“客戶”首先分成兩類－“企業(yè)客戶”和“個人客戶”，對于不同類型的客戶所需的客戶資料會有所區(qū)別。共性的信息會集中在“客戶”上來展現(xiàn)，而基于客戶類型的客戶信息則會在“企業(yè)客戶”和“個人客戶”上分別體現(xiàn)。比如，企業(yè)客戶資料里會包括客戶的企業(yè)規(guī)模、經(jīng)營范圍、業(yè)績等內(nèi)容，而個人客戶資料則包括客戶的性別、職業(yè)、國籍等等信息。數(shù)據(jù)治理數(shù)據(jù)夯實—邏輯模型－客戶交互子域（舉例）20“客戶交互”整合了不同BG的客戶交互信息，如由銷售服務(wù)中心、展廳、互聯(lián)網(wǎng)和銷售經(jīng)理訪問產(chǎn)生的客戶交互。從數(shù)據(jù)層面為統(tǒng)一客戶接觸提供前提?！翱蛻艚换ソY(jié)果”可以記錄“客戶交互”產(chǎn)生的結(jié)果分為“客戶咨詢”、“客戶投訴”、“客戶訂單”。“客戶交互”和“客戶交互結(jié)果”都是不完全分類，根據(jù)業(yè)務(wù)狀況可以擴展。4S店車展數(shù)據(jù)治理數(shù)據(jù)夯實—邏輯模型－客戶評價、客戶關(guān)系、客戶服務(wù)等級子域21大數(shù)據(jù)平臺

數(shù)據(jù)模型算法定義和設(shè)計①業(yè)務(wù)定義業(yè)務(wù)問題定義模型參數(shù)定義②模型訓練用戶基本資料用戶接觸資料用戶帳單資料車輛基本信息車輛維修信息車輛位置信息…④活動執(zhí)行短信4S店邀約TM試駕體驗……⑤活動數(shù)據(jù)反饋⑥活動評估及調(diào)優(yōu)③模型評分重購模型評分營銷輔助信息置換模型——實現(xiàn)過程與算法時間窗口定義分析窗口用于分析購買傾向特征的歷史數(shù)據(jù)的時間跨度，需要3個月的歷史數(shù)據(jù)預測窗口用于預測用戶在哪個時間范圍可能會購買相關(guān)產(chǎn)品，目前定為下下個月（注意：預測窗口離預測點越遠，模型的性能一般會越差，甚至會出現(xiàn)模型無法生成或偏差太大而不可用。）置換模型——預測時間窗口定義置換模型——因子庫與基礎(chǔ)變量置換模型——數(shù)據(jù)標簽訓練置換模型——數(shù)據(jù)標簽訓練結(jié)果企業(yè)數(shù)據(jù)標簽CRM系統(tǒng)CallCenter企業(yè)官網(wǎng)／APP展廳數(shù)據(jù)線下活動數(shù)據(jù)。。。第三方標簽人口屬性興趣愛好地理位置消費屬性APP偏好消費傾向。。。標簽數(shù)據(jù)庫熱一般(待確認)冷直接下發(fā)（銷售網(wǎng)格Delar）廣告短信活動郵件營銷（客戶維系）結(jié)合用戶畫像和歷史營銷數(shù)據(jù)進行算法建模，預測出每條潛客線索的評級A76-100B51-75C0-50NCC30-50HNN251-75HHH176-100客戶標簽評分客戶行為評分1級:預約試駕，出現(xiàn)在競品門店2級:參加主機廠線下線上活動3級:90天內(nèi)有效行為5次以上

呼叫中心重點電話營銷（客戶培育）線索級別定義邏輯置換模型——模型輸入變量篩選28目標用戶+車輛建模寬表上有230多個變量來描述，通過對這些變量進行分類梳理，并通過相關(guān)分析過濾相關(guān)性強的變量，并考慮變量的可讀性，最終篩選出輸入建模的變量，包括7類122個變量相關(guān)性剔除性別年齡大修次數(shù)精品訂購次數(shù)精品消費金額其它…維修次數(shù)維修費用車輛生命周期階段位置信息潮流類型職業(yè)車齡咨詢?yōu)g覽品牌車型精品訂購接觸次數(shù)接觸渠道常規(guī)保養(yǎng)金額優(yōu)惠類型最終輸入模型變量分類梳理可讀性甄別7類122個維修金額區(qū)域常規(guī)保養(yǎng)次數(shù)優(yōu)惠類型偏好里程消費能力類型服務(wù)4S店主動接觸次數(shù)被動動接觸次數(shù)瀏覽次數(shù)用戶組別說明行動組用戶基于定義的分析用戶群范圍，按照每月初模型評分結(jié)果，按評分由高至低取一定數(shù)據(jù)量的用戶，作為當月交叉銷售活動的目標用戶不行動組用戶在行動組用戶外，按照行動組用戶數(shù)量的15%的比例，隨即抽取用戶作為不行動組，觀察模型的預測效率對照組用戶在行動組用戶及不行動之外，按照行動組用戶數(shù)量的10%的比例，隨即抽取用戶作為對照組，并對這些用戶開展與行動組同樣的營銷活動采用邏輯回歸算法+SQLServer內(nèi)嵌的樸素貝葉斯算法分數(shù)

=EXP(Logit_X)

/

(1+EXP(Logit_X)

)其中EXP(Logit_X)=補償常量＋離散化的變量×權(quán)重系數(shù)。模型訓練的基線分析客戶群用戶數(shù)：1,246,969排名前10重要標量增用戶數(shù)：46,971（約3.8%）模型驗證情況排名前5重要標量的模型命中率：11.45%LIFT值：4.10置換模型——因子庫與基礎(chǔ)變量大修次數(shù)潮流系數(shù)=4形式公里數(shù)=9.7車齡A=30個月車齡B=6.7年……置換銷售延伸曲線Time(Month)客戶生命周期曲線Value置換模型——部分應(yīng)用結(jié)果展示P.

31決策樹模型大數(shù)據(jù)平臺

實戰(zhàn)案例一主數(shù)據(jù)建設(shè)思路數(shù)據(jù)資源“共享服務(wù)”一個平臺一個庫經(jīng)銷商管理整車銷售…業(yè)務(wù)層用戶層銷售助手…服務(wù)助手數(shù)據(jù)標準數(shù)據(jù)指標主數(shù)據(jù)應(yīng)用標準業(yè)務(wù)流程模板和模型技術(shù)標準基礎(chǔ)標準信息安全圖形標準接口標準開發(fā)標準最終客戶售后OneDatabase實現(xiàn)“數(shù)據(jù)同源、規(guī)范共享、應(yīng)用統(tǒng)一、服務(wù)集中”根據(jù)某汽車集團信息化戰(zhàn)略規(guī)劃總體要求，建立品牌主數(shù)據(jù)相關(guān)規(guī)范和標準，以“數(shù)據(jù)標準”為建設(shè)方向的大數(shù)據(jù)平臺，為某汽車集團信息化系統(tǒng)建設(shè)應(yīng)用提供標準和規(guī)范保障，未來為其他系統(tǒng)提供高質(zhì)量、高效的信息化標準數(shù)據(jù)支撐，推動大數(shù)據(jù)平臺的深度集成、數(shù)據(jù)共享和深化應(yīng)用。IT服務(wù)“數(shù)據(jù)標準”：以“為用戶提供隨時隨地的、唯一源頭的數(shù)據(jù)資源共享服務(wù)”為愿景;以“為系統(tǒng)提供統(tǒng)一數(shù)據(jù)源頭及流向和主數(shù)據(jù)分發(fā)”;以“為業(yè)務(wù)提供各主要信息代碼的管理維護，為業(yè)務(wù)用戶提供主數(shù)據(jù)維護的唯一數(shù)據(jù)源;現(xiàn)狀調(diào)研與分析，識別系統(tǒng)未來提升方向全面梳理某汽車集團業(yè)務(wù)、線索數(shù)據(jù)源現(xiàn)狀，市場趨勢與發(fā)展，分析當前業(yè)務(wù)流程和系統(tǒng)能力與企業(yè)中期目標之間的差異，收集業(yè)務(wù)需求，KPI指標，分享行業(yè)內(nèi)外領(lǐng)先實踐，識別提升方向和項目范圍。某汽車集團系統(tǒng)能力模型參考某汽車集團汽車行業(yè)系統(tǒng)能力模型，了解某汽車集團相關(guān)的市場營銷、銷售、服務(wù)、客戶管理、渠道管理、經(jīng)銷商管理業(yè)務(wù)及線索數(shù)據(jù)源的現(xiàn)狀及IT現(xiàn)狀利用某汽車集團系統(tǒng)能力成熟度評估模型，并從戰(zhàn)略、組織、流程、數(shù)據(jù)、系統(tǒng)角度對現(xiàn)狀進行快速診斷，收集業(yè)務(wù)部門需求和KPI指標解讀某汽車集團中期業(yè)務(wù)戰(zhàn)略，分析未來業(yè)務(wù)發(fā)展方向?qū)诵袠I(yè)內(nèi)外業(yè)務(wù)技術(shù)領(lǐng)先實踐，明確某汽車集團未來3~5年內(nèi)業(yè)務(wù)發(fā)展和數(shù)字化營銷體系建設(shè)目標了解分析定位某汽車集團系統(tǒng)能力成熟度評估模型戰(zhàn)略解讀與實踐經(jīng)驗介紹示例示例實施藍圖現(xiàn)狀規(guī)劃業(yè)務(wù)能力藍圖全景相關(guān)業(yè)務(wù)流程框架業(yè)務(wù)能力全景藍圖總結(jié)各個業(yè)務(wù)部門職責，明確每項業(yè)務(wù)的主責部門，提升部門之間的協(xié)同性，進行組織架構(gòu)優(yōu)化調(diào)整建議回收系統(tǒng)范圍內(nèi)營銷、銷售和服務(wù)業(yè)務(wù)梳理至子流程級制定支撐未來系統(tǒng)能力落地的流程框架，覆蓋客戶全生命周期重點業(yè)務(wù)模塊，如銷售線索管理、服務(wù)管理將梳理到業(yè)務(wù)活動級，明確承擔活動的角色L1:業(yè)務(wù)職能角色L0:流程域L3:子流程L2:流程流程著重于描述部門之間如何協(xié)同L4:活動示例示例示例實施藍圖現(xiàn)狀業(yè)務(wù)主題規(guī)劃藍圖售中售前客戶和聯(lián)系人管理人人關(guān)系人車關(guān)系數(shù)據(jù)清洗客戶標簽主數(shù)據(jù)支撐基礎(chǔ)主數(shù)據(jù)交互數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)多渠道整合網(wǎng)站呼叫中心郵件社交媒體移動設(shè)備車載系統(tǒng)外部伙伴零售管理零售訂單鎖車邏輯訂單審核交車流程經(jīng)銷商庫存客戶回訪整車庫存批售管理批售訂單批售配車采購訂單預測計劃財務(wù)結(jié)算訂單審核整車入庫整車出庫庫存管理移庫管理承運單管理交貨管理基礎(chǔ)服務(wù)報表堆場管理SSO權(quán)限集成實時接口訂單分析預測分析財務(wù)分析計劃分析庫存分析其它分析售后備件中心采購管理銷售管理包材管理委外業(yè)務(wù)倉儲管理保修管理零件返回管理供應(yīng)商索賠召回與服務(wù)措施管理付款及開票管理保修政策管理保修預算監(jiān)控三包預警管理舊件報廢管理索賠管理保修審計管理善意保修及非保修案例保修數(shù)據(jù)分析供應(yīng)商索賠分析零件返回分析召回與服務(wù)分析保修審計分析其他分析客戶咨詢管理一線和二線處理回訪和質(zhì)檢知識庫管理非結(jié)構(gòu)化知識編審發(fā)結(jié)構(gòu)化知識導入和查詢呼叫中心來電查詢客戶和線索新增、關(guān)閉和升級案例查詢和引用知識庫把線索轉(zhuǎn)換成客戶客戶統(tǒng)計分析案例統(tǒng)計分析知識應(yīng)用統(tǒng)計分析呼叫中心作業(yè)管理報表數(shù)據(jù)接口后臺跑批統(tǒng)一客戶資源管理優(yōu)化客戶的接觸策略收集各個系統(tǒng)和社交媒體渠道的客戶屬性、客戶基本信息、聯(lián)系人信息，實現(xiàn)對客戶的統(tǒng)一識別；構(gòu)建360度的客戶視圖及客戶等級，實現(xiàn)針對客戶生命周期進行客戶特征、客戶細分和客戶價值的關(guān)鍵應(yīng)用優(yōu)化外部數(shù)據(jù)治理基于統(tǒng)一客戶視圖制定客戶接觸策略；通過與呼叫中心集成，提高客戶聯(lián)系的效率；通過對客戶接觸歷史的分析，及時修正客戶接觸策略；外部DMS系統(tǒng)業(yè)務(wù)數(shù)據(jù)導入至CRM系統(tǒng)；外部系統(tǒng)數(shù)據(jù)進入CRM系統(tǒng)后，需要重新整理，以便形成以客戶為中心的統(tǒng)一視圖；銷售分析及銷售管理決策支持通過數(shù)據(jù)儀表盤、多維報表技術(shù)，實現(xiàn)對到店情況、服務(wù)響應(yīng)情況、客戶流失情況、銷售過程和銷售結(jié)果的分析；實現(xiàn)對客戶的價值、特征等內(nèi)容的分析；優(yōu)化線索清洗和培育總部集中管理線上線下個渠道集成的線索進行清洗、歸集和培育，對所有唯一線索展開有效精準的跟進和購車銷售機會；基于自然進店或邀約進店或試乘試駕的記錄等業(yè)務(wù)信息，應(yīng)用WiFi或二維碼媒介自動記錄和上傳照片，實現(xiàn)對門店銷售機會跟進情況的管控；通過銷售跟進移動模版，自動生成銷售跟進任務(wù)，并通知銷售人員及時的跟進銷售機會；潛客轉(zhuǎn)化有效管理在統(tǒng)一客戶數(shù)據(jù)視圖的基礎(chǔ)上提煉出信息應(yīng)用視圖和客戶標簽，以細分客戶的等級；在唯一線索跟進管控下，引導有效線索進入潛客銷售漏斗，按照潛客培育的規(guī)則，同時提升面向分析的客戶洞察力基礎(chǔ)上，實現(xiàn)事件式營銷，做到潛客轉(zhuǎn)化有效度；重視線索培育和轉(zhuǎn)化，減少線索浪費，輔助銷售轉(zhuǎn)化。；銷售線索培育優(yōu)化目標及溝通的價值溝通和契合分析促銷活動管理個性化條件設(shè)置A/B分離及客戶細分客戶特征分析可視化的個性化圖像溝通和契合自動化郵件/微信促銷活動管理集成CRM強化銷售系統(tǒng)跨渠道展現(xiàn)標簽/通訊/短信服務(wù)平臺Personalized/newsletters/SMS社群/網(wǎng)站/用戶體驗最佳化SocialNetwork/Website/Experienceoptimization網(wǎng)站/手機行為模式分析Website/MobileBehaviorAnalysis行為存儲在CRM中BehaviorisstoredinCRM客戶畫像用戶行為360°體驗SearchInsight

Discover客戶360實時體現(xiàn)客戶感知的圖像和用戶行為的訊息，及時地滿足當前和未來在個性化、互動化、智能化有利的營銷工具客戶畫像——服務(wù)客戶全生命周期模糊客戶潛在客戶成交客戶保有客戶忠誠客戶客戶畫像——客戶360視圖應(yīng)用P.

41銷售線索檢索、甄別、培育流程01-數(shù)據(jù)源

注冊會員認證會員線上瀏覽線上活動溝通行為行為分析興趣點線下活動促銷精準推送終端門店用戶培育，事件觸發(fā)認知了解認可考慮意向購買傳統(tǒng)汽車行業(yè)缺乏品牌受眾培育平臺汽車行業(yè)潛客轉(zhuǎn)化平均周期為3-6個月，經(jīng)銷商銷售跟進周期為2個月大量潛客無法有效轉(zhuǎn)化，無法找到品牌的深入體驗傳統(tǒng)品牌缺乏粉絲集聚的平臺和機制，無法進行粉絲層面的品牌體驗傳統(tǒng)汽車行業(yè)缺乏互聯(lián)網(wǎng)大數(shù)據(jù)客流導入平臺和機制，潛客入口狹窄車主缺乏社交平臺，沒有車主群體孕育的平臺和空間傳統(tǒng)汽車行業(yè)缺乏品牌受眾培育平臺銷售線索檢索、甄別、培育-示例整車廠市場部門客戶關(guān)懷中心經(jīng)銷商P.

43銷售線索的協(xié)同應(yīng)用流程協(xié)同營銷管理應(yīng)用步驟戰(zhàn)敗線索線索池來自多渠道的銷售線索車廠清洗規(guī)則初步清洗CCCHABCDEN合格的線索營銷平臺CallCenter分配D1D2D3D4分配規(guī)則DCCHABHHHAAA銷售跟進HA零售端戰(zhàn)敗線索處理規(guī)則訂單$$贏單失敗線索的回訪來源渠道OEM培育規(guī)則自然到店M官網(wǎng)搜索引擎DCC、CCC垂直媒體經(jīng)銷商培育

線索清洗

廠家下發(fā)零售端跟進銷售線索分級&判斷廠家BDC零售端BDCBBB????????BAPPs?銷售線索全部來源渠道（電商、線下等）定義及分別下發(fā)流程?

呼叫中心-定義清洗規(guī)則（如同一4S店兩條同樣銷售線索及不同4S店同一條銷售線索如何處理等）?

廠家BDC職責及銷售線索分級判定?銷售線索分配規(guī)則（包含零售端線索可了解的用戶信息）?零售端BDC職責?零售端銷售線索跟進機制?銷售線索戰(zhàn)敗或逾期等的處理機制?銷售線索的培育（廠家&零售端）店端銷售線索錄入進店主動呼入市場活動等輿情從4月15號開始爆發(fā)，符合車展契機，24號之后，依舊保持一定的熱度最重要的輿情來源是汽車之家網(wǎng)站最近一個月共產(chǎn)生42條負面輿情。營銷情報檢索展現(xiàn)輿情從4月15號開始爆發(fā)，符合車展契機，24號之后，依舊保持一定的熱度最重要的輿情來源是汽車之家網(wǎng)站最近一個月共產(chǎn)生42條負面輿情。負面輿情清單車質(zhì)網(wǎng)、和訊網(wǎng)、汽車之家是新聞的主要源頭在期間媒體的主要報道，還是以新車發(fā)布相關(guān)新聞為主，主要為曝光相關(guān)，國產(chǎn)車對比等相關(guān)新聞Lynk&co在新聞中，與長城Wey對比較多，這不符合與途觀等合資品牌對標的定位WEY大數(shù)據(jù)平臺

實戰(zhàn)案例二基本信息與因子庫47?年齡段?婚姻狀況?教育水平?愛好?家庭年收入?主要收入來源

?是否首次購車?購車目的?購車因素?客戶來源渠道?微博微信發(fā)帖次數(shù)?市場活動參與次數(shù)?星座?血型?家庭成員數(shù)基本信息客戶屬性?車價區(qū)間?精品金額?裝潢金額?保險金額?其它服務(wù)金額?訂單總額?貸款總金額?維修結(jié)算金額?投保險種?保險開始日期?保險結(jié)束日期?是否有保險?是否有車貸消費信息車輛/維修信息?VIN?車牌號?發(fā)動機號?品牌?車系?車型?顏色?配置?車型年?排氣量?制造日期?經(jīng)銷商?銷售顧問?銷售日期?上牌日期?上牌城市?簽約日期?車輛用途?保修起始日期?保修結(jié)束日期?保修起始里程?保修結(jié)束里程?客戶編號?客戶名稱?客戶類型?證件號碼?車主電話?車主手機?性別?出生日期?E-Mail?FAX?聯(lián)絡(luò)地址(郵編/省份/城市/區(qū)縣/地址)?戶籍地址(郵編/省份/城市/地址)?送修人?使用人?日平均行駛里程?上次驗車日期?上次維修日期?上次維修里程?原車主編號?營運性質(zhì)?營運證日期?指定技師?服務(wù)專員?工單類型?維修類型代碼?行使總里程?預計下次保養(yǎng)日期?交車日期?上次維修經(jīng)銷商?車齡區(qū)間?駕齡客服信息?售中回訪名單?售后回訪名單?修后回訪名單?生日節(jié)日提醒名單?質(zhì)保到期通知名單?證照到期通知名單?客戶分類?會員等級?最佳聯(lián)系時間?最佳聯(lián)系方式?投訴次數(shù)?投訴等級?修后滿意度評價ExistingDerivedInferNotCaptured生命周期客戶流失等級客戶貢獻度能力

客戶價值等級

客戶標簽評分客戶行為評分

客戶滿意度評分工作信息?從事行業(yè)?職業(yè)類別?職務(wù)名稱?家庭年收入?工作年限業(yè)務(wù)數(shù)據(jù)視圖擴充售前360精準營銷售后360車輛360主動關(guān)懷流失預警經(jīng)銷商360客戶+車輛服務(wù)顧問售后回訪地址車輛檔案維修項目維修委托書備件訂單人車關(guān)系聯(lián)系人定金交車單銷售臺賬會員等級試乘試駕人人關(guān)系意向車型跟進記錄會員事件賬戶積分展廳官網(wǎng)活動報名留言圈子售后回訪地址車輛檔案維修項目維修委托書備件訂單人車關(guān)系聯(lián)系人定金交車單銷售臺賬會員等級試乘試駕人人關(guān)系意向車型跟進記錄會員事件賬戶積分展廳官網(wǎng)活動報名留言圈子客戶客戶基本信息偏好特征用戶行為興趣愛好上網(wǎng)偏好渠道偏好官網(wǎng)瀏覽注冊時間試駕時間參閱活動次數(shù)參閱活動時間論壇傳播次數(shù)線上瀏覽習慣用戶姓名會員賬號渠道來源手機號郵箱所在城市購車預算偏愛車型購車時間性別客戶基本信息客戶編號身份證件聯(lián)系人送修人戶籍地址客戶標簽會員等級聯(lián)絡(luò)人手機號送修人手機號所在地地址維修信息預約方式累計進廠頻次上次進廠日期累計消費金額上次進廠里程服務(wù)專員平均客單價車牌號保險到期日車齡上次余留項目維修類型統(tǒng)計上次維修經(jīng)銷商投訴事件評價次數(shù)評價等級婚姻狀況教育水平職業(yè)家庭年收入來源渠道購車目的購車因素客戶屬性年齡段會員級數(shù)質(zhì)保到期通知三包預警通知生日節(jié)日提醒證照到期通知忠誠信息貢獻度能力忠誠度等級客戶流失趨勢客戶價值度售后關(guān)懷潛客洞察銷售情報甄別標簽客戶本期購買預測模型客戶360視圖客戶標簽庫車輛標簽庫車輛生命周期模型客戶價值模型車輛置換模型重購模型客戶維系挽留模型是否首次購車是否有保險是否有車貸基礎(chǔ)數(shù)據(jù)域與模型因子49客戶域產(chǎn)品域帳務(wù)域事件域營銷域地域域車型域競爭品牌產(chǎn)品數(shù)據(jù)車輛使用行為數(shù)據(jù)電商網(wǎng)絡(luò)行為數(shù)據(jù)區(qū)域歸屬網(wǎng)格數(shù)據(jù)保險/信用/價值數(shù)據(jù)與流動性相關(guān)的外部數(shù)據(jù)/汽車租賃客戶接觸數(shù)據(jù)4S店/展廳/車展參考示例50業(yè)務(wù)主題建模案例車輛管理數(shù)據(jù)模型客戶管理數(shù)據(jù)模型市場營銷數(shù)據(jù)模型線索潛客管理數(shù)據(jù)模型

從客戶洞察到精確營銷以創(chuàng)造企業(yè)價值為核心，全面提升數(shù)據(jù)應(yīng)用能力在統(tǒng)一客戶數(shù)據(jù)視圖的基礎(chǔ)上提煉出信息應(yīng)用視圖在提升面向分析的客戶洞察力基礎(chǔ)上實現(xiàn)面向精準營銷分散的營銷支撐能力整合形成面向客戶價值提升的數(shù)據(jù)應(yīng)用支撐體系數(shù)據(jù)信息運營業(yè)績激活數(shù)據(jù)資產(chǎn)裂谷階段A：潛在客戶階段B：存量客戶期價值提升模型（基于車輛和客戶360視圖的挖掘分析，為其它BU提供商業(yè)應(yīng)用）車輛置換預測模型銷售情報甄別銷售漏斗分析客戶洞察，定位客戶敏感標簽內(nèi)容一對一營銷腳本定制階段C：流失期重購分析預測模型客戶維系挽留模型轉(zhuǎn)化精準營銷價值提升拓展挽留二次營銷51

潛在客戶挖掘與預測潛在客戶存量客戶家庭同事朋友存量客戶業(yè)務(wù)模型潛在客戶訓練標簽庫潛在客戶價值挖掘模型品牌偏好/價格偏好/優(yōu)惠類型偏好…高價值客戶潛在客戶業(yè)務(wù)模型客戶轉(zhuǎn)化52VehicleLifeCycleModelApplicationAnalysis(車輛生命周期模型）53BusinessModelUnderstanding以車輛生命周期精細化管理為導向，建立覆蓋客戶車輛新車期、可用期、更換期和淘汰期不同階段客戶主動溫馨服務(wù)及應(yīng)用模型庫Businessbenefits實現(xiàn)基于用戶車輛車況及所處生命周期階段，精準定位客戶對產(chǎn)品服務(wù)需求OutputConsumerLabel客戶在用車輛生命周期階段標簽階段A：潛在客戶階段B：新車期階段C：可用期價值提升模型（產(chǎn)品+服務(wù)）重購分析模型客戶洞察模型客戶關(guān)懷溫馨服務(wù)階段D：更換期階段E：流失期再次購買分析模型流失預警模型客戶維系挽留模型CustomerPurchaseForecastModel（客戶購買預測模型）54Business

ModelUnderstanding聚類分析歷史用戶購買產(chǎn)品（品牌、車型、服務(wù)）行為，時間段，銷售方式，促銷優(yōu)惠有效性，區(qū)域（一級市場/二級市場/三級市場），分析用戶對產(chǎn)品和服務(wù)的最佳時間點，預測銷售能力，結(jié)合用戶其它特征標簽（潮流系數(shù)分析標簽），再交叉分析產(chǎn)品特點，預測用戶產(chǎn)品和服務(wù)需求，做到有的放矢，科學預測銷售量，促進銷售銷售量提升Business

Businessbenefits在細分市場、客戶、產(chǎn)品的基礎(chǔ)上，制定有效性、差異化的事件營銷策劃和方案，合理預測銷量針對存量客戶消費能力客戶，有針對性的為客戶推薦不同附加值的汽車精品和售后服務(wù)OutputLabel不同級別市場客戶主打車型，優(yōu)惠/促銷手段（針對最終客戶優(yōu)化，針對經(jīng)銷商獎勵）55AftersalesCustomerChurnAnalysis（售后客戶流失分析模型）Business

ModelUnderstanding客戶的流失分析模型是對已流失用戶流失前顯著流失原因特征分析，重點聚類分析淘汰期車輛客戶流失特征，定位造成用戶流失的關(guān)鍵因素，經(jīng)過提煉映射在流失曲線模型上。從而有針對性的采用相應(yīng)主動防御、早預警、挽留措施。Businessbenefits客戶預警時機與預警機制建立，挖掘再次營銷機會按車型聚類分析TOP3原因客戶主動關(guān)懷機制與策略的建立OutputConsumerLabel客戶流失預警標簽；客戶主動關(guān)懷標簽；觀測點預警窗口大數(shù)據(jù)平臺

項目實施管理篇數(shù)據(jù)戰(zhàn)略驅(qū)動的規(guī)劃方法綜合IT戰(zhàn)略數(shù)據(jù)使命數(shù)據(jù)基本策略數(shù)據(jù)愿景中長期目標數(shù)據(jù)戰(zhàn)略舉措約束與限制執(zhí)行計劃能力架構(gòu)治理過濾/優(yōu)先級企業(yè)戰(zhàn)略業(yè)務(wù)單元戰(zhàn)略執(zhí)委會邊界數(shù)據(jù)–未來狀態(tài)能力架構(gòu)治理業(yè)務(wù)戰(zhàn)略能力架構(gòu)治理數(shù)據(jù)–當前狀態(tài)IT&數(shù)據(jù)戰(zhàn)略數(shù)據(jù)戰(zhàn)略交付物彌補差距運行測試設(shè)計與構(gòu)建定義規(guī)劃某汽車集團BI實施方法論業(yè)務(wù)部門IT部門某汽車集團團隊業(yè)務(wù)規(guī)劃團隊組建建立溝通機制審核需求

審核方案

定義業(yè)務(wù)主題確定項目范圍制訂計劃ETL設(shè)計與開發(fā)用戶報表開發(fā)用戶UAT測試用戶界面開發(fā)整體方案設(shè)計與開發(fā)數(shù)據(jù)存儲與元數(shù)據(jù)方案定義需求調(diào)研需求分析培訓準備用戶界面定義用戶報表定義業(yè)務(wù)視圖定義系統(tǒng)測試集成測試操作培訓維護部署監(jiān)控BI及大數(shù)據(jù)領(lǐng)域混和云解決方案從前端到后臺完整的產(chǎn)品線豐富的產(chǎn)品實施經(jīng)驗強大的團隊力量各類設(shè)備的支持方案完備的行業(yè)實施方案DATAZENPowerView某汽車集團實施能力介紹某汽車集團服務(wù)部實施能力溝通方式目標/內(nèi)容溝通頻率參與人員項目管理委員會會議（雙周）回顧項目里程碑事項決策重大及關(guān)鍵問題(OpenIssue)審核并確認關(guān)鍵項目交付成果評估重大項目風險雙周的周一項目管理委員會項目經(jīng)理業(yè)務(wù)負責人項目每周周進度會議通報項目進度與計劃討論待解決的問題及相應(yīng)行動方案每周周三項目管理委員會項目經(jīng)理與項目團隊業(yè)務(wù)負責人或業(yè)務(wù)成員項目例會溝通項目進度討論項目計劃與行動方案每周周五(會議前項目簡報先發(fā)送)項目經(jīng)理與項目成員咨詢專家團隊項目簡報(電子郵件)通報關(guān)鍵項目進度通報重大項目成果視需要實時發(fā)布項目管理委員會項目經(jīng)理與項目團隊業(yè)務(wù)負責人相關(guān)人員項目專題研討會討論特定的項目專題或存在問題分析問題根源比較潛在的解決方案作出決策并確定行動方案依項目計劃召開需求研討會項目經(jīng)理與項目團隊相關(guān)業(yè)務(wù)負責人或業(yè)務(wù)成員咨詢專家團隊注：項目溝通頻率可視業(yè)務(wù)部門的時間調(diào)整。項目管理與協(xié)作方法項目管理委員會項目管理辦公室專家團隊咨詢專家團隊：整車廠CRM專家關(guān)鍵業(yè)務(wù)負責人/IT負責人各業(yè)務(wù)部門：KBU項目總監(jiān)方案經(jīng)理項目總監(jiān)項目經(jīng)理大數(shù)據(jù)項目組織架構(gòu)：某汽車集團公司與某汽車集團組成項目精銳團隊，以確保項目的成功，并在合作的模式下共同將需求的探索、經(jīng)驗的傳遞與適當?shù)姆止?，以實現(xiàn)睿能大數(shù)據(jù)精準營銷信息化的任務(wù)與目標。

高層領(lǐng)導高層領(lǐng)導各業(yè)務(wù)版塊中高級管理層各業(yè)務(wù)流程負責人某汽車集團公司汽車行業(yè)專家線索培育設(shè)計團隊各業(yè)務(wù)流程負責人IT部門各系統(tǒng)負責人某汽車集團公司咨詢顧問數(shù)據(jù)模型專家大數(shù)據(jù)設(shè)計團隊各業(yè)務(wù)流程負責人IT部門各系統(tǒng)負責人某汽車集團公司系統(tǒng)架構(gòu)師數(shù)據(jù)庫架構(gòu)師系統(tǒng)規(guī)劃團隊業(yè)務(wù)負責人某汽車集團公司技術(shù)顧問，功能測試顧問，性能測試顧問集成顧問數(shù)據(jù)遷移顧問系統(tǒng)測試實現(xiàn)團隊某汽車集團大數(shù)據(jù)咨詢項目組織各業(yè)務(wù)版塊中高級管理層各業(yè)務(wù)流程負責人某汽車集團公司汽車行業(yè)專家業(yè)務(wù)規(guī)劃團隊62感謝各位領(lǐng)導和專家謝謝！客戶360全視圖智能MDM完整的解決方案客戶標簽應(yīng)用的案例附錄一：客戶360視圖與應(yīng)用案例Copyright?2016Microsoft.AllRightsReserved.64銷售線索業(yè)務(wù)漏斗分析銷售線索唯一線索分析全局輿情分析客戶Inbound案例分析附錄二：銷售線索分析移動終端案例附錄三：CRM業(yè)務(wù)流程改造和信息化整合案例66附錄四：RCI案例67附錄五：汽車銷售4S管理系統(tǒng)附錄六：數(shù)字化經(jīng)營決策數(shù)據(jù)平臺案例68附錄七：水務(wù)數(shù)字化經(jīng)營管理平臺69附錄八：客戶數(shù)據(jù)平臺案例70附錄八：地產(chǎn)主數(shù)據(jù)平臺案例71附錄九：主數(shù)據(jù)管理解決方案72附錄十：XX醫(yī)藥主數(shù)據(jù)管理解決方案73中國智網(wǎng)創(chuàng)新中心

大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流1.本期建設(shè)目標2.平臺的建設(shè)規(guī)劃3.平臺建設(shè)技術(shù)方案：建設(shè)背景、探索歷程、平臺實踐、總結(jié)與展望規(guī)劃思路成功案例現(xiàn)狀分析產(chǎn)品設(shè)計干貨附錄1.平臺現(xiàn)狀建設(shè)、問題總結(jié)分析、客戶痛點分析1.某省超大規(guī)模集群建設(shè)項目2.某省電信全域數(shù)據(jù)融合建設(shè)項目1.某省電信數(shù)據(jù)湖實施案例2.數(shù)據(jù)資產(chǎn)管理，數(shù)據(jù)資產(chǎn)運營2.建模分發(fā)

5.統(tǒng)一調(diào)度3.數(shù)說工廠目

錄02040503011.資產(chǎn)注冊

4.數(shù)據(jù)同步1

現(xiàn)狀分析集團大數(shù)據(jù)平臺建設(shè)現(xiàn)狀集團現(xiàn)狀：

目前接入全國的O域話單數(shù)據(jù)、

B域用戶數(shù)據(jù)、

M域工參數(shù)據(jù)等基礎(chǔ)數(shù)據(jù)，包括全量信令面、用戶面2G/3G/4G/5G數(shù)據(jù)，數(shù)據(jù)量預估1.2P/天。平臺現(xiàn)有規(guī)模700臺+服務(wù)器，預計未來規(guī)模將達到數(shù)千臺服務(wù)器。在數(shù)據(jù)層面，數(shù)據(jù)資產(chǎn)管理首先解決的是企業(yè)內(nèi)系統(tǒng)間數(shù)據(jù)孤島的問題，將不同系統(tǒng)中的數(shù)據(jù)進行全面匯集和管理，通過數(shù)據(jù)提煉分析、集中化管理，形成企業(yè)數(shù)據(jù)資產(chǎn)和洞察，服務(wù)于業(yè)務(wù)，解決了數(shù)據(jù)“匯管用”的問題。在業(yè)務(wù)層面，通過對各業(yè)務(wù)線的模塊去重和沉淀，共享通用模塊，讓前臺業(yè)務(wù)更加敏捷地面向市場，

實現(xiàn)企業(yè)新業(yè)務(wù)的快速上線與迭代試錯，服務(wù)更多場景，提升業(yè)務(wù)響應(yīng)力。在技術(shù)層面，避免重復開發(fā)，技術(shù)迭代升級更高效，可按需擴展服務(wù)，讓整個技術(shù)架構(gòu)更開放。數(shù)字中臺最終的應(yīng)用價值是在充分市場競爭下，保持并提升企業(yè)的運營效率和創(chuàng)新能力。痛點分析1.數(shù)據(jù)割裂，跨區(qū)域，冒煙式建設(shè)，集群很難統(tǒng)一管理。2.數(shù)據(jù)分散、共享困難，數(shù)據(jù)價值釋放有限，無法變現(xiàn)。3.數(shù)據(jù)冗余多、集群數(shù)據(jù)處理效率不高、占用物理資源高，重復建設(shè)，成本高。

4.數(shù)據(jù)質(zhì)量有待提升、缺乏端到端的血緣管控，缺乏數(shù)據(jù)治理體系。5.數(shù)據(jù)服務(wù)便捷性有待提升，缺一站式數(shù)據(jù)安全取數(shù)體系。6.數(shù)據(jù)挖掘模型不夠豐富，行業(yè)垂直數(shù)據(jù)建模能力相對較弱。建設(shè)現(xiàn)狀：集團大數(shù)據(jù)平臺建設(shè)現(xiàn)狀各省大數(shù)據(jù)平臺內(nèi)蒙、鄭州大數(shù)據(jù)平臺廊坊

大數(shù)據(jù)

平臺現(xiàn)狀分析數(shù)據(jù)價值挖掘不到位，

專題數(shù)據(jù)模型不夠豐富。多集群異廠家、異部門

建設(shè)，跨區(qū)域管控困難。重復建設(shè)、重復投資、

運維成本高。數(shù)據(jù)服務(wù)便捷性有待提升。數(shù)據(jù)加工不透明，相同指標加工口徑不統(tǒng)一。缺少端到端的血緣數(shù)據(jù)質(zhì)量工具。數(shù)據(jù)割裂、共享困難，

數(shù)據(jù)價值釋放有限。散分亂理治無建設(shè)背景：集團痛點l全域數(shù)據(jù)匯聚和管理中心

，沉淀了海量的計算能力、存儲能力、數(shù)據(jù)能力。l面臨著如何實現(xiàn)資源智能調(diào)度、最大化利用、能力共享

，進一步賦能各類合作伙伴應(yīng)用創(chuàng)新、促進數(shù)據(jù)價值變現(xiàn)的發(fā)展瓶頸。數(shù)據(jù)中臺數(shù)據(jù)能力AI能力空間數(shù)

據(jù)能力資源能力基于容器云的數(shù)據(jù)中心操作系統(tǒng)創(chuàng)新驅(qū)動1

構(gòu)建能力共享生態(tài)2急需支持租戶自助使

用云化大數(shù)據(jù)相關(guān)資

源，賦能創(chuàng)新3保障數(shù)據(jù)安全開放自身優(yōu)化計算/存儲資源使用不均衡資源彈性調(diào)度不足技術(shù)組件支撐不全手工運維效率低通過持續(xù)研究和探索

，構(gòu)建中國容器化大數(shù)據(jù)云平臺，解決痛點問題應(yīng)用基礎(chǔ)設(shè)施主機資源網(wǎng)絡(luò)資源數(shù)據(jù)服務(wù)能力封裝/開放數(shù)據(jù)治理大數(shù)據(jù)對內(nèi)應(yīng)用大數(shù)據(jù)對外應(yīng)用存儲資源PaaSIaaSSaaS平臺架構(gòu)1、需要建立跨區(qū)域、多集群數(shù)據(jù)管理2、可視化管理、跨集群數(shù)據(jù)交換能力不足3、統(tǒng)一運維、自動化運維能力不足4、多租戶，統(tǒng)一任務(wù)調(diào)度管理5、建底層存儲、計算集群搭建、容器化部署數(shù)據(jù)匯聚1、數(shù)據(jù)采集匯聚效率不足2、數(shù)據(jù)采集范圍尚未覆蓋企業(yè)級整體數(shù)據(jù)3、不同種類的數(shù)據(jù)存放仍需規(guī)范化4、源系統(tǒng)接口不規(guī)范，數(shù)據(jù)采集不穩(wěn)定數(shù)據(jù)處理1、實時、準實時數(shù)據(jù)處理支撐能力不足2、數(shù)據(jù)處理的效率有待提升數(shù)據(jù)治理1、數(shù)據(jù)資產(chǎn)可視化程度偏低2、缺少數(shù)據(jù)資產(chǎn)面向企業(yè)的服務(wù)能力3、數(shù)據(jù)質(zhì)量管理仍有很大的提升空間數(shù)據(jù)開發(fā)1、開發(fā)流程管控能力有待提升2、數(shù)據(jù)開發(fā)支撐工具還需補充3、開發(fā)工具的易用性有待提高數(shù)據(jù)應(yīng)用1、基于數(shù)據(jù)中心的前端應(yīng)用缺乏深度2、缺少數(shù)據(jù)驅(qū)動型產(chǎn)品的支撐3、資產(chǎn)服務(wù)（血緣、運維等）很少引用到前端應(yīng)用中系統(tǒng)運維1、系統(tǒng)運維智慧化程度不足2、缺乏基礎(chǔ)平臺運維監(jiān)控能力數(shù)據(jù)安全1、數(shù)據(jù)安全體系持續(xù)完善中問題總結(jié)：集團平臺待改進需求總結(jié)2

規(guī)劃思路1、建立集團數(shù)據(jù)中心：打通網(wǎng)絡(luò)側(cè)、終端側(cè)、內(nèi)外業(yè)務(wù)側(cè)，建設(shè)跨區(qū)域、跨機房、集約化集群管控。2、構(gòu)建基礎(chǔ)集群能力：

數(shù)據(jù)治理、降本增效。貫通生態(tài)，強化網(wǎng)絡(luò)能力輸出。3、提供數(shù)據(jù)變現(xiàn)能力：包括行業(yè)精準畫像、應(yīng)用產(chǎn)業(yè)影響和發(fā)展支撐。4、打通行業(yè)垂直數(shù)據(jù)：以O(shè)域為主，融合B域以及全國平臺側(cè)數(shù)據(jù)、網(wǎng)絡(luò)側(cè)、終端側(cè)、內(nèi)外業(yè)務(wù)側(cè)，實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)變現(xiàn)能力，包括行業(yè)精準畫像、應(yīng)用產(chǎn)業(yè)營銷和發(fā)展支撐。建設(shè)目標：BDH數(shù)據(jù)

基礎(chǔ)產(chǎn)品BDM數(shù)據(jù)

應(yīng)用類產(chǎn)品BDP大數(shù)據(jù)

資產(chǎn)產(chǎn)品整體目標：本次規(guī)劃實現(xiàn)的整體目標管理應(yīng)用平臺挖治采總體架構(gòu)：集團云化集群技術(shù)架構(gòu)物理資源HDFSAlluxio流式預統(tǒng)計算Service

Broker租戶C租戶DService

BrokerService

Broker租戶A租戶BService

Broker租戶N

…

…HBase獨立組件

定制版本號

K8s+dockerHiveSparkHbaseSparkHive公用組件

版本號固定KAFKARedisESFlume服務(wù)模塊存儲模塊計算模塊其他配置數(shù)據(jù)用戶數(shù)據(jù)日志數(shù)據(jù)生態(tài)圈數(shù)據(jù)庫租戶NYARN總體架構(gòu)：技術(shù)特點-多集群和混合云管理集群–總部?

首創(chuàng)多集群容器云平臺?

支持平臺內(nèi)集群級擴容?

支持集群內(nèi)節(jié)點級擴容?

集群資源管理與監(jiān)控?

集群節(jié)點管理與監(jiān)控?

支持節(jié)點上容器管理?

支持配額超配管理?

應(yīng)用分區(qū)及應(yīng)用管理?

Grafana&Kibana用戶集群–

內(nèi)蒙

用戶集群–河南、山東

用戶集群–

深圳用戶集群–

AWS1用戶集群–

AWS2【數(shù)據(jù)資產(chǎn)管理平臺】添加用戶集群–

成都節(jié)點擴容總體架構(gòu)：技術(shù)特點-集群類型開發(fā)測試區(qū)應(yīng)用性能要求不高，虛擬機基本滿足需求生產(chǎn)區(qū)DMZ

區(qū)應(yīng)用對安全性、穩(wěn)定性、響應(yīng)速

度等要求高，建議物理機開發(fā)測試DMZ

區(qū)!

↓

↓ 應(yīng)用運行環(huán)境一致性管理集群實現(xiàn)容器云核心功能虛擬機

物理機

物理機用戶集群提供應(yīng)用運行環(huán)境生產(chǎn)區(qū)存儲管理應(yīng)用管理應(yīng)用編排負載均衡服務(wù)發(fā)現(xiàn)集群管理權(quán)限控制灰度發(fā)布任務(wù)調(diào)度鏡像管理擴容縮容租戶管理資源管理監(jiān)控告警網(wǎng)絡(luò)分配日志管理生產(chǎn)環(huán)境生產(chǎn)集群主數(shù)據(jù)中心總體架構(gòu)：技術(shù)特點-鏡像倉庫、鏡像同步預發(fā)布集群共有云區(qū)異地災備數(shù)據(jù)中心集群鏡像環(huán)境開發(fā)測試集群托管環(huán)境同城數(shù)據(jù)中心策略復制策略復制01.管理●

節(jié)點

CPU

卡識別●

容器內(nèi)掛載

CPU02.分配●

大粒度：按租戶●

小粒度：用戶集群●

硬件型號03.監(jiān)控●

CPU狀態(tài)監(jiān)控●

CPU用量監(jiān)控（使用率、顯存、溫度等）用戶業(yè)務(wù)

Pod和系統(tǒng)

Pod分離特殊的網(wǎng)絡(luò)需求（IP固定、對外可見等），對

K8s

系統(tǒng)平臺無影響當用戶需要

IP對外可見時，他們給業(yè)務(wù)規(guī)劃的IP資

源往往是有限的、精確的，系統(tǒng)

Pod

可以不占用這

些

IP

地址用戶不同租戶可以使用不同的網(wǎng)絡(luò)支持固定

IP、

PodIP

外部可見總體架構(gòu)：技術(shù)特點-資源管理、多網(wǎng)絡(luò)方案監(jiān)控K8sMultusCNIcanalcalicobridge-vlan分配管理集群管理

資產(chǎn)管理

數(shù)說工廠運維中心任務(wù)管理語義加工處理總體架構(gòu)：集團與各省份關(guān)系圖內(nèi)蒙古、鄭州大數(shù)據(jù)平臺詳單各省沉淀，計算指標數(shù)據(jù)同步服務(wù)適配服務(wù)中間件查詢

引擎同步

引擎服務(wù)

云化組件

云化數(shù)據(jù)資產(chǎn)

管理平臺各省大數(shù)據(jù)平臺

…廊坊大數(shù)據(jù)平臺詳單各省沉

淀，計算指

標數(shù)據(jù)同步詳單各省沉

淀，計算指

標數(shù)據(jù)同步集團云化集群JDBC抽取通用命令調(diào)度管理對象注冊數(shù)據(jù)建模注冊任務(wù)監(jiān)控模型血緣任務(wù)血緣數(shù)據(jù)遷移資產(chǎn)目錄注冊系統(tǒng)權(quán)限注冊主題隊列映射數(shù)據(jù)項注冊租戶信息注冊集群信息注冊…

….….?大數(shù)據(jù)的目標是充分挖掘海量數(shù)據(jù)中的信息

，

以發(fā)現(xiàn)數(shù)據(jù)中的價值?

云計算的目標是通過資

源共享的方式更好地調(diào)

用、擴展和管理計算和

存儲等方面的資源和能

力，以提高資源利用率，降低企業(yè)的IT成本?

云計算可以為大數(shù)據(jù)平

臺的計算和存儲提供資

源層的靈活性?大數(shù)據(jù)組件部署到云平臺上，作為通用PaaS能

力，為用戶帶來使用上

的便利和高效1999SaaS出現(xiàn)2006IaaS/PaaS出現(xiàn)2013CaaS出現(xiàn)2014FaaS出現(xiàn)/2016:OpenWhisk(FaaS),

Fission(FaaS)2014:

Kubernetes

(CaaS),AWS

Lambda(FaaS)2013:

Docker(CaaS),

Marathon(CaaS)2012:OracleCloud(Iaas/PaaS/SaaS)2011:CloudFoundry

(PaaS)2015:

Kudu2014:Spark,

Flink2012:YARN,

Impala,Storm2011:

MapR,

Hcatalog,

HDP,Kafka2010-11:Crunch,Sqoop,

Flume,

Oozie2010:OpenStack(IaaS)2009:vSphere(IaaS)2006:AWS(SaaS),Amazon

EC2(IaaS),

Zimki

(PaaS)1999:Salesforce

(SaaS)2009:CDH,

Avro,Chukwa2008:

Hive,

Pig,ZooKeeper2007:

HBase2006:

Hadoop(HDFS+MapReduce),

Solr

萌芽階段

突破階段

成熟階段

應(yīng)用階段

爆發(fā)階段

-建設(shè)背景：大數(shù)據(jù)與云計算的發(fā)展歷程1980-20022003-20062006-20092009-20162017-20222013:

中國

大數(shù)據(jù)元年AdminSpecialization

SimplicityBigData

3.0BigData

2.0BigData

1.0SpecializationSimplicityDevelopmentBigdata

1.0

:v

以海量數(shù)據(jù)存儲、處理為主v平臺難以維護，數(shù)據(jù)開發(fā)困難Bigdata2.0

:v

Hadoop商業(yè)版出現(xiàn)v

SQL

on

Hadoop逐漸成熟

v

以批處理、流處理為主Bigdata3.0

:v客戶需求多元化v技術(shù)棧復雜化v

ABC走向融合技術(shù)發(fā)展趨勢：走向AI+Bigdata+Cloud融合美國知名分析機構(gòu)Wikibon把大數(shù)據(jù)技術(shù)發(fā)展大致分為3個階段：SinglevendorplatformAzure,AWS,Google,DatabricksTechvendors’internaldevelopmentMapReduce,BigTable,GFS,CassandraHadoopecosystemHortonworks,Cloudera,MapRQ建設(shè)背景：中國構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺l中國聯(lián)通

擁

有

集中的，企

業(yè)

級

全

域

數(shù)

據(jù)的

存

儲中

心、

計算

中

心

、

能

力

中

心

和

孵

化

中

心向上服務(wù)對內(nèi)生產(chǎn)

，同時支撐價值開放運營

數(shù)據(jù)中心

IT系統(tǒng)通信網(wǎng)絡(luò)業(yè)務(wù)平臺外部合作伙伴互聯(lián)網(wǎng)存儲

計算

能力孵化?

資料數(shù)據(jù)?

日志解析?

流量查詢

?數(shù)據(jù)應(yīng)用統(tǒng)一數(shù)據(jù)模型全域貫穿

資產(chǎn)化管理頂層架構(gòu)設(shè)計

技術(shù)引領(lǐng)

向下完成5大類、全域數(shù)據(jù)匯聚價值化運營

對外變現(xiàn)（大數(shù)據(jù)公司）能力化輸出數(shù)據(jù)服務(wù)對內(nèi)應(yīng)用能力開放數(shù)據(jù)中臺數(shù)據(jù)能力AI能力

(

)空間數(shù)

據(jù)能力

(資源能力

)開發(fā)測試基于容器云的數(shù)據(jù)中心操作系統(tǒng)1海量的計算能力、存儲能力2

PB級數(shù)據(jù)吞吐能力、統(tǒng)一數(shù)據(jù)服務(wù)能力3企業(yè)核心數(shù)據(jù)資產(chǎn)管理能力4助力數(shù)字化轉(zhuǎn)型的服務(wù)型數(shù)據(jù)應(yīng)用5可價值變現(xiàn)的產(chǎn)品型數(shù)據(jù)應(yīng)用數(shù)據(jù)規(guī)模（PB）98.6

108.0662.32017年

2018年

2019年X86服務(wù)器（臺）609742892017年2018年

2019年建設(shè)背景：中國構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺應(yīng)用基礎(chǔ)設(shè)施主機資源數(shù)據(jù)治理數(shù)據(jù)服務(wù)能力封裝/開放國內(nèi)領(lǐng)先的大數(shù)據(jù)平臺存儲資源大數(shù)據(jù)對內(nèi)應(yīng)用大數(shù)據(jù)對外應(yīng)用網(wǎng)絡(luò)資源PaaS6551IaaSSaaS歷程回顧：中國大數(shù)據(jù)平臺建設(shè)l2016年至今，中國持續(xù)在大數(shù)據(jù)云平臺建設(shè)方面投入力量l完成了資

源

管

理

從

無

到

有，資源調(diào)

度

及

運

維

從“

體

力”

到“

腦

力”的

演

變，逐步

實

現(xiàn)

智

能

化

管

理

和

運

營，為企

業(yè)

數(shù)

據(jù)

生

產(chǎn)

與

服

務(wù)

起

到了降

本

提

效

的

作

用

。HiveSparkStormmysqlKafkatensorflowHadoopHbaseMPPRedis時序數(shù)據(jù)庫CaffeHiveStormSpark……HadoopHbaseMPP……HiveStormSpark……HadoopHbaseMPP……?

半自動化部署?

半人工劃配?

系統(tǒng)運維，簡單

監(jiān)控?

一鍵部署?

按需自動分配、彈縮?

組件逐步豐富?

統(tǒng)一監(jiān)控、智能運維server

server

serverserver飛躍階段優(yōu)化提升serverserverserverserverserverserverserver

serverKubernetes+DockerYarnYarn?

物理部署?

人工劃配?

系統(tǒng)運維MesosRedisMysqlMysql最初階段RedisKubernetesMesos技術(shù)出現(xiàn)時間2014年2014年調(diào)度級別二級調(diào)度（基于predicates和priorities兩階段算法）二級調(diào)度（

FIFO，capacityscheduler，fairscheduler）生態(tài)活躍活躍且社區(qū)關(guān)注逐步上升活躍，社區(qū)關(guān)注逐步下降適用場景web應(yīng)用，中間件及數(shù)據(jù)庫，有狀態(tài)服務(wù)，其他支持類型飛速發(fā)展通用性高，混合場景成熟度高高應(yīng)用案例分析Google、AWS、

Redhat、Oracle、

Intel、

IBM、HW、阿里

百度等、

Twitter、Apple、Airbnb、Yelp等技術(shù)生態(tài)支持CNCF組織，由Google公司牽頭組織主要由Mesosphere公司貢獻技術(shù)實現(xiàn)開源產(chǎn)品種類繁多，實現(xiàn)難度低，成熟度較高原生框架實現(xiàn)難度高編排Docker需要Marathon實現(xiàn)調(diào)度功能歷程回顧：

Kubernetes

vs.

Mesos通過研究、探索和實踐，我們發(fā)現(xiàn)Kubernetes+Docker的技術(shù)路線更契合的實際需求。它幾乎支持了所有的容器業(yè)務(wù)類型，包含長期伺服型（long-running）、批處理型（batch）、節(jié)點后臺

支撐型（node-daemon

）和有狀態(tài)應(yīng)用型（stateful

application），也正是因為這個特點，k8s能夠支持當前

大多數(shù)常見的大數(shù)據(jù)處理場景，如分布式數(shù)據(jù)存儲（HDFS、

Hbase）、離線分析（hive/Spark）、實時處理

（Sparkstreaming）、數(shù)據(jù)挖掘（SparkMLlib），及深度學習框架（Tensorflow）等。中國的微服務(wù)開發(fā)運維管理平臺

使用了RancherServer

，通過圖形化和

RKE兩種方式對多個租戶的kubernetes

集群進行部署和管理：?

圖形化部署和擴展集群?

圖形化節(jié)點、資源和容器監(jiān)控?備份和容災，提高集群可靠性Rancher具有豐富的容器化實施案例

經(jīng)驗，是在支撐客戶需求以及集

群故障恢復方面的堅強后盾。Kubernetes作為開源產(chǎn)品，經(jīng)常會有

重大安全漏洞，Rancher都是率先發(fā)

現(xiàn)并及時給出解決方案，為云平

臺的安全保駕護航。歷程回顧：與Rancher的合作中國在搭建Kubernetes

+

Docker的容器化平臺過程中，引入了Rancher的產(chǎn)品部署和管理多個

Kubernetes集群。……Kubernetes

集群RancherServerKubernetes

集群Kubernetes

集群Kubernetes

集群圖形化RKE部署/管理平臺實踐：整體介紹2018年，基于Kubernetes+Docker，構(gòu)建了中國容器化大數(shù)據(jù)云平臺?；诮y(tǒng)一服務(wù)集成框架Kubernetes

Service

Catalog，集中管理、部署多類PaaS能力，包括大數(shù)據(jù)基礎(chǔ)服

務(wù)能力、

中間件及數(shù)據(jù)庫能力、數(shù)據(jù)集成工具能力、容器云能力、深度學習框架能力等，并支持靈活擴展。面向省分公司、子公司及內(nèi)外部合作伙伴，實現(xiàn)大數(shù)據(jù)云化資源能力的自助開放，支持租戶進行大數(shù)據(jù)平臺

建設(shè)、大數(shù)據(jù)加工處理、模型訓練及應(yīng)用的開發(fā)部署。安全管控某省經(jīng)營分析系統(tǒng)（數(shù)據(jù)加工）+租戶+l

自助申請l

租戶隔離l

應(yīng)用持續(xù)集成/部署+平臺+l

集約管理

l

智能調(diào)度

l

動態(tài)彈縮大數(shù)據(jù)即服務(wù)統(tǒng)一服務(wù)集成框架（Kubernetes

Service

Catalog）中間件/數(shù)據(jù)庫即服務(wù)Kafka數(shù)據(jù)集成工

具即服務(wù)留云化ETL深度學習即

服務(wù)容器云服務(wù)應(yīng)用/微服務(wù)

開發(fā)部署Kubernetes+Docker某省大數(shù)據(jù)生產(chǎn)平臺創(chuàng)新孵化

模型訓練負載均衡資源調(diào)度資源管理資源隔離彈性伸縮租戶Redis平臺實踐：主要PaaS能力01大數(shù)據(jù)基礎(chǔ)服務(wù)組件（原子組件+場景化組合）

數(shù)據(jù)集市適用于面向部門級的數(shù)據(jù)分析業(yè)務(wù)，

提供包括交互式分析

引擎

、

OLAPCube引擎，支持自動化的報表應(yīng)用構(gòu)

建。

包括

HDFS、Hive、Spark、

Rubik等組件。

實時計算云上的流處理分析服務(wù)，對流數(shù)據(jù)進

行實時采集和處理，構(gòu)建實時數(shù)據(jù)倉

庫和實時應(yīng)用，挖掘流式數(shù)據(jù)價值。包括HDFS、SparkStreaming、

Hbase等組件。

信息檢索PB級別高速全文檢索服務(wù)，提供高并

發(fā)支持，冷熱數(shù)據(jù)隔離，以及字段精確、模糊檢索和快速統(tǒng)計功能。包括

ElasticSearch等組件。數(shù)據(jù)倉庫構(gòu)建一站式數(shù)據(jù)倉庫服務(wù)，提供數(shù)據(jù)

整合、加工、分析等全套數(shù)倉構(gòu)建服

務(wù)，幫助打造數(shù)據(jù)核心。包括HDFS、

Hive、Spark等組件。

數(shù)據(jù)挖掘數(shù)據(jù)挖掘開發(fā)平臺，可進行機器學習

和AI應(yīng)用的開發(fā)和訓練，支持對各類

數(shù)據(jù)實現(xiàn)高度智能化的處理。包括Tensorflow、

MxNet等組件。

ZooKeeperApache分布式應(yīng)用程序協(xié)調(diào)服務(wù)組

件，主要用于大數(shù)據(jù)分布式組件的配

置、狀態(tài)、元數(shù)據(jù)等信息的存儲。HadoopHadoop基礎(chǔ)服務(wù)，包括HDFS分布式

文件系統(tǒng)、統(tǒng)一資源管理框架YARN

等組件。

HBaseNosql數(shù)據(jù)庫，支持結(jié)構(gòu)化、半結(jié)構(gòu)

化以及非結(jié)構(gòu)化數(shù)據(jù)存儲。

Hbase表

動態(tài)可擴展，支持高并發(fā)的檢索查詢。

Hive開源SQL引擎組件，能夠?qū)⑵胀⊿QL

語法轉(zhuǎn)化成MapReduce作業(yè)，執(zhí)行

批處理任務(wù)。

Spark基于內(nèi)存的分布式計算引擎，大大提

高了海量數(shù)據(jù)加工處理的性能。高性能SQL查詢引擎，將MPP與Hadoop架構(gòu)進行融合；數(shù)據(jù)查詢性

能遠高于Hive?；谑录?qū)動模式的實時處理框架，

實時數(shù)據(jù)處理延時能夠低至10ms級別。StormIMPALA

Kafka高吞吐的分布式消息隊列。03

數(shù)據(jù)集成工具04容器云應(yīng)用/服務(wù)開發(fā)部署環(huán)境平臺實踐：主要PaaS能力02中間件及數(shù)據(jù)庫服務(wù)組件

云化ETL采用圖形化的數(shù)據(jù)流和工作流設(shè)計

，

將分散的、異構(gòu)數(shù)據(jù)源抽取，進行清

洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫

或數(shù)據(jù)集市中。

數(shù)據(jù)稽核管理全圖形化規(guī)則配置界面，支持稽

核規(guī)則自動調(diào)度執(zhí)行，針對稽核

出的數(shù)據(jù)質(zhì)量問題，系統(tǒng)會自動

進行分類并形成數(shù)據(jù)處理工單。

元數(shù)據(jù)管理支持對租戶中的元數(shù)據(jù)進行管理，

包括元數(shù)據(jù)檢索、數(shù)據(jù)血緣管理分析等。

MySql傳統(tǒng)關(guān)系型數(shù)據(jù)庫,支持single、一

主多從等多種部署模式。

Nginx高性能HTTP服務(wù)器和反向代理

服務(wù)器。基于K-V的內(nèi)存數(shù)據(jù)庫，具有極高的

數(shù)據(jù)查詢效率，常用于作為WEB系統(tǒng)的數(shù)據(jù)緩存層。支持單機、哨兵、集群等部署模式。支持對租戶應(yīng)用/服務(wù)開發(fā)、部署、編排、動態(tài)彈縮、灰度升級、并提供完整的可視化運維監(jiān)控為模型訓練提供分布式計算框架及

開發(fā)工具深度學習

框架05caff

eRedis基礎(chǔ)設(shè)施（主機

+存儲

+

網(wǎng)絡(luò)）資源管理資源調(diào)度資源隔離服務(wù)編排彈性伸縮安全管控負載均衡能力列表能力訂購能力變更能力退訂能力上架能力下架大數(shù)據(jù)基礎(chǔ)服務(wù)ESImpalaHiveHadoop數(shù)據(jù)集成工具云化ETL數(shù)據(jù)稽核管理元數(shù)據(jù)管理開發(fā)/構(gòu)建測試/發(fā)布CI/CD鏡像倉庫管

理服務(wù)注冊服務(wù)發(fā)現(xiàn)調(diào)用鏈跟蹤限流/降級/

熔斷KubernetesServiceCatalogOSBAPIOSB

API三方服務(wù)擴展JupyterNotebooksService

BrokerService

BrokerService

BrokerMxNetMPIPyTorc

hCaffe2平臺實踐：技術(shù)架構(gòu)RocketMQRedisService

Broker容器管理（Kubernetes

+

Docker）Service

BrokerService

BrokerService

BrokerMongo

DBKafkaStormHBaseService

BrokerOSB

API

OSB

APIOSB

API

OSB

API微服務(wù)開發(fā)部署中間件及數(shù)據(jù)庫深度學習框架能力開放TensorFlow租戶N租戶D租戶A租戶C租戶BMySQL云存儲……平臺實踐：技術(shù)架構(gòu)l運用統(tǒng)一集成框架Kubernetes

Service

Catalog，實現(xiàn)異構(gòu)服務(wù)組件的統(tǒng)一納管、

自助拉起和在

線開放。使用業(yè)界標準的OpenService

BrokerAPI，支持第三方組件的接入和擴展。Open

Service

BrokerAPIService

BrokerB數(shù)據(jù)庫與中間件KafkaOthersService

BrokerC深度學習框架caff

eOthersService

Broker……Service

BrokerA容器化大數(shù)據(jù)平臺數(shù)據(jù)集市數(shù)據(jù)挖掘信息檢索Servicecatalog

API

ServerServicecatalog

ControllerKubernetes

APIServerEtcdService

Broker……Kubernetes數(shù)據(jù)倉庫實時計算Redisl租戶自助構(gòu)建大數(shù)據(jù)平臺，進行數(shù)據(jù)生產(chǎn)l提供大數(shù)據(jù)相關(guān)服務(wù)組件，供租戶進行數(shù)據(jù)加工處理l租戶應(yīng)用/微服務(wù)的開發(fā)和容器化部署l

提

供

建

模

環(huán)

境

及

樣

本

數(shù)