最新版一文讀懂?dāng)?shù)據(jù)中臺架構(gòu)建設(shè)體系圖文詳解(建議收藏)

1、最新版一文讀懂?dāng)?shù)據(jù)中臺架構(gòu)建設(shè)體系圖文分析（建議收藏）當(dāng)前，大部分企業(yè)不再建設(shè)從源數(shù)據(jù)采集到分析應(yīng)用的煙囪式系統(tǒng)，更傾向于數(shù)據(jù)集中采集、存儲，并應(yīng)用分層建設(shè)。這種方式一方面有利于應(yīng)用系統(tǒng)的快速部署，另一方面也保證了數(shù)據(jù)的集中管理與運(yùn)營，體現(xiàn)數(shù)據(jù)的資產(chǎn)、資源屬性。數(shù)據(jù)中臺的出現(xiàn)彌補(bǔ)了數(shù)據(jù)開發(fā)和應(yīng)用開發(fā)之間由于開發(fā)速度不匹配而出現(xiàn)的響應(yīng)力不足等缺陷問題。數(shù)據(jù)中臺是國內(nèi)學(xué)者提出的概念，起始于阿里的“大中臺、小前臺”概念。阿里的中臺是從管理的角度出發(fā)，以中臺事業(yè)部集中數(shù)據(jù)搜索，技術(shù)及產(chǎn)品，數(shù)據(jù)共享等多個部門的功能。其他組織或企業(yè)建設(shè)數(shù)據(jù)中臺不一定需要成立中臺事業(yè)部，但是數(shù)據(jù)集中治理與提升數(shù)據(jù)價值轉(zhuǎn)換效

2、率的思路是一致的。01數(shù)據(jù)中臺通用體系架構(gòu)不同的企業(yè)對數(shù)據(jù)有不同的需求。企業(yè)數(shù)據(jù)應(yīng)用不斷更新迭代，企業(yè)的中臺系統(tǒng)也需要不斷變化。從數(shù)據(jù)處理與數(shù)據(jù)治理兩個維度出發(fā)，可以設(shè)計一個解耦的數(shù)據(jù)中臺體系架構(gòu)。該數(shù)據(jù)中臺體系架構(gòu)具有一定的柔性，可按照企業(yè)應(yīng)用需求進(jìn)行組合，或者對單個模塊進(jìn)行擴(kuò)充，能滿足大多數(shù)企業(yè)數(shù)據(jù)中臺建設(shè)的需求。營理門戶開at轉(zhuǎn)門戶內(nèi)昭應(yīng)用H戶外怖應(yīng)用I"撞力幵放接門臨力陽剔即1:-烹幵肚敵據(jù)處理<任務(wù)調(diào)度蟻肅甘飪|.|朮芳曲壯別:展示處理說陽驚當(dāng)處星按乜開fiUI#燉那封避F&W駝雷口呆無報化孫域敕拓化敷*裁蠱哋圖安全觀扭安全門門知識l*W!更IK血綠棧耳!ii

3、i綠H1乜構(gòu)建'帝按理赳灼串際淮EUffJ?抑14費理用戶認(rèn)it密WJtJt粗酣定渚數(shù)據(jù)中臺體系架構(gòu)示例數(shù)據(jù)中臺的通用體系架構(gòu)如圖2所示。該中臺體系架構(gòu)以減少功能冗余和提高功能復(fù)用為原則，把數(shù)據(jù)中臺解耦為6個可以分別獨立建設(shè)、演進(jìn)的功能子系統(tǒng)。數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)處理子系統(tǒng)是數(shù)據(jù)中臺體系架構(gòu)的核心，數(shù)據(jù)治理是提升數(shù)據(jù)價值的重要手段。該數(shù)據(jù)中臺體系架構(gòu)的通用性表現(xiàn)在以下幾點。該數(shù)據(jù)中臺體系架構(gòu)綜合考慮了數(shù)據(jù)中臺的各種要素，參考這個架構(gòu)進(jìn)行建設(shè)可以有效提升數(shù)據(jù)資產(chǎn)價值，提供數(shù)據(jù)及服務(wù)的共享。參考這個數(shù)據(jù)中臺體系架構(gòu)，企業(yè)可以一次規(guī)劃、分步實施。首先建設(shè)處理子系統(tǒng)及數(shù)據(jù)存儲子系統(tǒng)，然后根據(jù)業(yè)務(wù)發(fā)展

4、需求，逐步補(bǔ)充數(shù)據(jù)采集、數(shù)據(jù)安全及數(shù)據(jù)治理子系統(tǒng)。該數(shù)據(jù)中臺由6個解耦的子系統(tǒng)組成。企業(yè)在立項建設(shè)時可以靈活組合，每個子系統(tǒng)單獨招標(biāo)建設(shè)，也可以把多個子系統(tǒng)合并招標(biāo)建設(shè)。數(shù)據(jù)中臺通用體系架構(gòu)包含數(shù)據(jù)存儲框架、數(shù)據(jù)采集框架、數(shù)據(jù)處理框架、數(shù)據(jù)治理框架、數(shù)據(jù)安全框架及數(shù)據(jù)運(yùn)營框架等6大部分。1、數(shù)據(jù)存儲框架數(shù)據(jù)中臺的核心是數(shù)據(jù)，數(shù)據(jù)通過采集系統(tǒng)獲取，然后數(shù)據(jù)經(jīng)過處理框架加工，并接受數(shù)據(jù)治理框架的管理，同時也要接受數(shù)據(jù)安全管理框架的管理，最后開放的價值數(shù)據(jù)將通過數(shù)據(jù)運(yùn)營框架對外提供數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺的數(shù)據(jù)架構(gòu)應(yīng)該獨立規(guī)劃，并采用合理的技術(shù)架構(gòu)對不同類型的數(shù)據(jù)進(jìn)行存儲。數(shù)據(jù)存儲框架中，無論數(shù)據(jù)采用對象

5、存儲、塊存儲還是數(shù)據(jù)庫存儲技術(shù)，各種中臺數(shù)據(jù)可按照上圖所示分類管理。源數(shù)據(jù)主要由采集框架進(jìn)行管理，數(shù)據(jù)治理框架按照數(shù)據(jù)特征把數(shù)據(jù)簡單分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩大類，而規(guī)范化分域數(shù)據(jù)則是數(shù)據(jù)治理框架對全量數(shù)據(jù)的規(guī)范化分域整理。寬表數(shù)據(jù)是數(shù)據(jù)關(guān)聯(lián)的結(jié)果，利用寬表數(shù)據(jù)可以對人、事、地、物、組等對象進(jìn)行完整的數(shù)據(jù)畫像，同時寬表數(shù)據(jù)也可以作為上層模型數(shù)據(jù)的中間層數(shù)據(jù)。元數(shù)據(jù)和標(biāo)簽數(shù)據(jù)都是對數(shù)據(jù)的描述，其中元數(shù)據(jù)用來對數(shù)據(jù)的客觀屬性進(jìn)行表示，標(biāo)簽數(shù)據(jù)更傾向于管理者對數(shù)據(jù)的主觀表述及等級劃分，比如質(zhì)量等級標(biāo)簽、安全標(biāo)簽、屬性標(biāo)簽等。主數(shù)據(jù)需要在各系統(tǒng)間頻繁更新、交換，且需要獨立的存儲空間進(jìn)行維護(hù)管理。2、數(shù)

6、據(jù)采集框架數(shù)據(jù)中臺的采集框架應(yīng)對納入數(shù)據(jù)中臺的各種源數(shù)據(jù)進(jìn)行統(tǒng)一采集管理。數(shù)據(jù)采集框架中應(yīng)提供多種數(shù)據(jù)采集方式，如文件傳輸協(xié)議采集、數(shù)據(jù)庫采集、接口應(yīng)用程序接入采集、流式采集及網(wǎng)絡(luò)爬蟲采集。同時采集框架應(yīng)按照數(shù)據(jù)采集規(guī)范對源數(shù)據(jù)進(jìn)行預(yù)處理，從而去除明顯不需要的數(shù)據(jù)及多余數(shù)據(jù)，并對采集過程進(jìn)行管理。雖然數(shù)據(jù)中臺的體系架構(gòu)沒有統(tǒng)一模板，但各企業(yè)數(shù)據(jù)采集框架基本一致。3、數(shù)據(jù)處理框架數(shù)據(jù)處理是每個數(shù)據(jù)應(yīng)用的基本環(huán)節(jié)之一，經(jīng)典的數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）處理流程在數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個地方均要使用。單獨建設(shè)數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開發(fā)與管理，也有利于數(shù)據(jù)中臺數(shù)據(jù)處

7、理任務(wù)的協(xié)調(diào)與調(diào)度。數(shù)據(jù)處理框架專門負(fù)責(zé)數(shù)據(jù)處理相關(guān)的任務(wù)，包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢，此外數(shù)據(jù)處理的相關(guān)工具組件可在處理框架中配置。任務(wù)調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用，并對運(yùn)行的數(shù)據(jù)處理任務(wù)進(jìn)行監(jiān)控及異常處理等操作。4、數(shù)據(jù)治理框架廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價值的內(nèi)容，如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量等，也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務(wù)。數(shù)據(jù)安全管理與數(shù)據(jù)價值提升是一個矛盾體，如果由一個廠商或開發(fā)團(tuán)隊進(jìn)行數(shù)據(jù)安全管理及數(shù)據(jù)價值提升相關(guān)軟件的開發(fā)，則開發(fā)者的操作難免有所偏向，而且矛盾不容易公開，少了沖突也就少了優(yōu)質(zhì)的解決方案。另外，數(shù)據(jù)共享與數(shù)據(jù)治

8、理的其他內(nèi)容也存在相同的問題。因此，本文建議數(shù)據(jù)中臺的數(shù)據(jù)治理框架中不包含數(shù)據(jù)安全與共享的相關(guān)內(nèi)容。數(shù)據(jù)治理框架包含數(shù)據(jù)目錄、數(shù)據(jù)管理、模型管理和數(shù)據(jù)質(zhì)量4個模塊：數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄、知識圖譜及數(shù)據(jù)血緣的主要作用是展示數(shù)據(jù)的屬性及相互關(guān)系，因此都納入數(shù)據(jù)目錄模塊。數(shù)據(jù)模型能提高數(shù)據(jù)中臺對外部應(yīng)用需求的反應(yīng)能力，固化的中間模型數(shù)據(jù)需要專門管理。模型管理包括模型目錄、模型血緣及模型地圖等。數(shù)據(jù)管理又可以細(xì)分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、標(biāo)簽數(shù)據(jù)管理及源數(shù)據(jù)管理。數(shù)據(jù)質(zhì)量管理模塊按照制定的數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)稽核規(guī)則對數(shù)據(jù)中臺中的數(shù)據(jù)進(jìn)行質(zhì)量管理。5、數(shù)據(jù)安全框架數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全框架是數(shù)據(jù)中

9、臺必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺其他功能框架之上，數(shù)據(jù)采集、處理、交換、共享等每個環(huán)節(jié)均必須實施安全控制策略。安全框架可以分為日志管理、用戶認(rèn)證、權(quán)限管理及加解密等幾個功能模塊。此外，安全全門戶也可以對外提供安全能力封裝，展示數(shù)據(jù)中臺的安全態(tài)勢及安全視圖。6、數(shù)據(jù)運(yùn)營框架數(shù)據(jù)中臺的核心功能是綜合眾多數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理及數(shù)據(jù)治理功能，集中建設(shè)、集中管理、減少冗余、增加復(fù)用。數(shù)據(jù)中臺的最終目的還是為其他應(yīng)用或開發(fā)者提供數(shù)據(jù)服務(wù)，而對外數(shù)據(jù)服務(wù)功能將直接面向不確定的外部對象。因此單獨建設(shè)數(shù)據(jù)運(yùn)營，一方面有利于針對外部用戶提供針對性功能；另一方面，數(shù)據(jù)運(yùn)營模塊作為用戶與數(shù)據(jù)中臺核心數(shù)據(jù)服務(wù)

10、之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應(yīng)用，可保護(hù)數(shù)據(jù)中臺的安全性及內(nèi)部功能的穩(wěn)定性。綜合以上因素，數(shù)據(jù)運(yùn)營應(yīng)配置運(yùn)營門戶、能力開放、數(shù)據(jù)開放及運(yùn)營監(jiān)控等功能：16運(yùn)營門戶：對數(shù)據(jù)中臺管理者提供管理門戶，對開發(fā)者提供開發(fā)者門戶。對內(nèi)部應(yīng)用提供內(nèi)部應(yīng)用門戶，對外部應(yīng)用提供外部應(yīng)用門戶。運(yùn)營門戶針對不同的用戶提供不同的通道并開放不同的數(shù)據(jù)中臺能力。能力開放：把數(shù)據(jù)中臺的數(shù)據(jù)處理能力、數(shù)據(jù)分析能力等經(jīng)過適當(dāng)?shù)姆庋b后對用戶提供服務(wù)，可以是微服務(wù)，也可以是API接口，或者直接提供二次開發(fā)能力。數(shù)據(jù)開放：通過數(shù)據(jù)目錄，數(shù)據(jù)/模型展示（可視化、數(shù)據(jù)視圖等）為其他數(shù)據(jù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。

11、運(yùn)營監(jiān)控：對數(shù)據(jù)中臺的總體運(yùn)營情況進(jìn)行監(jiān)控管理，包括硬件環(huán)境、軟件環(huán)境，并且確定監(jiān)控指標(biāo)，按需求提供運(yùn)營日報，處理告警信息。02數(shù)據(jù)中臺典型架構(gòu)數(shù)據(jù)中臺的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來，通過數(shù)據(jù)中臺提供的工具、方法和運(yùn)行機(jī)制，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。下圖所示為數(shù)據(jù)中臺總體架構(gòu)圖，數(shù)據(jù)中臺是在底層存儲計算平臺與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。身份USE面向內(nèi)部面向客戶面向舍作伙伴應(yīng)用決簞盍持M分祈業(yè)務(wù)申臺器窖戶涸寮滿意廃稍準(zhǔn)稱銷*刪創(chuàng)麓API網(wǎng)關(guān)服務(wù)授權(quán)歿抿服務(wù)體慕數(shù)據(jù)資產(chǎn)琶涅元敗據(jù)戳據(jù)質(zhì)曇舐?lián)钄?shù)抵安全貼源婪據(jù)L1hJ:標(biāo)籃數(shù)據(jù)hiJ應(yīng)申數(shù)摒hJ數(shù)據(jù)體系數(shù)據(jù)開雄ORACL

12、C實時開發(fā)智能調(diào)度智能運(yùn)維算法幵發(fā)環(huán)境編離監(jiān)控告警§gkafka內(nèi)部歆據(jù)外器數(shù)據(jù)tw基礎(chǔ)工兵層5G柯蠟多云平臺混合云資源本地機(jī)房物聯(lián)互逋層云底座數(shù)據(jù)中臺總體架構(gòu)圖數(shù)據(jù)中臺屏蔽掉底層存儲平臺的計算技術(shù)復(fù)雜性，降低對技術(shù)人才的需求，讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全體系、數(shù)據(jù)運(yùn)營體系保障數(shù)據(jù)中臺可以長期健康、持續(xù)運(yùn)轉(zhuǎn)。1. 數(shù)據(jù)匯聚數(shù)據(jù)匯聚是數(shù)據(jù)中臺數(shù)據(jù)接入的入口。數(shù)據(jù)中臺本身幾乎不產(chǎn)生數(shù)據(jù)，所有數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等，這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存

13、儲平臺中，難以利用，很難產(chǎn)生業(yè)務(wù)價值。數(shù)據(jù)匯聚是數(shù)據(jù)中臺必須提供的核心工具，把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺進(jìn)行集中存儲，為后續(xù)的加工建模做準(zhǔn)備。數(shù)據(jù)匯聚方式一般有數(shù)據(jù)庫同步、埋點、網(wǎng)絡(luò)爬蟲、消息隊列等；從匯聚的時效性來分，有離線批量匯聚和實時采集。2. 數(shù)據(jù)開發(fā)通過數(shù)據(jù)匯聚模塊匯聚到中臺的數(shù)據(jù)，沒有經(jīng)過什么處理，基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的，這樣業(yè)務(wù)還是很難使用。數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程管控的工具，有經(jīng)驗的數(shù)據(jù)開發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能，可以快速把數(shù)據(jù)加工成對業(yè)務(wù)有價值的形式，提供給業(yè)務(wù)使用。數(shù)據(jù)開發(fā)模塊主要是面向開發(fā)、分析人員，

14、提供離線、實時、算法開發(fā)工具以及任務(wù)的管理、代碼發(fā)布、運(yùn)維、監(jiān)控、告警等一些列集成工具，方便使用，提升效率。3. 數(shù)據(jù)資產(chǎn)體系有了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊，中臺已經(jīng)具備傳統(tǒng)數(shù)倉平臺的基本能力，可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開發(fā)，就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說數(shù)據(jù)資產(chǎn)體系是中臺的血肉，開發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時代，數(shù)據(jù)量大，增長快，業(yè)務(wù)對數(shù)據(jù)的依賴也會越來越高，必須考慮數(shù)據(jù)的一致性和可復(fù)用性，垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長久存在。不同的企業(yè)因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同，數(shù)據(jù)建設(shè)的內(nèi)容也是不同的，但是建設(shè)方法可以相似，數(shù)據(jù)要統(tǒng)一建設(shè)，筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標(biāo)簽數(shù)

15、據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)。4. 數(shù)據(jù)資產(chǎn)管理通過數(shù)據(jù)資產(chǎn)體系建立起來的數(shù)據(jù)資產(chǎn)還是一套偏技術(shù)的數(shù)據(jù)體系，業(yè)務(wù)人員比較難理解。資產(chǎn)管理是以企業(yè)全員更好理解的方式，把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員（當(dāng)然要考慮權(quán)限和安全管控），數(shù)據(jù)資產(chǎn)管理包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示，以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，提升企業(yè)的數(shù)據(jù)意識。5. 數(shù)據(jù)服務(wù)體系前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)建設(shè)企業(yè)數(shù)據(jù)資產(chǎn)，利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，但是并沒有發(fā)揮數(shù)據(jù)的價值。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)，激活整個數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺

16、存在的價值所在。企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的，中臺產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù)，但是很難滿足企業(yè)的服務(wù)訴求，大部分服務(wù)還是需要通過中臺的能力快速定制。數(shù)據(jù)中臺的服務(wù)模塊并沒有自帶很多服務(wù)，而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計量等功能。6. 運(yùn)營體系和安全體系通過前面的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務(wù)，已經(jīng)完成了整個數(shù)據(jù)中臺的搭建和建設(shè)，也已經(jīng)在業(yè)務(wù)中發(fā)揮一定的價值。運(yùn)營體系和安全體系是數(shù)據(jù)中臺得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)，如果沒有它們，數(shù)據(jù)中臺很可能像個一般項目一樣，一期搭建起平臺、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個應(yīng)用場景之后而止步，無法正常地持續(xù)運(yùn)營，不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價值。這

17、也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺的目標(biāo)。0312張企業(yè)數(shù)據(jù)中臺架構(gòu)圖一、技術(shù)中臺架構(gòu)圖中臺概念出現(xiàn)之前，在信息化模式上，前端為支撐業(yè)務(wù)的應(yīng)用端，后端為各個應(yīng)用系統(tǒng)，為前端用戶，如：客戶、供應(yīng)商、伙伴、社會，提供服務(wù)，但隨著市場、用戶需求、業(yè)務(wù)的多變性，底層僵硬的應(yīng)用無法及時提供支撐。企業(yè)需要一個強(qiáng)大的中間層為高頻多變的業(yè)務(wù)提供支撐，為不同的受眾用戶提供多端訪問渠道，基于此類需求“中臺”概念出現(xiàn)，接著開始對企業(yè)客戶、中間件廠商、數(shù)據(jù)平臺廠商、甚至傳統(tǒng)應(yīng)用軟件廠商都有較大的概念沖擊。恰逢此時，微服務(wù)技術(shù)和架構(gòu)、容器化的生態(tài)、Devops概念和工具處于大發(fā)展的階段，最后基于“大中臺、小前臺”的信息化建設(shè)模

18、式開始流行。aPihnWlh負(fù)up*rvL34r1111H-blllij$II*5i4peiMaRIIiIIIII!1環(huán)帕MonitorSSzffilKStcuntj-蜀拿礙SIV!'-耀聊倨護(hù)ZjpkiHizIE裡日志中心5atr6-ayifi.百區(qū)務(wù)中右IWJKfe姉醫(yī)!0嗣軸IMJ萌gcillott-EB|iAdmin蚤雖啟濁I二、銀行數(shù)據(jù)架構(gòu)體系數(shù)據(jù)架構(gòu)層面通過數(shù)據(jù)分類、分層部署等手段，從非功能性視角將數(shù)據(jù)合理布局。通過整體架構(gòu)管控和設(shè)計，支持業(yè)務(wù)操作類和管理分析類應(yīng)用（系統(tǒng)），滿足業(yè)務(wù)發(fā)展及IT轉(zhuǎn)型對數(shù)據(jù)的需求，架構(gòu)的擴(kuò)展性和適應(yīng)性能夠提升數(shù)據(jù)分析應(yīng)用的及時性、靈活性和準(zhǔn)確性

19、。那實際情況下各個銀行的數(shù)據(jù)架構(gòu)體系會有所不同，根據(jù)各行的業(yè)務(wù)發(fā)展、客戶數(shù)據(jù)量、交易數(shù)據(jù)量、功能需求等會有不同的演變路徑以及發(fā)展方向。r載據(jù)中臺業(yè)務(wù)中臺SUB腳F7FJDH/QDBESpringCloudMAPIjunGaHmuf貼STARUtaitullNi*tf£MKfix明堀:.*Ilzapt故據(jù)填沖醫(yī)($A)1'R枚底J皋軼內(nèi)外甑雜據(jù)一般國有銀行、股份制銀行等全國性的銀行業(yè)務(wù)較復(fù)雜，數(shù)據(jù)量也較多，數(shù)據(jù)架構(gòu)也因此進(jìn)化較快。常見的數(shù)據(jù)架構(gòu)分區(qū)如下圖所示：三、零售行業(yè)中臺架構(gòu)這是一張混合了技術(shù)和業(yè)務(wù)的中臺邏輯架構(gòu)示意圖，前臺應(yīng)用部分我們將零售和消費品行業(yè)需要對接消費者的若干

20、應(yīng)用系統(tǒng)一一列舉了出來，但是在中臺架構(gòu)下它們已經(jīng)和傳統(tǒng)的“應(yīng)用系統(tǒng)”有了很大的差別，變得非?！拜p量”。四、業(yè)務(wù)中臺架構(gòu)前臺跟著界面走，天生就穩(wěn)定不了，總是有五花八門的數(shù)據(jù)請求，這是必然的事情。后臺應(yīng)該主要負(fù)責(zé)數(shù)據(jù)存儲，把不同形式和規(guī)模的數(shù)據(jù)以合適的方式整理好，大數(shù)據(jù)倒騰起來動靜太大，要求有一定的穩(wěn)定性。如果前臺的請求都要求后臺直接做，那后臺管的事就太多了。攜廠建信I垃丐IT7礎(chǔ)會I粉基論壇俅苗式糊詢J廣宵與號禰超話，詢煎一財11E0臺J址下啊盍m3333胃理五、后臺架構(gòu)后臺是被許多前臺共享的，如果直接向前臺提供靈活數(shù)據(jù)服務(wù)，還可能導(dǎo)致各個前臺之間的耦合程度變高，維護(hù)成本立即陡增。穩(wěn)態(tài)應(yīng)用敏態(tài)應(yīng)

21、用損作龍疏誓細(xì)羞敷谿應(yīng)用商底公右云私有玄轉(zhuǎn)件運(yùn)冥存悄DewOp&同樣的，把這些數(shù)據(jù)處理放在前臺也不合適，一方面不太安全，另一方面，前臺團(tuán)隊也是忙著讓界面如何更好看使用更流暢，沒太多工夫琢磨數(shù)據(jù)的事情。這樣一個后臺架構(gòu)就能夠相對平衡這一矛盾。六、實時數(shù)據(jù)中臺下面是實現(xiàn)實時數(shù)據(jù)中臺的一種邏輯架構(gòu)，方便你去理解，其實最關(guān)鍵的是實時模型那一層17訂問過程萱控實對服務(wù)APIS詞服務(wù)普理模型設(shè)計模型目實時FlinkBatchFlinkStreamingKrifka匚ortsumer任務(wù)監(jiān)控數(shù)fe安全數(shù)據(jù)稽核計算框架數(shù)據(jù)開發(fā)實時接入CDC()/kdkah培IM數(shù)軀：Kafka0蜒（拉對上網(wǎng)）文件D蛾

22、嗣敬據(jù)接入25七、企業(yè)級中臺發(fā)展過程我用下面這張圖來概括中臺發(fā)展的三個階段，最終我們發(fā)現(xiàn)，對于那些已經(jīng)有ERP系統(tǒng)的企業(yè)來講，中臺的建設(shè)本質(zhì)就是利用微服務(wù)架構(gòu)構(gòu)建開放業(yè)務(wù)平臺來替換閉源單體架構(gòu)的ERP系統(tǒng)的過程。企業(yè)中臺的三個發(fā)展階段業(yè)務(wù)前臺曲勢中百公有能力JK務(wù)化i：friEflPDW/MES/CRM)會茁便砒聲“*業(yè)祎中首匸口円林匚引舞他戦翎勢救贈中書f包合散ifi平臺）ERP®件服務(wù)化改造“去ERP化”業(yè)旁前臺亞轄中臺ERHME帥耳他昴就務(wù)數(shù)搖中臺（包含熬搖平臺）應(yīng)用匚數(shù)據(jù)分離八、阿里中臺架構(gòu)中臺是一種架構(gòu)理念和方法。任何一種架構(gòu)的方法，其本質(zhì)不外乎，利用分、合、打散、重組等技

23、術(shù)手段，對系統(tǒng)進(jìn)行有序化重構(gòu)，以達(dá)到減少系統(tǒng)“熵”的過程，使系統(tǒng)得以不斷進(jìn)化。15$EM>OH廣T'I=幵戶1£口枕比口1PAA5)卷話昔&卿戶iMRfi拇電冊戶動H卩1應(yīng)Air疇：円爭段口口rftft|AA$fVMw>rf)(GT5)7片那如!崖cduds-kvsqli-T¥iU竄妙刖mnRtt(APt.皈蝕日克幷折中?即中心If*°厚到中總11王文酗*1gJJH業(yè)九、阿里核心架構(gòu)圖通過阿里云平臺將技術(shù)中臺進(jìn)行部署，對集團(tuán)內(nèi)共享業(yè)務(wù)單元提供支撐，并最終對前臺各業(yè)務(wù)線提供服務(wù)化能力輸出。呵里巴巴集團(tuán)業(yè)務(wù)1688口牌iP厚srn勞季翼ML

24、gR蠱“SharedSrviCSPlatfoir'll1業(yè)務(wù)共享單元"11用戶中心商品中心交隔中心評拚中心I1I1j瞬中心營銷中心L1媽媽AliExpress阿里云平臺開澈電戶十、全渠道零售中臺如果僅僅是把所有的東西打包在一個“大后臺”并不能真正解決IT的痛點，因為畢竟它是一個IT系統(tǒng)。IT系統(tǒng)要考慮的東西除了業(yè)務(wù)功能，更重要和更有價值的地方在于：中&1J單常#申斗4JTVwrfJ*111oC3卄訝WF«口畑弭amt甘啊fttsraaKMB內(nèi)訴心E皆SMF1Er&<£VH廠甘IHW簾心媲打單典冃許為林疋草mIHHIVt«&g

25、t;MX俎合樹flMlXft*sw口即KMCMbHfrtu毋第申專g申命制行為TATW盤熾骨構(gòu)申門年認(rèn)證刃卑鴻SUMlFi戶瞬刑頸阿K單ihWBi3E方:!llWIt啦加軸叩心flVWK/*肖鐘農(nóng)|jRH丈uriM庫由事ItWtt3£底式LZ定訓(xùn)二&ltiU帛財搠遷即s甲氐丈村室?guī)艖z.謝屈n呑k它黝遐克數(shù)量團(tuán)廿稍cm癥出基贛卜一、全渠道集成架構(gòu)20072012年是“集成模式”概念被拋出率最高的年代,它有一個名字叫“SOA”，SOA就是那個時代的“全渠道中臺”商品主變檢毎統(tǒng)促銷物流為能會靈堿DBLinkMSSQLOracleDBLinkSOAP®求OracleMy庫存

26、十二、網(wǎng)易嚴(yán)選數(shù)據(jù)中臺體系數(shù)據(jù)中臺的核心職責(zé)是高效地賦能數(shù)據(jù)前臺為業(yè)務(wù)提供價值。要想理解數(shù)據(jù)中臺先要理解數(shù)據(jù)前臺，上文說到的搜索、推薦、BI報表、數(shù)據(jù)大屏等都屬于數(shù)據(jù)前臺。L_J1商骯糊1訂單為忻還滴亍說P砂j玄量穆姍揚(yáng)工非芒:JL曲抽中和遠(yuǎn)曹£粹合11業(yè)務(wù)系說F1球一査詢服務(wù)LjF1橄簽帕Li捋標(biāo)盈鋼務(wù)LJ1數(shù)據(jù)產(chǎn)岀甑務(wù)dF數(shù)捱導(dǎo)入服務(wù)bld數(shù)鋸中臺嚴(yán)選有數(shù)域捷BI平臺實時計箕平合LFj046種行業(yè)數(shù)據(jù)中臺解決方案客戶分析活動大屏活動營竄投資拿地產(chǎn)磊定忻供應(yīng)商評估*一*藪據(jù)眼務(wù)律慕服務(wù)蟹理1叭理一API網(wǎng)關(guān)調(diào)周懵理數(shù)抿醫(yī)產(chǎn)標(biāo)簽讀也層TDM容戶標(biāo)賽項目掠簽供應(yīng)商標(biāo)簽層AD5會戶井析活

27、動營銷投賈拿地產(chǎn)品定枷數(shù)據(jù)安全管理數(shù)據(jù)運(yùn)營怵冢統(tǒng)一靈倉層DW客戶城品牌和【產(chǎn)品域.營銷城財務(wù)是客圏與負(fù)后此ODSERPCRM售摟系灣據(jù)酒店系垂城財務(wù)醫(yī)用-數(shù)據(jù)中臺蠱無匸舉期網(wǎng)絡(luò)尖時接人異構(gòu)數(shù)玄源可視哉配置:實對開發(fā)算法開最智能運(yùn)維監(jiān)控告警r離域開發(fā)智能調(diào)厘環(huán)境PB禺?dāng)?shù)據(jù)源內(nèi)部數(shù)據(jù)外部數(shù)據(jù)$t呈礎(chǔ)工具薩咒網(wǎng)絡(luò)務(wù)云爭臺混合云貴誦本地機(jī)房SparkGreenplumTensorFlowHdoopFlink輛聯(lián)互通層地產(chǎn)行業(yè)解決方案內(nèi)部數(shù)據(jù)外部數(shù)據(jù)$星礎(chǔ)工具層網(wǎng)第多五平臺混合云證源本地機(jī)居HadocpFlinkGreenplumTensorFtoiw物聯(lián)互通層數(shù)抿投資宕信用業(yè)可視此犬屏區(qū)數(shù)據(jù)行対分浙務(wù)

28、分新分析門戶示門戶運(yùn)營客戶國像苗準(zhǔn)営苗業(yè)務(wù)系毓數(shù)據(jù)責(zé)產(chǎn)*數(shù)據(jù)服勞體為調(diào)用管理標(biāo)疹數(shù)據(jù)1gTDM1tASl尸暮劉'機(jī)構(gòu)富戶標(biāo)簽*產(chǎn)、品標(biāo)憑交扇對蜒一數(shù)倉層客戶威苣銷域行為信耒業(yè)務(wù)散牖安全置理DW投證顧間域rij運(yùn)菅咸貼原數(shù)抿?qū)覱DS棄中交易聚址數(shù)摒粗資融券黍統(tǒng)數(shù)據(jù)何上女易眾城數(shù)據(jù)懂產(chǎn)管理系統(tǒng)數(shù)據(jù)鳳陰管理系統(tǒng)數(shù)據(jù)財靂系密數(shù)據(jù)數(shù)據(jù)中合數(shù)據(jù)工聚異構(gòu)網(wǎng)絡(luò)斥梅軀據(jù)蕩離銭同涉實時接匕可視址配首離集開發(fā)跚開發(fā)J霖法開發(fā)壞境隔離J'智能帽皆能尊1監(jiān)控吿警數(shù)據(jù)幵發(fā)證券行業(yè)解決方案27客戶CRM手機(jī)盤甲小程厚POS決策類工具新人紅包推法數(shù)據(jù)服務(wù)逼用營銷團(tuán)人歡再服務(wù)數(shù)據(jù)醫(yī)務(wù)商品擺餵疏裾眼務(wù)可視化分祈工

29、具（如E3I）眾務(wù)管理組件管理API網(wǎng)關(guān)調(diào)用管理散據(jù)資產(chǎn)標(biāo)蠱數(shù)振JeTOM會員門雇應(yīng)同數(shù)退EADS紅包椎送營鎖圈人個性推薦數(shù)扳安全管理址一數(shù)倉層DW會員域門15域供應(yīng)商戲商品域Ik單塚I財務(wù)域管銷域日態(tài)塚I渠誦蹶I冬遍堀ODSCRM數(shù)據(jù)門店*gw理累蜿數(shù)據(jù)線上交易數(shù)據(jù)底存管理系址數(shù)據(jù)憲數(shù)幅財務(wù)贏統(tǒng)數(shù)據(jù)數(shù)據(jù)中臺雌匯峯樹握開發(fā)HadoopKylin異構(gòu)阿絡(luò)窩絢司步實阿接人可視配配31Flirk離級開發(fā)I實対幵發(fā)I莫法開發(fā)I聊塩隔高智能運(yùn)維SparkGreenplum監(jiān)控吿瞥TensarFlow數(shù)擔(dān)懣內(nèi)部數(shù)粧基餓工具層5G網(wǎng)絡(luò)夢云平臺混合云資源本:社機(jī)房物毬互適啟零售行業(yè)解決方案阿米巴運(yùn)營分析哉字化柞脫第分析產(chǎn)弟質(zhì)量分析$優(yōu)化設(shè)昔故障預(yù)測及健康世玨般務(wù)曾理組冉轡理API網(wǎng)關(guān)Hadoop耘簽裁捱層TDM般一救倉層CWODS異構(gòu)網(wǎng)絡(luò)實時接入Kylin員工密戶域MS系址數(shù)據(jù)供應(yīng)彌標(biāo)簽體聚工廠域數(shù)據(jù)近聚可觀化配