阿里數(shù)據(jù)倉庫模型設(shè)計

數(shù)據(jù)建模介紹2021/5/91數(shù)據(jù)倉庫構(gòu)造方法2021/5/92支付寶業(yè)務(wù)系統(tǒng)簡介業(yè)務(wù)特點類金融交易：充值、提現(xiàn)、賬務(wù)管理類電子商務(wù)：購物交易過程變更、實際交易（對B機票、對C水電等）非純電子商務(wù)；純金融線上子系統(tǒng)多而雜截止到2011年6月共有各類線上子系統(tǒng)259個類型多樣：對C、對B、對內(nèi)、對金融機構(gòu)系統(tǒng)間依賴程度參差不齊垂直依賴（業(yè)務(wù)與核心）跨層依賴（跨過交易到賬務(wù)）2021/5/93支付寶業(yè)務(wù)系統(tǒng)2021/5/94支付寶數(shù)據(jù)倉庫架構(gòu)原則底層業(yè)務(wù)的數(shù)據(jù)驅(qū)動為導(dǎo)向同時結(jié)合業(yè)務(wù)需求驅(qū)動便于數(shù)據(jù)分析屏蔽底層復(fù)雜業(yè)務(wù)簡單、完整、集成的將數(shù)據(jù)暴露給分析層底層業(yè)務(wù)變動與上層需求變動對模型沖擊最小化業(yè)務(wù)系統(tǒng)變化影響削弱在基礎(chǔ)數(shù)據(jù)層（資金訂單改造）結(jié)合自上而下的建設(shè)方法削弱需求變動對模型的影響數(shù)據(jù)水平層次清晰化高內(nèi)聚松耦合主題之內(nèi)或各個完整意義的系統(tǒng)內(nèi)數(shù)據(jù)的高內(nèi)聚主題之間或各個完整意義的系統(tǒng)間數(shù)據(jù)的松耦合構(gòu)建倉庫基礎(chǔ)數(shù)據(jù)層

使得底層業(yè)務(wù)數(shù)據(jù)整合工作與上層應(yīng)用開發(fā)工作相隔離，為倉庫大規(guī)模開發(fā)奠定基礎(chǔ)倉庫層次更加清晰，對外暴露數(shù)據(jù)更加統(tǒng)一2021/5/95傳統(tǒng)倉庫架構(gòu)方法需求驅(qū)動為主…2021/5/96支付寶交易主題現(xiàn)狀2021/5/97數(shù)據(jù)倉庫模型建設(shè)目標示意圖2021/5/98倉庫基礎(chǔ)數(shù)據(jù)層建設(shè)的意義避免底層業(yè)務(wù)變動對上層需求影響過大屏蔽底層復(fù)雜的業(yè)務(wù)邏輯，盡可能簡單、完整的在接口層呈現(xiàn)業(yè)務(wù)數(shù)據(jù)倉庫數(shù)據(jù)更加豐富建設(shè)高內(nèi)聚松耦合的數(shù)據(jù)組織，使得數(shù)據(jù)從業(yè)務(wù)角度可分割，有助于數(shù)據(jù)和團隊的擴展。2021/5/99第三方支付企業(yè)支付寶數(shù)據(jù)倉庫體系結(jié)構(gòu)點擊流數(shù)據(jù)（Clickstream）數(shù)據(jù)庫數(shù)據(jù)（OLTP）文檔數(shù)據(jù)（Documents）其它數(shù)據(jù)（Other）源數(shù)據(jù)明細數(shù)據(jù)（DWD）數(shù)據(jù)倉庫ETL報表展示自定義查詢數(shù)據(jù)分析數(shù)據(jù)應(yīng)用數(shù)據(jù)挖掘元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量監(jiān)控KPI賬單應(yīng)用日志產(chǎn)品應(yīng)用高粒度匯總數(shù)據(jù)（DWS）其它……數(shù)據(jù)集市、寬表（DM）數(shù)據(jù)應(yīng)用（ST）低粒度匯總加工數(shù)據(jù)（DWB）2021/5/910建立企業(yè)級概念數(shù)據(jù)模型(CDM)的基本架構(gòu)相關(guān)方安排位置相關(guān)方關(guān)系相關(guān)方及安排間的關(guān)系相關(guān)方描述相關(guān)方類型業(yè)務(wù)概念框架提供了一套通用的結(jié)構(gòu)，它描述了所有業(yè)務(wù)環(huán)境IBM業(yè)務(wù)概念間最初的關(guān)系提供了相關(guān)方合約位置分類產(chǎn)品/服務(wù)資源事件業(yè)務(wù)方向條件安排類型所有業(yè)務(wù)信息都是可以用九大概念的詞匯來表示每一種信息概念都可用三個分層來詳細說明：分類分層（是什么）描述分層（有什么）關(guān)系分層（做什么）2021/5/911九大數(shù)據(jù)概念變遷IBMFSDM九大數(shù)據(jù)概念支付寶九大數(shù)據(jù)概念當事人地理位置協(xié)議資源項事件產(chǎn)品分類條件業(yè)務(wù)方向介質(zhì)介質(zhì)帳戶渠道主要變化：1.將產(chǎn)品中的介質(zhì)以及分類中的帳戶和渠道獨立出來作為單獨的數(shù)據(jù)概念2.條件和分類不作為單獨的數(shù)據(jù)概念，分散在各個數(shù)據(jù)概念中。3.業(yè)務(wù)方向中的部分在事件數(shù)據(jù)概念中體現(xiàn)當事人地理位置協(xié)議資源項事件產(chǎn)品介質(zhì)渠道帳戶條件條件分類條件分類條件條件分類業(yè)務(wù)方向2021/5/912第三方支付企業(yè)支付寶數(shù)據(jù)模型設(shè)計基于OMG推出的數(shù)據(jù)倉庫元數(shù)據(jù)管理的CWM模型(CommonWarehouseMetamodel)物理模型設(shè)計PDM設(shè)計方法參考IBM的FSDM金融行業(yè)的數(shù)據(jù)倉庫通用模板參考NCRTeradata金融服務(wù)邏輯數(shù)據(jù)模型（FS-LDM），參考新巴塞爾資本協(xié)議（BaselIICapitalAccord）需提供三到五年的數(shù)據(jù)的規(guī)范綜合上述規(guī)范和要求，同時結(jié)合支付寶實際的業(yè)務(wù)，推出數(shù)據(jù)倉庫5層架構(gòu)體系2021/5/913DW五層模型是按照EDW各個應(yīng)用層次的需求進行分層細化而來的，每個層次滿足不同的應(yīng)用。分為以下5層：1.ODS數(shù)據(jù)準備層

2.DWD數(shù)據(jù)明細層3.DW(B/S)數(shù)據(jù)匯總層4.DM數(shù)據(jù)集市層5.ST數(shù)據(jù)應(yīng)用層

DW五層模型架構(gòu)介紹2021/5/914DW五層模型架構(gòu)介紹ODS層ST層DM層DW層DWD層數(shù)據(jù)來源及建模方式服務(wù)領(lǐng)域數(shù)據(jù)準備區(qū)，數(shù)據(jù)來源是各業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)，物理模型和業(yè)務(wù)系統(tǒng)模型一致。數(shù)據(jù)來自O(shè)DS層，是DW明細事實層,數(shù)據(jù)模型是ODS一致數(shù)據(jù)來自DWD層，是DW事實層，采用維度建模，星型架構(gòu),這一層可細分為dwb和dws數(shù)據(jù)來自DW層，采用維度建模，星型架構(gòu)數(shù)據(jù)來自DW層，采用維度建模，星型架構(gòu)為其它邏輯層提供數(shù)據(jù)，為統(tǒng)一數(shù)據(jù)視圖子系統(tǒng)提供數(shù)據(jù)實時查詢?yōu)镋DW提供各主題業(yè)務(wù)明細數(shù)據(jù)為EDW提供各種統(tǒng)計匯總數(shù)據(jù)數(shù)據(jù)挖掘，自定義查詢，應(yīng)用集市前端報表展現(xiàn)，主題分析，KPI報表數(shù)據(jù)ETL過程描述通過支付寶分發(fā)中心平臺，把業(yè)務(wù)數(shù)據(jù)抽取落地成文本文件，再裝載到數(shù)據(jù)倉庫ODS層，不做清洗轉(zhuǎn)換根據(jù)ODS增量數(shù)據(jù)進行merge生成全量數(shù)據(jù)，不做清洗轉(zhuǎn)換，保留原始全量數(shù)據(jù)從DWD層進行輕度清洗，轉(zhuǎn)換，匯總聚合生成DW層數(shù)據(jù)，如字符合并，EMAIL,證件號，日期，手機號轉(zhuǎn)換，合并；用代理鍵取代維度；按各個維度進行聚合匯總從DW層的數(shù)據(jù)進行粗粒度聚合匯總；按業(yè)務(wù)需求對事實進行拉寬形成寬表從DW層的數(shù)據(jù)進行粗粒度聚合匯總；如按年、月、季、天對一些維度進行聚合生成業(yè)務(wù)需要的事實數(shù)據(jù)2021/5/915DW模型架構(gòu)第一層介紹-ODS層功能ODS層是數(shù)據(jù)倉庫準備區(qū)為DWD層提供基礎(chǔ)原始數(shù)據(jù)減少對業(yè)務(wù)系統(tǒng)影響建模方式及原則數(shù)據(jù)保留時間根據(jù)實現(xiàn)業(yè)務(wù)需求而定可以分表進行周期存儲，存儲周期不長數(shù)據(jù)不做清洗轉(zhuǎn)換和業(yè)務(wù)系統(tǒng)一樣按主題邏輯劃分數(shù)據(jù)模型和粒度和業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型保留一致（3NF）從業(yè)務(wù)系統(tǒng)以增量方式抽取加載到ODS2021/5/916DW模型架構(gòu)第二層介紹-DWD層功能為DW層提供來源明細數(shù)據(jù)提供業(yè)務(wù)系統(tǒng)細節(jié)數(shù)據(jù)的長期沉淀為未來分析類需求的擴展提供歷史數(shù)據(jù)支撐建模方式及原則數(shù)據(jù)模型與ODS層一致（3NF）不做清洗轉(zhuǎn)換處理為支持數(shù)據(jù)重跑可額外增加數(shù)據(jù)業(yè)務(wù)日期字段可按天、月、年進行分表用增量ODS層數(shù)據(jù)和前一天DWD相關(guān)表進行merge處理2021/5/917DW模型架構(gòu)第三層介紹-DW層功能為DM,ST層提供細粒度數(shù)據(jù),細化成DWB和DWSDWB是根據(jù)DWD明細數(shù)據(jù)進行清洗轉(zhuǎn)換，如維度轉(zhuǎn)代理鍵、身份證清洗、會員注冊來源清洗、字段合并、空值處理、臟數(shù)據(jù)處理、IP清洗轉(zhuǎn)換、賬戶余額清洗、資金來源清洗等DWS是根據(jù)DWB層數(shù)據(jù)按各個維度ID進行粗粒度匯總聚合，如按交易來源，交易類型進行匯總建模方式及原則聚合、匯總增加派生事實關(guān)聯(lián)其它主題的事實表，DW層可能會跨主題域DWB保持低粒度匯總加工數(shù)據(jù)，DWS保持高粒度匯總數(shù)據(jù)數(shù)據(jù)模型可能采用反范式設(shè)計，合并信息等2021/5/918DW模型架構(gòu)第三層介紹-DW層2021/5/919DW模型架構(gòu)第四層介紹-DM層功能這一層可以是一些寬表，是根據(jù)DW層數(shù)據(jù)按照各種維度或多種維度組合把需要查詢的一些事實字段進行匯總統(tǒng)計并作為單獨的列進行存儲滿足一些特定查詢、數(shù)據(jù)挖掘應(yīng)用應(yīng)用集市數(shù)據(jù)存儲建模方式及原則盡量減少數(shù)據(jù)訪問時計算，優(yōu)化檢索維度建模，星形模型事實拉寬，度量預(yù)先計算分表存儲2021/5/920DW模型架構(gòu)第四層介紹-DM層2021/5/921DW模型架構(gòu)第五層介紹-ST層功能ST層面向用戶應(yīng)用和分析需求，包括前端報表、分析圖表、KPI、儀表盤、OLAP、專題等分析，面向最終結(jié)果用戶適合作OLAP、報表模型，如ROLAP，MOLAP根據(jù)DW層經(jīng)過聚合匯總統(tǒng)計后的粗粒度事實表建模方式及原則保持數(shù)據(jù)量小維度建模，星形模型各種維度代理鍵+度量增加數(shù)據(jù)業(yè)務(wù)日期字段，支持數(shù)據(jù)重跑不分表存儲2021/5/922DW模型架構(gòu)第五層介紹-ST層2021/5/923細化DW建模對DW中各個主題業(yè)務(wù)建模進行了細分，每個層次具有不同的功能。保留了最細粒度數(shù)據(jù)滿足了不同維度，不同事實的信息滿足數(shù)據(jù)重新生成不同層次的數(shù)據(jù)支持數(shù)據(jù)重新生成無需備份恢復(fù)解決了由不同故障帶來的數(shù)據(jù)質(zhì)量問題消除了重新初始化數(shù)據(jù)的煩惱減少應(yīng)用對DW的壓力以業(yè)務(wù)應(yīng)用驅(qū)動為向?qū)Ы?，通過ST、DM層提供數(shù)據(jù)避免直接操作基礎(chǔ)事實表降低數(shù)據(jù)獲取時間快速適應(yīng)需求變更適應(yīng)維度變化明細基礎(chǔ)數(shù)據(jù)層穩(wěn)定，適應(yīng)前端應(yīng)用層業(yè)務(wù)需求變更所有前端應(yīng)用層模型之間不存在依賴，需求變更對DW整個模型影響范圍小能適應(yīng)短周期內(nèi)上線下線需求DW五層模型架構(gòu)特點2021/5/924數(shù)據(jù)倉庫建設(shè)規(guī)范表命名規(guī)范程序命名規(guī)范開發(fā)模板通用SQL文檔2021/5/925數(shù)據(jù)倉庫建設(shè)規(guī)范表命名規(guī)范表名命名格式說明[層次]_[主題][_表內(nèi)容]_[分表規(guī)則]T表命名格式說明T_[層次]_[主題][_表內(nèi)容]臨時表名命名格式說明[tmp]_所屬程序名_[自定義序號1..10][temp]_[操作者縮寫]_YYYYMMDD_[表內(nèi)容]視圖命名格式說明V_[表名]DWB層視圖仍以DWB_開頭，為了兼容日后業(yè)務(wù)變動2021/5/926數(shù)據(jù)倉庫建設(shè)規(guī)范表命名解釋層次ODS,DWD,DWB,DWS,DM,ST如ODS_TRD_TRADE_BASE_YYYYMMDD,DWD_TRD_TRADE_BASE_YYYYMMDD；表內(nèi)容表名視圖名總長度不超過64個字符ODS層和DWD層：[層次]_[主題]_[業(yè)務(wù)系統(tǒng)表名字]_[分表規(guī)則]DWB(含)以上層次表名字：[層次]_[主題]_[有意義的縮寫]_[分表規(guī)則]盡量詳盡說明表的具體內(nèi)容分表規(guī)則日表YYYYMMDD月表YYYYMM日匯總DS,月匯總MS,日累計