數(shù)據(jù)倉庫架構(gòu)培訓(xùn)

1、,目 錄,1,廠商的數(shù)據(jù)倉庫架構(gòu),2,IBM數(shù)據(jù)倉庫架構(gòu),3,NCR數(shù)據(jù)倉庫架構(gòu),4,SAP的數(shù)據(jù)倉庫,5,兩級數(shù)據(jù)倉庫架構(gòu),6,公司的數(shù)據(jù)倉庫架構(gòu),7,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,DM,系統(tǒng)總體架構(gòu)圖,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,8,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,公司實(shí)施常用架構(gòu),歷史數(shù)據(jù)存儲（HDS）,DM,ETL,數(shù)據(jù) 質(zhì)量 管理,

2、9,數(shù)據(jù)存儲與ETL,10,11,數(shù)據(jù)存儲,主數(shù)據(jù)存儲,模型特點(diǎn) ER模型：與業(yè)務(wù)系統(tǒng)中代碼信息存放方式類似 數(shù)據(jù)標(biāo)準(zhǔn)：在企業(yè)中采用統(tǒng)一的編碼規(guī)則和標(biāo)準(zhǔn) 保留歷史：保留主數(shù)據(jù)變化的版本,12,ODS數(shù)據(jù)存儲,模型特點(diǎn) ER模型：與業(yè)務(wù)系統(tǒng)中模型基本一致，盡量減少由于數(shù)據(jù)處理帶來的時(shí)間消耗 實(shí)時(shí)性：保存實(shí)時(shí)變化的數(shù)據(jù),13,EDW數(shù)據(jù)存儲,模型特點(diǎn) 采用3NF方式建模，采用面向?qū)ο蟮慕７绞?從業(yè)務(wù)模型入手，結(jié)合實(shí)際的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，使用主題域?qū)?shù)據(jù)進(jìn)行抽象 建模原則 全面性：最終應(yīng)該能夠覆蓋到客戶經(jīng)營活動中所有的業(yè)務(wù)數(shù)據(jù) 抽象性：從業(yè)務(wù)的角度把客戶的所有業(yè)務(wù)要素抽象成若干對象，采用面向?qū)ο蟮脑O(shè)

3、計(jì)方法 擴(kuò)展性：其體系結(jié)構(gòu)應(yīng)該能夠適應(yīng)客戶今后業(yè)務(wù)的發(fā)展 高效性：應(yīng)該注意不要使對象之間的關(guān)系過于復(fù)雜，導(dǎo)致在實(shí)際查詢時(shí)的速度過慢,14,DDS數(shù)據(jù)存儲,模型特點(diǎn) 星型模型：以維度表和事實(shí)表的方式對數(shù)據(jù)進(jìn)行組織和存放 面向需求：從滿足應(yīng)用需求的角度進(jìn)行設(shè)計(jì)，從中找出維度，維和分析變量 粒度較粗：從明細(xì)數(shù)據(jù)匯總得到,15,數(shù)據(jù)抽取,數(shù)據(jù)加載,數(shù)據(jù)映射,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,從HDS或ODS中獲取所需數(shù)據(jù),清除錯(cuò)誤的、不符合業(yè)務(wù)邏輯的數(shù)據(jù),將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字段對應(yīng)到主數(shù)據(jù)的數(shù)據(jù)字段,將數(shù)據(jù)轉(zhuǎn)換成主數(shù)據(jù)的模型,將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫,數(shù)據(jù)標(biāo)準(zhǔn)化,按照數(shù)據(jù)的標(biāo)準(zhǔn)，對數(shù)據(jù)進(jìn)行統(tǒng)一,主數(shù)據(jù)加載,16

4、,數(shù)據(jù)抽取,數(shù)據(jù)加載,數(shù)據(jù)映射,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,從HDS或ODS中獲取所需數(shù)據(jù),清除錯(cuò)誤的、不符合業(yè)務(wù)邏輯的數(shù)據(jù),將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字段對應(yīng)到EDW的數(shù)據(jù)字段,將數(shù)據(jù)轉(zhuǎn)換成EDW的模型,將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫,數(shù)據(jù)標(biāo)準(zhǔn)化,按照數(shù)據(jù)的標(biāo)準(zhǔn)，對數(shù)據(jù)進(jìn)行統(tǒng)一,EDW數(shù)據(jù)加載,17,數(shù)據(jù)抽取,數(shù)據(jù)加載,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)匯總,數(shù)據(jù)映射,從EDW數(shù)據(jù)存儲中獲取所需數(shù)據(jù),將EDW存儲模型的字段，對應(yīng)到DDS存儲模型的字段,把數(shù)據(jù)從EDW的ER模型轉(zhuǎn)換為DDS的多維存儲模型,把EDW中的數(shù)據(jù)進(jìn)行一定程度的匯總,將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫,DDS數(shù)據(jù)加載,18,前端業(yè)務(wù)應(yīng)用與管理系統(tǒng),19,應(yīng)用服務(wù)

5、層,數(shù)據(jù)中心存儲平臺,DDS,OLAP,DM,Meta Data,數(shù)據(jù)服務(wù)層,OLAP引擎,元數(shù)據(jù)管理服務(wù),管理和審計(jì)服務(wù),BI引擎,統(tǒng) 一 的 安 全 管 理,EDS,數(shù) 據(jù) 訪 問 層 代 理,Web Server,瀏覽器,GUI應(yīng)用程序,ODS,數(shù)據(jù)交換服務(wù),主數(shù)據(jù)管理服務(wù),20,分析型應(yīng)用,企業(yè)績效 KPI,業(yè)務(wù)報(bào)務(wù)、業(yè)務(wù)應(yīng)用,跨部門、跨業(yè)務(wù)應(yīng)用,應(yīng)用層次規(guī)劃,21,資產(chǎn)分析,成本分析,業(yè)務(wù)分類,財(cái)務(wù),生產(chǎn),銷售,KPI,庫存,物流,盈利,產(chǎn)量,原料,質(zhì)檢,銷量,市場,競爭對手,市場,生產(chǎn)指標(biāo),財(cái)務(wù)指標(biāo),銷售指標(biāo),庫存分析,應(yīng)用分類,22,管理系統(tǒng)：元數(shù)據(jù)管理,主數(shù)據(jù),數(shù)據(jù)中心,ODS

6、,EDS,DDS,DM,應(yīng)用系統(tǒng),ETL,元數(shù)據(jù)數(shù)據(jù)源,元數(shù)據(jù)存儲平臺,業(yè)務(wù)元數(shù)據(jù),業(yè)務(wù)指標(biāo),維度,技術(shù)元數(shù)據(jù),維度,ADS,ETL信息,應(yīng)用系統(tǒng)信息,管理元數(shù)據(jù),ETL日志,應(yīng)用系統(tǒng)日志,權(quán)限,元數(shù)據(jù)應(yīng)用平臺,維護(hù)功能,業(yè)務(wù)元數(shù)據(jù)維護(hù),技術(shù)元數(shù)據(jù)維護(hù),查詢功能,分類導(dǎo)航,全文檢索,日志查詢,權(quán)限查詢,展現(xiàn)功能,動態(tài)指標(biāo)解釋,信息展示,血緣關(guān)系,OLAP,業(yè)務(wù)指標(biāo)/需求,23,主數(shù)據(jù)管理,24,商務(wù)智能工具,SOA技術(shù),WEB技術(shù),實(shí)施技術(shù),25,實(shí)施過程,26,數(shù)據(jù)倉庫實(shí)施方法,自下而上 從業(yè)務(wù)數(shù)據(jù)入手，建立數(shù)據(jù)模型 建立完整的后臺數(shù)據(jù) 自上而下 完全基于業(yè)務(wù)需求分析的結(jié)果 以需求確定后臺的

7、數(shù)據(jù)范圍 迭代開發(fā) 整個(gè)建設(shè)過程分為多個(gè)迭代過程 從關(guān)鍵的業(yè)務(wù)入手，即考慮后臺數(shù)據(jù)，又提供前端展現(xiàn),27,28,項(xiàng)目組架構(gòu),實(shí)施流程,項(xiàng)目準(zhǔn)備,項(xiàng)目規(guī)劃,技術(shù)架構(gòu),源數(shù)據(jù)分析 數(shù)據(jù)建模,應(yīng)用設(shè)計(jì)開發(fā),ETL設(shè)計(jì) 開發(fā),集成測試,系統(tǒng)上線,運(yùn)行維護(hù) 系統(tǒng)演進(jìn),項(xiàng) 目 管 理,29,實(shí)施案例,30,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,DM,數(shù)據(jù)中心-案例1,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,31,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對

8、外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例2,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,32,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例3,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,33,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例4,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,34,業(yè)務(wù)系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應(yīng)用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應(yīng)用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例5,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,35,業(yè)務(wù)系統(tǒng),數(shù)