技術(shù)培訓(xùn)-建模培訓(xùn)與實戰(zhàn)

數(shù)據(jù)倉庫建模培訓(xùn)與實戰(zhàn)用友華表軟件技術(shù)有限公司BI咨詢顧問馬鵬程2010年1月1日需求分析倉庫建模ETLBQ展現(xiàn)第1頁，共27頁。目錄為什么建模？工具用什么？模型怎么建？模型怎么用？第2頁，共27頁。模型是什么？指標落地數(shù)據(jù)存儲與集中機制方案中的指標與維度數(shù)據(jù)庫中的模型數(shù)據(jù)獲取指標展現(xiàn)BQ中的分析界面第3頁，共27頁。模型是什么？第4頁，共27頁。沒有落地的指標沒有落地的指標是浮云可見而不可及第5頁，共27頁。建模的價值？一個圖紙到實體驗證的過程一個凝聚IT與行業(yè)經(jīng)驗的過程

（企業(yè)個性與行業(yè)積累）為企業(yè)高端決策打下基礎(chǔ)的過程為企業(yè)IT規(guī)劃打下基礎(chǔ)的過程第6頁，共27頁。目錄為什么建模？工具用什么？模型怎么建？模型怎么用？第7頁，共27頁。建模工具有哪些？主流建模工具：SybasePowerDesigner（數(shù)據(jù)庫建模專業(yè)工具）CAErwin（數(shù)據(jù)庫/倉庫建模專業(yè)工具）IBMRational(軟件工程建模專業(yè)工具)MicrosoftOfficeVisio（綜合性工具）第8頁，共27頁。SybasePowerDesigner15-安裝運行信息安裝路徑：安裝過程：選擇安裝路徑后，默認下一步即可產(chǎn)品注冊：

復(fù)制壓縮包中的“pdflm15.dll”到安裝目錄覆蓋同名文件！

運行程序，點擊Tools->LicenseParameters->StandaloneSeat-LocalLicense,導(dǎo)入壓縮包中的license.lic注冊授權(quán)文件！產(chǎn)品運行：

開始->Sybase->PowerDesigner15->PowerDesigner第9頁，共27頁。SybasePowerDesigner15新建工程File->NewProject——新建工程，選擇工程存放目錄及工程名稱第10頁，共27頁。SybasePowerDesigner15使用入門新建一個模型：File=>NewModel

可創(chuàng)建概念模型、邏輯模型、物理模型第11頁，共27頁。目錄為什么建模？工具用什么？模型怎么建？模型怎么用？第12頁，共27頁。2.1模型怎么建-需求分析需求分析邏輯模型導(dǎo)出驗證物理模型概念模型需求歸類、分析共性找出指標、維度、參數(shù)分析源數(shù)據(jù)與目標結(jié)果之間差異

字段差異，數(shù)據(jù)粒度差異等包含字段：公司、客戶、部門、地區(qū)、人員、時間、單據(jù)類型、單價、金額等字段數(shù)據(jù)粒度：數(shù)據(jù)粒度以周為分析單位源數(shù)據(jù)與目標數(shù)據(jù)差異：

數(shù)據(jù)字段多，且粒度更細分析的目標是什么？分析的源頭是什么？第13頁，共27頁。2.2模型怎么建-概念模型-確定主題1、根據(jù)業(yè)務(wù)場景分析主題，每個主題下再根據(jù)分析場景進行分類：財務(wù)主題->應(yīng)收應(yīng)付分析2、明確數(shù)據(jù)倉庫的分析對象，然后對每個主題的內(nèi)容進行較詳細的描述，包括： 確定主題及其屬性信息 描述每個屬性的取值情況固定不變的半固定的經(jīng)常變化的 確定主題的公共碼鍵 主題間的關(guān)系：主題間聯(lián)系及其屬性需求分析邏輯模型導(dǎo)出驗證物理模型概念模型分析主題實體模型第14頁，共27頁。2.3模型怎么建-概念模型-E-R模型需求分析邏輯模型導(dǎo)出驗證物理模型概念模型分析主題實體模型應(yīng)收明細公司部門員工單據(jù)類型存貨地區(qū)實體模型：萬物皆實體，應(yīng)收應(yīng)付的單據(jù)，公司、客戶、銷售員都是一個實體，而每個實體之間有很多關(guān)聯(lián)關(guān)系。實體關(guān)系：一對一、一對多、多對一、多對多第15頁，共27頁。2.4模型怎么建-概念模型-實戰(zhàn)需求分析邏輯模型導(dǎo)出驗證物理模型概念模型分析主題實體模型第一步：Project上右單擊->New->ConceptualDataModel第二步：輸入模型名稱第三步：添加實體第四步：雙擊實體，添加實體的屬性字段信息第五步：添加實體間關(guān)系第16頁，共27頁。2.5模型怎么建-邏輯模型-星型模型需求分析邏輯模型導(dǎo)出驗證物理模型概念模型星型模型數(shù)據(jù)粒度時間ID銷售事實表單價金額數(shù)量“FactTable”事實表市場ID產(chǎn)品ID行業(yè)ID產(chǎn)品維包裝品牌產(chǎn)品描述"DimensionTable"時間ID年日時間維"DimensionTable"行業(yè)維行業(yè)描述行業(yè)名稱行業(yè)ID"DimensionTable"市場ID地區(qū)維區(qū)域類型區(qū)域名稱市場描述"DimensionTable"產(chǎn)品鏈部門類型產(chǎn)品類型ID行業(yè)類型月產(chǎn)品ID產(chǎn)品類型ID第17頁，共27頁。2.6模型怎么建-邏輯模型-數(shù)據(jù)粒度在設(shè)計過程中需要考慮數(shù)據(jù)倉庫中數(shù)據(jù)粒度的劃分原則，即數(shù)據(jù)單元的詳細程度和級別。數(shù)據(jù)越詳細，粒度越小，級別就越低數(shù)據(jù)綜合度越高，粒度越大，級別就越高。一般將數(shù)據(jù)劃分為：詳細數(shù)據(jù)、輕度總結(jié)、高度總結(jié)三種粒度，或者采用更多級的粒度劃分方法。例如：根據(jù)時間跨度進行的統(tǒng)計有：天，周，月，季度，年對于不適合進行統(tǒng)計的屬性值，可以采樣獲取數(shù)據(jù)粒度的劃分將直接影響到數(shù)據(jù)倉庫中的數(shù)據(jù)量以及所適合的查詢類型，粒度劃分是否適當(dāng)是影響數(shù)據(jù)倉庫性能的一個重要方面。需求分析邏輯模型導(dǎo)出驗證物理模型概念模型星型模型數(shù)據(jù)粒度數(shù)據(jù)粒度舉例：永和大王：180家門店，6個餐段，120個菜品，

6中交易方式，3中套餐模式財務(wù)想看全年每天各門店的銷售額：365*180=64800條數(shù)據(jù)運營想看一個細化到每天小時級別的多維分析：3(年)*365(天)*24(小時)*6(交易方式)*180(家門店)*120(菜品)=3405888000條數(shù)據(jù)第18頁，共27頁。2.7模型怎么建-物理模型-實戰(zhàn)需求分析邏輯模型導(dǎo)出驗證物理模型概念模型Tool->GeneratePhysicalDataModel通過邏輯模型生成物理模型注意:要選擇數(shù)據(jù)庫類型DBMS：SqlServer2005第19頁，共27頁。2.8模型怎么建-導(dǎo)出驗證-腳本導(dǎo)出需求分析邏輯模型導(dǎo)出驗證物理模型概念模型Model->Properties->Preview->Save得到自動生成腳本并保存第20頁，共27頁。2.9模型怎么建-導(dǎo)出驗證-數(shù)據(jù)庫創(chuàng)建模型需求分析邏輯模型導(dǎo)出驗證物理模型概念模型數(shù)據(jù)庫導(dǎo)入腳本并運行第21頁，共27頁。2.10模型怎么建-物理模型-海量數(shù)據(jù)優(yōu)化需求分析邏輯模型導(dǎo)出驗證物理模型概念模型引入冗余：適當(dāng)冗余數(shù)據(jù)，減少檢索次數(shù)及關(guān)聯(lián)表

多放一些你需要的豆子建立數(shù)據(jù)序列：按順序擺放的數(shù)據(jù)，查詢性能更高

把豆子按大小個排序

表的物理分割：將大表分庫、分區(qū)、分表，提高查詢效率

把豆子分類擺放

建立索引：有效的索引，提高查詢命中率

把你需要的豆子標識上不同的顏色或者編號如何在一堆豆子中找到你需要的那顆？第22頁，共27頁。四步成型：實際項目中的操作方式1、選擇業(yè)務(wù)過程：

一個分析的業(yè)務(wù)環(huán)節(jié)或者一個需求點2、聲明粒度：

決定了數(shù)據(jù)匯總的高度，決定了數(shù)據(jù)量，和匯總層次3、識別維度：

分析數(shù)據(jù)的角度有哪些4、識別事實：

分析的指標數(shù)值有哪些第23頁，共27頁。目錄為什么建模？工具用什么？模型怎么建？模型怎么用？第24頁，共27頁。模型怎么用指導(dǎo)ETL開發(fā)： ——ETL的數(shù)據(jù)目標通過歷史數(shù)據(jù)驗證優(yōu)化： ——驗證模型，分析過往第25頁，共27頁。第26頁，共27頁。內(nèi)容梗概數(shù)據(jù)倉庫建模培訓(xùn)與實戰(zhàn)。BI咨詢顧問馬鵬程。2010年1月1日。SybasePowerDesigner（數(shù)據(jù)庫建模專業(yè)工具）。CAErwin（數(shù)據(jù)庫/倉庫建模專業(yè)工具）。IBMRational(軟件工程建模專業(yè)工具)。MicrosoftOfficeVisio（綜合性工具）。SybasePowerDesigner15-安裝運行信息。安裝過程：選擇安裝路徑后，默認下一步即可。SybasePowerDesigner15新建工程。File->NewProject——新建工程，選擇工程存放目錄及工程名稱。SybasePowerDesigner15使用入門。新建一個模型：File=>NewModel。字段差