數(shù)據(jù)倉庫實(shí)施步驟與關(guān)鍵成功因素

數(shù)據(jù)倉庫實(shí)施步驟與關(guān)鍵成功因素一、數(shù)據(jù)倉庫實(shí)施方法論?規(guī)劃解決方案支持?jǐn)?shù)據(jù)倉庫管理(處理流程與操作)物理數(shù)據(jù)庫設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)設(shè)計(jì)與實(shí)現(xiàn)支持與增強(qiáng)解決方案體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理數(shù)據(jù)倉庫評估應(yīng)用增強(qiáng)邏輯數(shù)據(jù)模型回顧物理數(shù)據(jù)庫回顧性能調(diào)整容量規(guī)劃解決方案集成定制解決方案規(guī)劃詳細(xì)數(shù)據(jù)分析解決方案準(zhǔn)備就緒解決方案實(shí)施建議現(xiàn)成解決方案規(guī)劃數(shù)據(jù)倉庫策略開發(fā)業(yè)務(wù)探索業(yè)務(wù)探索解決方案定義邏輯數(shù)據(jù)模型設(shè)計(jì)修改邏輯數(shù)據(jù)模型驗(yàn)證解決方案數(shù)據(jù)倉庫的循環(huán)過程3/16/20022數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成項(xiàng)目具體實(shí)施步驟項(xiàng)目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型二、項(xiàng)目具體實(shí)施步驟1.項(xiàng)目前期準(zhǔn)備2.業(yè)務(wù)探索（BusinessDiscovery)3.信息探索（InformationDiscovery)4.邏輯數(shù)據(jù)模型設(shè)計(jì)5.系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)6.物理數(shù)據(jù)庫設(shè)計(jì)7.數(shù)據(jù)轉(zhuǎn)換加載ETL8.前端應(yīng)用開發(fā)9.數(shù)據(jù)挖掘服務(wù)10.元數(shù)據(jù)管理11.數(shù)據(jù)倉庫管理（處理流程與操作）12.解決方案集成（測試驗(yàn)收與試運(yùn)行）3/16/200232.1項(xiàng)目前期準(zhǔn)備主要任務(wù)：–項(xiàng)目啟動(dòng)會(huì)議(Kick-offMeeting)–確認(rèn)項(xiàng)目范圍和主要目標(biāo)–確認(rèn)項(xiàng)目階段性驗(yàn)收及總體驗(yàn)收標(biāo)準(zhǔn)–確認(rèn)項(xiàng)目實(shí)施計(jì)劃–成立項(xiàng)目組–確定各項(xiàng)目小組的成員及各自的工作職責(zé)–確定各項(xiàng)目小組的階段性工作目標(biāo)–確定教育訓(xùn)練計(jì)劃–確定服務(wù)流程及方式

交付項(xiàng)目：《項(xiàng)目組織機(jī)構(gòu)》《項(xiàng)目人員組成》

項(xiàng)目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200242.2業(yè)務(wù)探索（BusinessDiscovery)主要任務(wù)：–確定重點(diǎn)用戶與數(shù)據(jù)源–用戶需求調(diào)研與確認(rèn)–數(shù)據(jù)源確認(rèn)–用戶需求和數(shù)據(jù)源的篩選和分析交付項(xiàng)目：《業(yè)務(wù)需求說明書BRL(BusinessRequirementList)》《概念數(shù)據(jù)模型CDM（ConceptualDataModel)》

項(xiàng)目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200252.3信息探索（InformationDiscovery)主要任務(wù)：–分析用戶需求–數(shù)據(jù)源分析–進(jìn)行工具評估–系統(tǒng)安全性設(shè)計(jì)–系統(tǒng)命名規(guī)范設(shè)計(jì)交付項(xiàng)目：《功能需求列表FRL(FunctionRequirementList)》《系統(tǒng)安全性設(shè)計(jì)說明書》

《系統(tǒng)命名規(guī)范說明書》《數(shù)據(jù)質(zhì)量分析》項(xiàng)目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200262.4邏輯數(shù)據(jù)模型設(shè)計(jì)主要任務(wù)：–進(jìn)行原始數(shù)據(jù)分析–建立實(shí)體模型–建立實(shí)體間依賴關(guān)系–完善并填入所有屬性–建立數(shù)據(jù)庫邏輯模型利用工具：

ERWin交付項(xiàng)目：數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型LDM《邏輯數(shù)據(jù)模型說明書》項(xiàng)目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200272.4邏輯數(shù)據(jù)模型概念邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務(wù)的詳細(xì)“藍(lán)圖”基于概念數(shù)據(jù)模型（CDM）由一系列表和實(shí)體詳細(xì)描述組成通用的業(yè)務(wù)語言便于業(yè)務(wù)與業(yè)務(wù)之間的功能理解集成當(dāng)前和未來數(shù)據(jù)的藍(lán)圖獨(dú)立于技術(shù)為物理數(shù)據(jù)庫設(shè)計(jì)作準(zhǔn)備是IT人員和業(yè)務(wù)人員溝通的工具發(fā)現(xiàn)屬性發(fā)現(xiàn)關(guān)系發(fā)現(xiàn)實(shí)體1.業(yè)務(wù)規(guī)則2.ER圖3.ERA建模3/16/200282.4邏輯數(shù)據(jù)模型(LDM)示例3/16/200292.5系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)主要任務(wù)：對業(yè)務(wù)、技術(shù)環(huán)境及企業(yè)文化的充分了解，從技術(shù)、組織、教育和支持等方面對系統(tǒng)進(jìn)行全面評估定義業(yè)務(wù)驅(qū)動(dòng)力定義數(shù)據(jù)倉庫成功的關(guān)鍵因素定義數(shù)據(jù)倉庫的實(shí)施原則對系統(tǒng)體系結(jié)構(gòu)各個(gè)組件進(jìn)行詳細(xì)設(shè)計(jì)交付項(xiàng)目：《系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)說明書》數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/2002102.5體系結(jié)構(gòu)設(shè)計(jì)組件用戶類型拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)存取與互連組織機(jī)構(gòu)安全性數(shù)據(jù)體系結(jié)構(gòu)邏輯數(shù)據(jù)模型元數(shù)據(jù)數(shù)據(jù)質(zhì)量命名規(guī)范數(shù)據(jù)采集與轉(zhuǎn)換用戶存取及工具備份系統(tǒng)操作管理3/16/200211主要任務(wù)：轉(zhuǎn)換邏輯數(shù)據(jù)模型（LDM）為物理數(shù)據(jù)模型定義主索引、次索引非正則化處理（denormalizations）數(shù)據(jù)庫建立設(shè)計(jì)優(yōu)化數(shù)據(jù)庫功能測試使用工具：ERWwin交付項(xiàng)目：物理數(shù)據(jù)模型（LDM）《物理數(shù)據(jù)模型說明書》《數(shù)據(jù)庫描述語言DDL》2.6物理數(shù)據(jù)庫設(shè)計(jì)建模方法：

第三范式3NF

星型結(jié)構(gòu)雪花狀結(jié)構(gòu)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/200212概念數(shù)據(jù)模型（CDM–ConceptualDataModel）主要實(shí)體和它們的關(guān)系（MajorEntitiesandTheirRelationships）邏輯數(shù)據(jù)模型（LDM-LogicalDataModel）業(yè)務(wù)模型加（CDMPlus）

:所有的表及簡單的數(shù)據(jù)（AllTableswithSampleData）輔助的表及簡單的數(shù)據(jù)（MinorTableswithSampleData

）主鍵與外鍵的關(guān)系（PK&FKRelationships）數(shù)據(jù)約束（Constraints

）屬性（Attributes

）擴(kuò)展邏輯數(shù)據(jù)模型（ELDM-ExtendedLogicalDataModel）邏輯數(shù)據(jù)模型加（LDMPlus）

:存取詳細(xì)描述（AccessDemographics）數(shù)據(jù)詳細(xì)描述（DataDemographics）物理數(shù)據(jù)模型（PDM-PhysicalDataModel）擴(kuò)張邏輯數(shù)據(jù)模型（ELDMPlus）:索引（Indices）非正則化（Denormalization）2.6數(shù)據(jù)模型的演變3/16/200213非正則化的兩種類型：物理非正則化派生數(shù)據(jù)（DerivedData）匯總表（SummaryTables）重復(fù)的Groups(RepeatingGroups) 多物理表（MultiplePhysicalTables）預(yù)連接（Pre-joins）子實(shí)體（Sub-entities）

邏輯非正則化視圖（Views）邏輯星型結(jié)構(gòu)（LogicalStarSchemas）物理非正則化對模型的靈活性會(huì)有影響邏輯非正則化是一個(gè)優(yōu)選的方法（OLAP實(shí)現(xiàn)）2.6非正則化處理

(Denormalization)3/16/2002142.6物理數(shù)據(jù)模型（PDM）3/16/2002152.7數(shù)據(jù)轉(zhuǎn)換與加載（ETL）主要任務(wù)：數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計(jì)構(gòu)建和測試初始加載的程序和處理流程構(gòu)建和測試日常加載的程序和處理流程40%的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上使用工具：Teradata

Builder、C、Shell、Perl交付項(xiàng)目：《數(shù)據(jù)轉(zhuǎn)換加載設(shè)計(jì)說明書》《數(shù)據(jù)映射（DataMapping）說明書》

數(shù)據(jù)轉(zhuǎn)換加載腳本（ETLScripts)

加載流程控制（ETLProcessControl)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/2002162.7數(shù)據(jù)清洗方法在源系統(tǒng)上進(jìn)行清洗（數(shù)據(jù)析取前）在加載服務(wù)器上進(jìn)行清洗（數(shù)據(jù)析取后、加載前）在數(shù)據(jù)倉庫里進(jìn)行清洗（數(shù)據(jù)加載后）源系統(tǒng)ETL服務(wù)器數(shù)據(jù)倉庫SQL,C,ShC,ShSQL3/16/2002172.7數(shù)據(jù)轉(zhuǎn)換常用手段析取Extracting

條件Conditioning

剔除Scrubbing

合并Merging

濃縮Enrichment

確認(rèn)Validating

加載Loading

評分Scoring

家庭關(guān)系識別Householding3/16/2002182.8前端應(yīng)用開發(fā)主要任務(wù)：前端應(yīng)用體系結(jié)構(gòu)設(shè)計(jì)OLAP應(yīng)用設(shè)計(jì)(Summary/Fact表及Cub的產(chǎn)生）前端應(yīng)用開發(fā)（隨機(jī)查詢、預(yù)定義報(bào)表、OLAP應(yīng)用）撰寫用戶使用手冊用戶測試驗(yàn)收使用工具：查詢報(bào)表工具OLAP工具（Brio,Cognos,MicroStrategy…)基于Web的開發(fā)工具(InterDev,ColdFusion…)其他開發(fā)工具,如:Portal交付項(xiàng)目：《前端應(yīng)用體系結(jié)構(gòu)設(shè)計(jì)說明書》《應(yīng)用模塊設(shè)計(jì)說明書》《用戶使用手冊》數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/2002192.9數(shù)據(jù)挖掘服務(wù)2.知識應(yīng)用(KnowledgeDeployment):將發(fā)現(xiàn)的知識應(yīng)用于某種目標(biāo)，例如進(jìn)行預(yù)測1.知識發(fā)現(xiàn)(KnowledgeDiscovery):

發(fā)現(xiàn)將數(shù)據(jù)轉(zhuǎn)變成信息的潛在模式數(shù)據(jù)知識信息決策與行動(dòng)3/16/2002202.9數(shù)據(jù)挖掘方法項(xiàng)目管理知識轉(zhuǎn)移業(yè)務(wù)理解體系結(jié)構(gòu)和技術(shù)準(zhǔn)備數(shù)據(jù)理解和數(shù)據(jù)準(zhǔn)備分析建模和模型評估知識應(yīng)用DataMiningLabAnalyticServicesTeradataDatabaseDataMining&OLAPAssistsTeraMinerSQL3/16/2002212.9數(shù)據(jù)挖掘常用算法及應(yīng)用Debt<10%ofIncomeDebt=0%GoodCreditRisksBadCreditRisksGoodCreditRisksYesYesYesNONONOIncome>$40KQQQQII123456factor1factor2factorn神經(jīng)網(wǎng)絡(luò)NeuralNetworks聚類分析ClusteringOpenAccn’tAddNewProductDecreaseUsage???Time序列分析SequenceAnalysis決策樹DecisionTrees傾向性分析客戶保留客戶生命周期管理目標(biāo)市場價(jià)格彈性分析客戶細(xì)分市場細(xì)分傾向性分析客戶保留目標(biāo)市場欺詐檢測關(guān)聯(lián)分析Association市場組合分析套裝產(chǎn)品分析目錄設(shè)計(jì)交叉銷售3/16/2002222.10元數(shù)據(jù)管理元數(shù)據(jù)(Metadata)是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得業(yè)務(wù)用戶可以正確地使用數(shù)據(jù)倉庫。主要任務(wù)：定義元數(shù)據(jù)使用功能設(shè)計(jì)元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)環(huán)境物理結(jié)構(gòu)選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉庫（MetadataRepository)建立和測試元數(shù)據(jù)接口使用工具：TeradataMetadataService交付項(xiàng)目：《元數(shù)據(jù)管理說明書》數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/2002232.10元數(shù)據(jù)開發(fā)元數(shù)據(jù)的開發(fā)應(yīng)該包含在數(shù)據(jù)倉庫實(shí)施過程的每一步驟中，下圖是元數(shù)據(jù)各部分內(nèi)容與數(shù)據(jù)倉庫開發(fā)過程的對應(yīng)關(guān)系：

3/16/2002242.11數(shù)據(jù)倉庫管理主要任務(wù)：設(shè)計(jì)和開發(fā)數(shù)據(jù)倉庫支持體系結(jié)構(gòu)開發(fā)和測試數(shù)據(jù)倉庫日常運(yùn)作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試數(shù)據(jù)備份與恢復(fù)程序開發(fā)和測試安全系統(tǒng)設(shè)計(jì)和開發(fā)操作人員/最終用戶培訓(xùn)計(jì)劃建立用戶支持和培訓(xùn)材料使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項(xiàng)目：《數(shù)據(jù)倉庫管理過程說明書》《數(shù)據(jù)備份過程設(shè)計(jì)說明書》《安全管理模塊設(shè)計(jì)說明書》《用戶培訓(xùn)計(jì)劃》及《用戶使用手冊》數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/2002252.12解決方案集成(系統(tǒng)驗(yàn)收與試運(yùn)行)主要任務(wù)：建立并執(zhí)行集成測試計(jì)劃建立并執(zhí)行數(shù)據(jù)倉庫平臺測試計(jì)劃建立并執(zhí)行系統(tǒng)驗(yàn)收測試計(jì)劃移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶培訓(xùn)計(jì)劃實(shí)施數(shù)據(jù)倉庫管理基礎(chǔ)設(shè)施項(xiàng)目實(shí)施完成回顧項(xiàng)目狀態(tài)交付項(xiàng)目：《數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測試報(bào)告》《數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試報(bào)告》《數(shù)據(jù)倉庫平臺測試報(bào)告》《數(shù)據(jù)倉庫管理過程測試報(bào)告》《系統(tǒng)回顧報(bào)告》數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)管理解決方案集成3/16/2