數(shù)據(jù)倉(cāng)庫(kù)基本概念培訓(xùn)

數(shù)據(jù)倉(cāng)庫(kù)入門江蘇電信EDA介紹目錄從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的理論基礎(chǔ)基本概念和基本結(jié)構(gòu)、關(guān)鍵技術(shù)數(shù)據(jù)模型的基本介紹理論概述、設(shè)計(jì)模式中國(guó)電信企業(yè)數(shù)據(jù)模型概述江蘇電信主要系統(tǒng)數(shù)據(jù)模型對(duì)比維度模型理論概述江蘇電信EDA現(xiàn)狀數(shù)據(jù)倉(cāng)庫(kù)的誕生數(shù)據(jù)倉(cāng)庫(kù)的起因數(shù)據(jù)庫(kù)方式數(shù)據(jù)倉(cāng)庫(kù)方式數(shù)據(jù)與應(yīng)用分離，以實(shí)現(xiàn)數(shù)據(jù)高度共享、支持日常業(yè)務(wù)處理過(guò)程為目的（OLTP）以支持經(jīng)營(yíng)管理過(guò)程中的決策制定為目的(DSS，OLAP,DM)20世紀(jì)90年代之前20世紀(jì)90年代之后1970年Edgar.Codd《大型共享數(shù)據(jù)庫(kù)數(shù)據(jù)的關(guān)系模型》1991年BillInmon《BuildingtheDataWarehouse》數(shù)據(jù)倉(cāng)庫(kù)起因“數(shù)據(jù)太多，信息不足”的現(xiàn)狀異構(gòu)環(huán)境的數(shù)據(jù)源事務(wù)處理環(huán)境不適宜DSS應(yīng)用事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問(wèn)題歷史數(shù)據(jù)問(wèn)題OLTP處理操作型處理也叫事務(wù)處理，是指對(duì)數(shù)據(jù)庫(kù)的日常聯(lián)機(jī)訪問(wèn)操作，通常是對(duì)一個(gè)或一組記錄的查詢和修改，主要是為企業(yè)特定的應(yīng)用服務(wù)的，所以也叫聯(lián)機(jī)事務(wù)處理(On-LineTransactionProcessing,簡(jiǎn)稱OLTP)通常僅僅是對(duì)一個(gè)或一組記錄的查詢或修改；執(zhí)行頻率高；人們關(guān)心的是處理的響應(yīng)時(shí)間、數(shù)據(jù)的安全性和完整性等指標(biāo)。OLAP處理分析型處理OLAP也叫做信息型處理，主要用于企業(yè)管理人員的決策分析，為制訂企業(yè)的未來(lái)經(jīng)營(yíng)管理計(jì)劃提供輔助決策信息。需要對(duì)大量的事務(wù)型數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、歸納和分析；需要訪問(wèn)大量的歷史數(shù)據(jù)；執(zhí)行頻率和對(duì)響應(yīng)時(shí)間的要求都不高。典型的的分析型處理決策支持系統(tǒng)(DSS--DecisionSupportSystem

)MPP(MassivelyParallelProcessing)SMP(SymmetricMultiProcessing)對(duì)稱多處理系統(tǒng)優(yōu)點(diǎn)：大并發(fā)量小數(shù)據(jù)量交互大規(guī)模并行處理系統(tǒng)優(yōu)點(diǎn)：小并發(fā)量大數(shù)據(jù)量計(jì)算IO瓶頸很難突破無(wú)法線性擴(kuò)展SMP和MPP數(shù)據(jù)分析與數(shù)據(jù)倉(cāng)庫(kù)在現(xiàn)代計(jì)算機(jī)信息系統(tǒng)中，數(shù)據(jù)的作用有兩個(gè)方面：事務(wù)處理和分析處理（數(shù)據(jù)分析），不同的用戶（處理）需要不同的數(shù)據(jù)信息。操作型數(shù)據(jù)事務(wù)處理所需要的細(xì)節(jié)性的數(shù)據(jù)，是面向企業(yè)員工的日常業(yè)務(wù)處理過(guò)程的，通常由數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)負(fù)責(zé)其存儲(chǔ)與管理。分析型數(shù)據(jù)分析處理所需的綜合性數(shù)據(jù)，是面向企業(yè)管理人員的決策需要的。數(shù)據(jù)分析與數(shù)據(jù)倉(cāng)庫(kù)特性操作型數(shù)據(jù)（DB）分析型數(shù)據(jù)（DW）定位面向應(yīng)用的事務(wù)處理面向主題的數(shù)據(jù)分析DB設(shè)計(jì)E-R模型星型/雪花模型，數(shù)據(jù)立方體數(shù)據(jù)當(dāng)前的、最新的歷史的，具有時(shí)間跨度匯總原始的，細(xì)節(jié)的集成的，一致的視圖詳細(xì)的，關(guān)系的總體的，多維的操作類型讀/寫（易變的）讀（穩(wěn)定的）存取請(qǐng)求可預(yù)知的事先未知的訪問(wèn)記錄一次操作少量記錄一次操作大量記錄DB規(guī)模100MB~GBTB工作單位短的，簡(jiǎn)單事務(wù)復(fù)雜查詢性能要求對(duì)性能要求高對(duì)性能要求較寬松數(shù)據(jù)分析與數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的定義W.H.Inmon在《建立數(shù)據(jù)倉(cāng)庫(kù)》一書中，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義為：數(shù)據(jù)倉(cāng)庫(kù)就是一個(gè)面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合，用于支持經(jīng)營(yíng)管理過(guò)程中的決策制定。數(shù)據(jù)倉(cāng)庫(kù)的基本結(jié)構(gòu)一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)一般由三個(gè)層次組成,它們是：

數(shù)據(jù)源（ETL）數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市（DataMart）三者之間通過(guò)數(shù)據(jù)倉(cāng)庫(kù)管理軟件聯(lián)系起來(lái)構(gòu)成一個(gè)完整的數(shù)據(jù)體系。數(shù)據(jù)倉(cāng)庫(kù)的基本結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)管理軟件ORACLESYBASESQLServer文件……數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市建模數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理ETL……數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基本結(jié)構(gòu)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)由數(shù)據(jù)源、數(shù)據(jù)倉(cāng)庫(kù)（DW）、倉(cāng)庫(kù)管理和分析工具四部分組成。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的三層結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)數(shù)據(jù)的抽取數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉(cāng)庫(kù)的入口。由于數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，它需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)涉及的工具Informatica：ETLDataStage：ETL數(shù)據(jù)庫(kù)的腳本工具（存儲(chǔ)過(guò)程，Perl腳本，JDBC程序。。。）數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)存儲(chǔ)和管理數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)的特性，同時(shí)也決定了其對(duì)外的數(shù)據(jù)表現(xiàn)形式。數(shù)據(jù)量很大并行處理針對(duì)決策支持查詢的優(yōu)化支持多維分析的查詢模式Teradata,DB2,Oracle,SybaseIQ數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)數(shù)據(jù)的表現(xiàn)多通過(guò)第三方的工具軟件來(lái)完成BusinessObjectsCognas自己開(kāi)發(fā)（java,flex…）其它展現(xiàn)形式：Excel表格，查詢語(yǔ)言展示BusinessInformationAdministrationTransformationToolsBusinessSubjectAreasBusinessViewsMetadataElementsMappingsBusinessViewsTemplatesDataWarehouseOperational&ExternalDataDesign元數(shù)據(jù)的作用元數(shù)據(jù)的作用早期的數(shù)據(jù)倉(cāng)庫(kù)概念僅僅提供一個(gè)多數(shù)據(jù)源的數(shù)據(jù)集成功能，為最終用戶訪問(wèn)多個(gè)數(shù)據(jù)源提供統(tǒng)一的數(shù)據(jù)視圖和訪問(wèn)接口，數(shù)據(jù)倉(cāng)庫(kù)的作用僅僅表現(xiàn)為：數(shù)據(jù)集市(DATAMART)統(tǒng)一的數(shù)據(jù)模式統(tǒng)一的數(shù)據(jù)表示統(tǒng)一的數(shù)據(jù)屬性否則，在網(wǎng)絡(luò)環(huán)境中，即使存在多個(gè)可用的數(shù)據(jù)源，但最終用戶可能仍然得不到什么可用的信息。建立數(shù)據(jù)集市的原因數(shù)據(jù)倉(cāng)庫(kù)是一種反映主題的全局性數(shù)據(jù)組織。但是,全局性數(shù)據(jù)倉(cāng)庫(kù)往往太大，在實(shí)際應(yīng)用中將它們按部門或個(gè)人分別建立反映各個(gè)子主題的局部性數(shù)據(jù)組織,它們即是數(shù)據(jù)集市。因此，有時(shí)我們也稱它為部門數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)集市(DATAMART)商品采購(gòu)數(shù)據(jù)集市庫(kù)房使用數(shù)據(jù)集市商品銷售數(shù)據(jù)集市例：在有關(guān)商品銷售的數(shù)據(jù)倉(cāng)庫(kù)中可以建立多個(gè)不同主題的數(shù)據(jù)集市：數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市的關(guān)系類似于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中的基表與視圖的關(guān)系。數(shù)據(jù)集市的數(shù)據(jù)來(lái)自數(shù)據(jù)倉(cāng)庫(kù)，它是數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一個(gè)部分與局部，是一個(gè)數(shù)據(jù)的再抽取與組織的過(guò)程。建立數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市的過(guò)程可以有兩條途徑，這實(shí)際上是反映了一個(gè)完整的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的建立過(guò)程：數(shù)據(jù)集市(DATAMART)從全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)集市從數(shù)據(jù)集市到全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市自頂向下的結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市自頂向下的結(jié)構(gòu)LocalDataMartExternalDataLocalDataMartOperationalDataEnterpriseWarehouse構(gòu)建企業(yè)數(shù)據(jù)倉(cāng)庫(kù)公共中央數(shù)據(jù)模型數(shù)據(jù)再加工減少冗余和不一致性搜集歷史的、細(xì)節(jié)的、全局的數(shù)據(jù)基于企業(yè)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建數(shù)據(jù)集市選定企業(yè)模型下的部門主題聚集數(shù)據(jù)建立集市數(shù)據(jù)對(duì)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的依賴關(guān)系數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市自頂向下的結(jié)構(gòu)優(yōu)點(diǎn)建立數(shù)據(jù)集市能夠減輕DW訪問(wèn)負(fù)載各部門可以任意處理數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換和整合在DW階段統(tǒng)一完成數(shù)據(jù)緩沖功能缺點(diǎn)成本高、見(jiàn)效慢、數(shù)據(jù)集市間不共享資源數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市自底向上的結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市自底向上的結(jié)構(gòu)構(gòu)建數(shù)據(jù)集市劃定主題區(qū)快速實(shí)施，本地自治易于復(fù)制數(shù)據(jù)再加工允許一定的冗余和不一致基于數(shù)據(jù)集市構(gòu)建企業(yè)數(shù)據(jù)倉(cāng)庫(kù)確定各數(shù)據(jù)集市的可用性模型的合并消除不同數(shù)據(jù)集市之間的數(shù)據(jù)不一致性LocalDataMartOperationalData(Global)&ExternalDataOperationalData(Local)OperationalData(Local)LocalDataMartEnterpriseWarehouse數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市自底向上的結(jié)構(gòu)優(yōu)點(diǎn)見(jiàn)效快、啟動(dòng)資金少

缺點(diǎn)各個(gè)部門都要進(jìn)行數(shù)據(jù)清理整合可能造成“蜘蛛網(wǎng)”、數(shù)據(jù)不一致等問(wèn)題并且總體上沒(méi)有節(jié)約資金

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市總線結(jié)構(gòu)的數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市總線結(jié)構(gòu)的數(shù)據(jù)集市特點(diǎn)不建立數(shù)據(jù)倉(cāng)庫(kù)而直接建立數(shù)據(jù)集市各個(gè)數(shù)據(jù)集市不是孤立的，相互之間通過(guò)一種共享維表和事實(shí)表的“總線結(jié)構(gòu)”緊密聯(lián)系在一起。(如下圖)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市總線結(jié)構(gòu)的數(shù)據(jù)集市優(yōu)點(diǎn)共享維表和事實(shí)表，解決了建立數(shù)據(jù)集市的許多問(wèn)題缺點(diǎn)這種結(jié)構(gòu)基于多維模型，應(yīng)用限制于OLAP多個(gè)數(shù)據(jù)源直接影響多個(gè)集市造成結(jié)構(gòu)不十分穩(wěn)定TDW的客戶化方法自頂向下BLevel12業(yè)務(wù)驅(qū)動(dòng)跨OSS/BSS的數(shù)據(jù)源采樣,元數(shù)據(jù)逆向工程并映射到TSDMB-Level主題域。跟蹤B-Level到C’Level，在需要時(shí)創(chuàng)建新的TDWM子類型和屬性.BLevel自底向上數(shù)據(jù)

驅(qū)動(dòng)客戶化BSTBLevel范圍C’TDWMExtC’OSSC’TDWM客戶化BST12C’TDWM客戶化TDWM到BST模板的映射。SOR參照表映射到BST維度；SOR事件映射到監(jiān)控單元和BST度量指標(biāo)?？蛻艋疊Level范圍推導(dǎo)出C’LevelTDWM客戶化。維度映射到到SOR參照表;度量指標(biāo)映射到SOR事件子類和監(jiān)控單元匯總。根據(jù)需要?jiǎng)?chuàng)建新的TDWM子類型和屬性?？蛻艋鄠€(gè)不同的B-LevelBST模板。維度定義了B-Level的范圍.數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市企業(yè)級(jí)數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)模型的理論概述數(shù)據(jù)模型的基本介紹數(shù)據(jù)模型與業(yè)務(wù)數(shù)據(jù)模型的首要目標(biāo)：滿足業(yè)務(wù)需求。建模是業(yè)務(wù)需求具體化的過(guò)程。對(duì)特定業(yè)務(wù)活動(dòng)進(jìn)行的描述往往不止一種通常只有一種描述方法是最符合業(yè)務(wù)需求現(xiàn)實(shí)世界計(jì)算機(jī)世界關(guān)系數(shù)據(jù)模型E.F.Codd(1970)大型共享數(shù)據(jù)庫(kù)數(shù)據(jù)的關(guān)系模型關(guān)系就是表（表描述了關(guān)系）關(guān)系模型的數(shù)據(jù)理論基礎(chǔ)具有固定的穩(wěn)定性關(guān)系模型的關(guān)鍵原理是：關(guān)系不包含重復(fù)數(shù)據(jù)、且記錄之間沒(méi)有順序規(guī)范化的重要性規(guī)范化–

（1NF,2NF,3NF）原理：按照嚴(yán)格的邏輯要求，將不同的數(shù)據(jù)組織在一起，使它們成為結(jié)構(gòu)化的信息。重要性：使混沌變得有序規(guī)范化的重要基礎(chǔ)是：模型必須具有原子性合理規(guī)范化的模型可應(yīng)對(duì)需求變更規(guī)范化使數(shù)據(jù)重復(fù)降至最少第一范式1NF確保原子性避免多個(gè)值塞進(jìn)同一個(gè)字符串高效搜索能力和由DB保證的數(shù)據(jù)正確性所有屬性都具有原則性、且確定了鍵，就是1NF了業(yè)務(wù)主鍵–

系統(tǒng)主鍵反例：程控業(yè)務(wù)編碼串(一位字母表示一種)第二范式2NF檢查對(duì)鍵的完全依賴性（主鍵是多字段時(shí)）去除只部分依賴鍵的屬性后，表就符合2NF為了消除鍵的部分依賴性，必須建立新表反例：汽車型號(hào)、行駛里程、廠商、座位數(shù)第三范式3NF檢查屬性獨(dú)立性除了唯一鍵包含的屬性之外，不能根據(jù)任何其他屬性確定一個(gè)屬性的值，就是3NF故意不滿足3NF，例如維度模型反例：電話號(hào)碼、身份證號(hào)、客戶名稱建模過(guò)程中的注意點(diǎn)MakingEasyThingsEasy&HardThingsPossible（產(chǎn)品的屬性）平衡：設(shè)計(jì)不足與設(shè)計(jì)過(guò)度過(guò)于靈活的危險(xiǎn)（對(duì)象、屬性、關(guān)聯(lián)）子類型的使用不要受到OO技術(shù)的影響空值的使用一定要清楚它的危險(xiǎn)（排序等）必須考慮到處理數(shù)據(jù)的方式（事務(wù)、批量）歷史數(shù)據(jù)的難題（如何體現(xiàn)變化的過(guò)程）數(shù)據(jù)模型的基本介紹數(shù)據(jù)模型設(shè)計(jì)模式規(guī)格Specification--以數(shù)據(jù)定義數(shù)據(jù)以數(shù)據(jù)定義數(shù)據(jù)，能迅速適應(yīng)業(yè)務(wù)變化和滿足新的業(yè)務(wù)要求規(guī)格數(shù)據(jù)：描述業(yè)務(wù)對(duì)象應(yīng)該是怎樣，包括對(duì)象具有什么屬性、屬性如何取值、該類對(duì)象與其它類型對(duì)象的關(guān)系以及該類對(duì)象本身之間的關(guān)系等等。就像圖紙。實(shí)例數(shù)據(jù)：描述某個(gè)業(yè)務(wù)對(duì)象的實(shí)際信息。就像按照?qǐng)D紙生產(chǎn)出來(lái)的產(chǎn)品。當(dāng)新需求出現(xiàn)時(shí)，我們修改配置數(shù)據(jù)而不是修改數(shù)據(jù)結(jié)構(gòu)和程序規(guī)格Specification--以數(shù)據(jù)定義數(shù)據(jù)舉例規(guī)格的使用產(chǎn)品規(guī)格電話ADSL服務(wù)規(guī)格本地通話長(zhǎng)途通話來(lái)電顯示Internet接入……產(chǎn)品屬性上行速率下行速率……接入號(hào)碼類型普通電話號(hào)碼寬帶虛擬號(hào)款待接入帳號(hào)……產(chǎn)品服務(wù)84338239本地通話84338239長(zhǎng)途通話84338234來(lái)電顯示84338234鬧鐘服務(wù)……產(chǎn)品屬性屬性值B0000123上行速率512B0000123下行速率1000B0000124上行速率512B0000124下行速率2000……規(guī)格數(shù)據(jù)實(shí)例數(shù)據(jù)抽象AbstractSuperclass

——求同忽略細(xì)節(jié)上的差異，關(guān)注對(duì)象的本質(zhì)特性簡(jiǎn)化功能和信息簡(jiǎn)化與其他實(shí)體的關(guān)聯(lián)抽象的使用封裝Encapsulation

——存異于有限的范圍內(nèi)隱藏對(duì)象內(nèi)部的信息分離對(duì)象的外部行為和內(nèi)部實(shí)現(xiàn)封裝的使用CRM資源系統(tǒng)關(guān)系與角色Relation&Role

——分清本質(zhì)與關(guān)聯(lián)將對(duì)象間的關(guān)系獨(dú)立描述，進(jìn)一步提高了模型的穩(wěn)定性和可擴(kuò)展性角色類型能夠區(qū)別不同種類的關(guān)聯(lián)實(shí)例化的角色將對(duì)象的固有信息和關(guān)系性信息分離例如：產(chǎn)品間存在擔(dān)保、捆綁支付等關(guān)系，我們通過(guò)關(guān)系+關(guān)系角色類型來(lái)描述；參與人與產(chǎn)品之間的關(guān)系，我們通過(guò)實(shí)例化的參與人角色以及這些角色之間的關(guān)系來(lái)描述。關(guān)系與角色Relation&Role

——分清本質(zhì)與關(guān)聯(lián)3個(gè)層次上對(duì)關(guān)系的描述關(guān)系與角色的使用組合Composite

——保持一致對(duì)外組合使得該類型實(shí)體可以通過(guò)一個(gè)單點(diǎn)與其他實(shí)體發(fā)生關(guān)聯(lián)組合抽象了個(gè)體（individual，如：電話）、組裝（assemblies，如：虛擬網(wǎng)）、集合（collections，如：全家福），使得這些不同的情況對(duì)外可以有一致的表述組合Composite

——保持一致對(duì)外組合的另一面——描述選擇日常工作和生活中我們每天面臨很多選擇，小至食堂選菜、大至系統(tǒng)架構(gòu)的選擇BSS中也有很多需要描述的選擇，例如：選擇一個(gè)產(chǎn)品上所開(kāi)通的服務(wù)、選擇一個(gè)套餐的購(gòu)成方案等等問(wèn)題在于：這些選擇如何能夠用數(shù)據(jù)模型精確地描述？選擇舉例組合產(chǎn)品對(duì)事物的分類目錄–

對(duì)規(guī)格進(jìn)行分類分段（標(biāo)簽）–

對(duì)實(shí)例進(jìn)行分類避免混淆“屬性”和“分類”中國(guó)電信企業(yè)數(shù)據(jù)模型概述企業(yè)數(shù)據(jù)模型演進(jìn)歷程回顧企業(yè)數(shù)據(jù)模型1.02003年南京電信負(fù)責(zé)EDM的試點(diǎn)2004年主要完成設(shè)計(jì)參與人、產(chǎn)品、帳務(wù)、市場(chǎng)營(yíng)銷、事件和地域6個(gè)主題域企業(yè)數(shù)據(jù)模型2.02005年主要完善參與人、產(chǎn)品、帳務(wù)等6個(gè)主題域，完成資源和財(cái)務(wù)主題域建模工作企業(yè)數(shù)據(jù)模型3.02007年主要完善參與人、產(chǎn)品、帳務(wù)、市場(chǎng)營(yíng)銷、事件和地域BSS部分6個(gè)主題域NGOSSSIDTeradatacLDM7.0CTG-EDM服務(wù)通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)/網(wǎng)絡(luò)支持服務(wù)網(wǎng)絡(luò)產(chǎn)生事件/事件包括網(wǎng)絡(luò)類產(chǎn)品被銷售給客戶/參與人使用和管理產(chǎn)品跟蹤應(yīng)付&應(yīng)收/提供成本&收入歷史事件包含財(cái)務(wù)類參與人產(chǎn)生和經(jīng)歷事件/事件包括參與人的產(chǎn)品/服務(wù)產(chǎn)生事件

事件包括產(chǎn)品類營(yíng)銷產(chǎn)生事件事件實(shí)現(xiàn)營(yíng)銷營(yíng)銷被鎖定位置/位置定位營(yíng)銷針對(duì)特定產(chǎn)品/產(chǎn)品通過(guò)營(yíng)銷推向市場(chǎng)為參與人建立帳戶、帳單/記錄帳戶、成本和付款服務(wù)使用的帳務(wù)信息/帳務(wù)記錄產(chǎn)品的成本和付款定位網(wǎng)絡(luò)/網(wǎng)絡(luò)支持的位置營(yíng)銷的目標(biāo)針對(duì)參與人/參與人是營(yíng)銷的受眾包括消費(fèi)者和運(yùn)營(yíng)商在內(nèi)/

位置定位FinanceManagement（財(cái)務(wù)管理）BILLING（帳務(wù)）NETWORK（網(wǎng)絡(luò)資源）PRODUCT（產(chǎn)品）MARKETING（市場(chǎng)營(yíng)銷）LOCATION（地域）PARTY（參與人）EVENT(事件)跟蹤總帳/負(fù)責(zé)EDM的定位企業(yè)目標(biāo)業(yè)務(wù)規(guī)律企業(yè)級(jí)概念數(shù)據(jù)模型企業(yè)級(jí)邏輯數(shù)據(jù)模型系統(tǒng)概念數(shù)據(jù)模型系統(tǒng)邏輯數(shù)據(jù)模型系統(tǒng)物理數(shù)據(jù)模型業(yè)務(wù)需求技術(shù)實(shí)現(xiàn)企業(yè)級(jí)系統(tǒng)級(jí)遵照參考細(xì)化/基于EDM企業(yè)數(shù)據(jù)模型作用企業(yè)級(jí)概念數(shù)據(jù)模型（CDM）企業(yè)級(jí)邏輯數(shù)據(jù)模型（LDM）

統(tǒng)一企業(yè)重要業(yè)務(wù)概念，作為業(yè)務(wù)人員之間以及業(yè)務(wù)人員和系統(tǒng)人員之間溝通的橋梁。

以數(shù)據(jù)字典為基礎(chǔ)，制定企業(yè)級(jí)信息分類標(biāo)準(zhǔn)，如產(chǎn)品目錄、帳目類型、客戶分類、會(huì)計(jì)科目等

在建設(shè)運(yùn)營(yíng)支撐系統(tǒng)時(shí)作為其邏輯數(shù)據(jù)模型設(shè)計(jì)的重要參考

在建設(shè)數(shù)據(jù)倉(cāng)庫(kù)時(shí)，直接作為運(yùn)營(yíng)數(shù)據(jù)倉(cāng)儲(chǔ)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)統(tǒng)一層的邏輯數(shù)據(jù)模型，整合來(lái)自不同源系統(tǒng)的數(shù)據(jù)

在系統(tǒng)整合時(shí)，作為系統(tǒng)之間信息交換標(biāo)準(zhǔn)的參考

描述了整個(gè)企業(yè)信息數(shù)據(jù)的完整模型，包含了數(shù)據(jù)實(shí)體定義、屬性、描述以及實(shí)體與實(shí)體間關(guān)系的描述。

定義重要的業(yè)務(wù)概念和彼此的關(guān)系，如客戶、產(chǎn)品、帳務(wù)、合作伙伴、網(wǎng)絡(luò)資源、渠道、營(yíng)銷活動(dòng)等。企業(yè)數(shù)據(jù)模型建模思路CDMLDMCDM把體現(xiàn)重要業(yè)務(wù)概念的對(duì)象實(shí)體和關(guān)系突出出來(lái)，重點(diǎn)描述，便于分析和管理CDM側(cè)重于業(yè)務(wù)邏輯，會(huì)把重要的業(yè)務(wù)概念展開(kāi)出來(lái)描述，確保概念詳細(xì)LDM側(cè)重于系統(tǒng)實(shí)現(xiàn)，可能會(huì)把CDM中展開(kāi)的多個(gè)實(shí)體歸并到一個(gè)通用對(duì)象中表現(xiàn)，確保系統(tǒng)簡(jiǎn)潔CDM的業(yè)務(wù)概念指導(dǎo)LDM的設(shè)計(jì)LDM的設(shè)計(jì)和實(shí)施經(jīng)驗(yàn)也會(huì)促進(jìn)CDM的改進(jìn)和完善中國(guó)電信企業(yè)數(shù)據(jù)模型企業(yè)數(shù)據(jù)模型CDM/LDM示例客戶客戶評(píng)估屬性信用度貢獻(xiàn)度忠誠(chéng)度滿意度服務(wù)等級(jí)積分CDMLDM客戶特性類型特性值客戶屬性概念名稱概念定義/描述概念說(shuō)明和使用規(guī)則客戶是指已經(jīng)訂購(gòu)中國(guó)電信銷售品或可能訂購(gòu)中國(guó)電信銷售品的個(gè)人或組織。客戶包括潛在客戶、在網(wǎng)客戶和離網(wǎng)客戶?？蛻艟哂幸欢ǖ纳芷?，潛在客戶訂購(gòu)中國(guó)電信銷售品后成為在網(wǎng)客戶，在網(wǎng)客戶注銷了所有銷售品后成為離網(wǎng)客戶。離網(wǎng)客戶再次訂購(gòu)銷售品后成為在網(wǎng)客戶；在網(wǎng)客戶有較為完整的客戶信息，可關(guān)聯(lián)到產(chǎn)品實(shí)例、賬戶等信息。離網(wǎng)客戶在中國(guó)電信留有較為完整的客戶信息，從歷史信息記錄中可以查詢得到產(chǎn)品實(shí)例信息、賬戶信息等。潛在客戶在中國(guó)電信可能存在客戶信息。。。產(chǎn)品電信產(chǎn)品簡(jiǎn)稱產(chǎn)品，是電信企業(yè)可銷售給客戶，利用企業(yè)資源提供的實(shí)物或通信功能、信息、服務(wù)的單元（如無(wú)特殊說(shuō)明，一般指中國(guó)電信提供的產(chǎn)品）。企業(yè)資源是電信企業(yè)所擁有、管理或使用的對(duì)企業(yè)運(yùn)營(yíng)有價(jià)值的生產(chǎn)要素的統(tǒng)稱，包括整合合作伙伴的資源信息是電信企業(yè)提供的用語(yǔ)言、文字、數(shù)字、符號(hào)、圖象、聲音等方式傳遞的信號(hào)和消息。比如中國(guó)電信提供的歌曲、影視等內(nèi)容類信息。服務(wù)是電信企業(yè)以人力為主可以向客戶獨(dú)立提供的一種可銷售的勞動(dòng)活動(dòng)?！蔼?dú)立”意味著客戶在不擁有任何電信產(chǎn)品情況下就可以提供。比如中國(guó)電信向客戶提供的咨詢、培訓(xùn)類服務(wù)；向中國(guó)網(wǎng)通客戶提供的裝機(jī)服務(wù)。信息可復(fù)制，服務(wù)不可復(fù)制，服務(wù)的結(jié)果可以復(fù)制。產(chǎn)品可以是功能、信息、服務(wù)的綜合體。比如IT的集成方案，電信提供IT集成的過(guò)程是服務(wù)，集成的方案是信息。對(duì)于這樣的綜合體，我們依據(jù)客戶認(rèn)知的主體來(lái)劃分其產(chǎn)品分類。。。示例企業(yè)數(shù)據(jù)模型設(shè)計(jì)框架分解分解CRM與計(jì)費(fèi)系統(tǒng)融合時(shí)的設(shè)計(jì)原則企業(yè)級(jí)數(shù)據(jù)模型CRM數(shù)據(jù)模型計(jì)費(fèi)數(shù)據(jù)模型數(shù)據(jù)模型交集部分參與人產(chǎn)品帳務(wù)地域定價(jià)市場(chǎng)營(yíng)銷事件資源財(cái)務(wù)參與人主題域客戶相關(guān)實(shí)體、關(guān)系以CRM為準(zhǔn)，結(jié)合計(jì)費(fèi)的需求，細(xì)化和完善客戶相關(guān)模型合作伙伴、競(jìng)爭(zhēng)對(duì)手等實(shí)體、關(guān)系等，以CRM為準(zhǔn)帳務(wù)主題域帳務(wù)關(guān)系定制相關(guān)實(shí)體，CRM與計(jì)費(fèi)融合定價(jià)相關(guān)的實(shí)體、關(guān)系以計(jì)費(fèi)模型為準(zhǔn)，基本保持不變賬目、余額等實(shí)體、關(guān)系以計(jì)費(fèi)模型為準(zhǔn)，基本保持不變產(chǎn)品主題域統(tǒng)一CRM與計(jì)費(fèi)的產(chǎn)品、銷售品概念，統(tǒng)一CRM與計(jì)費(fèi)產(chǎn)品、銷售品粒度產(chǎn)品域CRM與計(jì)費(fèi)的數(shù)據(jù)模型融合地域主題域細(xì)分各自地域劃分需求，明確實(shí)體概念模型層面交叉部分實(shí)現(xiàn)融合事件主題域CRM關(guān)心客戶交互過(guò)程，計(jì)費(fèi)關(guān)心計(jì)費(fèi)內(nèi)部業(yè)務(wù)事件和使用記錄重點(diǎn)考慮客戶交互事件市場(chǎng)營(yíng)銷主題域計(jì)費(fèi)系統(tǒng)不直接涉及市場(chǎng)營(yíng)銷過(guò)程管理重點(diǎn)考慮CRM業(yè)務(wù)需求核心概念－產(chǎn)品規(guī)格核心概念－銷售品規(guī)格繼承和完善銷售品體系修改關(guān)鍵點(diǎn)明確基礎(chǔ)類銷售品及套餐類銷售品的分類，以及相互之間的關(guān)系梳理銷售品和定價(jià)計(jì)劃之間的關(guān)系，使得銷售品成為售賣和定價(jià)的中介基礎(chǔ)類銷售品是只有一個(gè)能獨(dú)立提供通信功能的產(chǎn)品和所有必須依賴它提供通信功能的產(chǎn)品或只有一個(gè)信息、服務(wù)、實(shí)物產(chǎn)品提供組合、定價(jià)、包裝而成，不含優(yōu)惠資費(fèi)的銷售品。套餐類銷售品通常是指對(duì)單個(gè)或多個(gè)產(chǎn)品進(jìn)行組合、包裝和重新定價(jià)，以一個(gè)整體提供給既定目標(biāo)客戶群的銷售品。銷售品是中國(guó)電信以營(yíng)銷為目的，按照一定的市場(chǎng)策略，對(duì)產(chǎn)品進(jìn)行組合、定價(jià)、包裝后形成的可直接提供給客戶選擇的銷售單元。JS.CRM–EDM3.0可組合產(chǎn)品實(shí)例銷售品實(shí)例實(shí)例化實(shí)例化包裝/銷售包含/構(gòu)成可組合銷售品規(guī)格產(chǎn)品規(guī)格可組合服務(wù)規(guī)格包含/構(gòu)成產(chǎn)品實(shí)例客戶類服務(wù)實(shí)例實(shí)例化包含/構(gòu)成實(shí)例化包裝/銷售OFFERING產(chǎn)品規(guī)格資源類服務(wù)實(shí)例支持/依賴PROD_2_PP資費(fèi)計(jì)劃資費(fèi)計(jì)劃江蘇電信主要系統(tǒng)數(shù)據(jù)模型CRM-BILL數(shù)據(jù)模型產(chǎn)品實(shí)例產(chǎn)品規(guī)格商品與資費(fèi)計(jì)劃帳戶ODS的產(chǎn)品實(shí)例產(chǎn)品實(shí)例PRODUCTPROD_IDPROD_SPEC_IDOWNER_IDSERVSERV_IDAGREEMENT_IDCUST_IDPRODUCT_IDPROD_SPECPROD_SPEC_IDPRODUCTPRODUCT_IDPRODUCT_CODEPRODUCT_CLASSIFICATION(=10A)參見(jiàn)下頁(yè)產(chǎn)品實(shí)例產(chǎn)品規(guī)格產(chǎn)品規(guī)格只有少數(shù)組合產(chǎn)品（虛擬網(wǎng)、專線等）存在對(duì)應(yīng)PROD_SPEC（單產(chǎn)品）PROD_SPEC_IDCOMP_PROD(=N)PROD_SPEC（組合產(chǎn)品）PROD_SPEC_IDCOMP_PROD(=Y)PRODUCTPRODUCT_IDPRODUCT_CODEPRODUCT_CLASSIFICATION(=10A)SERV_SPECSERV_SPEC_IDSERV_SPEC_TYPE_CD商品（單產(chǎn)品）PROD_2_PPPROD_2_PP_IDPRICE_PLAN_CDPROD_IDPRODUCT_OFFER_INSTANCEPRODUCT_OFFER_INSTANCE_IDCUST_IDCUST_AGREEMENT_IDPRODUCT_OFFER_IDPRODUCT_OFFER_INSTANCE_DETAILPRODUCT_OFFER_INSTANCE_IDINSTANCE_TYPE(=10A)INSTANCE_ID商品（套餐）PROD_2_PPPROD_2_PP_IDPRICE_PLAN_CDPROD_IDPRODUCT_OFFER_INSTANCEPRODUCT_OFFER_INSTANCE_IDCUST_IDCUST_AGREEMENT_IDPRODUCT_OFFER_IDPRODUCT_OFFER_INSTANCE_DETAILPRODUCT_OFFER_INSTANCE_IDINSTANCE_IDINSTANCE_TYPE(=10A)COMP_PRODCOMP_PROD_IDSUB_PROD_IDBSS側(cè)的組合產(chǎn)品實(shí)例在BILL側(cè)沒(méi)有對(duì)應(yīng)的SERV套餐商品1：N1：N資費(fèi)計(jì)劃（銷售品）PRICE_PLANPRICE_PLAN_CDNAMEPRODUCT_OFFEROFFER_IDPRICE_PLAN_IDNAMEINTF.B2C_PROD_OFFER_SPEC_PRICEPROD_OFFER_SPEC_CDPRICE_PLAN_CD計(jì)費(fèi)私有的銷售品沒(méi)有對(duì)應(yīng)關(guān)系PRICE_PLANPRICE_PLAN_CDNAMEPRODUCT_OFFEROFFER_IDPRICE_PLAN_IDNAMEINTERFACE.TIF_PRODUCT_OFFER_MAP

PRICE_PLAN_CDOFFER_ID計(jì)費(fèi)私有的銷售品沒(méi)有對(duì)應(yīng)關(guān)系，計(jì)費(fèi)的一個(gè)銷售品可能對(duì)應(yīng)多個(gè)BSS的資費(fèi)計(jì)劃賬戶PRODUCTPROD_IDACCOUNTACCT_IDACCT_CDPARTY_IDACCT_NAMEPROD_ACCOUTPROD_IDACCT_IDCHARGE_ITEM_CD(=0)SERVSERV_IDACCTACCT_IDACCT_NBR_97CUST_IDACCT_NAMESERV_ACCTSERV_ACCT_ID(KEY)SERV_IDACCT_IDSTATE(=10A)ITEM_GROUP_ID(=1)ODS中產(chǎn)品實(shí)例:ODS_PRODUCTPROD_ID主鍵同CRM的主鍵ODS_CITY本地網(wǎng)標(biāo)識(shí)分區(qū)的依據(jù)ODS_CREATE_DTODS_MODIFY_DTMAIN_STATUS_CD主狀態(tài)開(kāi)通、拆機(jī)BUSI_STATUS_CD業(yè)務(wù)狀態(tài)除主狀態(tài)以外的AN_SUB副接入號(hào)例如寬帶帳號(hào)PROD_RELA_6線路共享產(chǎn)品IDADSLCHANNEL_ID受理渠道…

…維度模型理論概述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)模型“Inmon”派和“Kimball”派之爭(zhēng)。Inmon提倡完全按照3NF的要求設(shè)計(jì)“決策支持系統(tǒng)使用的數(shù)據(jù)倉(cāng)庫(kù)”。Kimball認(rèn)為應(yīng)該用“維度模型”取代3NF模型。目前kimball理論在眾多的中小數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中發(fā)展非常迅速。先后數(shù)據(jù)集市還是先有數(shù)據(jù)倉(cāng)庫(kù)？對(duì)比InmonKimball模型種類ER模型/3NF維度模型適應(yīng)業(yè)務(wù)變化能力很強(qiáng)較弱查詢效率較低很高易于理解度較低較高數(shù)據(jù)冗余度較低較高適應(yīng)面很寬較窄維度模型維度模型經(jīng)常違反3NF。維度模型的內(nèi)容來(lái)自于3NF模型中的數(shù)據(jù)。維度模型要求專門面向讀操作而設(shè)計(jì)，所以經(jīng)常忽略關(guān)系設(shè)計(jì)的規(guī)則。維度模型比事務(wù)型模型簡(jiǎn)單，業(yè)務(wù)人員更容易理解和使用。維度模型是種技術(shù)而不是理論維度模型可以容忍地毯式索引-只