元數(shù)據(jù)管理與CWM標準

1、 元數(shù)據(jù)管理與CWM標準中國移動業(yè)務支撐系統(tǒng)部2008-04 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 元數(shù)據(jù)定義 “關于數(shù)據(jù)的數(shù)據(jù)” 比一般意義的數(shù)據(jù)范疇更加廣泛 不僅表示數(shù)據(jù)的類型、名稱、值等信息 提供數(shù)據(jù)的上下文描述信息（比如數(shù)據(jù)的所屬區(qū)域、取值范圍、數(shù)據(jù)間的關系、業(yè)務規(guī)則、數(shù)據(jù)來源等等） 元數(shù)據(jù)定義TransformationRelationalTHE BUSINESSPEOPLEPROCESSINFORMATION SYSTEMSPRODUCTSGOALSPROJECTSROLESMeta Data

2、 經(jīng)營分析系統(tǒng)關心的元數(shù)據(jù) 業(yè)務元數(shù)據(jù) 業(yè)務名稱、定義、描述和別名來表示數(shù)據(jù)倉庫和業(yè)務系統(tǒng)中的各種屬性，直接供業(yè)務分析人員使用 業(yè)務元數(shù)據(jù)使經(jīng)營分析系統(tǒng)使用人員能夠更好理解、使用數(shù)據(jù)倉庫，成為經(jīng)營分析系統(tǒng)使用人員在數(shù)據(jù)倉庫中的業(yè)務向?qū)?經(jīng)營分析系統(tǒng)關心的元數(shù)據(jù) 技術元數(shù)據(jù)包含關于經(jīng)營分析系統(tǒng)數(shù)據(jù)技術層面的信息 數(shù)據(jù)源元數(shù)據(jù) ETL元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù) 數(shù)據(jù)集市元數(shù)據(jù) OLAP SERVER元數(shù)據(jù) 前端展現(xiàn)元數(shù)據(jù) 其它類型元數(shù)據(jù)（挖掘模型，數(shù)據(jù)質(zhì)量分析結果等） 經(jīng)營分析系統(tǒng)關心的元數(shù)據(jù) 管理元數(shù)據(jù)主要是指經(jīng)營分析日常建設過程中，涉及開發(fā)、運維等管理流程的基本信息。 提綱 元數(shù)據(jù)管理基本概念 元

3、數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 元數(shù)據(jù)管理 管理商業(yè)智能系統(tǒng)的元數(shù)據(jù) 貫穿商業(yè)智能系統(tǒng)的各個環(huán)節(jié) 系統(tǒng)的各個處理單元由元數(shù)據(jù)驅(qū)動 管理元數(shù)據(jù)的意義 有哪些數(shù)據(jù)？ 它們在哪里用？ 它的業(yè)務定義是什么？ 這個數(shù)據(jù)還叫什么？ 它與其他數(shù)據(jù)有什么關系？ 誰用這個數(shù)據(jù)？ 為什么我們要用它？ 最近修改是什么時候？ 這些數(shù)據(jù)準確、可靠嗎？ 管理元數(shù)據(jù)的意義 理解企業(yè)內(nèi)部的信息資源 動態(tài)的數(shù)據(jù)字典 數(shù)據(jù)的瀏覽和歸納 數(shù)據(jù)在企業(yè)內(nèi)部橫向與縱向傳遞 保持整個企業(yè)的標準（保證企業(yè)內(nèi)部統(tǒng)一的商業(yè)定義和商業(yè)規(guī)則） 數(shù)據(jù)生命周期的管理 元數(shù)據(jù)管理的幾個概

4、念 元模型（元模型（meta model） 元數(shù)據(jù)庫（元數(shù)據(jù)庫（metadata repository） 元數(shù)據(jù)管理工具元數(shù)據(jù)管理工具 元模型 關于元數(shù)據(jù)的“元數(shù)據(jù)” MDIS (Meta Data Interchange Specification) 元數(shù)據(jù)聯(lián)盟發(fā)布的元數(shù)據(jù)交換規(guī)范 OIM (Open Information Model) CA和微軟的元數(shù)據(jù)標準 OIM組織已經(jīng)解散 CWM (Common Warehouse Metamodel) OMG組織制定的標準 得到IBM，NCR，SAS，Hyperion等公司支持 利用XMI文件進行交換 元數(shù)據(jù)庫 元數(shù)據(jù)庫就是一個邏輯上的統(tǒng)一存儲元

5、數(shù)據(jù)的地點 元數(shù)據(jù)存儲常見的形式 分散存儲 統(tǒng)一存儲，提供不同接口 統(tǒng)一存儲，統(tǒng)一接口 不同系統(tǒng)各自提供元數(shù)據(jù)接口n 實現(xiàn)復雜n元數(shù)據(jù)不統(tǒng)一n易成為”蜘蛛網(wǎng)” 中央元數(shù)據(jù)存儲n所有存取必須通過中央存儲n元數(shù)據(jù)交換不方便n中央元數(shù)據(jù)存儲必須對每一個系統(tǒng)有轉(zhuǎn)換接口 基于標準的中央元數(shù)據(jù)管理n有利于元數(shù)據(jù)的交換n屏蔽系統(tǒng)內(nèi)部變化n中央元數(shù)據(jù)只需要統(tǒng)一接口 元數(shù)據(jù)管理工具 元數(shù)據(jù)瀏覽、展示和管理的平臺 知名的元數(shù)據(jù)管理工具包括： Meta Center Meta Matrix Meta Integration DB2, Teradata,Oracle等數(shù)據(jù)倉庫中的元數(shù)據(jù)管理模塊 提綱 元數(shù)據(jù)管理基本概

6、念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 CWM標準背景 OMG是一個擁有500多會員的國際標準化組織，著名的CORBA標準即出自該組織。 公共倉庫元模型（Common Warehouse Metamodel）的主要目的是在異構環(huán)境下，幫助不同的數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進行元數(shù)據(jù)交換。 CWM標準的意義 在形成標準以前，要進行集成的情況如下圖所示：數(shù)據(jù)建模工具抽取與轉(zhuǎn)換工具前端訪問工具數(shù)據(jù)質(zhì)量評估工具 CWM標準的意義 在形成標準以后的情況如下圖所示：數(shù)據(jù)建模工具抽取與轉(zhuǎn)換工具前端訪問工具數(shù)據(jù)質(zhì)量評估工具元數(shù)據(jù)元數(shù)據(jù)存儲與

7、存儲與管理管理數(shù)據(jù)倉庫與元數(shù)據(jù)倉庫與元數(shù)據(jù)管理員數(shù)據(jù)管理員 CWM的發(fā)展狀況 成為OMG提出的基于模型驅(qū)動的體系結構（MDA）的核心之一（其它是MOF和UML） CWM標準概述 CWM標準是基于以下工業(yè)標準制定的： UML：它對CWM模型進行建模。 MOF（元對象設施）：為CWM提供元模型的體系結構和元模型語言的語義；MOF反射接口為存取CWM元數(shù)據(jù)提供通用的API接口；MOF到IDL的映射為存儲CWM元數(shù)據(jù)提供了一種產(chǎn)生CWM IDL 接口的機制。 XMI（XML元數(shù)據(jù)交換）：它可以使元數(shù)據(jù)以XML文件流的方式進行交換。 CORBA IDL(CORBA 接口定義語言) OMG元數(shù)據(jù)體系結構

8、OMG元數(shù)據(jù)體系結構實例PRODUCT IDNAMECOLOR1001WidgetRed2002GizmoBlue2002SprogetTeal4034ThingamgigerGray5035GadgetYelloPRODUCT表和它的記錄表和它的記錄M0層層 OMG元數(shù)據(jù)體系結構實例M1層層ProductIDNameColorisActive=TureDataType=“Integer”DataType=“String”DataType=“String”Product表元數(shù)據(jù)表元數(shù)據(jù) OMG元數(shù)據(jù)體系結構實例M2層層簡單關系型表元模型簡單關系型表元模型 CWM元數(shù)據(jù)存儲和接口實現(xiàn) CWM的發(fā)

9、展狀況 絕大多數(shù)數(shù)據(jù)倉庫和元數(shù)據(jù)管理工具已經(jīng)支持CWM，或已經(jīng)宣布在下一版本的產(chǎn)品中支持CWM。 已經(jīng)被JAVA標準化組織著手擴展到J2EE體系結構當中，形成JMI（JAVA Metadata Interchange）規(guī)范、用于OLAP分析的JOLAP規(guī)范和用于數(shù)據(jù)挖掘的JDMAPI規(guī)范。 CWM的合作伙伴 IBM Unisys NCR Hyperion Oracle UBS Genesis Dimension EDI CWM的支持者 Deere SUN HP Data Access Inline Aonix Hitachi SAS Meta Integration Adaptive ETL產(chǎn)

10、品產(chǎn)品名稱 是否支持CWM 元數(shù)據(jù)互換其他形式 IBM DB2 Warehouse Manager 支持Metadata Interchange Specification (MDIS). 通過API輸入/輸出Oracle Warehouse Builder 是Sagent 不能確定通過API輸入/輸出 Informatica PowerCenter 是Cognos Decision Stream 支持通過API輸入/輸出 TeraData ETL組件 是 OLAP產(chǎn)品產(chǎn)品名稱 是否支持CWM 元數(shù)據(jù)互換其他形式 Essbase/DB2 OLAP Server 支持Metadata Inter

11、change Specification (MDIS). 通過API輸入/輸出Cognos支持通過API輸入/輸出 Oracle 9i OLAP是 數(shù)據(jù)倉庫元數(shù)據(jù)管理產(chǎn)品產(chǎn)品名稱 是否支持CWM 元數(shù)據(jù)互換其他形式 IBM DB2 Information Catalog 支持Metadata Interchange Specification (MDIS). 通過API輸入/輸出Warehouse Control Center 是CA PLATINUM Repository 是通過API輸入/輸出 TeraData Meta Data Services 是通過API輸入/輸出Oracle Wa

12、rehouse Builder Repository 是 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 CWM標準包及其分層倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關系型資源業(yè)務信息軟件發(fā)布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務術語數(shù)據(jù)類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 對象模型層（Object Model） CWM對象模型提供了描述其他所有包中元數(shù)據(jù)模型的類的基本結構和相應的類型屬性 定義基本元模型的概念，關系和約束 包括4

13、個基本包： 核心包(Core) 行為包(Behavioral) 關系包(Relationship) 實例包(Instance) 核心包(Core) 包含所有的其他CWM包使用的基本類和關聯(lián) 不依賴于其他任何包 行為包(Behavioral) 描述其他CWM包中類的行為特征，提供一個記錄特定行為請求的基礎 包括操作，方法，接口，事件等 關系包（Relationship） 描述CWM對象之間如何互相聯(lián)系 定義了兩種類型的關系 泛化(Generalization) 關聯(lián)(Association) 泛化是具有普遍性的對象和特定對象的關聯(lián)，層次化的結構 關聯(lián)定義兩個或多個類元之間的特定關系 實例包（In

14、stance） 提供了在CWM交換中包含帶值元數(shù)據(jù)的基礎結構 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 基礎層（Foundation）倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關系型資源業(yè)務信息軟件發(fā)布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務術語數(shù)據(jù)類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 基礎層（Foundation） 提供為駐留在更高層次的其他包提供CWM特定的服務的包 包括6個包 業(yè)務信息包（Business Informat

15、ion） 數(shù)據(jù)類型包（Data Types） 表達式包（Expression） 鍵和索引包（keys and indexes) 軟件部署包（Software Deployment） 類型映射包（Type Mapping） 業(yè)務信息包（Business Information） 業(yè)務信息元模型給所有CWM包提供了面向業(yè)務的信息 這里面向業(yè)務指的是支持數(shù)據(jù)倉庫和商業(yè)智能 負責單位 如何聯(lián)絡 離線文檔 數(shù)據(jù)類型包（Data Types） 提供了支持定義基本數(shù)據(jù)類型和構造數(shù)據(jù)類型所需的基本結構 CWM模型本身沒有定義很多的現(xiàn)有類型，但是通過數(shù)據(jù)類型包可以建立目前現(xiàn)有的大多數(shù)系統(tǒng)的數(shù)據(jù)類型 表達式包（E

16、xpression） 表達式包提供了統(tǒng)一的表達式樹的格式，可以為轉(zhuǎn)換包等進行服務。 統(tǒng)一的表達式格式給ETL流程分析或其他的元數(shù)據(jù)分析提供了基礎 鍵和索引包（keys and indexes) 鍵和索引包提供了統(tǒng)一的對元素進行標識、排序和檢索所需的方法，可以為其它包所共享 索引是按順序安排的元素列表 鍵是一個或多個值的集合，用來確定數(shù)據(jù)庫中的某項記錄 類型映射包（Type Mapping） 定義了作為數(shù)據(jù)類型集合的類型系統(tǒng)的概念，還支持類型系統(tǒng)間數(shù)據(jù)類型的轉(zhuǎn)換 主要是為滿足不同系統(tǒng)之間數(shù)據(jù)類型差異進行的映射 可以進行多對多映射 軟件部署包（Software Deployment） 為了管理和記

17、錄各個軟件系統(tǒng)的分布和連接情況，用于記錄如何使用數(shù)據(jù)倉庫中的軟件和硬件 捕捉盡可能多的、其他CWM包需要的可操作的配置信息，而不是完全的通用模型 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 資源層倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關系型資源業(yè)務信息軟件發(fā)布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務術語數(shù)據(jù)類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 資源層(Resource) 描述以CWM為中介的交換中既可作為源又可作為目標的數(shù)據(jù)資

18、源的結構 包括5個包： 對象包（Object Model） 關系型包（Relational） 記錄包（Record） 多維包（Multidimensional） XML包（XML） 對象包（Object Model） CWM已經(jīng)在對象模型層包含了一個非常好的對象模型 對象模型層的核心包，行為包，關系包和實例包都可以直接建立面向?qū)ο蟮臄?shù)據(jù)資源描述 也用于描述面向?qū)ο髷?shù)據(jù)庫的結構和面向?qū)ο髴媒M件的結構 如果遇到不能處理的特征和功能時，可以定義擴展包來增加處理能力 關系型包（Relational） 描述關系數(shù)據(jù)庫的模式 支持遵從SQL99標準及其面向?qū)ο髷U展的關系數(shù)據(jù)庫描述 CWM中最大的包，涉及

19、的類總共68個 Containers Tables, Columns, and Data Types Structured Types and Object Extensions Keys Index Triggers Procedures Instances 列及數(shù)據(jù)類型應用舉例 記錄包（Record） 提供了用于描述各種面向記錄的數(shù)據(jù)結構的基礎結構 包括記錄的結構、記錄的實例、記錄文件等 多維包（Multidimensional） 提供關于多維數(shù)據(jù)庫的通用描述 包括多維模型中的維、維的層次，維屬性、維成員和維度量等數(shù)據(jù)結構，以及鉆取等操作。 XML包（XML） 定義了 如何在CWM中使用X

20、ML文檔描述數(shù)據(jù)倉庫中的數(shù)據(jù)源 XML包 包含用于描述XML數(shù)據(jù)源的通用類和關聯(lián) 基于XML 1.0 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 分析層倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關系型資源業(yè)務信息軟件發(fā)布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務術語數(shù)據(jù)類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 轉(zhuǎn)換包 轉(zhuǎn)換包包括了所有BI中涉及到ETL過程的元模型 object-oriented Relational record mu

21、ltidimensional XML OLAP data mining. 轉(zhuǎn)換包 轉(zhuǎn)換包提供了描述ETL工具和ETL行為的通用的元數(shù)據(jù)，尤其是： 將ETL過程與數(shù)據(jù)源和數(shù)據(jù)目標進行關聯(lián)。數(shù)據(jù)源和數(shù)據(jù)目標可以是任何類型（基于關系或面向?qū)ο螅?，任何粒度（類、屬性、表、列），并且可以是永久的或易失的?允許將ETL過程進行分組，并行執(zhí)行以提高執(zhí)行效率。包括ETL過程的加載情況，行為和步驟等等。 OLAP包 定義了描述OLAP系統(tǒng)通用概念的元數(shù)據(jù)，提供了將OLAP中的元數(shù)據(jù)內(nèi)容映射到具體的物理數(shù)據(jù)源中的方法 將OLAP模型映射到CWM數(shù)據(jù)源的包中，如 CWM 關系型包（ROLAP）或 多維包（MOLA

22、P）. 數(shù)據(jù)挖掘包 為數(shù)據(jù)挖掘模型構建較為通用的表示方法 除數(shù)據(jù)挖掘計劃和模型之外其他一些跨挖掘模型或者挖掘工具的實體（例如分類矩陣）以及它們之間的關系和對技術元數(shù)據(jù)的映射都包括在數(shù)據(jù)挖掘元數(shù)據(jù)的范圍之內(nèi) 經(jīng)營分析系統(tǒng)中有關數(shù)據(jù)挖掘的元數(shù)據(jù)分為七個領域：核心挖掘元數(shù)據(jù)、和聚類相關的元數(shù)據(jù)，關聯(lián)規(guī)則元數(shù)據(jù)，和監(jiān)督相關元數(shù)據(jù)，和分類相關元數(shù)據(jù)，和近似估計相關的元數(shù)據(jù)與屬性重要性的元數(shù)據(jù) 信息可視化包 信息可視化元模型定義了支持信息發(fā)布和信息可視化的元數(shù)據(jù) CWM信息可視化元模型定義了通用的容器，為實現(xiàn)更加復雜的可視化機制提供支持 業(yè)務術語包 數(shù)據(jù)倉庫的用戶需要很好的理解倉庫中包含的信息，以及倉庫提供的工具。比如信息的意義，信息來自于哪個數(shù)據(jù)源，有哪些工具可以管理及展示這些信息。 業(yè)務術語包提供了能表達業(yè)務元數(shù)據(jù)的實體和關系。 提綱 元數(shù)據(jù)管理基本概念