數(shù)據(jù)倉(cāng)庫(kù)與元數(shù)據(jù)管理

1、數(shù)據(jù)倉(cāng)庫(kù)與元數(shù)據(jù)管理1. 前言在事務(wù)處理系統(tǒng)中的數(shù)據(jù)，主要用于記錄和查詢業(yè)務(wù)情況。隨著數(shù)據(jù)倉(cāng)庫(kù)（DW）技術(shù)的不斷成熟，企業(yè)的數(shù)據(jù)逐漸變成了決策的主要依據(jù)。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是從許多業(yè)務(wù)處理系統(tǒng)中抽取、轉(zhuǎn)換而來(lái)，對(duì)于這樣一個(gè)復(fù)雜的企業(yè)數(shù)據(jù)環(huán)境，如何以安全、高 效的方式來(lái)對(duì)它們進(jìn)行管理和訪問(wèn)就變得尤為重要。 解決這一問(wèn)題的關(guān)鍵是對(duì)元數(shù)據(jù)進(jìn) 行科學(xué)有效的管理。本文首先介紹了元數(shù)據(jù)的定義、作用和意義；然后討論了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中元數(shù)據(jù)管 理的現(xiàn)狀和關(guān)于元數(shù)據(jù)的標(biāo)準(zhǔn)化情況； 最后提出了建立元數(shù)據(jù)管理系統(tǒng)的步驟和實(shí)施方 法。2. 元數(shù)據(jù)2.1 元數(shù)據(jù)的概念按照傳統(tǒng)的定義，元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)

2、據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元 數(shù)據(jù)可以幫助數(shù)據(jù)倉(cāng)庫(kù)管理員和數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)人員非常方便地找到他們所關(guān)心的數(shù) 據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為 兩類：技術(shù)元數(shù)據(jù)（Technical Metadata和業(yè)務(wù)元數(shù)據(jù)（Business Metadata。技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)， 是用于開(kāi)發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù) 使用的數(shù)據(jù)，它主要包括以下信息：數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述，包括倉(cāng)庫(kù)模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義， 以及數(shù)據(jù)集市的位置和內(nèi)容；業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式 匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯

3、總、 預(yù)定義的查詢與報(bào)告；由操作環(huán)境到數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù) 據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全（用戶授權(quán)和存取控制） 。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名;訪問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)的來(lái)源；系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息；具體包括以下信息:企業(yè)概念模型：這是業(yè)務(wù)元數(shù)據(jù)所應(yīng)提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個(gè)企業(yè)的業(yè)務(wù)概念和相互關(guān)系。以這個(gè)企業(yè)模型

4、為基礎(chǔ)，不懂?dāng)?shù)據(jù)庫(kù)技術(shù)和SQL語(yǔ)句的業(yè)務(wù)人員對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)也能做到心中有數(shù)。多維數(shù)據(jù)模型：這是企業(yè)概念模型的重要組成部分，它告訴業(yè)務(wù)分析人員在數(shù)據(jù)集市當(dāng)中有哪些維、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實(shí)表和維表的多維組織形式。業(yè)務(wù)概念模型和物理數(shù)據(jù)之間的依賴：以上提到的業(yè)務(wù)元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務(wù)視圖，這些業(yè)務(wù)視圖與實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)中的表、字段、維、層次等之間的對(duì)應(yīng)關(guān)系也應(yīng)該在元數(shù)據(jù)知識(shí)庫(kù)中有所體現(xiàn)。2.2元數(shù)據(jù)的作用與其說(shuō)數(shù)據(jù)倉(cāng)庫(kù)是軟件開(kāi)發(fā)項(xiàng)目，還不如說(shuō)是系統(tǒng)集成項(xiàng)目，因?yàn)樗闹饕ぷ魇前阉璧臄?shù)據(jù)倉(cāng)庫(kù)工具集成在一起，完

5、成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，OLAP分析和數(shù)據(jù)挖掘等。如圖1所示,業(yè)務(wù)元數(shù)據(jù)元數(shù)據(jù)知識(shí)庫(kù)技術(shù)元數(shù)據(jù)它的典型結(jié)構(gòu)由操作環(huán)境層、數(shù)據(jù)倉(cāng)庫(kù)層和業(yè)務(wù)層等組成。V其中，第一層(操作環(huán)境層)是指整個(gè)企業(yè)內(nèi)有關(guān)業(yè)務(wù)的 OLTP 系統(tǒng)和一些外部數(shù)據(jù)源；第二層是通過(guò)把第一層的相關(guān)數(shù)據(jù)抽取到一個(gè)中心區(qū)而組成的數(shù)據(jù)倉(cāng)庫(kù)層；第三 層是為了完成對(duì)業(yè)務(wù)數(shù)據(jù)的分析而由各種工具組成的業(yè)務(wù)層。 圖中左邊的部分是元數(shù)據(jù) 管理，它起到了承上啟下的作用，具體體現(xiàn)在以下幾個(gè)方面：(1) 元數(shù)據(jù)是進(jìn)行數(shù)據(jù)集成所必需的數(shù)據(jù)倉(cāng)庫(kù)最大的特點(diǎn)就是它的集成性。這一特點(diǎn)不僅體現(xiàn)在它所包含的數(shù)據(jù)上，還 體現(xiàn)在實(shí)施數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的過(guò)程當(dāng)中。一方面，從各個(gè)數(shù)

6、據(jù)源中抽取的數(shù)據(jù)要按照一定 的模式存入數(shù)據(jù)倉(cāng)庫(kù)中， 這些數(shù)據(jù)源與數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的對(duì)應(yīng)關(guān)系及轉(zhuǎn)換規(guī)則都要存儲(chǔ) 在元數(shù)據(jù)知識(shí)庫(kù)中；另一方面，在數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)施過(guò)程中，直接建立數(shù)據(jù)倉(cāng)庫(kù)往往費(fèi) 時(shí)、費(fèi)力，因此在實(shí)踐當(dāng)中，人們可能會(huì)按照統(tǒng)一的數(shù)據(jù)模型，首先建設(shè)數(shù)據(jù)集市，然 后在各個(gè)數(shù)據(jù)集市的基礎(chǔ)上再建設(shè)數(shù)據(jù)倉(cāng)庫(kù)。不過(guò)，當(dāng)數(shù)據(jù)集市數(shù)量增多時(shí)很容易形成蜘蛛網(wǎng)”現(xiàn)象，而元數(shù)據(jù)管理是解決“蜘蛛網(wǎng)”的關(guān)鍵。如果在建立數(shù)據(jù)集市的過(guò)程 中，注意了元數(shù)據(jù)管理，在集成到數(shù)據(jù)倉(cāng)庫(kù)中時(shí)就會(huì)比較順利；相反，如果在建設(shè)數(shù)據(jù) 集市的過(guò)程中忽視了元數(shù)據(jù)管理，那么最后的集成過(guò)程就會(huì)很困難，甚至不可能實(shí)現(xiàn)。(2) 元數(shù)據(jù)定義的語(yǔ)義層可以

7、幫助最終用戶理解數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)最終用戶不可能象數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)管理員或開(kāi)發(fā)人員那樣熟悉數(shù)據(jù)庫(kù)技術(shù)， 因此迫切 需要有一個(gè)“翻譯” ，能夠使他們清晰地理解數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的含意。元數(shù)據(jù)可以實(shí)現(xiàn) 業(yè)務(wù)模型與數(shù)據(jù)模型之間的映射，因而可以把數(shù)據(jù)以用戶需要的方式“翻譯”出來(lái)，從 而幫助最終用戶理解和使用數(shù)據(jù)。(3) 元數(shù)據(jù)是保證數(shù)據(jù)質(zhì)量的關(guān)鍵數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市建立好以后， 使用者在使用的時(shí)候， 常常會(huì)產(chǎn)生對(duì)數(shù)據(jù)的懷疑。這些懷疑往往是由于底層的數(shù)據(jù)對(duì)于用戶來(lái)說(shuō)是不“透明”的，使用者很自然地對(duì)結(jié)果 產(chǎn)生懷疑。而借助元數(shù)據(jù)管理系統(tǒng)，最終的使用者對(duì)各個(gè)數(shù)據(jù)的來(lái)龍去脈以及數(shù)據(jù)抽取和轉(zhuǎn)換的規(guī)則都會(huì)很方便地得到，這樣他們

8、自然會(huì)對(duì)數(shù)據(jù)具有信心；當(dāng)然也可便捷地發(fā) 現(xiàn)數(shù)據(jù)所存在的質(zhì)量問(wèn)題。甚至國(guó)外有學(xué)者還在元數(shù)據(jù)模型的基礎(chǔ)上引入質(zhì)量維 6，從更高的角度上來(lái)解決這一問(wèn)題。(4) 元數(shù)據(jù)可以支持需求變化隨著信息技術(shù)的發(fā)展和企業(yè)職能的變化，企業(yè)的需求也在不斷地改變。如何構(gòu)造 個(gè)隨著需求改變而平滑變化的軟件系統(tǒng)，是軟件工程領(lǐng)域中的一個(gè)重要問(wèn)題。傳統(tǒng)的信 息系統(tǒng)往往是通過(guò)文檔來(lái)適應(yīng)需求變化，但是僅僅依靠文檔還是遠(yuǎn)遠(yuǎn)不夠的。成功的元 數(shù)據(jù)管理系統(tǒng)可以把整個(gè)業(yè)務(wù)的工作流、數(shù)據(jù)流和信息流有效地管理起來(lái)，使得系統(tǒng)不 依賴特定的開(kāi)發(fā)人員，從而提高系統(tǒng)的可擴(kuò)展性。3.數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理現(xiàn)狀由以上幾節(jié)我們了解到元數(shù)據(jù)幾乎可以被稱為是數(shù)據(jù)倉(cāng)

9、庫(kù)乃至商業(yè)智能( BI)系統(tǒng)的“靈魂”，正是由于元數(shù)據(jù)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)生命周期中有著重要的地位，各個(gè)廠商的 數(shù)據(jù)倉(cāng)庫(kù)解決方案都提到了關(guān)于對(duì)元數(shù)據(jù)的管理。但遺憾的是對(duì)于元數(shù)據(jù)的管理，各個(gè)解決方案都沒(méi)有明確提出一個(gè)完整的管理模式； 它們提供的僅僅是對(duì)特定的局部元數(shù)據(jù)的管理。當(dāng)前市場(chǎng)上與元數(shù)據(jù)有關(guān)的主要工具見(jiàn)圖2。建模工具：ERwinPo werDesig nerRose數(shù)據(jù)轉(zhuǎn)換工具：DataStageDecisi on BaseExtract元數(shù)據(jù)管理前端展現(xiàn)工具：BOBrioCognosDSS Age nt元數(shù)據(jù)存儲(chǔ)工具：Rep ositoryMetaStageWCC圖2當(dāng)前市場(chǎng)與元數(shù)據(jù)有關(guān)的主要

10、工具如圖2所示，與元數(shù)據(jù)相關(guān)的數(shù)據(jù)倉(cāng)庫(kù)工具大致可分為四類:1.數(shù)據(jù)抽取工具：把業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)抽取、轉(zhuǎn)換、集成到數(shù)據(jù)倉(cāng)庫(kù)中，如Ardent的 DataStage CA (原 Platinum)的 Decision Base和 ETI 的 Extract 等。這些工具僅提供了技術(shù)元數(shù)據(jù)，幾乎沒(méi)有提供對(duì)業(yè)務(wù)元數(shù)據(jù)的支持。2.3.4.前端展現(xiàn)工具 ：包括 OLAP 分析、報(bào)表和商業(yè)智能工具等，如 MicroStrategy 的DSS Age nt、Cog nos 的 PowerPlay、Busi ness Objects的 BO,以及 Brio 等。它們通過(guò)把關(guān)系表映射成與業(yè)務(wù)相關(guān)的事實(shí)和維來(lái)支持多

11、維業(yè)務(wù)視圖，進(jìn)而對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行多維分析。這些工具都提供了業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)相對(duì) 應(yīng)的語(yǔ)義層。建模工具 ：為非技術(shù)人員準(zhǔn)備的業(yè)務(wù)建模工具，這些工具可以提供更高層的與 特定業(yè)務(wù)相關(guān)的語(yǔ)義。如 CA的ERwin、Sysbase的PowerDesigner以、Rational 的Rose等。元數(shù)據(jù)存儲(chǔ)工具 ：元數(shù)據(jù)通常存儲(chǔ)在專用的數(shù)據(jù)庫(kù)中， 該數(shù)據(jù)庫(kù)就如同一個(gè) “黑盒子”，外部無(wú)法知道這些工具所用到和產(chǎn)生的元數(shù)據(jù)是如何存儲(chǔ)的。還有一類Repository， CA 的被稱為元數(shù)據(jù)知識(shí)庫(kù)(Metadata Repository)的工具，它們獨(dú)立于其它工具，為 元數(shù)據(jù)提供一個(gè)集中的存儲(chǔ)空間。這些

12、工具包括微軟的Repository、Ardent 的 MetaStage和 Sybase的 WCC 等。4. 元數(shù)據(jù)管理的標(biāo)準(zhǔn)化沒(méi)有規(guī)矩不成方圓。元數(shù)據(jù)管理之所以困難，一個(gè)很重要的原因就是缺乏統(tǒng)一的標(biāo)準(zhǔn)。在這種情況下，各公司的元數(shù)據(jù)管理解決方案各不相同。近幾年，隨著元數(shù)據(jù)聯(lián)盟MDC(Meta Data Coalition)的開(kāi)放信息模型 OIM(Open Information Model)和 OMG 組織的公共倉(cāng)庫(kù)模型 CWM (Common Warehouse Model)標(biāo)準(zhǔn)的逐漸完善，以及 MDC和 OMG 組織的合并，為數(shù)據(jù)倉(cāng)庫(kù)廠商提供了統(tǒng)一的標(biāo)準(zhǔn)，從而為元數(shù)據(jù)管理鋪平了道 路。從元

13、數(shù)據(jù)的發(fā)展歷史不難看出，元數(shù)據(jù)管理主要有兩種方法：(1) 對(duì)于相對(duì)簡(jiǎn)單的環(huán)境，按照通用的元數(shù)據(jù)管理標(biāo)準(zhǔn)建立一個(gè)集中式的元數(shù)據(jù)知識(shí)庫(kù)。(2) 對(duì)于比較復(fù)雜的環(huán)境，分別建立各部分的元數(shù)據(jù)管理系統(tǒng)，形成分布式元數(shù)據(jù) 知識(shí)庫(kù)，然后，通過(guò)建立標(biāo)準(zhǔn)的元數(shù)據(jù)交換格式，實(shí)現(xiàn)元數(shù)據(jù)的集成管理。MDC 的 OIM 標(biāo)準(zhǔn)和面我們分別介紹數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域中兩個(gè)最主要的元數(shù)據(jù)標(biāo)準(zhǔn)：OMG 的 CWM 標(biāo)準(zhǔn)。4.1 MDC 的 OIM 存儲(chǔ)模型MDC 成立于 1995年，是一個(gè)致力于建立與廠商無(wú)關(guān)的、不依賴于具體技術(shù)的企業(yè) 元數(shù)據(jù)管理標(biāo)準(zhǔn)的非贏利技術(shù)聯(lián)盟，該聯(lián)盟有 150 多個(gè)會(huì)員，其中包括微軟和 IBM 等 著名軟件廠商。

14、1999年7月MDC接受了微軟的建議，將OIM作為元數(shù)據(jù)標(biāo)準(zhǔn)。OIM 的目的是通過(guò)公共的元數(shù)據(jù)信息來(lái)支持不同工具和系統(tǒng)之間數(shù)據(jù)的共享和重 用。它涉及了信息系統(tǒng)(從設(shè)計(jì)到發(fā)布)的各個(gè)階段，通過(guò)對(duì)元數(shù)據(jù)類型的標(biāo)準(zhǔn)描述來(lái) 達(dá)到工具和知識(shí)庫(kù)之間的數(shù)據(jù)共享。 OIM 所聲明的元數(shù)據(jù)類型都采用統(tǒng)一建模語(yǔ)言UML ( Universal Modeling Language進(jìn)行描述，并被組織成易于使用、易于擴(kuò)展的多個(gè)主題范圍(Subject Areas，這些主題范圍包括：分析與設(shè)計(jì)( Analysis and Design )：主要用于軟件分析、設(shè)計(jì)和建模。該主題范圍又進(jìn)一步劃分為：UML包(Package、

15、UML擴(kuò)展包、通用元素(GenericEleme nts)包、公共數(shù)據(jù)類型(Com mon Data Typ es包和實(shí)體關(guān)系建模(En tity Relationship Modeling 包等。對(duì)象與組件(Object and Component:涉及面向?qū)ο箝_(kāi)發(fā)技術(shù)的方方面面。該主題范圍只包含組件描述建模(Com pon e nt Descri ption Modeli ng)包。數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)(Database and Warehousing)：為數(shù)據(jù)庫(kù)模式管理、復(fù)用和 建立數(shù)據(jù)倉(cāng)庫(kù)提供元數(shù)據(jù)概念支持。該主題范圍進(jìn)一步劃分為：關(guān)系數(shù)據(jù)庫(kù)模式(Relational Database S

16、chem)包、OLAP 模式(OLAP Schema)包、數(shù)據(jù)轉(zhuǎn)換(Data TransformationS)包、面向記錄的數(shù)據(jù)庫(kù)模式(Record-Oriented DatabaseSchema 包、XML 模式(XML Schema)包和報(bào)表定義(Report Definitions)包等。業(yè)務(wù)工程( Business Engineering )：為企業(yè)運(yùn)作提供一個(gè)藍(lán)圖。該主題范圍進(jìn)步劃分為： 業(yè)務(wù)目標(biāo)( Business Goa)l 包、組織元素( Organizational Elements)包、業(yè)務(wù)規(guī)則(Business Rules包、商業(yè)流程(Business Processe)

17、包等。知識(shí)管理(Kno wledge Man agemen):涉及企業(yè)的信息結(jié)構(gòu)。該主題范圍進(jìn)一步 劃分為：知識(shí)描述( Knowledge Descriptions 包和語(yǔ)義定義( Semantic Definitions 包。上述主題范圍中的包都是采用 UML 定義的，可以說(shuō) UML 語(yǔ)言是整個(gè) OIM 標(biāo)準(zhǔn)的基礎(chǔ)。雖然 OIM 標(biāo)準(zhǔn)并不是專門針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的，但數(shù)據(jù)倉(cāng)庫(kù)是它的主要應(yīng)用領(lǐng)域之。目前市場(chǎng)上基于該標(biāo)準(zhǔn)的元數(shù)據(jù)管理工具已經(jīng)比較成熟，例如微軟的Repositry和CA的Repositry均采用了 OIM標(biāo)準(zhǔn)。4.2 OMG組織的CWM模型OMG是一個(gè)擁有500多會(huì)員的國(guó)際標(biāo)準(zhǔn)化組織，著

18、名的 CORBA標(biāo)準(zhǔn)即出自該組織。公共倉(cāng)庫(kù)元模型(Common Warehouse Metamod®的主要目的是在異構(gòu)環(huán)境下，幫助不同的數(shù)據(jù)倉(cāng)庫(kù)工具、平臺(tái)和元數(shù)據(jù)知識(shí)庫(kù)進(jìn)行元數(shù)據(jù)交換。2001年3月，OMG頒布了 CWM 1.0標(biāo)準(zhǔn)。CWM模型既包括元數(shù)據(jù)存儲(chǔ)，也包括元數(shù)據(jù)交換，它是基于以下 三個(gè)工業(yè)標(biāo)準(zhǔn)制定的：(1) UML :它對(duì)CWM模型進(jìn)行建模。(2) MOF (元對(duì)象設(shè)施)：它是OMG元模型和元數(shù)據(jù)的存儲(chǔ)標(biāo)準(zhǔn)，提供在異構(gòu)環(huán)境 下對(duì)元數(shù)據(jù)知識(shí)庫(kù)的訪問(wèn)接口。(3) XMI(XML元數(shù)據(jù)交換)：它可以使元數(shù)據(jù)以XML文件流的方式進(jìn)行交換。OMG元數(shù)據(jù)知識(shí)庫(kù)體系結(jié)構(gòu)如圖3所示。圖3

19、 OMG的元數(shù)據(jù)倉(cāng)儲(chǔ)體系結(jié)構(gòu)CWM為數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能(BI)工具之間共享元數(shù)據(jù)，制定了一整套關(guān)于語(yǔ)法 和語(yǔ)義的規(guī)范。它主要包含以下四個(gè)方面的規(guī)范：(1) CWM元模型(Metamodel):描述數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的模型;CWM XML : CWM元模型的XML表示；CWM DTD : DW/BI共享元數(shù)據(jù)的交換格式CWM IDL : DW/BI共享元數(shù)據(jù)的應(yīng)用程序訪問(wèn)接口( API)下面重點(diǎn)討論CWM元模型的組成，它與 OIM規(guī)范一樣，也是由很多包組成的。 組成CWM元模型的包結(jié)構(gòu)如圖4所示。倉(cāng)庫(kù)過(guò)程倉(cāng)庫(kù)操作OLA P數(shù)據(jù)信息可視化業(yè)務(wù)術(shù)語(yǔ)轉(zhuǎn)換分析挖掘?qū)ο?UML)關(guān)系型資源記錄型多維XML業(yè)務(wù)信

20、息數(shù)據(jù)表達(dá)式鍵類型映射軟件發(fā)布類型索引UML 1.3/ -/一 、f )(基礎(chǔ):仃為元素，模型管理管理分析資源基礎(chǔ)對(duì)象模型圖4 CWM元模型的包結(jié)構(gòu) 元模型(MetaModel)包：構(gòu)造和描述其它 CWM包中的元模型類的基礎(chǔ)。它 是UML的一個(gè)子集，由以下四個(gè)子包組成：a)b)C)核心(Core)包：它的類和關(guān)聯(lián)是該模型的核心，其它所有的包都以它為基 礎(chǔ)。行為(Behavioral)包：包括描述CWM對(duì)象行為的類與關(guān)聯(lián)，并且它為描 述所定義的行為提供了基礎(chǔ)。實(shí)例(Instanee)包：包括表示CWM分類器(Classfier)的類與關(guān)聯(lián)。關(guān)系(Relationships)包：包括描述CWM對(duì)象

21、之間關(guān)系的類與關(guān)聯(lián)。d)(2)基礎(chǔ)包(Foundation):它包括表示CWM概念和結(jié)構(gòu)的模型元素，這些模型元 素又可被其他CWM包所共享，它由以下六個(gè)子包組成：a)b)C)d)e)業(yè)務(wù)信息(Bus in ess In formation)包：包括表示模型元素業(yè)務(wù)信息的類與關(guān)聯(lián)。數(shù)據(jù)類型(Data Types)包：包括表示建模者可以用來(lái)創(chuàng)建所需數(shù)據(jù)類型的 結(jié)構(gòu)的類與關(guān)聯(lián)。表達(dá)式(Expression包：包括表示表達(dá)式樹(shù)的類與關(guān)聯(lián)。關(guān)鍵字和索引(Keys and Indexe®包：包括表示鍵和索引的類與關(guān)聯(lián)。軟件發(fā)布(Software Deployment)包：包括軟件如何在數(shù)據(jù)倉(cāng)庫(kù)中

22、發(fā)布的類與關(guān)聯(lián)。f)類型映射(Type Mapping)包：包括表示不同系統(tǒng)之間數(shù)據(jù)類型映射的類與關(guān)聯(lián)。(3)a)關(guān)系(Relational)包：包括表示關(guān)系型數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。b)記錄(Record)包：包括表示記錄型數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。c)多維Multidimensional )包：包括表示多維數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。XML包：包括表示 XML 數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。(4)d)分析(An alysis )包：它由以下五個(gè)子包組成:a)轉(zhuǎn)換(Transformation)包：包括表示數(shù)據(jù)抽取和轉(zhuǎn)換工具的元數(shù)據(jù)的類與關(guān)聯(lián)。b)OLAP 包：包括表示 OLAP 工具的

23、元數(shù)據(jù)的類與關(guān)聯(lián)。c)d)數(shù)據(jù)挖掘(Data Mining)包：包括表示數(shù)據(jù)挖掘工具的元數(shù)據(jù)的類與關(guān)聯(lián)。信息可視化(In formation Visualization)包：包括表示信息可視化工具的元數(shù)據(jù)的類與關(guān)聯(lián)。e)業(yè)務(wù)術(shù)語(yǔ)(Bus in ess Nome nclature包：包括表示分類業(yè)務(wù)的元數(shù)據(jù)的類與關(guān)聯(lián)。(5)管理(Managemen)包：用于描述數(shù)據(jù)倉(cāng)庫(kù)管理的包，它包括以下兩個(gè)子包:a)倉(cāng)庫(kù)過(guò)程(Warehouse Process包：包括表示倉(cāng)庫(kù)過(guò)程的元數(shù)據(jù)的類與關(guān)聯(lián)。b)倉(cāng)庫(kù)操作(Warehouse Op eration包：包括表示倉(cāng)庫(kù)操作結(jié)果的元數(shù)據(jù)的類 與關(guān)聯(lián)。4.3 CW

24、M 與 OIM 之間的關(guān)系上兩節(jié)分別介紹了與數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的兩個(gè)主要標(biāo)準(zhǔn)， CWM 實(shí)際上是專門為數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)而制定的一套標(biāo)準(zhǔn)，而 OIM 并不是針對(duì)數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的。 OIM 所關(guān)注的元數(shù)據(jù)的范圍比 CWM 要廣， CWM 只限定于數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域， 而 OIM 模型卻包括有： 分析與設(shè)計(jì)模型、對(duì)象與組件、數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)工程、知識(shí)管理等五個(gè)領(lǐng)域。OIM與 CWM 在建模語(yǔ)言的選擇(都選擇 UML 當(dāng)做自己的描述語(yǔ)言)、數(shù)據(jù)庫(kù)模型的支持、OLAP 分析模型的支持、數(shù)據(jù)轉(zhuǎn)換模型的支持方面都比較一致；但是 OIM 并不是基于資源包(Resource)：用于描述數(shù)據(jù)資源的包，它包括以下四個(gè)子包:

25、OIM 必元對(duì)象設(shè)施（MOF）的，這意味著用OIM所描述的元數(shù)據(jù)需要通過(guò)其它的接口才能訪 問(wèn)，而 CWM 所描述的元數(shù)據(jù)可以通過(guò) CORBA IDL 來(lái)訪問(wèn)；在數(shù)據(jù)交換方面， 須通過(guò)特定的轉(zhuǎn)換形成 XML 文件來(lái)交換元數(shù)據(jù)， 而 CWM 可以用 XMI 來(lái)進(jìn)行交換。 盡 管如此，由于 OMG 與 MDC 兩個(gè)組織的合并， CWM 也會(huì)與 OIM 相互兼容以保護(hù)廠商 已有的投資。需要說(shuō)明的是，MDC與OMG組織已經(jīng)合并，今后所有的工具都將遵循統(tǒng)一的 CWM標(biāo)準(zhǔn)，不過(guò)支持 CWM 的工具才剛剛出現(xiàn)，而支持 OIM 標(biāo)準(zhǔn)的工具已經(jīng)相對(duì)成熟。5. 針對(duì)元數(shù)據(jù)管理的相關(guān)研究工作在數(shù)據(jù)倉(cāng)庫(kù)的研究課題當(dāng)中，

26、有許多是針對(duì)元數(shù)據(jù)的研究。文獻(xiàn)5描述了一個(gè)在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中，基于微軟的Repositry的、元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)轉(zhuǎn)換方法，它包含了技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)；文獻(xiàn) 6中描述了一個(gè)基于元數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)安全的解決 方法，它只限定在技術(shù)元數(shù)據(jù)級(jí)別；更有名的一個(gè)研究項(xiàng)目是數(shù)據(jù)倉(cāng)庫(kù)質(zhì)量項(xiàng)目（ DataWarehouse Quality，這個(gè)項(xiàng)目的核心是通過(guò)元數(shù)據(jù)模型來(lái)衡量整個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)質(zhì) 量。它是基于一個(gè)演繹數(shù)據(jù)庫(kù) CONCEPTBASE 的，并且使用該數(shù)據(jù)庫(kù)特定的邏輯語(yǔ)言 進(jìn)行描述，目前該項(xiàng)目距離實(shí)用的階段還比較遠(yuǎn)。6. 元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)原則數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下的元數(shù)據(jù)管理系統(tǒng)的建設(shè)是十分困難的。 但是在

27、實(shí)際項(xiàng)目的實(shí)施過(guò) 程中，這個(gè)環(huán)節(jié)又是非常重要的。當(dāng)前情況下，我們認(rèn)為 OMG 組織的 CWM 標(biāo)準(zhǔn)將會(huì) 成為數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)， 在元數(shù)據(jù)管理系統(tǒng)的建立過(guò)程中應(yīng)盡量參考這 個(gè)標(biāo)準(zhǔn)，這樣使系統(tǒng)的可擴(kuò)展性增強(qiáng)。可是在與之相關(guān)的工具成熟之前，我們完全可以 采用OIM中的元模型（因CWM對(duì)OIM是兼容的）以及支持它的元數(shù)據(jù)管理工具進(jìn)行 元數(shù)據(jù)管理系統(tǒng)的建設(shè)，而且元數(shù)據(jù)所包含的范圍很廣。我們?cè)诮⒃獢?shù)據(jù)管理系統(tǒng)的 時(shí)候，絕對(duì)不能盲目追求大而全， 要堅(jiān)持目標(biāo)驅(qū)動(dòng)的原則， 在實(shí)施的時(shí)候要采取增量式、 漸進(jìn)式的建設(shè)原則。具體的建設(shè)步驟如下：1） 如果是在建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的初期，那么首先要確定系統(tǒng)的

28、邊界范圍，系統(tǒng)范圍確定的原則是首先保障重點(diǎn)，不求大，只求精。2） 系統(tǒng)邊界確定以后，把現(xiàn)有系統(tǒng)的元數(shù)據(jù)整理出來(lái)，加入語(yǔ)義層的對(duì)應(yīng)。然后存到一個(gè)數(shù)據(jù)庫(kù)中，這個(gè)數(shù)據(jù)庫(kù)可以采用專用的元數(shù)據(jù)知識(shí)庫(kù)，也可以采用 一般的關(guān)系型數(shù)據(jù)庫(kù)。(3) 確定元數(shù)據(jù)管理的范圍。比如，我們只想通過(guò)元數(shù)據(jù)來(lái)管理數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的轉(zhuǎn)換過(guò)程，以及有關(guān)數(shù)據(jù)的抽取路線，以使數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)和使用人員明白倉(cāng) 庫(kù)中數(shù)據(jù)的整個(gè)歷史過(guò)程。(4) 確定元數(shù)據(jù)管理的工具，采用一定的工具可以完成相應(yīng)的工作。當(dāng)前相關(guān)工具有微軟的Repositry，它帶有相應(yīng)的編程接口，可以借助于它來(lái)完成元模型出 入庫(kù)的功能；與之相似的還有 Platinum的OEE；另外還有Sybase的Wcc,它可MDIS的格式導(dǎo)出到以通過(guò)MDC以前的一個(gè)老標(biāo)準(zhǔn)一一MDIS來(lái)集成抽取工具與轉(zhuǎn)換工具，在一個(gè) 窗口中就可以表示數(shù)據(jù)抽取與轉(zhuǎn)換，并且可以把語(yǔ)義層以 一個(gè)前端工具當(dāng)中(比如 Cog nos的Improp tu)總之，建立元數(shù)據(jù)管理系統(tǒng)一定要堅(jiān)持關(guān)注標(biāo)準(zhǔn)，又不被標(biāo)準(zhǔn)所束縛的原則，建立 符合自身目標(biāo)的元數(shù)據(jù)管理系統(tǒng)。參考文獻(xiàn)1 Stohr. T.Muller. R.and Rahm. E. An Integrative and