Oracle--SOA-主數(shù)據(jù)管理解決方案

1、Oracle技術(shù)解決方案目 錄1.概述41.1背景41.1.1南方電網(wǎng)“十一五”信息化現(xiàn)狀41.1.2南方電網(wǎng)“十二五”信息化定位51.2項目建設(shè)目標(biāo)61.3項目建設(shè)范圍71.4項目建設(shè)內(nèi)容71.5需求分析82.Oracle主數(shù)據(jù)管理方案102.1Oracle主數(shù)據(jù)管理設(shè)計132.1.1Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計132.1.2主數(shù)據(jù)方案設(shè)計212.1.3交換數(shù)據(jù)方案設(shè)計262.1.4數(shù)據(jù)交換系統(tǒng)功能設(shè)計283.Oracle主數(shù)據(jù)管理設(shè)計產(chǎn)品介紹463.1Oracle BPM Suite(業(yè)務(wù)流程)463.1.1BPM方案總體架構(gòu)463.1.2閉環(huán)的Oracle BPM解決方案473.1

2、.2.1業(yè)務(wù)流程分析BPA階段483.1.2.2業(yè)務(wù)流程執(zhí)行BPE與業(yè)務(wù)流程監(jiān)視BAM階段503.1.3Oracle BPM平臺中主要模塊介紹513.1.3.1Oracle BPM服務(wù)器523.1.3.2Oracle業(yè)務(wù)規(guī)則523.1.3.3Oracle流程建模與模擬工具543.1.3.4Oracle元數(shù)據(jù)資料庫543.1.4Oracle BPM解決方案的優(yōu)勢553.2Oracle SOA Suite(應(yīng)用集成)563.2.1價值主張563.2.2創(chuàng)建服務(wù)563.2.3服務(wù)連通與轉(zhuǎn)換563.2.4流程編排和整合573.2.5服務(wù)發(fā)布與注冊583.2.6服務(wù)的安全管理593.2.7用戶身份管理6

3、03.2.8SOA平臺的系統(tǒng)管理603.3Oracle Data Integrator(批量數(shù)據(jù)抽取)643.3.1產(chǎn)品概述643.3.2ODI產(chǎn)品體系結(jié)構(gòu)653.3.3數(shù)據(jù)分發(fā)和傳輸663.3.4數(shù)據(jù)集成核心683.3.5數(shù)據(jù)質(zhì)量核心683.3.6數(shù)據(jù)連接703.3.7ODI主要優(yōu)勢713.4GoldenGate(實時數(shù)據(jù)同步方案)713.4.1高可用和容災(zāi)解決方案723.4.2實時數(shù)據(jù)整合解決方案723.4.3復(fù)制模式733.4.4關(guān)鍵特性763.4.5應(yīng)用方式774.軟件配置及部署方案794.1軟件配置及硬件推薦794.2部署架構(gòu)圖801. 概述1.1 背景1.1.1 南方電網(wǎng)“十一五”

4、信息化現(xiàn)狀 Oracle主數(shù)據(jù)管理方案南方電網(wǎng)的數(shù)據(jù)質(zhì)量管理必須有一整套的用于生成和維護(hù)企業(yè)主數(shù)據(jù)的規(guī)范、技術(shù)和方案，以保證主數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。（1）數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)包括各業(yè)務(wù)域的數(shù)據(jù)集標(biāo)準(zhǔn)、數(shù)據(jù)模型標(biāo)準(zhǔn)及信息分類編碼標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)用于指導(dǎo)各業(yè)務(wù)系統(tǒng)建設(shè)與實施。在標(biāo)準(zhǔn)管理上，數(shù)據(jù)資源管理工具應(yīng)能有效管控標(biāo)準(zhǔn)的變更與執(zhí)行。尤其是“十二五”期間，如何管理網(wǎng)省兩級、省級集中的業(yè)務(wù)系統(tǒng)的統(tǒng)一版本問題是關(guān)鍵。（2）主數(shù)據(jù)管理通過企業(yè)范圍內(nèi)的統(tǒng)一視圖，即ECIM模型，實現(xiàn)主數(shù)據(jù)管理，促進(jìn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成與共享。主數(shù)據(jù)管理需要解決主數(shù)據(jù)的定義、標(biāo)識、存儲、匯集、清洗、監(jiān)管與共享。主數(shù)據(jù)可以

5、為業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心服務(wù)。（3）數(shù)據(jù)質(zhì)量管理數(shù)據(jù)管理的最終的目標(biāo)是為了提升系統(tǒng)數(shù)據(jù)質(zhì)量。在主數(shù)據(jù)的清洗階段，通過數(shù)據(jù)質(zhì)量管理工作，對數(shù)據(jù)進(jìn)行解析、標(biāo)準(zhǔn)化、匹配&去重、補(bǔ)充及驗證建立可靠的數(shù)據(jù)。對于核心結(jié)構(gòu)化數(shù)據(jù)在加載到數(shù)據(jù)中心時也進(jìn)行相似的工作，提高決策支持水平。南方電網(wǎng)的主數(shù)據(jù)管理系統(tǒng)從 IT 建設(shè)的角度而言都會是一個相對復(fù)雜的系統(tǒng)，往往會和企業(yè)數(shù)據(jù)倉庫 / 決策支持系統(tǒng)以及企業(yè)內(nèi)的各個業(yè)務(wù)系統(tǒng)發(fā)生關(guān)系，技術(shù)實現(xiàn)上也會涉及到 ETL、流程、SOA、企業(yè)服務(wù)總線等多個方面，一個典型的主數(shù)據(jù)管理的信息流為： 某個業(yè)務(wù)系統(tǒng)觸發(fā)對企業(yè)主數(shù)據(jù)的改動； 主數(shù)據(jù)管理系統(tǒng)將整合之后完整、準(zhǔn)確的主數(shù)據(jù)分發(fā)給所

6、有有關(guān)的應(yīng)用系統(tǒng)； 主數(shù)據(jù)管理系統(tǒng)為業(yè)務(wù)系統(tǒng)和決策支持以及數(shù)據(jù)倉庫系統(tǒng)提供準(zhǔn)確的數(shù)據(jù)源。因此對于南方電網(wǎng)數(shù)據(jù)質(zhì)量管理的建設(shè)，必須從項目建設(shè)初期就考慮整體的平臺框架和技術(shù)實現(xiàn)。Oracle主數(shù)據(jù)管理（Master Data Management，MDM）是當(dāng)前業(yè)界最完整的是一種集成的、完整的企業(yè)主數(shù)據(jù)（企業(yè)業(yè)務(wù)運行和商務(wù)分析所依賴的關(guān)鍵性基礎(chǔ)數(shù)據(jù)）管理平臺，具有企業(yè)級主數(shù)據(jù)存儲、主數(shù)據(jù)整合、主數(shù)據(jù)清洗、主數(shù)據(jù)監(jiān)管以及主數(shù)據(jù)共享等五大功能，可全面連接企業(yè)數(shù)據(jù)內(nèi)容（廣泛使用和在部門間共享的數(shù)據(jù)）和實現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)一、完整和一致。作為企業(yè)的真實數(shù)據(jù)來源，Oracle主數(shù)據(jù)管理(MDM)平臺通過

7、數(shù)據(jù)治理服務(wù)以及對周邊應(yīng)用系統(tǒng)的集成和對商務(wù)智能系統(tǒng)的支持，來統(tǒng)一管理企業(yè)內(nèi)重要的基礎(chǔ)數(shù)據(jù)信息，可以整合并維護(hù)企業(yè)范圍的全面、準(zhǔn)確且權(quán)威的主數(shù)據(jù)，并將這些主數(shù)據(jù)信息作為共享服務(wù)分發(fā)到所需的業(yè)務(wù)和分析系統(tǒng)。Oracle主數(shù)據(jù)管理解決方案具有以下特性： 保證數(shù)據(jù)的唯一性和準(zhǔn)確性：有效整理和集中分散在關(guān)鍵企業(yè)流程和應(yīng)用軟件中的數(shù)據(jù)片斷，通過一系列匹配、整合和清洗規(guī)則使之形成單一真實數(shù)據(jù)源，并提供基于工作流的數(shù)據(jù)監(jiān)管流程來實現(xiàn)持續(xù)的數(shù)據(jù)質(zhì)量維護(hù)。最后將統(tǒng)一的數(shù)據(jù)資產(chǎn)作為Web服務(wù)提供給周邊的業(yè)務(wù)系統(tǒng)，實現(xiàn)企業(yè)范圍的主數(shù)據(jù)協(xié)同； 有效降低數(shù)據(jù)管理成本：提供統(tǒng)一的資源庫來集中管理企業(yè)重要的數(shù)據(jù)資產(chǎn)，并能將

8、對這些數(shù)據(jù)資產(chǎn)的訪問以服務(wù)的方式提供給周邊應(yīng)用系統(tǒng)，實時地提供訪問主數(shù)據(jù)的WEB服務(wù)，包括匹配、申請全部信息以及申請所需信息等； 實現(xiàn)更好的報表：準(zhǔn)確、有效的數(shù)據(jù)是準(zhǔn)確、有效的報表的基礎(chǔ)，Oracle MDM可以將清洗、排重、整理之后的準(zhǔn)確數(shù)據(jù)提供給企業(yè)的商務(wù)分析系統(tǒng)，得到更加準(zhǔn)確的決策支持； 提供企業(yè)系統(tǒng)架構(gòu)靈活性和創(chuàng)新性的基礎(chǔ)：維護(hù)持續(xù)的、唯一而準(zhǔn)確的主數(shù)據(jù)資產(chǎn)，能夠在不斷變化的業(yè)務(wù)環(huán)境中增強(qiáng)IT彈性，滿足爆炸式數(shù)據(jù)增長的需求。 Oracle主數(shù)據(jù)管理能支持以下六大功能： 指定每個特定主數(shù)據(jù)域的業(yè)務(wù)職責(zé)，例如，產(chǎn)品、客戶、供應(yīng)商和組織結(jié)構(gòu)。 嚴(yán)格履行職責(zé)可保證接入共享資源的系統(tǒng)始終保持高質(zhì)

9、量主數(shù)據(jù)。 提取分散在各個應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲庫,主數(shù)據(jù)存儲庫一般采用二維數(shù)據(jù)庫存儲主數(shù)據(jù)。 根據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對收集到的主數(shù)據(jù)進(jìn)行加工清理，從而形成符合企業(yè)需求的主數(shù)據(jù)。 制定主數(shù)據(jù)變更的流程審批機(jī)制，從而保證主數(shù)據(jù)修改的一致性和穩(wěn)定性。 實現(xiàn)各個數(shù)據(jù)利用系統(tǒng)與主數(shù)據(jù)存儲庫的數(shù)據(jù)同步，從而保證每個系統(tǒng)使用的主數(shù)據(jù)相同。）隨著IT系統(tǒng)的建設(shè)，主數(shù)據(jù)的修改動作必然從現(xiàn)有分散的各個系統(tǒng)轉(zhuǎn)移到主數(shù)據(jù)存儲庫集中進(jìn)行，因此必須保證當(dāng)前主數(shù)據(jù)管理系統(tǒng)的靈活性，方便修改、監(jiān)控、更新關(guān)聯(lián)系統(tǒng)主數(shù)據(jù)的變化。Oracle主數(shù)據(jù)管理在企業(yè)范圍內(nèi)主數(shù)據(jù)協(xié)同方面完善了一套端到端的模式可滿足

10、客戶不同的實施需要，即“推動模式”和“拉動模式”，前者通過前端獨立應(yīng)用軟件（包括Oracle應(yīng)用系統(tǒng)、企業(yè)自主開發(fā)以及第三方軟件）的主數(shù)據(jù)改動，經(jīng)過Oracle 應(yīng)用集成架構(gòu)自動且快速地同步到Oracle MDM主數(shù)據(jù)平臺，可實現(xiàn)企業(yè)范圍內(nèi)的全面數(shù)據(jù)整合，而后者則是由主數(shù)據(jù)平臺主動對前端應(yīng)用軟件進(jìn)行實時的訪問，獲取新增、更改和補(bǔ)充數(shù)據(jù)，并經(jīng)過 Oracle 應(yīng)用集成架構(gòu)和內(nèi)部數(shù)據(jù)規(guī)則實現(xiàn)標(biāo)準(zhǔn)化，從而最終在主數(shù)據(jù)平臺實現(xiàn)唯一準(zhǔn)確地共享數(shù)據(jù)。22.1 Oracle主數(shù)據(jù)管理設(shè)計22.12.1.1 Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計Oracle主數(shù)據(jù)管理的主要功能可歸結(jié)為以下六大功能： 主數(shù)據(jù)存儲

11、主數(shù)據(jù)整合與連接 主數(shù)據(jù)質(zhì)量管理 主數(shù)據(jù)管理監(jiān)控 主數(shù)據(jù)共享 安全可靠的平臺主數(shù)據(jù)存儲 一個具有無限可擴(kuò)展性的內(nèi)置、靈活（隨時間變化）的開放數(shù)據(jù)模型可維護(hù)南方電網(wǎng)主數(shù)據(jù)和所有需要的屬性（結(jié)構(gòu)化和非結(jié)構(gòu)化的）、相關(guān)實體、分類和關(guān)系； 可跟蹤主數(shù)據(jù)屬性、審計跟蹤信息和歷史主數(shù)據(jù)剖析的來源主要用于存儲整合后主數(shù)據(jù)，將各系統(tǒng)的需求信息概括形成一條完整的記錄并進(jìn)行存儲供應(yīng)，提供一個完整的數(shù)據(jù)模型。主數(shù)據(jù)的不同部分分布在不同的業(yè)務(wù)系統(tǒng)中，比如一個call center系統(tǒng)需要保存客戶的所有聯(lián)系信息，但是一個計費系統(tǒng)可能只需要保留客戶的與計費相關(guān)的信息，如何將客戶信息形成一條完整的記錄并進(jìn)行存儲供應(yīng)，當(dāng)然是

12、需要概括所有這些系統(tǒng)的需求，提供一個完整的數(shù)據(jù)模型。 數(shù)據(jù)整合與連接 領(lǐng)先的嵌入式數(shù)據(jù)質(zhì)量管理工具及與第三方數(shù)據(jù)源的集成，用于驗證和充實數(shù)據(jù) 可保持?jǐn)?shù)據(jù)最新的持續(xù)數(shù)據(jù)清理功能集 快速安全的參數(shù)化搜索引擎，能識別和避免重復(fù)數(shù)據(jù) 智能合并和自動合并功能，消除數(shù)據(jù)重復(fù)，同時確保正確的數(shù)據(jù)屬性排除 利用與外部內(nèi)容提供商的預(yù)建集成來充實主數(shù)據(jù)內(nèi)容 包括主數(shù)據(jù)生命周期管理工作流主數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)中，要進(jìn)行數(shù)據(jù)整合，第一步是實現(xiàn)這些異構(gòu)系統(tǒng)的互聯(lián)互通，然后通過一定的觸發(fā)機(jī)制將各個系統(tǒng)針對主數(shù)據(jù)的修改同步到主數(shù)據(jù)存儲庫。但是在實施數(shù)據(jù)集成的過程中，由于不同系統(tǒng)提供的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬別

13、，甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等問題，將會嚴(yán)重阻礙數(shù)據(jù)在各部門和各應(yīng)用系統(tǒng)中的流動與共享。因此，如何對數(shù)據(jù)進(jìn)行有效的集成管理是數(shù)據(jù)共享中心建設(shè)的一個關(guān)鍵難點。ETL是實現(xiàn)數(shù)據(jù)集成的主要技術(shù)。ETL中三個字母分別代表的是Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。(1)數(shù)據(jù)抽?。簭脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；(2)數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。(3)數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL過程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載。Ora

14、cle的主數(shù)據(jù)整合管理ETL基于ODI來實現(xiàn)，使用ODI設(shè)計和生成典型格式；利用已有的元數(shù)據(jù)格式設(shè)計MDM 應(yīng)用 (實體, 字段, 關(guān)系)；生成和維護(hù)主數(shù)據(jù)結(jié)構(gòu)；生成和部署轉(zhuǎn)換。主數(shù)據(jù)質(zhì)量管理 為每個主數(shù)據(jù)實體創(chuàng)建通用ID并構(gòu)建針對每個所連接記錄/系統(tǒng)對的交叉引用 一個數(shù)據(jù)導(dǎo)入工作臺和用戶界面，以幫助數(shù)據(jù)管理員管理源系統(tǒng)的映射和數(shù)據(jù)加載及主數(shù)據(jù)剖析 使用預(yù)建、符合標(biāo)準(zhǔn)的業(yè)務(wù)服務(wù)和適配器實現(xiàn)集成 使用可配置的屬性“排除”規(guī)則，根據(jù)多個數(shù)據(jù)源創(chuàng)建單一的記錄 利用基礎(chǔ)服務(wù)框架的數(shù)據(jù)聯(lián)合功能 主數(shù)據(jù)維護(hù)著企業(yè)里該種類型數(shù)據(jù)的最值得信任的數(shù)據(jù)，所以使用質(zhì)量管理技術(shù)來保證這些數(shù)據(jù)的準(zhǔn)確是主數(shù)據(jù)管理里非常重

15、要的一環(huán)。 1. 數(shù)據(jù)清洗：數(shù)據(jù)清洗是對數(shù)據(jù)進(jìn)行校驗和標(biāo)準(zhǔn)化，比如地址郵編是否存在等等。2. 數(shù)據(jù)匹配：數(shù)據(jù)匹配是找出有可能重復(fù)的記錄。比如MDM系統(tǒng)里有兩個閾值是用于控制數(shù)據(jù)匹配的流程，第一個閾值是高分閾值，對于數(shù)據(jù)匹配分值高于高分閾值的記 錄將會使用數(shù)據(jù)存活規(guī)則進(jìn)行自動合并；第二個閾值是中分閾值，數(shù)據(jù)匹配得分在高分閾值和中分閾值之間的記錄將會進(jìn)入人工判斷工作流，由管理員或者其他指定 的人決定合并還是作為新記錄。低于中分閾值的記錄都將會被作為新記錄。數(shù)據(jù)存活規(guī)則（Survivorship rules）一般而言，企業(yè)里的主數(shù)據(jù)來源于企業(yè)里的各個系統(tǒng)，當(dāng)不同系統(tǒng)的同一個屬性值有不同的值的時候，就

16、需要決定哪一個系統(tǒng)的值是準(zhǔn)確的。數(shù)據(jù)存活規(guī)則指定各種規(guī)則來決定新的數(shù)據(jù)進(jìn)入到主數(shù)據(jù)庫或者當(dāng)新數(shù)據(jù)和舊有主數(shù)據(jù)沖突的時候的處理方法。數(shù)據(jù)存活規(guī)則主要有三種： Recent規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時候，以后來的數(shù)據(jù)為準(zhǔn)，后來數(shù)據(jù)替換原來的數(shù)據(jù)。比如contact（聯(lián)系人）信息，缺省是以后來的更新為主。 History規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時候，以原來的數(shù)據(jù)為準(zhǔn)，不接受后來數(shù)據(jù)的更新。 Source規(guī)則: 當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時候，以數(shù)據(jù)來源系統(tǒng)的可信度為作為使用哪個數(shù)據(jù)最后存活的規(guī)則。比如當(dāng)源系統(tǒng)有A，B，C三個系統(tǒng)的時候，我們需要在主數(shù) 據(jù)管理系統(tǒng)里注冊這三個系統(tǒng)的

17、時候，同時給這些源系統(tǒng)評分，則當(dāng)使用source規(guī)則的時候，則以后的數(shù)據(jù)將以評分高的系統(tǒng)為準(zhǔn)。比如有三個系 統(tǒng)，CRM,財務(wù)，物流，對于客戶信息而言，我們認(rèn)為CRM系統(tǒng)里的客戶信息應(yīng)該是最準(zhǔn)的，我們應(yīng)該給于CRM系統(tǒng)較高的分值，則這個時候?qū)τ诳蛻魯?shù)據(jù)我 們將使用Source規(guī)則，則以后所有的CRM系統(tǒng)相應(yīng)客戶的更新會覆蓋原來不是CRM系統(tǒng)的更新。3.數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量的大致控制流程，即當(dāng)記錄進(jìn)入主數(shù)據(jù)系統(tǒng)時，先會在主數(shù)據(jù)系統(tǒng)里尋找可能匹配的記錄，如果結(jié)果認(rèn)為是不匹配， 則將進(jìn)入處理不匹配流程來增加一條新記錄；如果是分值足夠高，則進(jìn)入自動匹配流程把該記錄和原有記錄進(jìn)行數(shù)據(jù)存活規(guī)則處理并合并

18、記錄；如果是分值不足夠 高，則需要人工來決定該記錄是新記錄還是需要和原有記錄合并。主數(shù)據(jù)管理監(jiān)控 最佳的工作流功能（例如針對南方電網(wǎng)主數(shù)據(jù)定義和審批路由的可配置工作流）響應(yīng)整個主數(shù)據(jù)管理生命周期事件;oracle BPEL 規(guī)范制定自動化業(yè)務(wù)處理流程，支持用戶自定義變更類型 確保堅如磐石的安全性和法規(guī)遵守證明的完整歷史和審計跟蹤 納稅人數(shù)據(jù)認(rèn)證，支持機(jī)構(gòu)創(chuàng)建數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，遵守這些標(biāo)準(zhǔn)并提升用戶對數(shù)據(jù)的信心 商務(wù)智能基礎(chǔ)架構(gòu)，支持剖析、法規(guī)遵守和業(yè)務(wù)績效指標(biāo) 自動化、人工流程，提供良好的用戶界面UI，多種通知方式 自動化、人工的審核和批準(zhǔn)，逐級審批 易于多組織的協(xié)同工作主數(shù)據(jù)發(fā)布和共享 面向終端

19、用戶和數(shù)據(jù)管理員的直觀GUI，管理主數(shù)據(jù)的整個生命周期從創(chuàng)建或?qū)胫鲾?shù)據(jù)信息到清理、匹配、增強(qiáng)和發(fā)布。使用預(yù)建的流程使南方電網(wǎng)更輕松地管理主數(shù)據(jù) 對所有集成模式實時（緊耦合和松耦合）、近實時（松耦合）和批量的嚴(yán)格的多模型支持 提供作為業(yè)務(wù)服務(wù)和Web服務(wù)的常用功能 一個內(nèi)部觸發(fā)的機(jī)制，創(chuàng)建變更信息并向所有相連系統(tǒng)部署 為所有的管理軟件和分析系統(tǒng)提供主數(shù)據(jù)記錄和所選屬性 在面向服務(wù)的架構(gòu)(SOA)和/或消息傳遞總線上的運營管理軟件和數(shù)據(jù)倉庫雙向交互 通過Oracle應(yīng)用集成架構(gòu) (AIA) 流程集成包 (PIP) 預(yù)建的集成 與Oracle商務(wù)智能企業(yè)版 (OBI EE) 預(yù)建的集成為了實現(xiàn)主數(shù)

20、據(jù)共享，首先全網(wǎng)應(yīng)該各個分散的業(yè)務(wù)系統(tǒng)連接起來，實現(xiàn)各個業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)存儲的互聯(lián)互通，目前的南網(wǎng)主數(shù)據(jù)管理解決方案主要采用兩種方式來實現(xiàn)：基于ETL工具的方式和基于SOA體系架構(gòu)的方式。1.基于ODI的方式基于ODI這樣的ETL工具設(shè)計的架構(gòu)更適合全網(wǎng)業(yè)務(wù)系統(tǒng)中的非實時數(shù)據(jù)量大的主數(shù)據(jù)共享發(fā)布。如上圖所示，采用基于ODI的ETL工具具有連接各種異構(gòu)數(shù)據(jù)源和變化捕捉的能力，采用它來實現(xiàn)MDM中異構(gòu)系統(tǒng)的數(shù)據(jù)觸發(fā)、整合和發(fā)布應(yīng)該是順理成章的事情，當(dāng)某個主數(shù)據(jù)的源發(fā)生變化時，ETL的CDC(變化數(shù)據(jù)捕捉)功能就會捕獲到變化，進(jìn)而將變化的數(shù)據(jù)傳輸?shù)街鲾?shù)據(jù)管理系統(tǒng)的臨時存儲區(qū)，然后ETL工具根據(jù)定義的

21、數(shù)據(jù)轉(zhuǎn)化規(guī)則對數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)化，形成主數(shù)據(jù)，進(jìn)而ETL調(diào)用審批監(jiān)管流程，一旦獲得審批，ETL即可將主數(shù)據(jù)同步到主數(shù)據(jù)存儲系統(tǒng)，同時分發(fā)給各個訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。同時ODI可以支撐流程的設(shè)計、運行、監(jiān)控，否則ETL工具必須可以調(diào)用其它的工作流引擎，ODI可以實現(xiàn)與SOA的無縫集成，既可以將數(shù)據(jù)或者轉(zhuǎn)化封裝為Web Service服務(wù)，也可以調(diào)用外部的Web Service服務(wù)。 2.基于SOA架構(gòu)的方式：在該方案更適合實時的數(shù)據(jù)量小的主數(shù)據(jù)共享發(fā)布，采用OSB（企業(yè)服務(wù)總線）技術(shù)構(gòu)建應(yīng)用集成平臺，采用web service方式實現(xiàn)在多個系統(tǒng)間應(yīng)用集成和互聯(lián)互通。應(yīng)用集成平臺是數(shù)據(jù)采集、數(shù)據(jù)交

22、換及服務(wù)提供能力的直接承載。數(shù)據(jù)的收集和分發(fā)采用各種應(yīng)用和適配器實現(xiàn)，各種應(yīng)用適配器一般提供變化數(shù)據(jù)的的輪詢或者推送功能。監(jiān)控管理可以采用SOA中的工作流引擎來實現(xiàn)，同時SOA中的流程監(jiān)控系統(tǒng)可以對整個主數(shù)據(jù)的收集、轉(zhuǎn)化、審批分發(fā)提供端到端的監(jiān)控。采用SOA技術(shù)設(shè)計的主數(shù)據(jù)管理架構(gòu)基于J2EE的開放架構(gòu)，會非常靈活，同時便于和其它系統(tǒng)集成，系統(tǒng)的擴(kuò)展性比較好，其問題在于如果主數(shù)據(jù)同步的量非常大，效率會有一定問題。安全可靠的平臺 基于標(biāo)準(zhǔn)的開放平臺 多語言和多國家支持 經(jīng)驗證的平臺，全球各行業(yè)（包括公共部門）數(shù)千客戶的選擇 面向混合的重工作負(fù)載Oracle擁有巨大數(shù)目的客戶下關(guān)鍵數(shù)據(jù)訪問的高度可

23、用和可伸縮的平臺。 安全特性包括全面且靈活的認(rèn)證、全面的審計和監(jiān)控以及所有架構(gòu)級別的加密。Oracle已經(jīng)獲得了17項獨立安全性評估的擔(dān)保，確立了Oracle在該領(lǐng)域的領(lǐng)導(dǎo)地位。這些評估包括TCSEC、ITSEC、FIPS和各種通用標(biāo)準(zhǔn)評估。2.1.2 主數(shù)據(jù)方案設(shè)計主數(shù)據(jù)管理的核心是數(shù)據(jù)整合、數(shù)據(jù)管控和數(shù)據(jù)服務(wù)。在橫跨這三個層次需要進(jìn)行數(shù)據(jù)安全管理、質(zhì)量管理和元數(shù)據(jù)管理。下面分別進(jìn)行介紹：數(shù)據(jù)整合：數(shù)據(jù)整合就是將離散于各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至數(shù)據(jù)中心。數(shù)據(jù)整合將通過ETL工具實現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等功能。數(shù)據(jù)管控：主要包含數(shù)據(jù)中心物理模型、邏輯模型的設(shè)計，數(shù)據(jù)的維護(hù)

24、管理以及存儲管理等管控功能。數(shù)據(jù)服務(wù)管控：數(shù)據(jù)服務(wù)管控主要是對采集至數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)交換和管控，主要包括數(shù)據(jù)交換服務(wù)設(shè)計，數(shù)據(jù)總線交換共享，以及數(shù)據(jù)交換管理等功能。元數(shù)據(jù)管理：元數(shù)據(jù)管理是整個數(shù)據(jù)共享中心中基礎(chǔ)信息的管理，包括ETL元數(shù)據(jù)、接口元數(shù)據(jù)、模型元數(shù)據(jù)和數(shù)據(jù)服務(wù)元數(shù)據(jù)等的管理功能。質(zhì)量管理：在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對數(shù)據(jù)質(zhì)量管理的側(cè)重點也有所不同。數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)準(zhǔn)確性，延伸至保障數(shù)據(jù)的完整性、唯一性、合法性、一致性、及時性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量問題，發(fā)展至從用戶視角衡量數(shù)據(jù)質(zhì)量問題，提高用戶對數(shù)據(jù)的滿意度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時

25、發(fā)現(xiàn)、報告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。安全管理：主要包括數(shù)據(jù)存儲安全、數(shù)據(jù)管控安全和數(shù)據(jù)交換等安全管理。主數(shù)據(jù)方案設(shè)計原則主數(shù)據(jù)方案設(shè)計，遵循以下一般原則： 每類業(yè)務(wù)數(shù)據(jù)實體的屬性有且僅有一個所有者（Owner），零個或多個消費者（Consumer）； 對數(shù)據(jù)的維護(hù)必須通過所有者進(jìn)行，消費者對數(shù)據(jù)只有只讀功能；如果消費者需要對數(shù)據(jù)進(jìn)行維護(hù)，必須調(diào)用所有者數(shù)據(jù)維護(hù)服務(wù)； 數(shù)據(jù)有且僅有一個主數(shù)據(jù)源（Master Location），主數(shù)據(jù)源可以是數(shù)據(jù)所有者的應(yīng)用數(shù)據(jù)庫（ADB）或者數(shù)據(jù)中心數(shù)據(jù)庫?；谛阅艿目紤]，消費者可以在

26、ADB保存數(shù)據(jù)的備份，由主數(shù)據(jù)源實時或定時發(fā)起數(shù)據(jù)同步； 主數(shù)據(jù)源提供相應(yīng)的數(shù)據(jù)存儲和數(shù)據(jù)服務(wù)；主數(shù)據(jù)集成方案設(shè)計根據(jù)主數(shù)據(jù)源位置（Location）、數(shù)據(jù)冗余方式（Redundant）和數(shù)據(jù)維護(hù)的歸屬（Owner），一般的主數(shù)據(jù)集成方案分析如下表：方案123456主數(shù)據(jù)源數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心ADBADBOwner 數(shù)據(jù)中心數(shù)據(jù)中心ADBADBADBADBConsumer是否有備份YNYNYN數(shù)據(jù)維護(hù)方式Owner讀直接讀Owner ADB中的數(shù)據(jù)備份同1調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)直接讀Owner ADB直接讀Owner ADBOwner寫Step 1、在一個

27、交易內(nèi)寫Owner ADB和數(shù)據(jù)中心；Step 2、通過數(shù)據(jù)中心啟動對Consumer ADB的數(shù)據(jù)同步在一個交易內(nèi)寫Owner ADB和數(shù)據(jù)中心Step 1、調(diào)用數(shù)據(jù)中心數(shù)據(jù)維護(hù)服務(wù)；Step 2、通過數(shù)據(jù)中心啟動對Consumer ADB的數(shù)據(jù)同步調(diào)用數(shù)據(jù)中心數(shù)據(jù)維護(hù)服務(wù)Step 1、寫Owner ADB；Step 2、通過數(shù)據(jù)中心或主數(shù)據(jù)源啟動對Consumer ADB的數(shù)據(jù)同步寫Owner ADBConsumer讀直接讀Consumer ADB中的數(shù)據(jù)備份調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)直接讀Consumer ADB中的數(shù)據(jù)備份調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)直接讀Consumer ADB中的數(shù)據(jù)備份

28、通過數(shù)據(jù)中心的統(tǒng)一視圖獲取數(shù)據(jù)；Consumer寫Option1：在一個交易內(nèi)，Consumer調(diào)用Owner的數(shù)據(jù)維護(hù)服務(wù)，同時寫Consumer ADB；Option2：集成Owner的數(shù)據(jù)維護(hù)界面，由數(shù)據(jù)中心啟動同步Consumer ADBOption1：Consumer調(diào)用Owner的數(shù)據(jù)維護(hù)服務(wù)；Option2：集成Owner的數(shù)據(jù)維護(hù)界面同1同2同1同2下面就各個方案進(jìn)行分析，對于方案1和方案2：這兩種方案主要適用于尚無任何系統(tǒng)時，進(jìn)行一體化系統(tǒng)建設(shè)，如應(yīng)用于已有系統(tǒng)則改造量較大。同時，這兩種方案均以數(shù)據(jù)中心做為主數(shù)據(jù)的維護(hù)中心。對于方案3、4和方案5、6：方案5、6較適合已有大量

29、系統(tǒng)的情況，帶來的系統(tǒng)改造量最小。方案3、4適合在主數(shù)據(jù)維護(hù)職能不變的情況下將主數(shù)據(jù)在數(shù)據(jù)中心中進(jìn)行集中，并提供給新建應(yīng)用。主數(shù)據(jù)實施方案設(shè)計1、主數(shù)據(jù)創(chuàng)建抽取設(shè)計主數(shù)據(jù)創(chuàng)建抽取過程如下：其一、先對現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行解耦，解決目前各業(yè)務(wù)系統(tǒng)間交叉訪問，耦合度過高的問題。通過建設(shè)共享數(shù)據(jù)庫，并將目前南方電網(wǎng)各系統(tǒng)交叉訪問的共享數(shù)據(jù)通過數(shù)據(jù)復(fù)制機(jī)制同步或異步復(fù)制到共享數(shù)據(jù)庫，然后再更改各業(yè)務(wù)系統(tǒng)現(xiàn)有的共享視圖或物化視圖定義，將共享訪問數(shù)據(jù)源統(tǒng)一指向共享數(shù)據(jù)庫。通過共享數(shù)據(jù)庫的建設(shè)及數(shù)據(jù)復(fù)制機(jī)制的建立，可以將目前網(wǎng)狀的交叉訪問接口平滑過渡到基于共享數(shù)據(jù)庫的星狀接口，有效解決各系統(tǒng)依賴度過高的問題，同時

30、也為下一步各系統(tǒng)的升級改造打下基礎(chǔ)。這里的數(shù)據(jù)復(fù)制產(chǎn)品可以考慮Oracle的GoldenGate實時復(fù)制產(chǎn)品，先將數(shù)據(jù)復(fù)制到共享數(shù)據(jù)庫，完成“系統(tǒng)解耦”工作。其二、是進(jìn)行數(shù)據(jù)共享協(xié)同平臺的建設(shè)。在進(jìn)行系統(tǒng)解耦時，我們會構(gòu)建共享數(shù)據(jù)庫，但該共享庫僅僅是將當(dāng)前分散到各業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)進(jìn)行了集中，還缺乏統(tǒng)一的規(guī)劃，因此還需要對共享庫進(jìn)行重新規(guī)劃設(shè)計，同時也需要對共享協(xié)同平臺和外部交換庫進(jìn)行規(guī)劃設(shè)計。總體規(guī)劃設(shè)計完成后，即可開始構(gòu)建數(shù)據(jù)共享中心和業(yè)務(wù)協(xié)同平臺，其中數(shù)據(jù)共享中心構(gòu)建完成后，就可以逐步將各系統(tǒng)間原來基于視圖和物化視圖的數(shù)據(jù)共享訪問調(diào)整為基于數(shù)據(jù)共享中心的訪問模式。共享庫規(guī)劃生成主數(shù)據(jù)管理

31、，可以考慮Oracle Data Integrator產(chǎn)品，實現(xiàn)數(shù)據(jù)ETL的工作。2、主數(shù)據(jù)共享分發(fā)流程設(shè)計主數(shù)據(jù)創(chuàng)建生成后，就是對主數(shù)據(jù)進(jìn)行有效管理和利用。同其他系統(tǒng)進(jìn)行可以進(jìn)行實時或半實時的同步從多個源系統(tǒng)建立統(tǒng)一、完整的記錄，再將主數(shù)據(jù)信息同步到其他系統(tǒng)中。通過內(nèi)嵌的集成服務(wù)同其他系統(tǒng)進(jìn)行集成，例如豐富的公共API和業(yè)務(wù)事件。通過不斷的數(shù)據(jù)清理和轉(zhuǎn)換規(guī)則來確保同步數(shù)據(jù)的質(zhì)量。主數(shù)據(jù)管理功能設(shè)計主數(shù)據(jù)的管理功能基本與內(nèi)部交換數(shù)據(jù)、外部交換數(shù)據(jù)相似。2.1.3 交換數(shù)據(jù)方案設(shè)計內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)在數(shù)據(jù)交換上的業(yè)務(wù)功能和邏輯，以及技術(shù)實現(xiàn)都是相似的，可以采用相同的數(shù)據(jù)交換方案框架。數(shù)據(jù)交換方案

32、框架涵蓋了數(shù)據(jù)交換，質(zhì)量清洗，數(shù)據(jù)管控和數(shù)據(jù)使用，解決了如何在核心數(shù)據(jù)上實現(xiàn)統(tǒng)一的存儲，維護(hù)和使用的問題。 數(shù)據(jù)集成：數(shù)據(jù)集成就是將離散于各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至數(shù)據(jù)共享中心。數(shù)據(jù)集成需要對南方電網(wǎng)內(nèi)部系統(tǒng)以及外部系統(tǒng)進(jìn)行數(shù)據(jù)集成。對于不同的數(shù)據(jù)集成場景，有不同的數(shù)據(jù)集成實現(xiàn)模式，比如有基于Oracle ODI的“拉”數(shù)據(jù)集成模式和基于ESB總線的“推”數(shù)據(jù)集成模式等。 質(zhì)量管理：在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對數(shù)據(jù)質(zhì)量管理的側(cè)重點也有所不同。數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)準(zhǔn)確性，延伸至保障數(shù)據(jù)的完整性、唯一性、合法性、一致性、及時性等屬性；從單純以技術(shù)角度考慮

33、數(shù)據(jù)質(zhì)量問題，發(fā)展至從用戶視角衡量數(shù)據(jù)質(zhì)量問題，提高用戶對數(shù)據(jù)的滿意度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時發(fā)現(xiàn)、報告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。圖：數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)管控：數(shù)據(jù)管控不是純粹的技術(shù)問題，而是由技術(shù)、人、信息和流程4個方面共同影響的綜合管理問題。數(shù)據(jù)管控的演進(jìn)思路劃分為4個步驟：提出管理需求、制定管理流程框架、細(xì)化具體管理流程、與組織機(jī)構(gòu)具體角色進(jìn)行對應(yīng)。 數(shù)據(jù)使用：存在于數(shù)據(jù)共享中心中的數(shù)據(jù)主要有兩大方面的使用，一是封裝成數(shù)據(jù)服務(wù)，并集成于業(yè)務(wù)協(xié)同平臺（服務(wù)總線平臺）進(jìn)行數(shù)據(jù)服務(wù)共享，南方電網(wǎng)信息內(nèi)部系統(tǒng)和其他外部

34、系統(tǒng)統(tǒng)一通過業(yè)務(wù)協(xié)同平臺獲取所需業(yè)務(wù)數(shù)據(jù)；二是基于數(shù)據(jù)共享中心的集成化數(shù)據(jù)進(jìn)行綜合查詢分析的應(yīng)用，查詢分析統(tǒng)計功能不再基于核心業(yè)務(wù)數(shù)據(jù)庫，避免造成對核心業(yè)務(wù)系統(tǒng)的性能影響。圖：數(shù)據(jù)服務(wù)共享2.1.4 數(shù)據(jù)交換系統(tǒng)功能設(shè)計基于內(nèi)部數(shù)據(jù)交換方案框架，并結(jié)合南方電網(wǎng)數(shù)據(jù)共享協(xié)同平臺總體功能需求分析的基礎(chǔ)上，梳理出南方電網(wǎng)共享中心的總體功能組織結(jié)構(gòu)如下圖所示：以下將分別對數(shù)據(jù)共享中心數(shù)據(jù)集成域、數(shù)據(jù)管控域、質(zhì)量檢測域和數(shù)據(jù)使用域的功能規(guī)劃進(jìn)行詳細(xì)介紹：數(shù)據(jù)集成數(shù)據(jù)集成引擎（Data Integration Engine）面向應(yīng)用系統(tǒng)，在各個應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取數(shù)據(jù)，是一個跨平臺的用于整合異構(gòu)系統(tǒng)數(shù)據(jù)

35、的ETL工具，在數(shù)據(jù)共享中心中，數(shù)據(jù)集成引擎實現(xiàn)了從各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取用于整合共享的數(shù)據(jù)，經(jīng)過質(zhì)量檢查后，按新的數(shù)據(jù)模型對數(shù)據(jù)進(jìn)行轉(zhuǎn)換和清洗，正確無誤后加載到目標(biāo)數(shù)據(jù)共享中心中。下面對數(shù)據(jù)集成引擎中的各個部分的功能進(jìn)行詳細(xì)介紹。元數(shù)據(jù)模型為了可以自動完數(shù)據(jù)提取、質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換清洗和數(shù)據(jù)加載這個數(shù)據(jù)整合過程，數(shù)據(jù)集成引擎需要知道源數(shù)據(jù)、目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的轉(zhuǎn)換及清洗規(guī)則，還有源數(shù)據(jù)的質(zhì)量檢查規(guī)則等數(shù)據(jù)，這些用于描述數(shù)據(jù)本身的數(shù)據(jù)被稱為數(shù)據(jù)集成的元數(shù)據(jù)，而元數(shù)據(jù)模型是元數(shù)據(jù)的一個實例集合，描述了具體的數(shù)據(jù)結(jié)構(gòu)和規(guī)則，在數(shù)據(jù)進(jìn)行集成前，必須先定義好元數(shù)據(jù)模型。具體的元

36、數(shù)據(jù)包括：1)數(shù)據(jù)源定義2)目標(biāo)庫定義3)數(shù)據(jù)物理模型4)數(shù)據(jù)檢查規(guī)則5)數(shù)據(jù)轉(zhuǎn)換規(guī)則6)數(shù)據(jù)清洗規(guī)則批量數(shù)據(jù)提取批量數(shù)據(jù)提取（Bulk Data Extract）從數(shù)據(jù)源定時批量提取數(shù)據(jù)進(jìn)行整合，是數(shù)據(jù)集成引擎的前端功能，與元數(shù)據(jù)模型中定義的各個數(shù)據(jù)源進(jìn)行連接，獲取需要整合的數(shù)據(jù)，然后存儲到中間數(shù)據(jù)庫（Staging Database）進(jìn)行后續(xù)的質(zhì)量檢查、清洗和轉(zhuǎn)換處理。批量數(shù)據(jù)提取因為提取的數(shù)據(jù)量較多，對于性能的影響也較大，一般用于非實時的數(shù)據(jù)整合，適用于時效性要求不高并且不希望過多影響源系統(tǒng)數(shù)據(jù)處理性能的情況。對于關(guān)系型數(shù)據(jù)庫的批量數(shù)據(jù)提取可以使用兩種接口方式來進(jìn)實現(xiàn)：1)ORACLE

37、DB LINK：這種方式適用于目標(biāo)數(shù)據(jù)庫和數(shù)據(jù)源數(shù)據(jù)庫都是Oracle的情況，直接在目標(biāo)數(shù)據(jù)庫建立源數(shù)據(jù)庫的DB LINK，通過DB LINK就可以像在一個數(shù)據(jù)庫一樣通過SQL直接提取數(shù)據(jù)源的數(shù)據(jù)。2)JDBC Data Source：這種方式適合源數(shù)據(jù)庫是非Oracle并且支持JDBC協(xié)議的數(shù)據(jù)庫，目前大部分主流數(shù)據(jù)庫都支持JDBC協(xié)議，在JDBC協(xié)議上建立Data Source，通過JDBC在源數(shù)據(jù)庫上執(zhí)行SQL進(jìn)行數(shù)據(jù)提取。使用批量數(shù)據(jù)提取的方式來提取數(shù)據(jù)可以用于首次初始化加載全量數(shù)據(jù)，也可在首次加載數(shù)據(jù)后通過兩種方式實現(xiàn)非實時的增量更新，這兩種方式分別是：1)基于時間戳的增量更新這種方

38、式提取數(shù)據(jù)速度較快，源數(shù)據(jù)庫通過物理表或者試圖的方式暴露數(shù)據(jù)，但要求數(shù)據(jù)源的表或者視圖必須有時間戳的字段并且不能對數(shù)據(jù)記錄進(jìn)行物理刪除。2)基于主鍵比對的增量更新這種方式需要每次都提取全部數(shù)據(jù)，然后在目標(biāo)數(shù)據(jù)庫上按主鍵標(biāo)識對所有數(shù)據(jù)進(jìn)行全量比對來識別增量更新的數(shù)據(jù)記錄，效率低，數(shù)據(jù)源的壓力較大，只適合小數(shù)據(jù)量的提取，基于主鍵比對的更新對源數(shù)據(jù)的表或者視圖無特殊要求。變化數(shù)據(jù)捕獲和批量數(shù)據(jù)提取一樣，變化數(shù)據(jù)捕獲（Change Data Capture）同樣是數(shù)據(jù)集成引擎的前端功能，和數(shù)據(jù)源進(jìn)行隊列；但顧名思義，變化數(shù)據(jù)捕獲只提供增量數(shù)據(jù)提取的功能，通過對源數(shù)據(jù)庫上變更數(shù)據(jù)的捕獲，數(shù)據(jù)集成引擎可以

39、實現(xiàn)實時或準(zhǔn)實時數(shù)據(jù)同步，此方式適用于整合有較高時效性要求的數(shù)據(jù)。變化數(shù)據(jù)捕獲提供多種技術(shù)實現(xiàn)方式，包括數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫日志采集器、基于消息隊列的變更數(shù)據(jù)訂閱和基于Web Service的數(shù)據(jù)變化通知，下面對幾種方式進(jìn)行描述：集成數(shù)據(jù)引擎主動捕獲數(shù)據(jù)變化的方式：1) 數(shù)據(jù)庫觸發(fā)器（Database Triggers）：通過在源數(shù)據(jù)表上創(chuàng)建觸發(fā)器來獲取變化的數(shù)據(jù)，此方式實時性高，但需要對源數(shù)據(jù)庫進(jìn)行改動，對高負(fù)載應(yīng)用的性能有一定的影響，此方式支持主流的關(guān)系數(shù)據(jù)庫。2) 數(shù)據(jù)庫日志采集器（Log Miner）：通過對源數(shù)據(jù)庫日志文件進(jìn)行分析，實時捕獲數(shù)據(jù)庫數(shù)據(jù)的變化情況，此方式速度較快，對源系

40、統(tǒng)不會造成太大的壓力，但需要數(shù)據(jù)庫本身的功能進(jìn)行實現(xiàn)，目前只支持Oracle和DB2兩種數(shù)據(jù)庫類型。上面兩種方式是數(shù)據(jù)集成引擎主動捕獲變化數(shù)據(jù)，而下面的兩種方式則是數(shù)據(jù)集成引擎被動接收源系統(tǒng)的通知：1) 變更數(shù)據(jù)訂閱(Change Data Subscriber)：通過消息隊列技術(shù)，變化數(shù)據(jù)捕獲功能在數(shù)據(jù)源應(yīng)用提供的基于JMS標(biāo)準(zhǔn)的消息隊列上訂閱數(shù)據(jù)的變化消息，通過監(jiān)聽數(shù)據(jù)變更隊列，實時獲得數(shù)據(jù)源應(yīng)用放到隊列中的數(shù)據(jù)變化消息，此方式的提取速度快，并且JMS消息隊列提供了消息傳輸?shù)母呖煽啃?，但實時性取決于數(shù)據(jù)源應(yīng)用，并且數(shù)據(jù)源應(yīng)用需要開發(fā)相應(yīng)的功能來實現(xiàn)。2) 數(shù)據(jù)變化通知(Data Chang

41、e Notification)：和變更數(shù)據(jù)訂閱相同的原理，數(shù)據(jù)變化通知技術(shù)是通過暴露數(shù)據(jù)變化通知的Web Service接口給數(shù)據(jù)源應(yīng)用，當(dāng)數(shù)據(jù)的變化被數(shù)據(jù)源應(yīng)用捕獲后，數(shù)據(jù)源應(yīng)用調(diào)用通知接口把變化的數(shù)據(jù)傳遞給數(shù)據(jù)變化捕獲功能，此方式提取速度快，并且可通過ESB統(tǒng)一暴露服務(wù)接口，消息傳輸可靠性也可以通過ESB的獲得支持（需要ESB的實現(xiàn)支持此功能），但實時性同樣取決于數(shù)據(jù)源應(yīng)用，需要數(shù)據(jù)源應(yīng)用做相應(yīng)的開發(fā)。對比主動和被動捕獲的幾種實現(xiàn)，主動捕獲技術(shù)更適用于數(shù)據(jù)源是關(guān)系數(shù)據(jù)庫并且數(shù)據(jù)變化不需要進(jìn)行邏輯處理的情況；而當(dāng)數(shù)據(jù)源不是關(guān)系數(shù)據(jù)庫又或者數(shù)據(jù)的變化后需要進(jìn)行邏輯處理，不能直接通過數(shù)據(jù)庫觸發(fā)器

42、或者日志分析進(jìn)行判斷數(shù)據(jù)是否發(fā)生變化的情況下，則需要改造數(shù)據(jù)源，使用被動捕獲技術(shù)來實現(xiàn)。在數(shù)據(jù)共享中心中，為減少對數(shù)據(jù)源的影響和改造，建議主要通過數(shù)據(jù)庫觸發(fā)器和數(shù)據(jù)庫日志采集這兩種方式來實現(xiàn)實時/準(zhǔn)實時數(shù)據(jù)提取。數(shù)據(jù)質(zhì)量檢查在數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查（Data Quality Check）功能是數(shù)據(jù)質(zhì)量的第一道防火墻，在數(shù)據(jù)的來源入口根據(jù)元數(shù)據(jù)模型中設(shè)定的數(shù)據(jù)檢查規(guī)則對從數(shù)據(jù)源中提取的最原始數(shù)據(jù)進(jìn)行規(guī)則驗證，當(dāng)某條數(shù)據(jù)記錄不符合檢查規(guī)則，會被數(shù)據(jù)質(zhì)量檢查工具自動標(biāo)記為問題數(shù)據(jù)，同時在質(zhì)量問題表中對引起質(zhì)量問題的原因和出現(xiàn)問題的數(shù)據(jù)記錄進(jìn)行記錄。數(shù)據(jù)質(zhì)量檢查功能實現(xiàn)的檢查規(guī)則類型可分為數(shù)據(jù)約

43、束檢查和業(yè)務(wù)規(guī)則檢查，具體如下：（一）數(shù)據(jù)約束檢查：基本數(shù)據(jù)約束，如：人員名稱不能為空唯一性約束，如：人員身份證號碼不能相同有效引用約束等（二）業(yè)務(wù)規(guī)則檢查數(shù)據(jù)約束檢查可通過關(guān)系數(shù)據(jù)庫約束實現(xiàn)，而業(yè)務(wù)規(guī)則檢查需要執(zhí)行SQL查詢分析才能完成，而由于數(shù)據(jù)質(zhì)量檢查功能是在數(shù)據(jù)整合的過程中執(zhí)行，只能做到事前控制，并且是使用關(guān)系數(shù)據(jù)庫提供的功能進(jìn)行檢查，復(fù)雜的數(shù)據(jù)質(zhì)量問題檢測或者要在多個數(shù)據(jù)源的數(shù)據(jù)集成后（事后控制）才能進(jìn)行檢查的問題則需要在數(shù)據(jù)質(zhì)量服務(wù)器中的質(zhì)量檢測服務(wù)中執(zhí)行或檢測。數(shù)據(jù)轉(zhuǎn)換清洗數(shù)據(jù)集成引擎把各個數(shù)據(jù)源的數(shù)據(jù)提取后進(jìn)行了集中存儲共享，并建立唯一的數(shù)據(jù)標(biāo)準(zhǔn)，使用一致的方式向應(yīng)用提供數(shù)據(jù)；

44、實際情況中，集中存儲和共享的數(shù)據(jù)數(shù)據(jù)模型和數(shù)據(jù)源的模型大部分情況下都不會完全一致，這就需要在數(shù)據(jù)源的數(shù)據(jù)進(jìn)入到目標(biāo)數(shù)據(jù)庫前進(jìn)行轉(zhuǎn)換或被清除掉不需要和無效的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換清洗功能根據(jù)元數(shù)據(jù)模型中定義的轉(zhuǎn)換和清洗規(guī)則進(jìn)行數(shù)據(jù)自動轉(zhuǎn)換清洗。目標(biāo)數(shù)據(jù)加載目標(biāo)數(shù)據(jù)加載（Target Data Loading）把經(jīng)過了質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換與清洗后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫中進(jìn)行存儲。目標(biāo)數(shù)據(jù)存儲可以是標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫或者數(shù)據(jù)文件（如XML、Excel等），在此方案建議書中使用Oracle關(guān)系數(shù)據(jù)庫作為數(shù)據(jù)集成的目標(biāo)數(shù)據(jù)存儲庫。質(zhì)量檢測數(shù)據(jù)質(zhì)量檢測是數(shù)據(jù)共享中心數(shù)據(jù)質(zhì)量控制的核心，負(fù)責(zé)數(shù)據(jù)質(zhì)量問題的檢測與收集，

45、當(dāng)檢測到質(zhì)量問題時，產(chǎn)生相應(yīng)的事件并進(jìn)行事件記錄與通知，讓用戶可以快速和直觀的了解到數(shù)據(jù)產(chǎn)生了質(zhì)量問題并進(jìn)行及時處理；對于系統(tǒng)可以按規(guī)則設(shè)定進(jìn)行自動修正的質(zhì)量問題，數(shù)據(jù)質(zhì)量管理內(nèi)置的自動數(shù)據(jù)修正（Auto Data Correct）功能將自動修正并記錄修正日志。上圖中的質(zhì)量檢測服務(wù)提供數(shù)據(jù)質(zhì)量問題的自動檢測功能，通過調(diào)用數(shù)據(jù)質(zhì)量規(guī)則引擎執(zhí)行預(yù)設(shè)的規(guī)則或者通過定制開發(fā)的檢測代碼，定時掃描檢測目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)，當(dāng)發(fā)現(xiàn)問題后如果可以進(jìn)行自動修正則調(diào)用自動數(shù)據(jù)修正功能進(jìn)行修正，否則直接通知質(zhì)量監(jiān)控引擎，告知產(chǎn)生一個質(zhì)量問題事件。數(shù)據(jù)質(zhì)量規(guī)則引擎是自動質(zhì)量檢測和自動數(shù)據(jù)修正的基礎(chǔ)運行引擎，可支持通過規(guī)

46、則來設(shè)定與實現(xiàn)簡單問題的檢測和數(shù)據(jù)修正。質(zhì)量監(jiān)控引擎除了收集質(zhì)量檢測服務(wù)產(chǎn)生的質(zhì)量事件，同時也會監(jiān)控其他模塊檢測到的質(zhì)量問題記錄（如數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查）并轉(zhuǎn)化為統(tǒng)一的質(zhì)量事件，通過分析后，設(shè)定事件的等級、處理人等信息，然后進(jìn)行事件處理（記錄和告警）下面對幾部分的功能進(jìn)行詳細(xì)描述。質(zhì)量監(jiān)控引擎質(zhì)量監(jiān)控引擎不負(fù)責(zé)具體的質(zhì)量問題檢測，而是對分布在各個環(huán)節(jié)中被檢測出來的問題進(jìn)行統(tǒng)一收集，經(jīng)過分析處理，封裝為統(tǒng)一的質(zhì)量事件，并對事件進(jìn)行處理。（1）質(zhì)量事件收集在整個數(shù)據(jù)共享中心中有兩個環(huán)節(jié)會產(chǎn)生質(zhì)量問題，一個是數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查功能，該功能會在檢測到質(zhì)量問題后把問題描述保存在數(shù)據(jù)庫中

47、的錯誤表中；另外一個事下面提到的同樣是在數(shù)據(jù)質(zhì)量服務(wù)器中內(nèi)置的功能“質(zhì)量檢測服務(wù)”，該功能根據(jù)質(zhì)量規(guī)則引擎的規(guī)則定期執(zhí)行質(zhì)量檢測，發(fā)現(xiàn)問題后也會把問題描述存放在質(zhì)量問題表中。事件收集提供主動監(jiān)測和被動監(jiān)聽兩種模式來收集質(zhì)量問題并產(chǎn)生質(zhì)量事件。對于數(shù)據(jù)集成引擎中的質(zhì)量問題，事件收集功能使用主動監(jiān)測模式，準(zhǔn)實時的掃描數(shù)據(jù)庫中的錯誤表，一旦發(fā)現(xiàn)新的錯誤產(chǎn)生，馬上捕獲并進(jìn)行處理。對于數(shù)據(jù)質(zhì)量服務(wù)器中的質(zhì)量檢測服務(wù)，事件收集功能使用被動監(jiān)聽模式，接受質(zhì)量檢測服務(wù)報告的質(zhì)量問題，一旦收到信的通知，馬上進(jìn)行處理。除了內(nèi)置的兩種問題收集的實現(xiàn)，質(zhì)量監(jiān)控引擎的時間收集模型還提供了可擴(kuò)展的主動監(jiān)測開發(fā)接口和面向其

48、他模塊或者應(yīng)用的監(jiān)聽接口，主動監(jiān)測使用API的方式進(jìn)行擴(kuò)展開發(fā)，而監(jiān)聽接口通過準(zhǔn)實時掃描標(biāo)準(zhǔn)的質(zhì)量事件隊列表的方式實現(xiàn)，其他模塊或者外部應(yīng)用如果需要向數(shù)據(jù)質(zhì)量服務(wù)器報告質(zhì)量事件，直接通過數(shù)據(jù)庫訪問接口在質(zhì)量事件監(jiān)聽表插入記錄即可。（2）質(zhì)量事件分析事件一旦被收集馬上被創(chuàng)建并轉(zhuǎn)到事件分析模塊中進(jìn)行分析，事件分析模塊根據(jù)事件關(guān)聯(lián)的數(shù)據(jù)實體找到該數(shù)據(jù)實體的質(zhì)量元數(shù)據(jù)，分析出事件的嚴(yán)重等級、事件的處理人、事件的處理動作（EMAIL或短信通知等）和處理流程等信息，補(bǔ)充完成事件的詳細(xì)屬性信息并封裝為完整的事件消息轉(zhuǎn)交給事件處理模塊進(jìn)行處理。系統(tǒng)內(nèi)置一條默認(rèn)規(guī)則，如果質(zhì)量問題是可以被系統(tǒng)自動修正并且已經(jīng)被質(zhì)

49、量服務(wù)器中的自動修正功能進(jìn)行修正，那么該事件不需要后續(xù)的處理，只產(chǎn)生信息基本的事件記錄。其他規(guī)則需要用戶在數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)管控模塊的質(zhì)量管理功能中進(jìn)行設(shè)置。（3）質(zhì)量事件處理事件處理模塊完成提供兩個功能，一個是往數(shù)據(jù)管理系統(tǒng)中的質(zhì)量事件通知表中保存事件的詳細(xì)記錄；另外一個是根據(jù)事件分析模塊中獲取到的事件處理動作信息執(zhí)行事件處理動作。此方案建議實現(xiàn)以下三種類型的事件處理動作：1.發(fā)送郵件2.發(fā)送短信3.發(fā)送代辦質(zhì)量規(guī)則引擎質(zhì)量規(guī)則引擎（Quality Rule Engine）中的質(zhì)量規(guī)則分為問題檢測規(guī)則和數(shù)據(jù)修正規(guī)則，規(guī)則引擎能根據(jù)配置的規(guī)則或簡單的編碼就可進(jìn)行自動問題檢測和自動數(shù)據(jù)修正，而無

50、須全部重新開發(fā)。對單條數(shù)據(jù)的基本約束規(guī)則檢查，如屬性是否為空，某字段是否符合范圍等都在數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查功能完成，質(zhì)量規(guī)則引擎執(zhí)行的是事后檢查，也就是數(shù)據(jù)已經(jīng)經(jīng)過基本檢查并抽取到目標(biāo)庫后，規(guī)則引擎才通過質(zhì)量檢測服務(wù)的定期調(diào)度，對數(shù)據(jù)執(zhí)行問題分析。在本次建設(shè)范圍內(nèi)，質(zhì)量規(guī)則引擎會內(nèi)置實現(xiàn)一些通過配置即可完成質(zhì)量檢查的規(guī)則實現(xiàn)；同時提供可擴(kuò)展的開發(fā)模型，使得復(fù)雜的業(yè)務(wù)規(guī)則可以通過擴(kuò)展開發(fā)來完成檢測和數(shù)據(jù)修正，具體提供的功能如下：（1）內(nèi)置實現(xiàn)規(guī)則內(nèi)置實現(xiàn)規(guī)則按使用和數(shù)據(jù)檢測修正邏輯的復(fù)雜度分為基本規(guī)則和高級規(guī)則，基本規(guī)則面向普通用戶，使用上較為具體，如重復(fù)數(shù)據(jù)記錄識別規(guī)則，參數(shù)的配置也較

51、為簡單，高級規(guī)則面向?qū)I(yè)用戶或者維護(hù)人員，較為抽象，如下面提到的自定義公式規(guī)則，提供了強(qiáng)大和靈活的自定義質(zhì)量檢測與數(shù)據(jù)修正功能，相對基本規(guī)則來說，使用上也較為專業(yè)，下面分別對基本規(guī)則和高級規(guī)則支持的功能進(jìn)行介紹：l 基本規(guī)則n 檢測規(guī)則編號規(guī)則名稱規(guī)則說明1重復(fù)數(shù)據(jù)記錄識別規(guī)則根據(jù)配置的數(shù)據(jù)實體屬性（可配置多個）的值完全相同來判斷數(shù)據(jù)是否重復(fù)2數(shù)值內(nèi)容匹配檢查規(guī)則如果數(shù)據(jù)的某些字段等于、大于、小于或者包含指定的內(nèi)容，那么認(rèn)為該記錄存在質(zhì)量問題3n 修正規(guī)則編號規(guī)則名稱規(guī)則說明1更改數(shù)據(jù)字段的值為固定內(nèi)容可修改數(shù)據(jù)記錄中的一個或多個字段的數(shù)值為指定的內(nèi)容2執(zhí)行刪除對數(shù)據(jù)記錄進(jìn)行硬刪除或者軟刪除3

52、l 高級規(guī)則質(zhì)量規(guī)則引擎內(nèi)置實現(xiàn)了基于元數(shù)據(jù)的自定義公式質(zhì)量規(guī)則，用戶或者開發(fā)人員通過表達(dá)式編輯工具或者手工編寫表達(dá)式的方式可實現(xiàn)常規(guī)的質(zhì)量自動檢測和自動數(shù)據(jù)修正功能。自定義公式質(zhì)量規(guī)則分為設(shè)計時(Design Time)和運行時(Runtime)功能，設(shè)計時面向最終用戶或者維護(hù)人員，提供統(tǒng)一的規(guī)則配置模型，而運行時則根據(jù)執(zhí)行環(huán)境分為數(shù)據(jù)庫運行時和應(yīng)用運行時。自定義公式規(guī)則的規(guī)則配置模型按數(shù)據(jù)檢測和數(shù)據(jù)修正的用途而分為條件表達(dá)式配置和計算表達(dá)式配置，條件表達(dá)式用于判斷數(shù)據(jù)是否符合設(shè)定的條件（檢測），而計算表達(dá)式用于設(shè)定數(shù)據(jù)的數(shù)值如何計算（修正）；統(tǒng)一的規(guī)則配置是指表達(dá)式是基于標(biāo)準(zhǔn)的數(shù)學(xué)公式來進(jìn)

53、行設(shè)定和展現(xiàn)。自定義公式質(zhì)量規(guī)則運行時指公式規(guī)則的運行是在什么環(huán)境中執(zhí)行，由于數(shù)據(jù)共享中心的數(shù)據(jù)都存放在數(shù)據(jù)庫中，所以自定義公式質(zhì)量規(guī)則運行時內(nèi)置支持在數(shù)據(jù)庫中運行，數(shù)據(jù)庫運行時負(fù)責(zé)把統(tǒng)一的數(shù)據(jù)公式翻譯為數(shù)據(jù)庫可執(zhí)行的SQL語句，然后在數(shù)據(jù)庫中執(zhí)行。（2）擴(kuò)展開發(fā)支持質(zhì)量規(guī)則引擎設(shè)計上是基于接口的設(shè)計和開發(fā)，其核心的功能不實現(xiàn)任何檢測和修正規(guī)則，只完成對外調(diào)用接口的實現(xiàn)（如給質(zhì)量檢測服務(wù)和自動數(shù)據(jù)修正功能進(jìn)行調(diào)用），當(dāng)出現(xiàn)內(nèi)置規(guī)則不能支持的復(fù)雜檢測或者修正規(guī)則時，可重新擴(kuò)展開發(fā)新的規(guī)則，基本規(guī)則或高級規(guī)則都可進(jìn)行擴(kuò)展，實現(xiàn)上沒有區(qū)別。通過擴(kuò)展開發(fā)支持，即使將來引入了第三方的強(qiáng)大的規(guī)則引擎，也可

54、以在數(shù)據(jù)共享中心中實現(xiàn)的質(zhì)量管理模型上進(jìn)行統(tǒng)一調(diào)度、檢測和管理。質(zhì)量檢測服務(wù)質(zhì)量檢測服務(wù)是一個調(diào)度程序，按照系統(tǒng)設(shè)定的時間周期定期對各個業(yè)務(wù)實體的數(shù)據(jù)記錄執(zhí)行檢測規(guī)則并捕獲檢測規(guī)則返回的結(jié)果，判斷是否存在符合檢測規(guī)則的質(zhì)量問題，如果發(fā)現(xiàn)出現(xiàn)問題，再判斷該質(zhì)量檢測規(guī)則是否關(guān)聯(lián)了自動修正規(guī)則，如果是，那么調(diào)用自動數(shù)據(jù)修正功能并傳入修正規(guī)則和問題數(shù)據(jù)信息對問題進(jìn)行自動修正。每次調(diào)用執(zhí)行完成后，質(zhì)量檢測服務(wù)把執(zhí)行的結(jié)果，是否出現(xiàn)問題，問題原因，執(zhí)行時間，是否進(jìn)行修正，修正動作等信息保存在質(zhì)量檢測問題表中進(jìn)行日志記錄。自動數(shù)據(jù)修正自動數(shù)據(jù)修正功能是一個控制程序，由質(zhì)量檢測服務(wù)進(jìn)行調(diào)用，其功能是調(diào)用質(zhì)量規(guī)

55、則引擎執(zhí)行自動修正規(guī)則，傳入規(guī)則執(zhí)行所需的參數(shù)數(shù)據(jù)，執(zhí)行完成后把結(jié)果返回給質(zhì)量檢測服務(wù)進(jìn)行后續(xù)處理。數(shù)據(jù)管控數(shù)據(jù)管控是指對一個企業(yè)數(shù)據(jù)的可用性、實用性、完整性和安全性等的全面管理。一個有效的數(shù)據(jù)管控包括一個管控主體、定義好的一組程序和一個執(zhí)行這組程序的計劃。簡要的說，數(shù)據(jù)管控的定義可以理解成對所有信息相關(guān)過程進(jìn)行決策和管理。數(shù)據(jù)管控功能主要包括元數(shù)據(jù)管理、質(zhì)量管理、數(shù)據(jù)管理和統(tǒng)計分析。元數(shù)據(jù)管理（1）元數(shù)據(jù)維護(hù)元數(shù)據(jù)維護(hù)提供對元數(shù)據(jù)的增加、刪除、修改等基本操作。另外，還應(yīng)支持實體和實體關(guān)系的建模、數(shù)據(jù)處理過程描述等功能。對于元數(shù)據(jù)的增量維護(hù)，要求能保留歷史版本信息。在實施元數(shù)據(jù)維護(hù)操作的過程中

56、，需要對這部分操作的過程進(jìn)行一定的約束和限制。元數(shù)據(jù)定義為如下的四種狀態(tài)：審核狀態(tài) 對于需要進(jìn)行維護(hù)的元數(shù)據(jù)，首先進(jìn)入審核狀態(tài)，等待審核人員的核查，確定該元數(shù)據(jù)是否需要進(jìn)行修改；公示狀態(tài) 審核通過后，進(jìn)入公示狀態(tài)，即處于對元數(shù)據(jù)定義征求意見的狀態(tài)，尚未最后定稿，公示狀態(tài)有一定的期限要求；發(fā)布狀態(tài) 公示狀態(tài)到期后，根據(jù)在公示狀態(tài)期間回饋的意見，給出元數(shù)據(jù)維護(hù)的準(zhǔn)確方案，進(jìn)入發(fā)布狀態(tài)；維護(hù)狀態(tài) 發(fā)布狀態(tài)結(jié)束后，相關(guān)元數(shù)據(jù)進(jìn)入維護(hù)狀態(tài)，對相關(guān)元數(shù)據(jù)的維護(hù)需要保留其歷史版本信息。（2）實體查詢實體查詢指對元數(shù)據(jù)庫中的數(shù)據(jù)實體基本信息進(jìn)行查詢的功能，通過該功能可以查詢數(shù)據(jù)庫表、維表、指標(biāo)及其它納入管理實體的基本信息，查詢的信息按處理的層次及業(yè)務(wù)主題進(jìn)行組織，實體查詢返回實體及其所屬的相關(guān)信息。實體查詢要求能支持對歷史版本信息的查詢，以了解具體實體的歷史變更情況。（3）過程查詢過程查詢是針對具體的數(shù)據(jù)轉(zhuǎn)換、匯總等處理過程，