元數(shù)據(jù)技術(shù)架構(gòu)設(shè)計(jì)方案

1、元數(shù)據(jù)技術(shù)架構(gòu)設(shè)計(jì)方案元數(shù)據(jù)是什么元數(shù)據(jù)管理的架構(gòu)元數(shù)據(jù)的應(yīng)用價(jià)值元數(shù)據(jù)是什么？元數(shù)據(jù) = 概念 + 連接傳統(tǒng)元數(shù)據(jù)主要管理數(shù)據(jù)平臺(tái)中的元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)規(guī)則、術(shù)語、指標(biāo)等技術(shù)元數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)、接口信息等管理元數(shù)據(jù)人員職責(zé)、管理流程等元數(shù)據(jù)類型模型設(shè)計(jì)工具ERWIN、Powerdesigner等系統(tǒng)數(shù)據(jù)庫oracle、db2等ETL工具powercenter、datastage等報(bào)表工具Cognos等規(guī)程文檔EXCEL、WORD等存儲(chǔ)介質(zhì)組合關(guān)系庫包含表、表包含字段等依賴關(guān)系指標(biāo)加工、數(shù)據(jù)遷移等過程數(shù)據(jù)流向元數(shù)據(jù)關(guān)系廣義元數(shù)據(jù)將驅(qū)動(dòng)微服務(wù)納入職能范疇不斷擴(kuò)大的元數(shù)據(jù)管理邊界數(shù)據(jù)傳統(tǒng)元數(shù)據(jù)管理邊

2、界Microservices廣義元數(shù)據(jù)管理邊界元數(shù)據(jù)是什么元數(shù)據(jù)管理的架構(gòu)元數(shù)據(jù)的應(yīng)用價(jià)值應(yīng)用模型體系規(guī)范保證元數(shù)據(jù)管理的穩(wěn)定和擴(kuò)展元數(shù)據(jù)來源眾多采集元數(shù)據(jù)類型多樣元數(shù)據(jù)頻繁變更元數(shù)據(jù)管理的關(guān)鍵環(huán)節(jié)基于統(tǒng)一標(biāo)準(zhǔn)實(shí)現(xiàn)元數(shù)據(jù)的共享、交換基于一套規(guī)范實(shí)現(xiàn)通用、擴(kuò)展的元數(shù)據(jù)存儲(chǔ)存儲(chǔ)管理應(yīng)用元數(shù)據(jù)管理困難重重模型驅(qū)動(dòng)保證穩(wěn)定和擴(kuò)展采用MOF規(guī)范作為元數(shù)據(jù)管理的基礎(chǔ)MOF標(biāo)準(zhǔn)為不同類型元數(shù)據(jù)管理和交互奠定理論基礎(chǔ)MOF規(guī)范CWM規(guī)范UML規(guī)范XXX擴(kuò)展規(guī)范易擴(kuò)展的元數(shù)據(jù)采集標(biāo)準(zhǔn)統(tǒng)一的元數(shù)據(jù)存儲(chǔ)靈活方便的元數(shù)據(jù)應(yīng)用模型體系基于MOF規(guī)范的存儲(chǔ)方式是元模型存儲(chǔ)的優(yōu)先選擇將元模型對(duì)象一對(duì)一轉(zhuǎn)換為關(guān)系型數(shù)據(jù)庫表，

3、例如：庫、表、字段、主鍵、外鍵元模型轉(zhuǎn)化為下列表采用OMG所提出的MOF元元模型，存儲(chǔ)元模型，可以支持任何種類的元模型擴(kuò)展優(yōu)點(diǎn)：系統(tǒng)實(shí)現(xiàn)容易，庫表設(shè)計(jì)難度低。缺點(diǎn)：不支持?jǐn)U展，支持有限范圍元數(shù)據(jù)管理。 缺點(diǎn)：系統(tǒng)實(shí)現(xiàn)復(fù)雜，庫表設(shè)計(jì)難度大；優(yōu)點(diǎn)：支持?jǐn)U展，支持所有種類元數(shù)據(jù)管理。 方式一：方式二：基于MOF的元數(shù)據(jù)三層架構(gòu)庫、表、字段、報(bào)表、ETL加工過程。CWM模型（M2）CMM微服務(wù)模型（M2）微服務(wù)元模型。 ID name classifier 1 Student Table 2 name Column 3 age Column元數(shù)據(jù)（M1） ID name parentID 2 name

4、 1 3 age 1 ID Atrribute1 . AtrributeN 2 Varchar2 128 3 Number 3元數(shù)據(jù)屬性MOF元元模型（M3）以MOF規(guī)范為基礎(chǔ)設(shè)計(jì)可擴(kuò)展的元數(shù)據(jù)采集基于MOF元元模型規(guī)范設(shè)計(jì)元模型符合CWM模型范的的元模型規(guī)元數(shù)據(jù)獲取、集成、管理三層架構(gòu)下元數(shù)據(jù)管理的實(shí)現(xiàn)只需要元模型定義和元數(shù)據(jù)采集Student表內(nèi)含有name varchar（128）、age number（2）兩個(gè)字段包的建立類、類之間關(guān)系建立類屬性建立 ID name classifier 1 Student Table 2 name Column 3 age Column元數(shù)據(jù)管理需求

5、包的設(shè)計(jì)類、類之間關(guān)系設(shè)計(jì)類屬性的建立元數(shù)據(jù)采集 ID name parentID 2 name 1 3 age 1fromID fclassifier toID Tcalssifer元數(shù)據(jù)是什么元數(shù)據(jù)管理的架構(gòu)元數(shù)據(jù)的應(yīng)用價(jià)值元數(shù)據(jù)解決了現(xiàn)存的一些問題存儲(chǔ)分散集中管理，形成統(tǒng)一視圖，實(shí)現(xiàn)元數(shù)據(jù)共享關(guān)系獨(dú)立維護(hù)關(guān)系，關(guān)系鏈路自動(dòng)分析，輔助開發(fā)運(yùn)維多環(huán)境不一致標(biāo)準(zhǔn)制定，形成規(guī)范和落地手段，提升質(zhì)量元數(shù)據(jù)在大數(shù)據(jù)、微服務(wù)與業(yè)務(wù)等方面都能發(fā)揮很大作用元數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)業(yè)務(wù)流程分析業(yè)務(wù)流程優(yōu)化元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)數(shù)據(jù)規(guī)范管理數(shù)據(jù)開放應(yīng)用元數(shù)據(jù)驅(qū)動(dòng)微服務(wù)服務(wù)標(biāo)準(zhǔn)制定服務(wù)應(yīng)用優(yōu)化以元數(shù)據(jù)作為整個(gè)數(shù)據(jù)治理的核心元數(shù)據(jù)

6、大數(shù)據(jù)質(zhì)量大數(shù)據(jù)資產(chǎn)化大數(shù)據(jù)共享發(fā)布大數(shù)據(jù)標(biāo)準(zhǔn)大數(shù)據(jù)交換集成主數(shù)據(jù)業(yè)務(wù)信息的數(shù)據(jù)、編碼、屬性標(biāo)準(zhǔn)定義將大數(shù)據(jù)變成企業(yè)資產(chǎn)的一部分、將數(shù)據(jù)變現(xiàn)對(duì)大數(shù)據(jù)準(zhǔn)確性、唯一性、及時(shí)性等數(shù)據(jù)的質(zhì)量各異構(gòu)數(shù)據(jù)之間按照一定的規(guī)范與數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)交換與集成，數(shù)據(jù)共性信息的分類、編碼、屬性標(biāo)準(zhǔn)定義。對(duì)于數(shù)據(jù)資源進(jìn)行共享、發(fā)布，將數(shù)據(jù)以能力形式對(duì)外開放，提供給企業(yè)內(nèi)外的用戶使用用元數(shù)據(jù)管理應(yīng)用的上線、變更生產(chǎn)環(huán)境待上線環(huán)境開發(fā)環(huán)境JDBC手動(dòng)上傳運(yùn)行態(tài)設(shè)計(jì)態(tài)變更任務(wù)變更任務(wù)上游變更下游確認(rèn)版本發(fā)布變更確認(rèn)變更確認(rèn)領(lǐng)導(dǎo)審核系統(tǒng)自動(dòng)通知上游變更內(nèi)容系統(tǒng)自動(dòng)發(fā)現(xiàn)變更系統(tǒng)自動(dòng)發(fā)現(xiàn)變更開發(fā)新版本待上線新版本生產(chǎn)新版本跨庫比對(duì)時(shí)效性定時(shí)采集獲取變更全流程自動(dòng)通知事中監(jiān)控一致性跨庫比對(duì)事后監(jiān)督歷史歸檔開發(fā)歸檔待上線歸檔生產(chǎn)歸檔開發(fā)恢復(fù)待上線恢復(fù)生產(chǎn)恢復(fù)跨庫比對(duì)數(shù)據(jù)庫元數(shù)據(jù)庫元數(shù)據(jù)庫元數(shù)據(jù)庫手動(dòng)上傳用元數(shù)據(jù)管理微服務(wù)的全生命周期微服務(wù)A1使用者需求設(shè)計(jì)開發(fā)測試上架RTD運(yùn)行下架EOL下線發(fā)布維護(hù)缺陷微服務(wù)A2規(guī)劃上線部署監(jiān)控提供者B微服務(wù)B1版本間元數(shù)據(jù)追溯分析使用元數(shù)據(jù)標(biāo)準(zhǔn)化元數(shù)