元數(shù)據(jù)管理解決方案-2018.3.27

1、元數(shù)據(jù)解決方案隨著報(bào)價系統(tǒng)每年收集和使用的數(shù)據(jù)飛速增長，數(shù)據(jù)體量日趨增長，數(shù)據(jù)形 態(tài)多樣化且不統(tǒng)一，多種數(shù)據(jù)源之間的采集、傳播和共享遇到困難。元數(shù)據(jù)管理 作為大數(shù)據(jù)治理的核心，是有效管理這些數(shù)據(jù)的基礎(chǔ)和前提，在信息化建設(shè)中發(fā) 揮著重要的作用。如何理解、管理并發(fā)揮出元數(shù)據(jù)的價值，成為迫切的任務(wù)。一、什么是元數(shù)據(jù)元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié) 構(gòu)和建立方法的數(shù)據(jù)?？蓪⑵浒从猛镜牟煌譃閮深悾杭夹g(shù)元數(shù)據(jù)（ Technical Metadata ）和業(yè)務(wù)元數(shù)據(jù)（Business Metadata ）。1.技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)

2、據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)，它主要包括以下信息：1）數(shù)據(jù)倉庫結(jié)構(gòu)的描述，包括倉庫模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù) 的定義，以及數(shù)據(jù)集市的位置和內(nèi)容。2）業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式。3）匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng)域、聚集、 匯總、預(yù)定義的查詢與報(bào)告。4）由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分 割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全（用戶授權(quán)和存 取控制）。2.業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)， 它提供了介于使用者和實(shí) 際系統(tǒng)之間的語義層，使業(yè)務(wù)人員也能夠 或懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)元

3、數(shù)據(jù) 主要包括以下信息：1）使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名2）訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源。3）系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息。4）企業(yè)概念模型、多維數(shù)據(jù)模型，業(yè)務(wù)概念模型與物理數(shù)據(jù)的依賴，二、元數(shù)據(jù)的作用元數(shù)據(jù)可以實(shí)現(xiàn)業(yè)務(wù)模型與數(shù)據(jù)模型的映射， 幫助用戶理解數(shù)據(jù)倉庫中的數(shù) 據(jù)；元數(shù)據(jù)清晰的描述了數(shù)據(jù)的來龍去脈，描述了數(shù)據(jù)抽取轉(zhuǎn)換規(guī)則，是保證數(shù) 據(jù)質(zhì)量的關(guān)鍵；元數(shù)據(jù)管理系統(tǒng)可以把整個業(yè)務(wù)的工作流、數(shù)據(jù)流和信息流有效 的管理，可以支持需求變化，從而提高系統(tǒng)的可擴(kuò)展性；打通數(shù)據(jù)孤島，統(tǒng)一數(shù) 據(jù)定義，形成企業(yè)級知識傳承平臺，元數(shù)據(jù)管理使得數(shù)據(jù)變的更有價值。三、元數(shù)據(jù)管理在大

4、數(shù)據(jù)時代的背景下，數(shù)據(jù)即資產(chǎn)，元數(shù)據(jù)實(shí)現(xiàn)了信息的描述和分類的格 式化，從而為機(jī)器處理創(chuàng)造了可能，它能幫助企業(yè)更好地對數(shù)據(jù)資產(chǎn)進(jìn)行管理， 理清數(shù)據(jù)之間的關(guān)系。元數(shù)據(jù)管理是企業(yè)提升數(shù)據(jù)質(zhì)量的基礎(chǔ)， 也是企業(yè)數(shù)據(jù)治 理中的關(guān)鍵環(huán)節(jié)。元數(shù)據(jù)管理不當(dāng)，信息很容易被丟失，進(jìn)而不能對業(yè)務(wù)進(jìn)行有 效支撐，企業(yè)內(nèi)部業(yè)務(wù)人員要識別相關(guān)信息就會變得十分困難，最終用戶也將失去對數(shù)據(jù)的信任。1 .元數(shù)據(jù)采集技術(shù)元數(shù)據(jù)的采集，根據(jù)現(xiàn)有元數(shù)據(jù)設(shè)計(jì)出元模型，然后將數(shù)據(jù)倉庫系統(tǒng)之 中的元數(shù)據(jù)按元模型集中匯總并關(guān)聯(lián)到一起， 達(dá)到企業(yè)對數(shù)據(jù)統(tǒng)一管理與應(yīng)用的 目的，ETL等產(chǎn)生的元數(shù)據(jù)，對于元數(shù)據(jù)管理工具支持的格式可直接進(jìn)行導(dǎo)入，

5、對于一些自定義的規(guī)則，需要進(jìn)行格式轉(zhuǎn)換并導(dǎo)入。業(yè)務(wù)元數(shù)據(jù)相對復(fù)雜，來源較廣泛且不統(tǒng)一，需要對業(yè)務(wù)系統(tǒng)進(jìn)行深入理解， 按業(yè)務(wù)主題進(jìn)行整理，梳理出業(yè)務(wù)范圍、業(yè)務(wù)名稱 、業(yè)務(wù)定義、業(yè)務(wù)描述、業(yè) 務(wù)關(guān)系等，并添加到元數(shù)據(jù)管理系統(tǒng)中。主要從以下幾方面來進(jìn)行梳理：1）業(yè)務(wù)平臺中的各業(yè)務(wù)流程。2）交易、結(jié)算系統(tǒng)，提取出各種財(cái)務(wù)公式、過程邏輯、業(yè)務(wù)規(guī)則等。3）報(bào)表系統(tǒng)，比如表頭，包含合計(jì)、平均數(shù)等聚合函數(shù)的列，一些計(jì)算公 式等。4）表格，在Excel中進(jìn)行業(yè)務(wù)計(jì)算的公式，列的描述、代碼描述等。5）文件數(shù)據(jù)中的標(biāo)題、作者、時間、內(nèi)容主題等。2 .存儲管理對元數(shù)據(jù)存儲需要使用專門的工具，擬定為（ 還需要做充分調(diào)研

6、）Pentaho Metadata進(jìn)行存儲管理。通過工具與數(shù)據(jù)庫系統(tǒng)的對接，將元數(shù)據(jù)導(dǎo)致進(jìn)去， 對于不支持系統(tǒng)對接的元數(shù)據(jù)，可手動進(jìn)行添加。通過管理工具提供的輔助功能 可對元數(shù)據(jù)進(jìn)行標(biāo)注、完善等。四、元數(shù)據(jù)應(yīng)用通過元數(shù)據(jù)管理工具將元數(shù)據(jù)服務(wù)提供給所有業(yè)務(wù)人員， 使業(yè)務(wù)人員也能夠 快速的從業(yè)務(wù)角度理解數(shù)據(jù)，從而幫助業(yè)務(wù)人員更好的利用數(shù)據(jù)。 以下用三個方 面來闡述元數(shù)據(jù)的實(shí)際應(yīng)用價值：1 .元數(shù)據(jù)對比分析業(yè)務(wù)系統(tǒng)由開發(fā)環(huán)境到測試環(huán)境再到生產(chǎn)環(huán)境，在系統(tǒng)的設(shè)計(jì)、開發(fā)、測試、上線過程中，無論需求變更還是 Bug都會導(dǎo)致元數(shù)據(jù)的改動。大到庫表結(jié)構(gòu)重 新設(shè)計(jì)，小到字段類型的變更，都可能導(dǎo)致系統(tǒng)出現(xiàn)重大問題

7、。 為了避免這種問 題的發(fā)生，我們可以使用元數(shù)據(jù)系統(tǒng)的對比分析功能， 元數(shù)據(jù)系統(tǒng)可以自動采集 三個環(huán)境的庫、表、字段、視圖、存儲過程等結(jié)構(gòu)，自動化采集保證了各自環(huán)境中都是最新的、最準(zhǔn)確的元數(shù)據(jù)結(jié)構(gòu)，我們對上線的數(shù)據(jù)環(huán)境與測試庫進(jìn)行對比， 會輕松的發(fā)現(xiàn)問題所在，能大大降低這些問題發(fā)生的概率。2 .數(shù)據(jù)流向分析數(shù)據(jù)平臺系統(tǒng)中，業(yè)務(wù)數(shù)據(jù)由操作型數(shù)據(jù)幾分析型數(shù)據(jù)轉(zhuǎn)換，通過大量的數(shù) 據(jù)抽取、轉(zhuǎn)換、清洗等過程形成了分析統(tǒng)計(jì)數(shù)據(jù)。數(shù)據(jù)由業(yè)務(wù)系統(tǒng) ，數(shù)據(jù)倉庫， 數(shù)據(jù)集市，分析報(bào)表，數(shù)據(jù)加工鏈路比較長，期間處理方式多元化，很容易會出 現(xiàn)數(shù)據(jù)項(xiàng)不符合業(yè)務(wù)邏輯的情況，出現(xiàn)問題也很難迅速解決。通過使用元數(shù)據(jù)系統(tǒng)的數(shù)據(jù)

8、流向分析，即影響分析（上游 ，下游）與血緣分 析（下游，上游），提供了字段級的數(shù)據(jù)解析，上下游之間的數(shù)據(jù)加工鏈路可以 通過圖形的方式快速定位，可以快速定位特定的表和某些字段，然后做詳細(xì)的邏 輯分析，大大簡化了分析環(huán)節(jié)，提升了解決問題的效率。3 .交易鏈路分析元數(shù)據(jù)可以輔助快速梳理系統(tǒng)服務(wù)之間的調(diào)用關(guān)系與服務(wù)間的接口。比如交易系統(tǒng)中入金、記賬、結(jié)算等業(yè)務(wù)，會經(jīng)過一系統(tǒng)復(fù)雜的系統(tǒng)接口服務(wù)調(diào)用，為 了更為清晰、準(zhǔn)確的了解交易流程，需要對各個服務(wù)進(jìn)行梳理、整合，由于涉及 不同的部門、系統(tǒng)，工作量和工作難度將相當(dāng)大。為了解決這個問題，元數(shù)據(jù)的 鏈路分析能力可以自動化的完成梳理任務(wù)， 元數(shù)據(jù)可以通過服務(wù)接口的采集，自 動獲取服務(wù)的信息，包括參與