睿治數(shù)據(jù)治理平臺 技術(shù)白皮書

41.1關(guān)于本白書皮 41.2數(shù)據(jù)治理定義 41.3數(shù)據(jù)治理的重要性 41.3.1企業(yè)所面臨的問題 41.3.2數(shù)據(jù)治理可以解決什么問題 61.4數(shù)據(jù)治理的現(xiàn)狀與發(fā)展趨勢 71.4.1數(shù)據(jù)治理現(xiàn)狀 71.4.2云端崛起 71.4.3與人工智能握手 7 8 8 8 92.1睿治涵蓋 92.2平臺價值 2.3平臺架構(gòu) 2.4核心優(yōu)勢 2.4.1各產(chǎn)品模塊高度融合 2.4.2先進的產(chǎn)品設(shè)計理念 2.4.3專業(yè)的服務(wù)保障團隊 2.4.4豐富的項目實踐經(jīng)驗 2.5項目實施指導(dǎo)文件 153.1元數(shù)據(jù)驅(qū)動 3.1.1規(guī)范的元模型管理 3.1.2強大的元數(shù)據(jù)版本管理 3.1.3端到端的自動化采集 3.1.4豐富的元數(shù)據(jù)分析應(yīng)用 3.1.5出色的元數(shù)據(jù)檢核機制 20 3.2數(shù)據(jù)標準建設(shè) 213.2.1配置靈活的數(shù)據(jù)標準屬性 213.2.2方式豐富的數(shù)據(jù)標準錄入 223.2.3完備的數(shù)據(jù)標準審批 233.2.4先進的數(shù)據(jù)標準落地映射 243.2.5智能精確的數(shù)據(jù)標準落地評估 243.2.6靈活有效的數(shù)據(jù)標準監(jiān)控 253.2.7細致自主的數(shù)據(jù)整改計劃 263.3數(shù)據(jù)質(zhì)量控制 273.3.1多角度的規(guī)則管理 273.3.2全面的監(jiān)控管理 283.3.3詳盡的結(jié)果管理 283.3.4多樣的統(tǒng)計分析 283.3.5可定義的績效管理 283.4數(shù)據(jù)整合處理 293.4.1多樣的增量捕獲和數(shù)據(jù)裝載 293.4.2便捷的拖拽式流程設(shè)計器 293.4.3可視化的調(diào)試和預(yù)裝載 293.4.4豐富的數(shù)據(jù)處理組件 293.4.5“零”表達式清洗組件 303.4.6靈活的調(diào)試服務(wù) 313.5主數(shù)據(jù)共享 313.5.1保證企業(yè)“黃金”數(shù)據(jù)一致性 313.5.2多樣化的主數(shù)據(jù)來源 323.5.3靈活的主數(shù)據(jù)更新策略 323.5.4跨源數(shù)據(jù)整合與去除重復(fù)數(shù)據(jù) 333.5.5多維度的主數(shù)據(jù)監(jiān)控 333.6數(shù)據(jù)資產(chǎn)應(yīng)用 343.6.1不同視角的數(shù)據(jù)資產(chǎn)編目 343.6.2強大的數(shù)據(jù)資產(chǎn)檢索 353.6.3豐富的數(shù)據(jù)資產(chǎn)應(yīng)用 363.6.4高效全面的數(shù)據(jù)資產(chǎn)分析 373.7數(shù)據(jù)生命周期監(jiān)控 383.7.1便捷的數(shù)據(jù)資產(chǎn)歸檔 383.7.2睿智的數(shù)據(jù)資產(chǎn)銷毀 393.7.3可視化的數(shù)據(jù)生命周期監(jiān)控 403.8數(shù)據(jù)傳輸交換 413.8.1跨源數(shù)據(jù)交換 413.8.2多類型數(shù)據(jù)交換 413.8.3靈活的任務(wù)調(diào)度 423.8.4豐富的組件庫 423.9數(shù)據(jù)安全管控 433.9.1多類型的安全規(guī)范管理 433.9.2多級別的敏感數(shù)據(jù)監(jiān)控 433.9.3全面的異常行為監(jiān)控 443.9.4細致的歷史帳號查詢 463.9.5全方位的數(shù)據(jù)資產(chǎn)加密 473.9.6多場景的數(shù)據(jù)資產(chǎn)脫敏 473.9.7嚴密的權(quán)限管理 473.10平臺系統(tǒng)管理 483.10.1個性化的門戶定義 483.10.2靈活細致的權(quán)限管理 483.10.3簡便的備份恢復(fù) 493.10.4詳細的系統(tǒng)日志記錄 493.10.5統(tǒng)一的調(diào)度管理 503.10.6直觀的工作流管理 523.10.7完善的系統(tǒng)監(jiān)控體系 53 534.1高擴展 53 534.3全方位 544.4高性能 54 551.1.服務(wù)器配置推薦 551.2.客戶端配置 551.2.1.客戶端(建議配置) 551.2.2.客戶端瀏覽器 56 566.1金融行業(yè)典型案例 566.1.1中國農(nóng)業(yè)發(fā)展銀行-數(shù)據(jù)倉庫、質(zhì)量綜合平臺 56 6.1.2中國進出口銀行-數(shù)據(jù)標準實施工作 58 6.2政府項目典型案例 596.2.1禪城區(qū)大數(shù)據(jù)統(tǒng)籌局數(shù)據(jù)治理項目 59 6.2.2衛(wèi)計委-數(shù)據(jù)質(zhì)量管控系統(tǒng) 61 6.3機構(gòu)項目典型案例 626.3.1高級人民法院-元數(shù)據(jù)管理平臺 62 6.4企業(yè)項目典型案例 641.1關(guān)于本白書皮1.2數(shù)據(jù)治理定義1.3數(shù)據(jù)治理的重要性1.3.1企業(yè)所面臨的問題對于已然形成的大量數(shù)據(jù)，系統(tǒng)悠久，找不到接1.3.2數(shù)據(jù)治理可以解決什么問題面提升政府和企業(yè)數(shù)據(jù)的完整性、準確性、及時性，減少因數(shù)據(jù)5.提升政府和企業(yè)數(shù)據(jù)資產(chǎn)安全性，并幫助建立1.4數(shù)據(jù)治理的現(xiàn)狀與發(fā)展趨勢1.4.1數(shù)據(jù)治理現(xiàn)狀1.4.2云端崛起1.4.3與人工智能握手億信睿治平臺是北京億信華辰軟件有限責(zé)任公司自主研發(fā)的由多個產(chǎn)品組成的一的全過程的監(jiān)控和治理，實現(xiàn)數(shù)據(jù)的統(tǒng)一管理，為企業(yè)保證了業(yè)務(wù)數(shù)據(jù)在采集、集中、持一致性、規(guī)范性，提高數(shù)據(jù)管控的效率，完善數(shù)據(jù)治理體對數(shù)據(jù)的全生命周期進行管理，主要是根據(jù)設(shè)置對數(shù)據(jù)進行自動歸檔和銷全面提升企業(yè)的數(shù)據(jù)質(zhì)量，深度再造與數(shù)據(jù)相關(guān)的業(yè)務(wù)流程，滿足業(yè)健全的數(shù)據(jù)資產(chǎn)管理，滿足風(fēng)險管理、成本核算、績數(shù)據(jù)處理層，主要包括元數(shù)據(jù)、數(shù)據(jù)標準、數(shù)集、血緣分析、影響分析、全鏈分析，元數(shù)據(jù)變更管可定義數(shù)據(jù)標準、標準落地、標準評估監(jiān)控，及標準數(shù)據(jù)共享層，主要包括主數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)動識別，主數(shù)據(jù)的同步與檢索等；數(shù)據(jù)資產(chǎn)管理包應(yīng)用層，該層主要通過平臺便捷的應(yīng)用功能，從而改善決策支2.4核心優(yōu)勢2.4.1各產(chǎn)品模塊高度融合2.4.2先進的產(chǎn)品設(shè)計理念睿治平臺采用成熟的體系結(jié)構(gòu)，具有國內(nèi)先進水平，設(shè)計過程充分依照國際規(guī)范、程序具備自檢、故障診斷等功能，在出現(xiàn)系統(tǒng)異常時，能及時、快速地進行自我修復(fù)，2.4.3專業(yè)的服務(wù)保障團隊億信華辰具有300+大數(shù)據(jù)分析師和實施顧問、180+研發(fā)專家所組成的專業(yè)工具、方法、模板進行咨詢方案設(shè)計，也可對數(shù)據(jù)治理的策略、組織架構(gòu)、處理流程、2.4.4豐富的項目實踐經(jīng)驗2.5項目實施指導(dǎo)文件企業(yè)數(shù)據(jù)治理不是一蹴而就的，需要一個長期的規(guī)劃3平臺特色功能3.1元數(shù)據(jù)驅(qū)動3.1.1規(guī)范的元模型管理元模型支持發(fā)布功能，只有發(fā)布后的元模型才可被元數(shù)據(jù)使用，同時3.1.2強大的元數(shù)據(jù)版本管理元數(shù)據(jù)管理功能提供各類元數(shù)據(jù)管理，包括：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)3.1.3端到端的自動化采集3.1.4豐富的元數(shù)據(jù)分析應(yīng)用血緣分析是對指定元數(shù)據(jù)的起源及其推移位置的分析。它反應(yīng)數(shù)據(jù)的影響分析幫助用戶迅速了解分析對象的下游數(shù)據(jù)信息，快速全鏈分析是用來分析指定元數(shù)據(jù)前后與其有關(guān)系的所有元數(shù)據(jù)，不僅反應(yīng)了元數(shù)據(jù)關(guān)聯(lián)度分析是從關(guān)系數(shù)量的角度對指定元數(shù)據(jù)進行分屬性差異分析是用來比較同類型元數(shù)據(jù)之間屬性值的差異，方便用3.1.5出色的元數(shù)據(jù)檢核機制一致性檢核用來檢驗來源系統(tǒng)元數(shù)據(jù)以及元數(shù)據(jù)之間信息是否屬性填充率檢核是用來檢驗選定范圍內(nèi)元數(shù)據(jù)屬性的填充情況，方組合關(guān)系檢核根據(jù)元模型中設(shè)置的組合和被組合關(guān)系對元數(shù)據(jù)進行3.2數(shù)據(jù)標準建設(shè)3.2.1配置靈活的數(shù)據(jù)標準屬性屬性、質(zhì)量屬性、主數(shù)據(jù)屬性、生命周期屬性等供用戶選擇使用，并支持自定義屬性。3.2.2方式豐富的數(shù)據(jù)標準錄入在線下對數(shù)據(jù)標準進行整理，將整理完成的數(shù)據(jù)標準導(dǎo)入到平臺后，成為一條可映射、3.2.3完備的數(shù)據(jù)標準審批3.2.4先進的數(shù)據(jù)標準落地映射3.2.5智能精確的數(shù)據(jù)標準落地評估3.2.6靈活有效的數(shù)據(jù)標準監(jiān)控提交個數(shù)，通過個數(shù)，退回個數(shù)等指標。另外，監(jiān)控表可根據(jù)客戶需求進行二次改造。3.2.7細致自主的數(shù)據(jù)整改計劃3.3數(shù)據(jù)質(zhì)量控制3.3.1多角度的規(guī)則管理3.3.2全面的監(jiān)控管理3.3.3詳盡的結(jié)果管理通過質(zhì)量監(jiān)控，會產(chǎn)生和保存質(zhì)量結(jié)果，包括：對象名稱、發(fā)生時間、違反規(guī)則、3.3.4多樣的統(tǒng)計分析3.3.5可定義的績效管理3.4數(shù)據(jù)整合處理3.4.1多樣的增量捕獲和數(shù)據(jù)裝載3.4.2便捷的拖拽式流程設(shè)計器全拖拽式流程設(shè)計器，用戶只需在簡單手提數(shù)據(jù)資源和加工組件就可完成復(fù)雜的3.4.3可視化的調(diào)試和預(yù)裝載3.4.4豐富的數(shù)據(jù)處理組件數(shù)據(jù)整合提供了豐富的數(shù)據(jù)處理組件，并將組件進行合理的分類管理，如：3.4.5“零”表達式清洗組件3.4.6靈活的調(diào)試服務(wù)試設(shè)置支持crontab表達式，調(diào)3.5.1保證企業(yè)“黃金”數(shù)據(jù)一致性3.5.2多樣化的主數(shù)據(jù)來源3.5.3靈活的主數(shù)據(jù)更新策略3.5.4跨源數(shù)據(jù)整合與去除重復(fù)數(shù)據(jù)3.5.5多維度的主數(shù)據(jù)監(jiān)控3.6數(shù)據(jù)資產(chǎn)應(yīng)用3.6.1不同視角的數(shù)據(jù)資產(chǎn)編目3.6.2強大的數(shù)據(jù)資產(chǎn)檢索3.6.3豐富的數(shù)據(jù)資產(chǎn)應(yīng)用3.6.4高效全面的數(shù)據(jù)資產(chǎn)分析不同的數(shù)據(jù)庫統(tǒng)計資產(chǎn)數(shù)據(jù)量，按月統(tǒng)計資產(chǎn)的變化3.7數(shù)據(jù)生命周期監(jiān)控平臺支持數(shù)據(jù)資產(chǎn)全生命周期管理，根據(jù)存儲周期3.7.1便捷的數(shù)據(jù)資產(chǎn)歸檔3.7.2睿智的數(shù)據(jù)資產(chǎn)銷毀3.7.3可視化的數(shù)據(jù)生命周期監(jiān)控數(shù)據(jù)量較大，可能需要歸檔等統(tǒng)計信息，數(shù)據(jù)生3.8數(shù)據(jù)傳輸交換3.8.1跨源數(shù)據(jù)交換3.8.2多類型數(shù)據(jù)交換平臺提供文件到文件、文件到庫表、庫表到庫表、庫3.8.3靈活的任務(wù)調(diào)度3.8.4豐富的組件庫3.9數(shù)據(jù)安全管控3.9.1多類型的安全規(guī)范管理在數(shù)據(jù)安全的管理過程中往往會形成一些規(guī)范性的文檔，睿治平臺提供對這些文3.9.2多級別的敏感數(shù)據(jù)監(jiān)控3.9.3全面的異常行為監(jiān)控3.9.4細致的歷史帳號查詢3.9.5全方位的數(shù)據(jù)資產(chǎn)加密3.9.6多場景的數(shù)據(jù)資產(chǎn)脫敏3.9.7嚴密的權(quán)限管理統(tǒng)一在平臺上操作。為防止用戶私下在數(shù)據(jù)庫中新增改用戶和權(quán)限，睿治數(shù)據(jù)庫權(quán)限校核功能，檢查平臺上數(shù)據(jù)庫用戶和權(quán)限與實際數(shù)據(jù)庫用戶和權(quán)限3.10平臺系統(tǒng)管理3.10.1個性化的門戶定義3.10.2靈活細致的權(quán)限管理標準、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、主數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)交換、數(shù)據(jù)生命周期、3.10.3簡便的備份恢復(fù)3.10.4詳細的系統(tǒng)日志記錄3.10.5統(tǒng)一的調(diào)度管理計劃任務(wù)的設(shè)置，包括任務(wù)類型的選擇，任務(wù)參數(shù)的設(shè)置執(zhí)行周期，可以按年、月、周，乃至表達式等多種維度進行設(shè)3.10.6直觀的工作流管理3.10.7完善的系統(tǒng)監(jiān)控體系4產(chǎn)品技術(shù)特點所有功能都是根據(jù)可擴展可通用的原則來設(shè)計的，可以適應(yīng)未4.3全方位遵循全方位、嚴密的安全編程規(guī)范，具有代碼級的產(chǎn)品安全性，用戶權(quán)限認證機制，從源頭杜絕數(shù)據(jù)安全風(fēng)險源，提供完善4.4高性能睿治平臺采用了并行處理技術(shù)，執(zhí)行引擎根據(jù)語法解析，實現(xiàn)轉(zhuǎn)換任務(wù)元數(shù)據(jù)分析、檢核計算采用線程池和多線程并行技術(shù)，大大提高計算平臺可以通過內(nèi)存計算提高分析表計算效率，跨源數(shù)據(jù)分析時，將所要5軟硬件運行環(huán)境1.1.服務(wù)器配置推薦硬盤：按需操作系統(tǒng)及軟件1.2.客戶端