大數(shù)據(jù)平臺數(shù)據(jù)治理與建設方案相關兩份資料

大數(shù)據(jù)治理管理平臺解決方案目錄CONTENTS背景與需求分析功能框架設計平臺功能設計010302PARTONE01背景與需求分析背景與需求分析1.發(fā)展背景2.架構需求分析3.需求分析背景與需求分析1.發(fā)展背景2.架構需求分析3.需求分析

建立自身的統(tǒng)一技術棧：建立中心技術棧準入標準，一方面保障整體技術架構中組件的標準性，避免因為版本不一致和功能特性相近，增加不必要的運維成本，另外一方面，減少因為架構中采用組件的選型調整，增加不必要的集成開發(fā)工作。技術棧中的組件會持續(xù)補充完善，通過POC測試后，并經(jīng)過專家委員會集體論證，且符合準入標準，才準許對應技術組件進入到統(tǒng)一技術棧。開放架構平臺本身具備模塊化開放和集成能力，平臺功能所對應的技術組件避免被某一家集成開發(fā)廠商捆綁，或者被某個單一組件產(chǎn)品捆綁。架構的先進性技術架構中的技術組件選型，從技術成熟度、性能、穩(wěn)定性、持續(xù)研發(fā)升級、使用后業(yè)內評價、易維護性、適配性等方面做出考量，為架構選型提供參考，保證整體架構中的組件的先進性。架構的高可用在長時間、多任務場景下的穩(wěn)定運行。在計算機硬件、操作系統(tǒng)、存儲系統(tǒng)及應用系統(tǒng)業(yè)務進程出現(xiàn)故障時能迅速響應并進行任務的切換；某一節(jié)點出現(xiàn)故障時，其他節(jié)點應能夠自動分擔故障節(jié)點的處理任務，保證服務持續(xù)可用。010302數(shù)據(jù)治理管理平臺-需求分析1.發(fā)展背景2.架構需求分析3.需求分析

數(shù)據(jù)治理管理平臺基于元模型驅動模式，構建一體化的數(shù)據(jù)資產(chǎn)管控，實現(xiàn)全流程、全生命周期和全景式的“三全”治理，確保每一份數(shù)據(jù)資產(chǎn)皆可靠、可信、可用。

通過對數(shù)據(jù)、應用、系統(tǒng)綜合管理，構建標準化、流程化、自動化、一體化的數(shù)據(jù)管理體系。PARTTWO02功能架構設計子平臺關系定位1.子平臺關系定位2.功能架構功能架構數(shù)據(jù)平臺數(shù)據(jù)資源管理數(shù)據(jù)加工處理數(shù)據(jù)質量管理質量模型方案配置規(guī)則管理質檢報告數(shù)據(jù)質檢質量統(tǒng)計數(shù)據(jù)標準管理元數(shù)據(jù)管理分類管理數(shù)據(jù)元管理標準代碼配置常用規(guī)則配置元數(shù)據(jù)自動獲取元數(shù)據(jù)維護元數(shù)據(jù)掃描元數(shù)據(jù)檢索元數(shù)據(jù)版本權限管理及查詢元數(shù)據(jù)導入/導出元數(shù)據(jù)分析基礎標簽管理標簽關系展現(xiàn)元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)資產(chǎn)目錄資產(chǎn)地圖資產(chǎn)總覽資產(chǎn)報告實時數(shù)據(jù)管理流數(shù)據(jù)處理實時采集流數(shù)據(jù)計算模型管理流數(shù)據(jù)計算公共模型開發(fā)流數(shù)據(jù)引擎流數(shù)據(jù)計算結果接口開發(fā)流數(shù)據(jù)計算模型查詢支持流媒體采集及轉發(fā)管理數(shù)據(jù)集成管理異常數(shù)據(jù)分析數(shù)據(jù)建模配置集成方案管理數(shù)據(jù)來源統(tǒng)計數(shù)據(jù)架構管理數(shù)據(jù)架構定義業(yè)務架構管理存儲架構管理數(shù)據(jù)異常管理異常對接管理人工處理管理異常處理統(tǒng)計分析異常問題列表實時數(shù)據(jù)質量管理系統(tǒng)處理管理數(shù)據(jù)質量定制化開發(fā)數(shù)據(jù)開發(fā)管理數(shù)據(jù)開發(fā)管理統(tǒng)一調度管理統(tǒng)一調度管理數(shù)據(jù)標準管理監(jiān)控運維運維任務實時分析數(shù)據(jù)運維定制化開發(fā)運維概覽監(jiān)控告警統(tǒng)一流程管理平臺運維定制化開發(fā)數(shù)據(jù)分級1.子平臺關系定位2.功能架構PARTTWO03平臺功能設計數(shù)據(jù)資源管理1.數(shù)據(jù)標準管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級分類管理4.數(shù)據(jù)資產(chǎn)管理通過對數(shù)據(jù)標準管理、落地實施機制、及數(shù)據(jù)標準管理平臺維護三部分進行數(shù)據(jù)資源管理，制定數(shù)據(jù)標準管理制度和流程，明確數(shù)據(jù)標準管理組織和職責，以明確的組織、職責、流程設計。落地實施機制從規(guī)范推廣、技術平臺支撐兩方面保障；數(shù)據(jù)標準平臺維護主要包括建設數(shù)據(jù)標準技術平臺，支撐數(shù)據(jù)標準日常管理工作兩方面。支持數(shù)據(jù)元版本管理及版本之間的差異核對功能以及支持基于基礎庫、主題庫的元數(shù)據(jù)快速創(chuàng)建標準數(shù)據(jù)元，并建立和相關元數(shù)據(jù)的關聯(lián)關系數(shù)據(jù)元管理數(shù)據(jù)元刪除數(shù)據(jù)元檢索數(shù)據(jù)元停用數(shù)據(jù)元導入數(shù)據(jù)元修改數(shù)據(jù)源發(fā)布數(shù)據(jù)元新增支持代碼的分類、標準代碼項的新增、導入、導出功能，提供了標準代碼維護的能力；標準代碼配置新增導入導出可關聯(lián)到國標、地標代碼字典通過固定的值組成規(guī)則來規(guī)范數(shù)據(jù)源值的格式，例如身份證、電話號碼、電子郵箱等格式。常用規(guī)則配置通用規(guī)則實際制定規(guī)則常用規(guī)則配置會針對公共數(shù)據(jù)的特性內置部分常用的規(guī)則，同時提供了規(guī)則的配置修改能力數(shù)據(jù)資源管理1.數(shù)據(jù)標準管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級分類管理4.數(shù)據(jù)資產(chǎn)管理通過對數(shù)據(jù)整合的層次結構、主題域劃分，實現(xiàn)各層的各種對象，如表、存儲過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結構之間的數(shù)據(jù)流程、各對象之間的關系，以及向外提供的各類數(shù)據(jù)服務的信息。元數(shù)據(jù)管理元數(shù)據(jù)管理包括元數(shù)據(jù)基礎數(shù)據(jù)管理和元數(shù)據(jù)應用，由元數(shù)據(jù)自動獲取、元數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關系等功能組成等。元數(shù)據(jù)自動獲取元數(shù)據(jù)維護元數(shù)據(jù)掃描元數(shù)據(jù)檢索元數(shù)據(jù)版本權限管理及查詢元數(shù)據(jù)的導入/導出配置自動獲取策略和調度時間等，使元數(shù)據(jù)能夠按預設的調度策略觸發(fā)相應的元數(shù)據(jù)自動獲取過程，滿足元數(shù)據(jù)自動獲取的時效性。包括元數(shù)據(jù)的定義、變更及版本管理，對主機信息、數(shù)據(jù)庫信息、用戶信息、數(shù)據(jù)對象信息、業(yè)務規(guī)則信息、加工邏輯等進行維護和管控。支持以手動或定時的方式掃描指定的數(shù)據(jù)庫資源，并提取和解析相關的信息在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動將差異數(shù)據(jù)維護到指定的元數(shù)據(jù)目錄。在元數(shù)據(jù)管理首頁用戶通過輸入關鍵字后，系統(tǒng)采用全文檢索的方式迅速查找和關鍵字匹配的權限范圍內的元數(shù)據(jù)信息，并將信息返回給用戶。用戶能夠通過展示的路徑信息快速定位到元數(shù)據(jù)組織樹上的節(jié)點。版本管理分為元數(shù)據(jù)對象版本管理與基線版本管理兩種類型。元數(shù)據(jù)對象版本：對元數(shù)據(jù)的每次提交形成版本（上一版本形成歷史版本），提供歷史版本間，歷史版本與當前版本對比功能；基線版本：對某一階段產(chǎn)生的元數(shù)據(jù)對象形成數(shù)據(jù)集，提供不同階段產(chǎn)生的數(shù)據(jù)集的版本比較。統(tǒng)一實現(xiàn)數(shù)據(jù)庫的訪問和操作管控，對用戶進行角色權限、對象權限、數(shù)據(jù)權限等方面的管控和查詢；統(tǒng)一實現(xiàn)數(shù)據(jù)庫的訪問和操作管控，對用戶進行角色權限、對象權限、數(shù)據(jù)權限等方面的管控和查詢；數(shù)據(jù)資源管理1.數(shù)據(jù)標準管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級分類管理4.數(shù)據(jù)資產(chǎn)管理通過對數(shù)據(jù)整合的層次結構、主題域劃分，實現(xiàn)各層的各種對象，如表、存儲過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結構之間的數(shù)據(jù)流程、各對象之間的關系，以及向外提供的各類數(shù)據(jù)服務的信息。元數(shù)據(jù)分析元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關系和以父子依賴關系展示對象等有向血緣關系。影響性分析重要性分析無關性分析●包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對象變更時的緣由和影響關系?！裨獢?shù)據(jù)對象和對象之間以連線方式表現(xiàn)出血緣分析的結果?！裢ㄟ^分析各元數(shù)據(jù)對象之間的關聯(lián)密集度及數(shù)據(jù)資源平臺中各層次的包、表等對象的重要程度，指導數(shù)據(jù)資源平臺開發(fā)和維護團隊對重點元數(shù)據(jù)進行重點關注和質量監(jiān)控?！裢ㄟ^系統(tǒng)的規(guī)模不斷擴大，業(yè)務需求的變化，會產(chǎn)生無關數(shù)據(jù)、信息和報表，這些無關的內容，結合業(yè)務需求分析其產(chǎn)生的根源，從而為用戶簡化工作負載，降低項目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。數(shù)據(jù)資源管理1.數(shù)據(jù)標準管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級分類管理4.數(shù)據(jù)資產(chǎn)管理

在數(shù)據(jù)資源的分類管理中，平臺按照數(shù)據(jù)資源的生命周期對數(shù)據(jù)資源進行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內進行加工處理的過程?；A標簽管理在設置的基礎標簽進行呈現(xiàn)列表形式將所有的基礎標簽一一列出，并可以按照熱度進行排序智能推薦形式是指根據(jù)最近時間段內的標簽的訪問頻率、搜索頻率等，以輪播的形式循環(huán)展現(xiàn)熱門標簽的功能。標簽關系管理

通過標簽將相關聯(lián)的數(shù)據(jù)目錄關聯(lián)在動圖中展現(xiàn)給用戶，形成豐富數(shù)據(jù)盛筵的展示效果，做到通過一張圖就可以將某一條數(shù)據(jù)的關聯(lián)數(shù)據(jù)、以及數(shù)據(jù)之間的關系全部展示出來的功能。數(shù)據(jù)資源管理1.數(shù)據(jù)標準管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級分類管理4.數(shù)據(jù)資產(chǎn)管理通過對數(shù)據(jù)資產(chǎn)的治理，讓系統(tǒng)數(shù)據(jù)更加準確、一致、完整、安全，降低IT成本；針對數(shù)據(jù)資產(chǎn)應用使得系統(tǒng)數(shù)據(jù)的使用過程更為人性、便捷、智能，從而提升管理決策水平。關于數(shù)據(jù)資產(chǎn)運營是支持系統(tǒng)數(shù)據(jù)資產(chǎn)的分發(fā)、開發(fā)、交易等數(shù)據(jù)嫁接的實現(xiàn)。從而促進數(shù)據(jù)資產(chǎn)的價值實現(xiàn)。數(shù)據(jù)資產(chǎn)資產(chǎn)管理主要是針對數(shù)據(jù)資產(chǎn)類目編制的過程梳理、明確職責等內容，同時也可以對數(shù)據(jù)表的元數(shù)據(jù)信息進行有效管理資產(chǎn)總覽從數(shù)據(jù)規(guī)模、類目分布、熱門訪問等多個角度，對數(shù)據(jù)資源平臺上的數(shù)據(jù)資產(chǎn)狀況進行全景式展現(xiàn)。資產(chǎn)目錄對平臺元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務、保障與支撐所組成的一個整體針對資產(chǎn)的合理組織，需要對資產(chǎn)進行對應分類資產(chǎn)報告針對整體平臺上的對應數(shù)據(jù)，提供定周期了解其對應資產(chǎn)情況，對總體資產(chǎn)情況進行分析。資產(chǎn)地圖通過元數(shù)據(jù)信息收集、數(shù)據(jù)血緣探查、數(shù)據(jù)權限申請授權等手段，幫助數(shù)據(jù)資源平臺完成數(shù)據(jù)信息的收集和管理，解決數(shù)據(jù)資源平臺數(shù)據(jù)開發(fā)者有哪些數(shù)據(jù)可用、到哪里可以找到數(shù)據(jù)的難題，并且提升數(shù)據(jù)資源的利用率。實時數(shù)據(jù)管理提供針對實時數(shù)據(jù)的元數(shù)據(jù)管理功能，包括：元數(shù)據(jù)采集、元數(shù)據(jù)存儲、元數(shù)據(jù)運維、數(shù)據(jù)質量檢查、元數(shù)據(jù)分析、權限管理、數(shù)據(jù)生命周期管理、元數(shù)據(jù)服務。數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理1.實時采集2.流數(shù)據(jù)引擎3.流數(shù)據(jù)計算模型管理4.流數(shù)據(jù)計算公共模型開發(fā)流數(shù)據(jù)的處理過程：數(shù)據(jù)實時采集；數(shù)據(jù)實時計算；數(shù)據(jù)實時查詢服務；支持的數(shù)據(jù)源類型可以分為以下四類：●網(wǎng)絡協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見類型的網(wǎng)絡協(xié)議。●本/異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)。●分布式文件系統(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。●關系型數(shù)據(jù)庫數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。提供數(shù)據(jù)融合，統(tǒng)計，分析的高速處理能力，對于實時性要求較高的數(shù)據(jù)計算提供支撐的功能提供對已設計完成的數(shù)據(jù)計算模型進行申請，注冊，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能提供對于場景需求較多的數(shù)據(jù)模型可開發(fā)公共模型的功能，公共模型可以供其他用戶調用，可重復使用的功能數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理5.流數(shù)據(jù)計算結果接口開發(fā)6.流數(shù)據(jù)計算模型查詢7.支持流媒體采集及轉發(fā)管理流數(shù)據(jù)的處理過程：數(shù)據(jù)實時采集；數(shù)據(jù)實時計算；數(shù)據(jù)實時查詢服務；提供對流數(shù)據(jù)計算結果接口開發(fā)功能和計算結果數(shù)據(jù)可通過接口形式供可視化調用或其他應用的功能提供流數(shù)據(jù)計算模型查詢功能，通過對流數(shù)據(jù)計算模型發(fā)布可以是其他用戶查看計算模型邏輯，進行模型再利用，減少其他用戶開發(fā)工作量的功能針對音頻、視頻等流媒體提供數(shù)據(jù)采集功能，同時配套流媒體數(shù)據(jù)存儲和快速檢索功能，同時需要采集對應流媒體設備的系統(tǒng)參數(shù)、通道參數(shù)、網(wǎng)絡參數(shù)、外設設備參數(shù)、以及外設設備的地理位置等。數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理

主要在數(shù)據(jù)治理平臺承擔數(shù)據(jù)管道作用，通過數(shù)據(jù)集成現(xiàn)實不通業(yè)務數(shù)據(jù)的匯聚、數(shù)據(jù)中心基礎庫的清洗等流程，通過在線簡單靈活的可視化頁面針對不同的數(shù)據(jù)匯聚、清洗流程進行配置建立，平臺直接對接調度底層的數(shù)據(jù)傳輸工具進行數(shù)據(jù)管道的打通；實現(xiàn)了數(shù)據(jù)集成建模與數(shù)據(jù)集成匯聚快速、高效流轉的全過程。數(shù)據(jù)建模配置集成方案管理數(shù)據(jù)來源統(tǒng)計異常數(shù)據(jù)分析提供數(shù)據(jù)集成中數(shù)據(jù)單元集模型配置，數(shù)據(jù)模型即為數(shù)據(jù)集成中的數(shù)據(jù)單元集；統(tǒng)計集成模型中所有數(shù)據(jù)的來源方向，以及各庫表、各字段的精確來源，并且提供基于領域的快速篩選；通過構建的數(shù)據(jù)模型實現(xiàn)多維度的數(shù)據(jù)匯聚、清洗等數(shù)據(jù)處理流程，解決了公共數(shù)據(jù)中大量的數(shù)據(jù)梳理處理工作；基于集成方案，反饋統(tǒng)計分析集成過程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結果，同時支持多維度的問題分析以及排查；數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理

定義全企業(yè)的數(shù)據(jù)架構，包括數(shù)據(jù)的主題、層次，所涉及的部門、所用到的數(shù)據(jù)庫類型。功能包括數(shù)據(jù)架構節(jié)點的增加，刪除。業(yè)務架構管理存儲架構管理從數(shù)據(jù)架構中選擇適合團隊的數(shù)據(jù)架構，并綁定到團隊，以約束開發(fā)團隊在開發(fā)過程中選擇數(shù)據(jù)架構。在異構數(shù)據(jù)庫的環(huán)境下，不同的數(shù)據(jù)庫有不同的參數(shù)設置，為減少開發(fā)人員在模型開發(fā)過程中的操作，同時也保障模型在落地到物理環(huán)境的正確性，通過在存儲架構中設置默認的參數(shù)配置來保障開發(fā)的準備性。綁定團隊、約束團隊數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理數(shù)據(jù)異常管理異常對接管理異常問題列表人工處理管理系統(tǒng)處理管理異常處理統(tǒng)計分析實時數(shù)據(jù)質量管理數(shù)據(jù)質量定制化開發(fā)異常對接管理開發(fā)可以對接數(shù)據(jù)交換總線、數(shù)據(jù)集成總線、數(shù)據(jù)服務總線系統(tǒng)中異常日志模塊的功能。異常問題列表展示異常問題推送并歸類整理異常問題定義規(guī)則忽略提醒人工處理管理指定人員分類授權針對異常問題所登記的臺賬信息系統(tǒng)處理管理子平臺子平臺子平臺系統(tǒng)處理管理異常信息無需人工干預數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理數(shù)據(jù)異常管理異常對接管理異常問題列表人工處理管理系統(tǒng)處理管理異常處理統(tǒng)計分析實時數(shù)據(jù)質量管理數(shù)據(jù)質量定制化開發(fā)異常處理統(tǒng)計分析按照異常分類、處理情況、時間、等級等維度進行分類統(tǒng)計，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。實時數(shù)據(jù)質量管理數(shù)據(jù)質量定制化開發(fā)定制質量監(jiān)控的規(guī)則自定義擴展規(guī)則能力針對實時流數(shù)據(jù)需要提供數(shù)據(jù)質量管理功能，輔助數(shù)據(jù)質量管理人員快速定位問題的原因及處理方案。設置維護調度實時流管理功能優(yōu)化…接口監(jiān)控告警定期生成實時流數(shù)據(jù)的數(shù)據(jù)質量評估報告問題數(shù)據(jù)的檢測規(guī)則問題數(shù)據(jù)的清洗回收的方式數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理

數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉換，提升開發(fā)效率。數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理

以一個業(yè)務量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進行協(xié)同生產(chǎn)。在統(tǒng)一調度平臺中以數(shù)據(jù)流作為驅動,通過控制中心進行作業(yè)命令下發(fā)，狀態(tài)收集進行控制，達到各個異構系統(tǒng)，多個子系統(tǒng)的協(xié)同調度。統(tǒng)一調度管理流程設計與管理調度策略管控任務調度控制標準化控件……作業(yè)/任務管理作業(yè)/任務調度作業(yè)/任務執(zhí)行采集轉換加載調度監(jiān)控數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理數(shù)據(jù)運維管理監(jiān)控運維運維概覽運維任務監(jiān)控告警實時分析統(tǒng)一流程管理數(shù)據(jù)運維定制化開發(fā)平臺運維定制化開發(fā)監(jiān)控運維開發(fā)者維護者作業(yè)部署作業(yè)優(yōu)先級數(shù)據(jù)監(jiān)控運維指標數(shù)據(jù)情況任務運行情況監(jiān)控異常情況告警日常運維數(shù)據(jù)統(tǒng)計運維概覽任務完成情況任務運行情況任務執(zhí)行時長排行調度任務數(shù)量趨勢……運維任務1)提供任務運行狀態(tài)監(jiān)控告警2)提供單任務重跑、多任務重跑、kill、置成功、暫停等操作3)提供列表和DAG兩種模式4)實現(xiàn)針對周期運行、測試運行、手動運行任務查看任務運行狀態(tài)5)實現(xiàn)針對任務進行重跑、停止、查看運行日志、查看節(jié)點代碼、查看節(jié)點屬性。監(jiān)控告警自定義配置告警規(guī)則規(guī)則一規(guī)則二規(guī)則三規(guī)則……告警：任務失敗數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開發(fā)管理6.統(tǒng)一調度管理7.數(shù)據(jù)運維管理數(shù)據(jù)運維管理監(jiān)控運維運維概覽運維任務監(jiān)控告警實時分析統(tǒng)一流程管理數(shù)據(jù)運維定制化開發(fā)平臺運維定制化開發(fā)數(shù)據(jù)質量管理1.質量模型配置2.質量規(guī)則管理3.方案配置調度4.質檢結果查看5.質檢分析報告

數(shù)據(jù)質量管理主要包含對數(shù)據(jù)完整性、準確性、鮮活性、權威性的分析和管理，并對數(shù)據(jù)進行跟蹤、處理和解決，實現(xiàn)對數(shù)據(jù)質量的全程管理，提高數(shù)據(jù)的質量。

能夠提供規(guī)則配置、質量監(jiān)控、問題處理等功能，及時發(fā)現(xiàn)并分析數(shù)據(jù)質量問題，不斷改善數(shù)據(jù)的使用質量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價值。根據(jù)業(yè)務需要選擇實體表和規(guī)則，方案與方案之間相互獨立，互不干擾。通過執(zhí)行模型下的質檢方案，可以得到用戶關心的數(shù)據(jù)質量分析結果，如問題數(shù)據(jù)明細信息、數(shù)據(jù)質量分析結果等。數(shù)據(jù)質量管理1.質量模型配置2.質量規(guī)則管理3.方案配置調度4.質檢結果查看5.質檢分析報告

系統(tǒng)支持多種規(guī)則類型，提供了全方位的視角來為用戶解析數(shù)據(jù)質量。一套規(guī)則能在多套方案中復用，在保證多角度準確數(shù)據(jù)質量分析的前提下，大大減少了用戶投入的精力與時間，為用戶提供了一種靈活而全面的數(shù)據(jù)質量分析方式。系統(tǒng)包括以下質量規(guī)則：空值檢查空值檢查用于檢查關鍵字段非空值域檢查值域檢查用于檢查關鍵字段的取值范圍，支持數(shù)值型、字符型、日期型字段檢查規(guī)范檢查規(guī)范檢查用于檢查指標值的格式是否規(guī)范，支持身份證、手機號碼、郵箱、日期等多種數(shù)據(jù)類型的檢測，支持自定義正則表達式邏輯檢查邏輯檢查用于檢查指標之間是否滿足一定的邏輯關系重復數(shù)據(jù)檢查●重復數(shù)據(jù)檢查用于檢查表內是否有重復數(shù)據(jù)?！褚?guī)則算法：groupby重復依據(jù)字段，count(1)>1的算重復及時性檢查規(guī)則算法：算出上報時間字段的值，如果沒寫上報時間表達式，則最佳上報時間都是以下一期的第一天做為參照依據(jù)，再將上報時間與最佳上報時間做為比較，看是否在允許誤差最