數(shù)字政府大數(shù)據(jù)中心資源平臺治理建設(shè)方案

項目編號：數(shù)字政府大數(shù)據(jù)中心及大數(shù)據(jù)資源解解決方案1總體建設(shè)方案概述 1.1項目建設(shè)目標 1.2項目建設(shè)內(nèi)容 1.2.1建設(shè)數(shù)據(jù)交換子平臺 1.2.2建設(shè)數(shù)據(jù)治理子平臺 1.2.3建設(shè)數(shù)據(jù)資源門戶 1.3總體建設(shè)方案 221.3.1中心總體定位 21.3.2總體解決方案 22 22 241.3.3項目實施方案 2資源平臺建設(shè)方案 272.1平臺總體架構(gòu) 272.2數(shù)據(jù)交換子平臺建設(shè) 272.2.1建設(shè)方案概述 282.2.2數(shù)據(jù)交換配置 2.2.3數(shù)據(jù)交換前置 2.2.4數(shù)據(jù)共享服務(wù) 2.2.5數(shù)據(jù)共享接口 2.2.6數(shù)據(jù)交換監(jiān)控 2.3數(shù)據(jù)治理子平臺建設(shè) 2.3.1建設(shè)方案概述 平臺整體架構(gòu) 平臺技術(shù)架構(gòu) 2.3.2建設(shè)數(shù)據(jù)資源中心 382.3.3資源目錄管理 39資源梳理 40資源編目 目錄提交 43目錄審核 43 43 資源掛載 2.3.4數(shù)據(jù)標準管理 44數(shù)據(jù)標準管理規(guī)范 4數(shù)據(jù)項標準 數(shù)據(jù)維度標準 47數(shù)據(jù)字典標準 48數(shù)據(jù)命名標準 482.3.5元數(shù)據(jù)管理 49元數(shù)據(jù)管理內(nèi)容 49元數(shù)據(jù)管理分類 元數(shù)據(jù)管理組織 50元數(shù)據(jù)管理流程 元數(shù)據(jù)管理功能 512.3.6數(shù)據(jù)質(zhì)量管理 53質(zhì)量模型配置 54質(zhì)量規(guī)則管理 方案配置調(diào)度 56 57質(zhì)檢分析報告 2.3.7數(shù)據(jù)開發(fā)平臺 58數(shù)據(jù)開發(fā)能力 237.1.1數(shù)據(jù)源適配 58.2數(shù)據(jù)清洗 58237.1.3數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)開發(fā)平臺 592.3.8統(tǒng)一調(diào)度管理 60 61事件調(diào)度 61 62 2.3.9數(shù)據(jù)資產(chǎn)管理 2.4數(shù)據(jù)資源門戶建設(shè) 2.4.1門戶首頁設(shè)計 712.4.2統(tǒng)一用戶管理 2.4.3統(tǒng)一認證授權(quán) 身份認證 用戶授權(quán) 2.4.4整合資源管理 2.4.5統(tǒng)一審批管理 742.4.6資源目錄服務(wù) 752.4.7統(tǒng)一消息管理 消息類型管理 76 76 消息發(fā)送處理 77 7 78安全日志統(tǒng)計 792.4.9統(tǒng)一監(jiān)控運維 基礎(chǔ)資源監(jiān)測 平臺運維管理 3資源中心建設(shè)方案 883.1中心總體定位設(shè)計 3.1.1總體設(shè)計 913.1.2設(shè)計原則 923.1.4數(shù)倉設(shè)計 3.1.5數(shù)據(jù)安全 963.2.1數(shù)據(jù)湖數(shù)據(jù)架構(gòu) 3.2.2數(shù)據(jù)湖數(shù)據(jù)范圍 3.3完成數(shù)據(jù)對接實施 3.4.1人口綜合庫建設(shè) 人口信息查詢 3.4.2法人綜合庫建設(shè) 3.4.3電子證照庫建設(shè) 3.4.4空間地理庫建設(shè) 3.5.1主題庫建設(shè)概述 3.5.2主題庫建設(shè)方法 3.5.3一網(wǎng)通辦主題庫 數(shù)據(jù)歸集方式 3.5.4一網(wǎng)統(tǒng)管主題庫 數(shù)據(jù)歸集方式 3.5.5城市規(guī)劃主題庫 數(shù)據(jù)集成管理 3.6.1應(yīng)急專題庫概述 3.6.2管理對象專題庫 3.6.3災(zāi)害事件專題庫 3.7.1建設(shè)背景 3.7.2總體目標 3.7.3梳理思路 3.7.4梳理工作開展 3.7.5一目錄三清單梳理培訓 3.7.7一目錄三清單梳理交付內(nèi)容 3.7.8梳理工作要求 4項目實施管理方案 1424.1.1建立項目組織管理機構(gòu) 4.1.2確定項目分工角色職責 4.1.3建立項目組織相關(guān)管理制度 4.2項目管理計劃 4.2.1綜合管理計劃 項目計劃執(zhí)行 4.2.2綜合變更控制 4.3范圍控制計劃 4.3.1范圍定義及跟蹤 4.3.2變更管理 4.4進度控制計劃 4.4.1項目進度跟蹤 4.4.2項目進度分析 4.5組織機構(gòu)和人員管理計劃 4.5.1人力資源規(guī)劃 4.5.2項目團隊建設(shè) 4.5.3項目團隊管理 4.6.1質(zhì)量保證目標 4.6.2質(zhì)量保證角色與職責 4.6.3質(zhì)量保證流程 4.6.4質(zhì)量保證活動 4.7.1溝通計劃 4.7.2報告形式 4.7.3相關(guān)工具文檔 4.8.1配置管理目標 4.8.2配置管理角色與職責 4.8.3配置管理流程 4.8.5配置管理活動 4.8.6配置管理工具 4.9風險控制計劃 4.9.1風險識別 4.9.3風險控制 4.10變革管理計劃 4.10.1變革管理方法 4.10.2變革管理成功的關(guān)鍵策略 4.11項目進度計劃 4.11.1影響項目進度的因素 4.11.2項目進度制定的原則 4.11.3項目實施進度計劃 4.11.4項目里程碑 4.12安全保密計劃 4.13文檔編制計劃 4.13.1項目管理類 4.13.2軟件工程類 4.13.3項目支持類 4.14質(zhì)量保障計劃 4.14.1確定質(zhì)量保證目標 4.14.2質(zhì)量保證角色與職責 4.14.3質(zhì)量保證流程 4.14.4質(zhì)量保證活動 4.15產(chǎn)品交付計劃 4.15.1背景介紹 4.15.3服務(wù)人員管理 服務(wù)文化 4.15.4服務(wù)流程管理 項目驗收 4.15.5服務(wù)實體設(shè)施 4.15.6產(chǎn)品詳細交付計劃 2014.16項目培訓計劃 4.16.1培訓組織管理 4.16.2培訓隊伍要求 2094.16.4培訓內(nèi)容及要求 4.17實施風險管理 4.17.1風險計劃 211 5售后服務(wù)及培訓 5.1.1售后服務(wù)及響應(yīng)級別 5.1.2定期現(xiàn)場巡檢服務(wù) 2175.1.3專人值守服務(wù) 2175.1.4本地化服務(wù) 2185.2運維服務(wù)保障措施 2185.2.1項目運維組織機構(gòu)及職責 2195.2.2運維風險預防措施 2205.2.3運維突發(fā)事情應(yīng)急措施 5.3服務(wù)質(zhì)量保障措施 215.3.1完善的售后服務(wù)體系 2215.3.2運行維護制度建立 2215.3.3運維知識庫系統(tǒng) 2225.3.4運行維護隊伍建設(shè) 225.3.5閉環(huán)式服務(wù) 2235.3.6服務(wù)監(jiān)督機制 2245.3.7試運行期間的運維保障 5.3.8免費質(zhì)保期間的運維保障 5.3.9免費質(zhì)保期后的運維保障 2265.4質(zhì)量保證范圍 265.5售后服務(wù)承諾書 275.6售后服務(wù)機構(gòu)網(wǎng)點清單、服務(wù)電話 5.6.1售后服務(wù)人員配置 5.6.2人員培訓計劃 6施工組織設(shè)計方案 2316.1.1綜合說明，質(zhì)量、服務(wù)、安全文明施工目標 231 231 232 2326.1.2主要施工方法；新技術(shù)、新材料、新工藝、新設(shè)備的應(yīng)用 233 234 235 6.1.3工程投入的主要物資和施工機械設(shè)備情況、主要施工機械進場計劃 2366.1.4施工設(shè)備進場計劃 2366.1.5工程所用產(chǎn)品進場計劃 6.1.6確保工程質(zhì)量的技術(shù)組織措施 2366.1.7確保安全生產(chǎn)的技術(shù)組織措施 237安全教育制度 237 安全活動制度 237 2386.1.8確保文明施工的技術(shù)組織措施 6.1.9施工順序、總進度安排及總形象進度示意圖 2396.2項目管理機構(gòu)配備 2396.3質(zhì)量及保修服務(wù) 2396.3.1保修期與保修范圍 2396.3.2保修責任 6.3.3售后培訓 2396.3.4售后維護服務(wù) 6.3.5接口對接服務(wù) 2406.4組織管理 2406.4.1項目管理方法 2406.4.2項目質(zhì)量管理 6.4.3系統(tǒng)測試計劃 245 246 247系統(tǒng)測試 248 250 251 251 252測試執(zhí)行 253 253 254測試技術(shù) 254 2566.5.1主要風險列表 2576.5.2風險影響分析 2586.5.3關(guān)鍵風險分析 2606.5.4風險控制計劃 6.5.5風險應(yīng)對措施 261 261 2636.5.6項目溝通管理 6.5.7項目決策制度 6.5.8問題與爭議管理辦法 6.6上線后支持期 265 2656.7.1施工部署原則 2656.7.3施工階段 6.7.4調(diào)試交接階段 2676.8施工順序及工藝安排 6.8.1施工方法 268 268 2696.8.4應(yīng)注意的質(zhì)量問題 2706.8.5設(shè)備安裝要求 6.8.6施工布線規(guī)格要求 6.9項目工作流程 6.9.1配電工程 2756.9.2抗靜電防塵處理 節(jié)能 276防火 防靜電 277 277 277 278 278施工準備 278質(zhì)量要求 279工藝流程 279 安全措施 2816.9.5彩鋼板墻面工程 282 6.9.6防靜電地板施工準備 作業(yè)條件 283材料準備 283 283質(zhì)量要求 工藝流程 施工工藝 284成品保護 284安全措施 2846.9.7防靜電接地及防雷 2856.9.8消防系統(tǒng)搬遷 285火災(zāi)自動報警系統(tǒng)安裝流程圖 電線管敷設(shè)及管內(nèi)穿線工程 286管內(nèi)絕緣導線的額定電壓不應(yīng)低于500V 火災(zāi)自動報警裝置安裝 手動報警裝置安裝 289火災(zāi)報警控制器安裝 289消防聯(lián)動控制裝置安裝 291火災(zāi)自動報警系統(tǒng)調(diào)試 2926.9.9機房環(huán)境動力監(jiān)測系統(tǒng)工程 299機房施工方法 監(jiān)測點設(shè)備安裝位置示意圖 操作間施工方法 301 .2.設(shè)備安裝位置示意圖 .1.安裝設(shè)備清單 301.2.監(jiān)測點設(shè)備安裝位置示意圖 3026.9.10機房精密空調(diào)搬遷安裝調(diào)試 安裝工程界面總則 303現(xiàn)場搬運機組時的保護 場地基本要求 304底座制造與安裝 305制冷管道的安裝概要 管道焊接 307 加濕，冷凝水管道安裝 0室外冷凝器安裝 3091空調(diào)機組安裝驗收標準 3106.9.11設(shè)備搬遷 311 312設(shè)計聯(lián)絡(luò)計劃 312項目進度安排 工程現(xiàn)場環(huán)境要求 316 316項目培訓、驗收 3186.9.13呼叫中心系統(tǒng) 318工程前期準備階段 項目進度計劃和項目目標審核確認階段 需求整理階段 318開發(fā)階段 319系統(tǒng)建設(shè)階段 系統(tǒng)測試聯(lián)調(diào)階段 319系統(tǒng)初步驗收階段 320上線割接試運行階段 320項目移交總結(jié)階段 3200正式運行階段 320 321首先要進行管線和掛接件的預埋 321其次要進行各種棚，架的焊接和安裝 再下面就要進行各種線纜的鋪設(shè) 322再后面應(yīng)該進行各種設(shè)備的安裝 最后就是供電線路，控制線路和信號線路的連接 323另外就是對安裝、供電線路、連接情況的檢查 325待以上施工步驟都確信完成后，準備進行設(shè)備的調(diào)試 6.9.15智慧安防系統(tǒng)IMOS 325成立項目組 326明確工程界面 327 328.3.工程界面 329用戶工前準備 設(shè)備到貨驗收 現(xiàn)場安裝調(diào)試 331全網(wǎng)聯(lián)調(diào)及內(nèi)部測試 系統(tǒng)初驗(可選) 客戶技術(shù)培訓 32.1.試運行 332.2.竣工驗收 7保證安全文明、文明施工措施 347.2安全文明施工管理措施 34 334 3357.2.4安全事故調(diào)查處理 337 377.4安全防火措施 7.5應(yīng)急保證措施 7.6.1文明施工原則 3447.6.2文明施工管理職責 3447.6.3現(xiàn)場文明施工管理內(nèi)容 345 346 7.7.3施工器材 7.7.5安全用電 1總體建設(shè)方案概述1.1項目建設(shè)目標本次區(qū)級大數(shù)據(jù)資源平臺建設(shè)項目將圍繞和遵循XX區(qū)智慧數(shù)據(jù)決策的綜合管理服務(wù)體系，確保大數(shù)據(jù)平臺全面支撐XX區(qū)公共數(shù)據(jù)協(xié)同服務(wù)、城區(qū)管理協(xié)同服務(wù)、惠民數(shù)據(jù)協(xié)同服務(wù)和興業(yè)數(shù)據(jù)協(xié)同服務(wù)，實現(xiàn)全區(qū)的業(yè)務(wù)數(shù)據(jù)閉環(huán)，為全區(qū)經(jīng)濟建設(shè)、規(guī)劃布局，城市管理等實現(xiàn)全方位的數(shù)據(jù)賦能。加快推進實現(xiàn)如下1)聚：推進與市級人口、法人、空間地理庫的數(shù)據(jù)集成，促進電子證照庫對接利用；逐步推進視頻數(shù)據(jù)、物聯(lián)數(shù)據(jù)以及基層業(yè)務(wù)數(shù)據(jù)等采集匯聚；逐步推進XX區(qū)級各部門的數(shù)據(jù)匯聚。2)管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)管理平臺，通過與市級數(shù)據(jù)平臺級聯(lián)實現(xiàn)區(qū)內(nèi)上報數(shù)據(jù)的落地，結(jié)合區(qū)內(nèi)情況進行本地數(shù)據(jù)資產(chǎn)目錄的管理，形成對數(shù)據(jù)的全生命周期管理，以及各環(huán)節(jié)安全3)通：實現(xiàn)基于應(yīng)用場景的數(shù)據(jù)資源授權(quán)管理機制，推動公共數(shù)據(jù)按需充分共享。實現(xiàn)數(shù)據(jù)分級分類開放管理，擴展共享4)用：開展主題數(shù)據(jù)庫建設(shè)，推動數(shù)據(jù)資源整合及數(shù)據(jù)分推進區(qū)級跨部門數(shù)據(jù)智能應(yīng)用的行業(yè)能力平臺建設(shè)。5)安：打造整體安全管控體系，保證平臺上政務(wù)數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)開放等全生命周期中的安全1.2項目建設(shè)內(nèi)容對于本次區(qū)級大數(shù)據(jù)資源平臺的建設(shè)，將按照“總體規(guī)劃一步到位，平臺建設(shè)分步實施，數(shù)據(jù)賦能逐步升級”的原則，落實數(shù)據(jù)交換共享和協(xié)同應(yīng)用需求，逐步提升區(qū)級大數(shù)據(jù)資源中心能級。初期先完成數(shù)據(jù)資源平臺的搭建，后續(xù)依托基礎(chǔ)平臺的建設(shè)成果，逐步完善豐富XX區(qū)大數(shù)據(jù)資源、運營平臺、管理機制、運維支撐、組織保障體系和典型智慧應(yīng)用的建設(shè)。區(qū)級大數(shù)據(jù)資源平臺項目建設(shè)的主要目標是要搭建XX區(qū)統(tǒng)一的大數(shù)據(jù)資源管理平臺并實現(xiàn)基礎(chǔ)功能架構(gòu)，出臺相關(guān)管理辦完成標準化數(shù)據(jù)倉庫的建設(shè)，并構(gòu)建基礎(chǔ)及融合數(shù)據(jù)庫，為全區(qū)的政務(wù)處理、經(jīng)濟發(fā)展、社會民生、城市管理、鄉(xiāng)村振興等實現(xiàn)●建設(shè)統(tǒng)一的大數(shù)據(jù)資源管理與應(yīng)用平臺：建設(shè)包含數(shù)據(jù)支撐底座、數(shù)據(jù)交換子平臺、數(shù)據(jù)整理治理子平臺、數(shù)據(jù)服務(wù)子平臺，數(shù)據(jù)分析支撐子平臺以及數(shù)據(jù)資源門戶為核心功能的大數(shù)據(jù)資源平臺，實現(xiàn)大數(shù)據(jù)綜合管理與服務(wù)功能；●啟動區(qū)級大數(shù)據(jù)資源中心建設(shè)：完成標準化數(shù)據(jù)倉庫的設(shè)計與規(guī)劃建設(shè)，并完成與區(qū)各委辦業(yè)務(wù)與管理系統(tǒng)、S市大數(shù)據(jù)資源平臺以及物聯(lián)網(wǎng)相關(guān)平臺數(shù)據(jù)的對接，匯聚各類業(yè)務(wù)數(shù)據(jù)，構(gòu)建區(qū)級大數(shù)據(jù)資源中心；●在XX區(qū)資源中心數(shù)據(jù)湖基礎(chǔ)上，建設(shè)基礎(chǔ)數(shù)據(jù)庫，包括人口綜合庫、法人綜合庫、電子證照庫以及地理空間庫，為全區(qū)各政務(wù)部門提供人口、法人、證照與地理空間相關(guān)●在區(qū)級資源中心數(shù)據(jù)湖以及基礎(chǔ)庫的基礎(chǔ)上，持續(xù)深入大數(shù)據(jù)資源的建設(shè)與應(yīng)用探索，基本完成支撐全區(qū)一網(wǎng)通辦、一網(wǎng)統(tǒng)管、城市規(guī)劃、應(yīng)急指揮等主題的資源歸集，并形成相關(guān)的專題庫和主題庫；●建立統(tǒng)一的政府數(shù)據(jù)信息資源目錄，建立動態(tài)更新機制，明確全區(qū)各部門可向其他政府機構(gòu)共享的公共數(shù)據(jù)，建立全區(qū)統(tǒng)一的數(shù)據(jù)交換共享平臺及數(shù)據(jù)中心，對上對下實現(xiàn)垂直共享，橫向打通各部門間的數(shù)據(jù)交換共享，實現(xiàn)部門●充實現(xiàn)有管理功能，形成共享工作體制和制度。建設(shè)全區(qū)統(tǒng)一的數(shù)據(jù)數(shù)據(jù)交換子平臺，形成公共數(shù)據(jù)歸集、實現(xiàn)雙向數(shù)據(jù)互通。具體，在本次區(qū)級大數(shù)據(jù)資源平臺建設(shè)項目中，數(shù)據(jù)交換子平臺的建設(shè)內(nèi)容包括：>數(shù)據(jù)交換配置：提供數(shù)據(jù)交換配置功能，能夠提供對于交換周期，時間的交換策略配置、接口配置交換任務(wù)配>數(shù)據(jù)服務(wù)管理：提供數(shù)據(jù)服務(wù)管理功能，將清洗后的數(shù)據(jù)以及場景化分析后的數(shù)據(jù)注冊為數(shù)據(jù)服務(wù)，統(tǒng)一進行>數(shù)據(jù)共享接口：將清洗后的數(shù)據(jù)以及場景化分析后的數(shù)據(jù)注冊到服務(wù)管理系統(tǒng)中，統(tǒng)一進行對外共享，并且對共享行為進行統(tǒng)一管理和審計；>數(shù)據(jù)交換監(jiān)控：提供數(shù)據(jù)交換監(jiān)控功能，實時監(jiān)控交換過程中核心服務(wù)運行狀況，包括交換平臺整體運行狀態(tài)、交換域運行狀態(tài)、交換節(jié)點運行狀態(tài)、交換流程運行狀態(tài)等，保障數(shù)據(jù)交換穩(wěn)定。建設(shè)大數(shù)據(jù)治理子平臺，提供數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理能力，實現(xiàn)對數(shù)據(jù)的規(guī)范治理與管理；提供數(shù)據(jù)工廠能力，實現(xiàn)對歸集的數(shù)據(jù)進行清洗、加工，支撐業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。具體，在本次區(qū)級大數(shù)據(jù)資源平臺建設(shè)項目中，數(shù)據(jù)治理子平臺的建設(shè)內(nèi)容包括：>數(shù)據(jù)標準管理：提供數(shù)據(jù)標準管理功能，包括：字典標準管理、命名標準管理、維度標準管理及數(shù)據(jù)項標準管理；>元數(shù)據(jù)管理：提供元數(shù)據(jù)管理功能，包括：元數(shù)據(jù)正向采集、元數(shù)據(jù)維護、元數(shù)據(jù)查詢、元數(shù)據(jù)導入/導出、元數(shù)>數(shù)據(jù)質(zhì)量管理：提供數(shù)據(jù)質(zhì)量管理功能，包括：質(zhì)量模型配置、質(zhì)量規(guī)則管理、方案配置調(diào)度、質(zhì)檢結(jié)果查看、質(zhì)>數(shù)據(jù)開發(fā)平臺：提供數(shù)據(jù)開發(fā)平臺能力，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實現(xiàn)原生態(tài)開發(fā)與可視化編>統(tǒng)一調(diào)度管理：提供統(tǒng)一調(diào)度管理功能，提供流程設(shè)計與管理、調(diào)度策略管控、任務(wù)調(diào)度控制、等功能模塊。建設(shè)統(tǒng)一的數(shù)據(jù)資源門戶，有效集成整合各子平臺應(yīng)用功能業(yè)務(wù)流程、信息展示以及統(tǒng)一運維等方面的管理，全面打造面向各單位工作人員的一體化統(tǒng)一數(shù)據(jù)管理與應(yīng)用門戶。利用數(shù)據(jù)資源門戶推動全區(qū)公共數(shù)據(jù)和社會數(shù)據(jù)的交互和開放使用，加強政企數(shù)據(jù)互動、加快統(tǒng)一公共數(shù)據(jù)歸集、強化數(shù)據(jù)管理治理、探索數(shù)據(jù)應(yīng)用，促進數(shù)據(jù)共享協(xié)同與開放，為提升全區(qū)政府治理能力，實現(xiàn)管理向服務(wù)轉(zhuǎn)變提供支撐。具體，在本次區(qū)級大數(shù)據(jù)資源平臺建設(shè)項目中，數(shù)據(jù)資源門戶的建設(shè)內(nèi)容包括：>門戶首頁：提供門戶首頁，在首頁可以看共享資源數(shù)量、推薦目錄和接口、信息資源；>統(tǒng)一用戶管理：提供統(tǒng)一用戶管理功能，實現(xiàn)統(tǒng)一組織架構(gòu)、人員管理，對用戶的屬性、權(quán)限進行劃分設(shè)定；>統(tǒng)一認證管理：提供對用戶身份的統(tǒng)一管理與統(tǒng)一的系統(tǒng)用戶身份認證服務(wù)；>整合資源管理：提供統(tǒng)一的數(shù)據(jù)資源整合服務(wù)，包括：資源檢索、資源查詢、資源展示、資源申請等；>統(tǒng)一審批管理：提供統(tǒng)一的流程審批管理功能，包括：流程發(fā)起、流程流轉(zhuǎn)、流程審批等；>統(tǒng)一消息管理：提供統(tǒng)一消息管理功能，包括：消息類型管理、消息渠道管理、通用規(guī)則管理、自定義規(guī)則管理、消息過期、消息發(fā)送；>統(tǒng)一日志管理：提供多種日志記錄方式，并支持日志提醒與日志分析、日志審計管理；>數(shù)據(jù)資產(chǎn)管理：提供數(shù)據(jù)資產(chǎn)管理功能，包括：數(shù)據(jù)資產(chǎn)分類管理、資產(chǎn)目錄、資產(chǎn)地圖、資產(chǎn)版本管理、資產(chǎn)統(tǒng)>資源目錄服務(wù)：提供資源目錄服務(wù)功能，實現(xiàn)資源目錄對外共享，并提供目錄查詢、目錄統(tǒng)計等服務(wù)；>統(tǒng)一監(jiān)控運維：提供統(tǒng)一監(jiān)控運維功能，保證整個數(shù)據(jù)資源平臺的穩(wěn)定與高效運行，并提升數(shù)據(jù)資源全生命周期的保障執(zhí)行力和運維效率。具體功能包括：●提供監(jiān)控資源管理功能，支持資源模型的增刪改基本維護操作，創(chuàng)建需要管理的資源對象，并對所有被監(jiān)管對象進●提供基礎(chǔ)資源監(jiān)測功能，對整個平臺所涉及到的服務(wù)器、存儲、操作系統(tǒng)、中間件等基礎(chǔ)實施進行監(jiān)控；●提供應(yīng)用系統(tǒng)監(jiān)控功能，對平臺的各個應(yīng)用服務(wù)的運行情況進行監(jiān)控，及時發(fā)現(xiàn)故障與風險，并告警；●提供監(jiān)控告警管理功能，提供告警規(guī)則管理功能，實現(xiàn)告警規(guī)則的自定義管理和維護；●提供平臺運維管理功能，負責對用戶提交以及系統(tǒng)自動發(fā)現(xiàn)的故障或文件進行集中記錄，可將故障分派給不同人員進行處理并對故障處理過程及結(jié)果進行跟蹤管理。1.3總體建設(shè)方案區(qū)級大數(shù)據(jù)資源平臺建設(shè)的核心是匯聚全區(qū)各類公共數(shù)據(jù)，建立面向政務(wù)顧問、經(jīng)濟發(fā)展、城市管理、社會公共服務(wù)與鄉(xiāng)村振興的數(shù)據(jù)資源庫與數(shù)據(jù)服務(wù)。為智慧城市提供全面、高效、安全、智能的數(shù)據(jù)管理與應(yīng)用支撐，是智慧城市建設(shè)總體戰(zhàn)略與落地規(guī)劃中的重要組成部分。匯聚數(shù)據(jù)資源形成數(shù)據(jù)資產(chǎn)建立數(shù)據(jù)應(yīng)用建立數(shù)據(jù)服務(wù)保護數(shù)據(jù)安全各極政務(wù)數(shù)據(jù)監(jiān)控視頻數(shù)據(jù)物聯(lián)設(shè)備數(shù)據(jù)企事業(yè)單位數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…民生保平臺總體藍圖針對區(qū)級大數(shù)據(jù)資源平臺的建設(shè)，我們將基于當前主流的大數(shù)據(jù)技術(shù)框架為XX區(qū)搭建一個大數(shù)據(jù)管理與應(yīng)用平臺。利用數(shù)據(jù)平臺的數(shù)據(jù)采集功能，將XX區(qū)各級政府單位的政務(wù)數(shù)據(jù)、城市管理相關(guān)的監(jiān)控視頻等物聯(lián)數(shù)據(jù)、企業(yè)事業(yè)單位數(shù)據(jù)，互聯(lián)網(wǎng)等社據(jù)匯聚起來，形成統(tǒng)一的XX區(qū)級大數(shù)據(jù)資源池。之后，在利用平臺的數(shù)據(jù)治理與建模開發(fā)能力，將采集到的數(shù)據(jù)有效地進行分類整理與融合，構(gòu)建諸如綜合人口庫、產(chǎn)業(yè)經(jīng)濟主題庫、旅游數(shù)據(jù)庫、菜園花鳥數(shù)據(jù)庫，鄉(xiāng)村產(chǎn)業(yè)經(jīng)濟振興庫等數(shù)據(jù)應(yīng)用服務(wù)，并利用統(tǒng)一門戶將相關(guān)數(shù)據(jù)應(yīng)用對外開放，向XX區(qū)各級單位、企事業(yè)單位等用戶提供數(shù)據(jù)服務(wù)，由此構(gòu)建XX區(qū)的數(shù)據(jù)資源中心，實現(xiàn)對全區(qū)政務(wù)等數(shù)據(jù)的集中匯聚、統(tǒng)一管本次項目的解決方案藍圖如下：(人口/法人蕃礎(chǔ)數(shù)握產(chǎn)業(yè)規(guī)濟城市治理民生保障數(shù)聯(lián)計辯模甲樣式計舞任務(wù)詞度輸計功讀計D數(shù)據(jù)服勢數(shù)據(jù)分析數(shù)據(jù)安全對接交換數(shù)鋼存儲數(shù)櫥計算大數(shù)據(jù)蜜源平臺平臺總體架構(gòu)區(qū)級大數(shù)據(jù)資源平臺平臺基于基礎(chǔ)設(shè)施(網(wǎng)絡(luò)&技術(shù)&存儲)、技術(shù)標準體系規(guī)范及信息安全保障體系建設(shè)數(shù)據(jù)支撐底座、數(shù)據(jù)交換、數(shù)據(jù)資源中心(基礎(chǔ)及融合數(shù)據(jù)庫)、數(shù)據(jù)整理治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)分析、數(shù)據(jù)共享應(yīng)用及數(shù)據(jù)資源門戶模塊，并實現(xiàn)與S市大數(shù)據(jù)資源平臺的共享與交換。數(shù)據(jù)資源中心(基礎(chǔ)及融合數(shù)據(jù)庫)基礎(chǔ)設(shè)飾(網(wǎng)緒&計算&存儲)信息安全保障體系統(tǒng)一運維平臺數(shù)據(jù)安全管理平臺舟山市大數(shù)據(jù)資源平臺技術(shù)標準體系規(guī)范平臺架構(gòu)關(guān)系數(shù)據(jù)資源門戶(數(shù)據(jù)應(yīng)用服務(wù))⑤開控制收下發(fā)調(diào)數(shù)演資產(chǎn)報名融合加工數(shù)據(jù)治理/平臺數(shù)據(jù)資源中心數(shù)據(jù)基礎(chǔ)支撐平臺數(shù)據(jù)共享交換平臺-采集數(shù)據(jù)歸珠數(shù)據(jù)源架構(gòu)關(guān)系說明：√基于數(shù)據(jù)治理平臺，搭建數(shù)據(jù)治理產(chǎn)線：各個委辦局梳理資源，形成目錄清單并制定數(shù)據(jù)治理相關(guān)規(guī)范，基于目錄及規(guī)范搭建數(shù)據(jù)治理產(chǎn)線；√數(shù)據(jù)共享交換平臺：數(shù)據(jù)治理/服務(wù)/分析平臺設(shè)置數(shù)據(jù)歸集調(diào)度任務(wù)，通過數(shù)據(jù)源采集數(shù)據(jù)到數(shù)據(jù)湖(數(shù)據(jù)資源中心);√數(shù)據(jù)源：各個委辦設(shè)置前置機放置源數(shù)據(jù)；√數(shù)據(jù)資源中心：對通過數(shù)據(jù)共享交換平臺采集的數(shù)據(jù)進行√數(shù)據(jù)基礎(chǔ)支撐平臺：數(shù)據(jù)治理/服務(wù)/分析平臺通過數(shù)據(jù)基礎(chǔ)支撐平臺進行數(shù)據(jù)讀取、處理與存儲；√數(shù)據(jù)資源門戶：通過治理后資源在門戶進行展示，并為各個委辦提供瀏覽及申請入口，同時經(jīng)過申請的數(shù)據(jù)如果需要清洗/轉(zhuǎn)換操作，則數(shù)據(jù)治理平臺將根據(jù)治理規(guī)范及產(chǎn)線進行數(shù)據(jù)的加工處理，并將處理后的有效數(shù)據(jù)同步給門戶；√數(shù)據(jù)共享交換平臺：用戶經(jīng)過門戶申請的數(shù)據(jù)，將通過數(shù)據(jù)共享交換平臺進行數(shù)據(jù)的共享?！探y(tǒng)一維護平臺及數(shù)據(jù)安全管理將為整個數(shù)字區(qū)級大數(shù)據(jù)資源平臺的平臺建設(shè)保駕護航。1.3.3項目實施方案在本項目中，首先需要建設(shè)一套大數(shù)據(jù)資源管理與應(yīng)用平臺，并基于大數(shù)據(jù)資源管理與應(yīng)用平臺，利用平臺中的各類功能，通過匯聚數(shù)據(jù)、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)與數(shù)據(jù)服務(wù)等手段，逐步建設(shè)各類區(qū)級數(shù)據(jù)資源(包括：數(shù)據(jù)湖、基礎(chǔ)庫、主題庫、主題庫等)。具體，項目的總體建設(shè)實施方案如下：以構(gòu)建一個能持續(xù)高效運轉(zhuǎn)的數(shù)據(jù)治理管理體系為目標建設(shè)一套大數(shù)據(jù)管理與應(yīng)用開發(fā)建設(shè)人口以構(gòu)建一個能持續(xù)高效運轉(zhuǎn)的數(shù)據(jù)治理管理體系為目標建設(shè)一套大數(shù)據(jù)管理與應(yīng)用開發(fā)建設(shè)人口與法人基礎(chǔ)庫建設(shè)縣數(shù)據(jù)湖楊浦大數(shù)據(jù)資源平臺建設(shè)項目實施數(shù)據(jù)管理平臺建設(shè)數(shù)據(jù)治理數(shù)據(jù)管理平臺建設(shè)利器工事利器2資源平臺建設(shè)方案2.1平臺總體架構(gòu)區(qū)級大數(shù)據(jù)資源平臺的總體架構(gòu)由支撐體系(標準規(guī)范支撐體系、管理運行維護支撐體系、安全支撐體系)、網(wǎng)絡(luò)系統(tǒng)、信息資源平臺軟硬件系統(tǒng)環(huán)境、平臺應(yīng)用系統(tǒng)(數(shù)據(jù)支撐底座、數(shù)據(jù)交換子平臺、數(shù)據(jù)整理治理子平臺、數(shù)據(jù)資源門戶),以及數(shù)據(jù)資源中心(數(shù)據(jù)湖、基礎(chǔ)庫、主題庫、專題庫)組成。具體平首頁首頁資凈目錄資源服務(wù)數(shù)概資數(shù)據(jù)共享統(tǒng)一運維數(shù)醒安全服務(wù)列表服務(wù)申請服務(wù)審批服務(wù)授權(quán)服務(wù)接口服務(wù)監(jiān)控戶管理數(shù)據(jù)治資源目元數(shù)據(jù)數(shù)據(jù)標數(shù)據(jù)開統(tǒng)一調(diào)數(shù)據(jù)質(zhì)教露資理暫理錄管理管理塞管理發(fā)管理渡瓷理量管建產(chǎn)管理份管理統(tǒng)一授應(yīng)用法人、人口數(shù)據(jù)通權(quán)管理統(tǒng)一認數(shù)據(jù)數(shù)照交數(shù)眠交數(shù)網(wǎng)共享數(shù)胭共享數(shù)獄交換數(shù)醫(yī)交換檢管理交換按配置換的置服務(wù)管理報務(wù)按口異期監(jiān)控安全傳箱數(shù)寓源區(qū)級政務(wù)數(shù)在控稅數(shù)據(jù)A拉模加數(shù)物聯(lián)設(shè)備效取金事業(yè)數(shù)5聯(lián)網(wǎng)數(shù)2.2數(shù)據(jù)交換子平臺建設(shè)建設(shè)全區(qū)統(tǒng)一的數(shù)據(jù)數(shù)據(jù)交換子平臺，形成公共數(shù)據(jù)歸集、實現(xiàn)雙向數(shù)據(jù)互通。通過本項目數(shù)據(jù)共享交換平臺建設(shè)，構(gòu)建XX區(qū)數(shù)據(jù)共享交換體系，推動政務(wù)數(shù)據(jù)的跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)XX區(qū)數(shù)據(jù)交換系統(tǒng)基于電子政務(wù)云搭建，為全區(qū)數(shù)據(jù)管理部門提供云端的數(shù)據(jù)共享交換服務(wù)的統(tǒng)一平臺，可實現(xiàn)部門前置節(jié)點與政務(wù)云中心節(jié)點間、部門與部門間穩(wěn)定可靠的雙向信息傳遞。鑒于數(shù)據(jù)源應(yīng)用的異構(gòu)平臺、異構(gòu)系統(tǒng)接入的復雜性，數(shù)據(jù)共享交換平臺建設(shè)應(yīng)統(tǒng)一技術(shù)架構(gòu)、統(tǒng)一接入標準規(guī)范(包括技術(shù)規(guī)范、接入規(guī)范、管理規(guī)范、運行規(guī)范等),同時既要充分考慮系統(tǒng)的安全性、可擴展性，又要充分考慮數(shù)據(jù)交換的實時性、可靠性和高效性，實現(xiàn)各系統(tǒng)數(shù)據(jù)的采集、同步、篩選比對等業(yè)因此，本次數(shù)據(jù)共享交換平臺建設(shè)將充分利用信息化手段，消息中間件、SOA體系架構(gòu)等技術(shù)，采用組件化和松耦合的設(shè)計思路，實現(xiàn)統(tǒng)一平臺架構(gòu)、統(tǒng)一技術(shù)標準、統(tǒng)一數(shù)據(jù)接口。數(shù)據(jù)交換子平臺建設(shè)圍繞數(shù)據(jù)資源的采集交換、數(shù)據(jù)傳輸、交換監(jiān)控流程進行，以保證平臺功能、服務(wù)更加貼近實際業(yè)務(wù)應(yīng)用需要。具體，本次區(qū)級大數(shù)據(jù)資源平臺中的數(shù)據(jù)交換子平臺的總體業(yè)務(wù)與邏輯架構(gòu)設(shè)計如下：委辦局B業(yè)務(wù)區(qū)數(shù)綱共空系統(tǒng)業(yè)務(wù)庫FH印位業(yè)件委辦局A業(yè)務(wù)區(qū)委辦局C業(yè)務(wù)區(qū)要辦同前85電子政務(wù)外網(wǎng)業(yè)首理師位空公共草車業(yè)務(wù)座…利用數(shù)據(jù)交換平臺與各政務(wù)部門進行互聯(lián)，通過數(shù)據(jù)傳輸系統(tǒng)各委辦的數(shù)據(jù)資源匯集到數(shù)據(jù)中心；對匯集到數(shù)據(jù)中心中的數(shù)據(jù)進行統(tǒng)一的加工、處理；將經(jīng)過數(shù)據(jù)治理后的數(shù)據(jù)中心中的數(shù)據(jù)交換到各類基礎(chǔ)信息庫中，服務(wù)管理系統(tǒng)將各類基礎(chǔ)信息庫中的數(shù)據(jù)進行服務(wù)封裝和服務(wù)發(fā)布，提供給各委辦或決策分析等系統(tǒng)使用。總之，通過數(shù)據(jù)交換平臺的建設(shè)與實施，將為XX區(qū)構(gòu)建完善的數(shù)據(jù)共享交換體系，為本項目總體體系建設(shè)提供數(shù)據(jù)共享交換服務(wù)支撐。獲取信息資源中定義的信息資源更新頻率，自動實現(xiàn)采集、可以配置全量或者增量采集方式，可以配置數(shù)據(jù)提供部門在數(shù)據(jù)中心部門前置庫的存儲位置等。能夠提供對于采集周期，時間的采集策略配置、接口配置采集任務(wù)配置功能。對于應(yīng)用數(shù)據(jù)采集，需要管理的關(guān)鍵業(yè)務(wù)點有采集點、數(shù)據(jù)傳輸。主要性能指標包括：在采樣周期內(nèi)成功取得文件的數(shù)量、采集數(shù)據(jù)間隔時間、采集文件大小、進程狀態(tài)、文件連續(xù)性、采集狀態(tài)、傳輸速率等。獲取信息資源中定義的信息資源更新頻率，自動實現(xiàn)采集、可以配置全量或者增量采集方式，可以配置數(shù)據(jù)提供部門在數(shù)據(jù)中心部門前置庫的存儲位置等。(1)靈活的數(shù)據(jù)交換需求系統(tǒng)需滿足各部門的數(shù)據(jù)資源交換需求，提供自主、可控的在供需關(guān)系匹配模式上，一對一、一對多、多對一、多對多在交換方向上，提供支持單向、雙向的數(shù)據(jù)交換方式；在數(shù)據(jù)庫數(shù)據(jù)抽取方面，支持全量抽取和增量數(shù)據(jù)抽取，增量抽取支持時間戳、觸發(fā)器以及基于日志分析的數(shù)據(jù)抽取方式；在運行模式上，支持自動運行和手工控制運行方式；在交換系統(tǒng)與部門對接的應(yīng)用系統(tǒng)交互模式上，支持主動交在交換時效性上，支持實時交換、定時交換、周期性交換等(2)異構(gòu)平臺兼容性需求作為基礎(chǔ)性軟件設(shè)施，數(shù)據(jù)交換系統(tǒng)接入部門眾多，各個相關(guān)單位的系統(tǒng)運行環(huán)境各異，因此，交換系統(tǒng)需要支持各種異構(gòu)的平臺環(huán)境，包括：系統(tǒng)平臺、數(shù)據(jù)庫環(huán)境等。交換系統(tǒng)應(yīng)支持等各種操作系統(tǒng)，支持物理機部署和虛擬機部署，針對不同數(shù)據(jù)存儲的系統(tǒng)不同，應(yīng)支持各種常見的數(shù)據(jù)庫管理系統(tǒng)，并能夠?qū)a(chǎn)數(shù)據(jù)庫系統(tǒng)提供良好的兼容能力。數(shù)據(jù)資源只有得到有效的整合、開發(fā)、應(yīng)用，才能發(fā)揮相應(yīng)的價值。通過平臺建設(shè)，通過數(shù)據(jù)資源的服務(wù)化處理，才能更好的開展面向領(lǐng)導量化決策、社會民生服務(wù)等領(lǐng)域相關(guān)業(yè)務(wù)應(yīng)用，提供更加及時有效的數(shù)據(jù)資源共享應(yīng)用服務(wù)。因此在本項目中將建設(shè)數(shù)據(jù)服務(wù)子平臺，通過統(tǒng)一的數(shù)據(jù)服務(wù)平臺，將平臺中的各類數(shù)據(jù)資源封裝為標準接口并以服務(wù)的方管理與監(jiān)控。通過統(tǒng)一的數(shù)據(jù)服務(wù)平臺，實現(xiàn)對服務(wù)資源的統(tǒng)一訪問、調(diào)度、管理與監(jiān)控。數(shù)據(jù)服務(wù)管理平臺以服務(wù)總線為支撐，構(gòu)建高效、穩(wěn)定的統(tǒng)一應(yīng)用整合、數(shù)據(jù)服務(wù)體系，一方面可以將現(xiàn)有業(yè)務(wù)系統(tǒng)功能接入統(tǒng)一平臺作為共享服務(wù)對外提供，同時也可以將共享的數(shù)據(jù)資源通過標準服務(wù)方式對外共享，同時提供共享安全保護策略。平臺提供數(shù)據(jù)服務(wù)管理功能，將清洗后的數(shù)據(jù)以及場景化分析后的數(shù)據(jù)注冊為數(shù)據(jù)服務(wù)，統(tǒng)一進行管理與對外共享。平臺提供接入數(shù)據(jù)服務(wù)的管理，包括服務(wù)的注冊、發(fā)現(xiàn)及管理。當數(shù)據(jù)服務(wù)封裝成服務(wù)并完成注冊后，這個服務(wù)即能夠被相關(guān)用戶發(fā)現(xiàn)、理解并調(diào)用。同時，平臺還可以對所有數(shù)據(jù)服務(wù)的調(diào)用與數(shù)據(jù)共享行為進行統(tǒng)一的管理和審計。數(shù)據(jù)服務(wù)申請對于平臺中的數(shù)據(jù)共享與應(yīng)用服務(wù)，用戶需要經(jīng)過申請并通過審批后才可以使用，而數(shù)據(jù)服務(wù)申請就對所有數(shù)據(jù)服務(wù)的申請行為進行管理與處理。通過數(shù)據(jù)服務(wù)的申請授權(quán)，能夠開放指定數(shù)據(jù)對應(yīng)的權(quán)限給申請者，達到數(shù)據(jù)安全共享的目的。政務(wù)部門接受其他政務(wù)部門在共享網(wǎng)站上的資源申請，進行審核操作。數(shù)據(jù)中心可以對申請審核進行督辦，政務(wù)部門可以進可以查看本部門申請其他部門資源情況，申請資源名稱、資源提供部門、申請時間、主要用途、申請狀態(tài)和資源數(shù)據(jù)量等，可以撤銷資源申請。可以查看本部門的各類資源被其他部門申請情況，資源名稱、申請用戶、申請部門、申請時間、主要用途、申請狀態(tài)和資源數(shù)據(jù)量、申請次數(shù)等?？梢詫Σ块T申請審核進行督辦，政務(wù)部門可以針對該督辦進申請撤銷是指對申請資源的撤銷一旦申請撤銷，該資源的訂如發(fā)現(xiàn)需求部門存在違規(guī)使用申請通過的數(shù)據(jù)資源，數(shù)源部門可以提出共享撤銷，并報送數(shù)據(jù)管理部門審核，審核通過后，資源申請立即撤銷，同步停止數(shù)據(jù)交換、接口等數(shù)據(jù)共享。如遇到由于本部門業(yè)務(wù)變化而等原因情況，數(shù)源部門可以提出資源共享撤銷，并報送數(shù)據(jù)管理部門審核，審核通過之后，通知數(shù)據(jù)需求部門，并在公共數(shù)據(jù)資源共享管理辦法規(guī)定的時間觸發(fā)資源申請撤銷，通知數(shù)據(jù)交換、接口等數(shù)據(jù)共享。數(shù)據(jù)服務(wù)監(jiān)控數(shù)據(jù)量大，為了確保數(shù)據(jù)服務(wù)的有序、穩(wěn)定運行，將提供易用、直觀的服務(wù)監(jiān)控功能支持，提升數(shù)據(jù)資源共享與應(yīng)用的效率。數(shù)據(jù)服務(wù)管理子平臺提供數(shù)據(jù)服務(wù)監(jiān)控功能，對數(shù)據(jù)服務(wù)的使用情況進行全面的監(jiān)控，監(jiān)控各個服務(wù)申請使用的狀態(tài)、數(shù)據(jù)共享的性能等，保證數(shù)據(jù)共享的效率和可靠性。統(tǒng)一的數(shù)據(jù)服務(wù)監(jiān)控可實現(xiàn)對數(shù)據(jù)共享的統(tǒng)一調(diào)度和監(jiān)控，為數(shù)據(jù)共享服務(wù)實現(xiàn)數(shù)據(jù)安全、完整、可用、可核查并且可靠穩(wěn)定的運行。將清洗后的數(shù)據(jù)以及場景化分析后的數(shù)據(jù)注冊到服務(wù)管理系平臺提供應(yīng)用/數(shù)據(jù)服務(wù)的封裝能力，支持將清洗后的數(shù)據(jù)以及場景化分析后的數(shù)據(jù)服務(wù)封裝為標準的服務(wù)接口，供外部系統(tǒng)調(diào)用，實現(xiàn)數(shù)據(jù)共享。數(shù)據(jù)服務(wù)的封裝一般情況下應(yīng)該采用基于Web服務(wù)的方式進平臺可以支持關(guān)系型數(shù)據(jù)庫(Mysql、0racle)等多種數(shù)據(jù)源的基礎(chǔ)數(shù)據(jù)，可以針對不同的數(shù)據(jù)源迅速開發(fā)基礎(chǔ)信息共享接口?？梢蕴峁〢PI接口、文件以及庫表等多種當時的服務(wù)接口。數(shù)據(jù)交換監(jiān)控平臺是在交換平臺監(jiān)控功能的基礎(chǔ)上，實現(xiàn)系統(tǒng)監(jiān)控功能的擴展升級。數(shù)據(jù)交換監(jiān)控平臺實時監(jiān)控交換過程中核心服務(wù)運行狀況，包括交換平臺整體運行狀態(tài)、交換域運行狀態(tài)、交換節(jié)點運行狀態(tài)、交換流程運行狀態(tài)、數(shù)據(jù)交換質(zhì)量、交換失敗數(shù)據(jù)、已發(fā)送和已接收條數(shù)是否一致等信息。數(shù)據(jù)交換監(jiān)控平臺包括系統(tǒng)監(jiān)控、監(jiān)控統(tǒng)計，系統(tǒng)對平臺各系統(tǒng)的用戶、權(quán)限進行統(tǒng)一管理，對數(shù)據(jù)采集與共享交換的運行狀態(tài)進行自動巡檢和統(tǒng)一監(jiān)控。(1)系統(tǒng)監(jiān)控：通過對整體交換網(wǎng)絡(luò)、交換域、交換節(jié)點、準確、及時的掌握整個交換平臺的運行狀況。故障統(tǒng)計等多種統(tǒng)計分析功能，使用戶能夠全方位、多維度的對各種交換信息進行統(tǒng)計分析，為平臺管理提供分析支持。(3)交換對賬：為了滿足數(shù)據(jù)交換管理要求，需支持交換對賬功能，支持配置對賬規(guī)則，能夠?qū)崟r監(jiān)控已發(fā)送數(shù)據(jù)和已接收數(shù)據(jù)的數(shù)據(jù)量、數(shù)據(jù)條數(shù)是否一致，并對對賬情況進行記錄，出現(xiàn)異常及時提供告警。2.3數(shù)據(jù)治理子平臺建設(shè)在本次項目中，我們將通過大數(shù)據(jù)治理子平臺的建設(shè)，提供數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理能力，實現(xiàn)對數(shù)據(jù)的規(guī)范治理與管理；并提供數(shù)據(jù)工廠能力，實現(xiàn)對歸集的數(shù)據(jù)進行清洗、加工，支撐業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法，采用數(shù)據(jù)治理系統(tǒng)工具，以分布式存儲和運算為基礎(chǔ)，通過人工智能和機器學習技術(shù)，輔之以適量的人工訓練和專家反饋不斷優(yōu)化數(shù)據(jù)理解本次項目中，數(shù)據(jù)整理治理子平臺的建設(shè)將圍繞區(qū)級大數(shù)據(jù)資源平臺的應(yīng)用建設(shè)目標，提供全面的數(shù)據(jù)治理能力。數(shù)據(jù)治理平臺通過對數(shù)據(jù)全生命周期、端到端的全鏈路透明化管控，實現(xiàn)“數(shù)據(jù)模型標準化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化”,實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理及全業(yè)務(wù)流程的實時監(jiān)控，有效解決數(shù)據(jù)資源不可知、數(shù)據(jù)質(zhì)量不可控、數(shù)據(jù)關(guān)系不可聯(lián)、數(shù)據(jù)脈絡(luò)不清晰的痛點問題。通過數(shù)據(jù)治理子平臺的建設(shè)與實施，可以將海量、分散、多樣化的數(shù)據(jù)通過匯集、標準化、清洗等操作對數(shù)據(jù)的質(zhì)量進行全面的提升和監(jiān)控，形成全區(qū)大數(shù)據(jù)的管理機制，并提供一站式數(shù)據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用價值。平臺整體架構(gòu)本項目建設(shè)的數(shù)據(jù)治理子平臺適用于分析型系統(tǒng)數(shù)據(jù)處理的各個過程，負責數(shù)據(jù)的加工處理以及加工處理過程數(shù)據(jù)標準、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺可以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出和貫穿數(shù)據(jù)處理各個過程的全流程、全生命周期的數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)管控的一體化建設(shè)。平臺采用工廠化的數(shù)據(jù)處理和管理模式，通過數(shù)據(jù)生產(chǎn)計劃、數(shù)據(jù)生產(chǎn)執(zhí)行和數(shù)據(jù)生產(chǎn)管理三大子模塊，保障數(shù)據(jù)處理全過程透明可控，實現(xiàn)工具化、流程化和自動化的開發(fā)、運維、管理，具體，本次所建設(shè)的數(shù)據(jù)治理子平臺的整體架構(gòu)如下：寫政，國括技不書政監(jiān)控過程系統(tǒng)健康分析和優(yōu)化承優(yōu)化建設(shè)和管通制定規(guī)范認●數(shù)據(jù)處理執(zhí)行模塊：負責數(shù)據(jù)處理計劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)質(zhì)量控制等工作。●數(shù)據(jù)處理管理模塊：負責軟件開發(fā)和數(shù)據(jù)規(guī)范的管控。為實現(xiàn)工廠化的數(shù)據(jù)處理和管理，本項目數(shù)據(jù)治理子平臺采用基于元數(shù)據(jù)驅(qū)動的開發(fā)模式，保障元數(shù)據(jù)與實際系統(tǒng)情況的一致性，通過元數(shù)據(jù)準確描述系統(tǒng)，指導系統(tǒng)建設(shè)。具體，平臺的自自生成業(yè)奶模板化開發(fā)數(shù)解顧量…可執(zhí)行程文件承臟/RDeMsMepHs00p程序!校板轉(zhuǎn)換模數(shù)驅(qū)對單設(shè)計操塊探化的標準吊物境參散系統(tǒng)接口元數(shù)掀信●提供數(shù)據(jù)質(zhì)量管理功能●提供可視化的標準IDE環(huán)境在本次項目中，我們需要制定全區(qū)公共數(shù)據(jù)匯聚的標準規(guī)范和管理制度，歸集全區(qū)各單位的政府公共數(shù)據(jù)，形成XX區(qū)的數(shù)據(jù)資源湖。同時經(jīng)過對數(shù)據(jù)進行清洗、轉(zhuǎn)換、融合、治理后，形成高質(zhì)量的公共數(shù)據(jù)資源，構(gòu)建形成標準化數(shù)據(jù)倉庫?；谌珔^(qū)的數(shù)據(jù)資源湖，利用經(jīng)過治理后的數(shù)據(jù)，可以針對某一特領(lǐng)域的業(yè)務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫和主題庫，并面向政務(wù)部門及社會進行數(shù)據(jù)開放。此外，我們還將持續(xù)開展、深入?yún)^(qū)級大數(shù)據(jù)的應(yīng)用探索，圍繞跨部門、跨領(lǐng)域、跨行業(yè)的數(shù)據(jù)應(yīng)用需求，對數(shù)據(jù)實體進行數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合和衍生計算，生成算法標簽，逐步建立不同領(lǐng)域的應(yīng)用專題或主題庫構(gòu)建面向全區(qū)多部門提供統(tǒng)籌的數(shù)據(jù)共建共享共用的數(shù)據(jù)服務(wù)。具體，在本次區(qū)級大數(shù)據(jù)資源平臺建設(shè)項目中，數(shù)據(jù)資源門戶的建設(shè)內(nèi)容包括：>建立XX區(qū)級數(shù)據(jù)湖：構(gòu)建全區(qū)公共數(shù)據(jù)的存儲與計算空間，支撐各類數(shù)據(jù)資源的匯聚存儲、處理計算與查詢應(yīng)用，并依據(jù)部門類別、數(shù)據(jù)源類別等提供資源隔離的多租戶數(shù)據(jù)>完成數(shù)據(jù)對接的實施：完成與區(qū)各委辦業(yè)務(wù)與管理系統(tǒng)、S市大數(shù)據(jù)資源平臺以及物聯(lián)網(wǎng)相關(guān)平臺數(shù)據(jù)的對接，匯>建設(shè)基礎(chǔ)庫：建設(shè)全區(qū)統(tǒng)一的基礎(chǔ)人口綜合庫、法人綜合庫、電子證照庫以及地理空間庫，支撐全區(qū)人口、法人、電子證照與地理空間等數(shù)據(jù)相關(guān)應(yīng)用；>建設(shè)主題庫：建設(shè)全區(qū)統(tǒng)一的產(chǎn)業(yè)經(jīng)濟主題庫、電子證照主題庫、權(quán)力事項主題庫等，支撐全區(qū)產(chǎn)業(yè)經(jīng)濟相關(guān)數(shù)據(jù)2.3.3資源目錄管理資源目錄管理實現(xiàn)數(shù)據(jù)梳理、編目、目錄管理、目錄服務(wù)等管理，建立和維護公共的共享信息資源目錄，實現(xiàn)信息資源的發(fā)現(xiàn)和定位，協(xié)助共享平臺管理部門梳理服務(wù)目錄，同時指導各部門進行共享信息資源目錄的梳理。系統(tǒng)支撐按照基礎(chǔ)目錄、主題目錄、部門目錄等維度進行分類，并支持按照目錄類型和更新時間進行排序，提供目錄檢索、目錄下載、目錄統(tǒng)計、目錄瀏覽等功能。大數(shù)據(jù)目錄體系的建設(shè)，信息資源梳理是基礎(chǔ)，通過梳理工作才能全面了解部門的數(shù)據(jù)家底。整個過程要以數(shù)據(jù)為核心，從業(yè)務(wù)、信息化、供需等層面全面調(diào)研、整理、分析。通過以數(shù)據(jù)為核心的架構(gòu)思維，完成整個政務(wù)信息資源的全面梳理、有序規(guī)范和資源編目工作。資源目信息化情況業(yè)務(wù)梳理2.工作思路為了保障資源工作的順利推進，將通過5個方面來開展工作：1、前期準備：了解各部門的職責范圍、業(yè)務(wù)過程、資源情況2、需求調(diào)研：摸清資源分布，明確共享需求，明確資源公開方式3、資源整理：整理分析哪些委辦局的業(yè)務(wù)有哪些系統(tǒng)支持，哪些業(yè)務(wù)產(chǎn)生了數(shù)據(jù)，并對這些信息資源進行規(guī)范化表示個高層次的整理和歸類1、前期準備程5、成果產(chǎn)出4、資源分析開展、確保梳理信息的實資源編目實現(xiàn)政務(wù)信息的分類和編目。提供公共資源核心元數(shù)據(jù)的手工編輯功能，包括增加、修改、刪除等。支持手工錄入的同時，支持批量導入和利用目錄更新接口等多種方式。平臺可以將梳理后的資源通過數(shù)據(jù)目錄平臺進行編目，數(shù)據(jù)目錄平臺主要包括如1.應(yīng)用系統(tǒng)信息管理支持應(yīng)用系統(tǒng)信息的錄入、編輯、查詢等功能。48自用病a9舞森日口品纜計目第R閥計a回會DO云上8四8 0002.數(shù)據(jù)庫信息管理支持應(yīng)用系統(tǒng)相關(guān)數(shù)據(jù)庫信息的錄入、編輯、查詢等功能。B用NBB3.機構(gòu)信息管理支持機構(gòu)信息的錄入、編輯、查詢等功能。4.庫表目錄管理支持庫表目錄的錄入、編輯、發(fā)布、查詢、統(tǒng)計等功能。e實現(xiàn)目錄提供單位向目錄管理單位正式確認和正式提交公共數(shù)據(jù)資源元數(shù)據(jù)編制成果。目錄審核實現(xiàn)目錄管理單位向目錄提供單位確認所提交的公共數(shù)據(jù)資源元數(shù)據(jù)是否符合標準要求的審核功能。實現(xiàn)目錄管理者將目錄內(nèi)容的核心元數(shù)據(jù)發(fā)布到指定服務(wù)器或網(wǎng)站上的功能。匯總管理實現(xiàn)目錄提供單位面向其多個下級單位或工程參建單位進行政務(wù)部門公共數(shù)據(jù)資源目錄的匯總編制的功能，實現(xiàn)公共數(shù)據(jù)資源管理、共享和發(fā)布等功能。實現(xiàn)資源目錄維護、信息資源的管理、信息資源目錄的導出和導入等功能。實現(xiàn)多部門、多單位共同編制資源目錄業(yè)務(wù)應(yīng)用。目錄導出目錄導出主要實現(xiàn)為資源提供者提供本部門政務(wù)信息、目錄信息的導出功能。資源掛載實現(xiàn)信息資源目錄與公共數(shù)據(jù)資源建立對應(yīng)關(guān)系。用戶通過信息資源描述項的內(nèi)容快速定位政務(wù)公共資源的元數(shù)據(jù)，并實現(xiàn)快速調(diào)取數(shù)據(jù)資源。幫助用戶方便、快速地獲取所需的信息資源和數(shù)據(jù)資源。數(shù)據(jù)標準規(guī)范了業(yè)務(wù)術(shù)語，元數(shù)據(jù)，參考數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)，指標數(shù)據(jù)的規(guī)范定義、獲取原則、管理要求等。包括設(shè)計基礎(chǔ)類和分析類數(shù)據(jù)標準，制定數(shù)據(jù)標準管理制度和流程，明確數(shù)據(jù)標準管理組織和職責，以明確的組織、職責、流程設(shè)計為前提，調(diào)動業(yè)務(wù)部門、技術(shù)部門和系統(tǒng)技術(shù)團隊共同參與數(shù)據(jù)標準設(shè)計，建立全局數(shù)據(jù)標準流程，制定總體落地計劃，推動數(shù)據(jù)標準落地執(zhí)行，增強內(nèi)部對數(shù)據(jù)標準的理解，指導信息化建設(shè)中對數(shù)據(jù)標數(shù)據(jù)標準管理體系主要包含數(shù)據(jù)標準管理、落地實施機制、及數(shù)據(jù)標準管理平臺維護三部分。平臺通過對數(shù)據(jù)標準管理、落地實施機制、及數(shù)據(jù)標準管理平臺維護三部分進行數(shù)據(jù)資源管理，制定數(shù)據(jù)標準管理制度和流程，明確數(shù)據(jù)標準管理組織和職責，以明確的組織、職責、流程設(shè)計。落地實施機制從規(guī)范推廣、技術(shù)平臺支撐兩方面保障；數(shù)據(jù)標準平臺維護主要包括建設(shè)數(shù)據(jù)標準技術(shù)平臺，支撐數(shù)據(jù)標準>數(shù)據(jù)標準管理機制設(shè)計設(shè)計基礎(chǔ)類和分析類數(shù)據(jù)標準，制定數(shù)據(jù)標準管理制度和流程，明確數(shù)據(jù)標準管理組織和職責，以明確的組織、職責、流程設(shè)計為前提，調(diào)動業(yè)務(wù)部門、技術(shù)部門和系統(tǒng)技術(shù)團隊共同參與數(shù)據(jù)標準設(shè)計，建立企業(yè)級數(shù)據(jù)標準流程，制定總體落地計劃，推動數(shù)據(jù)標準落地執(zhí)行，增強對數(shù)據(jù)標準的理解，指導信息化建設(shè)中對數(shù)據(jù)標準的參照。>數(shù)據(jù)標準分類規(guī)范數(shù)據(jù)標準是對數(shù)據(jù)的名稱、含義、結(jié)構(gòu)、取值等信息的統(tǒng)一定義，達成對數(shù)據(jù)的業(yè)務(wù)理解、技術(shù)實現(xiàn)的一致性。基于數(shù)據(jù)模型理論將數(shù)據(jù)標準延伸至5個分類，涵蓋技術(shù)、業(yè)業(yè)務(wù)術(shù)語：從一致性、通用性等方面統(tǒng)一業(yè)務(wù)術(shù)語定義。數(shù)據(jù)項標準：用來描述實體的某種屬性，包含數(shù)據(jù)項的名稱、編號、別名、簡述、數(shù)據(jù)項的長度、類型、數(shù)據(jù)項的取值范圍。參考數(shù)據(jù)標準：識別參考數(shù)據(jù)，并建立參考數(shù)據(jù)的統(tǒng)一標準樣例，使參考數(shù)據(jù)可在不同系統(tǒng)中被使用而保持統(tǒng)一標準值。主數(shù)據(jù)標準：主數(shù)據(jù)編碼是應(yīng)用系統(tǒng)中的重要數(shù)據(jù)類型之一，通常用來描述業(yè)務(wù)操作的具體對象及其特征，注重唯一性，特征一致性，穩(wěn)定性及有效性。唯一性：在一個系統(tǒng)，一個平臺甚至整個范圍內(nèi)同一主數(shù)據(jù)編碼要求具有唯一的識別標志(代碼，名稱，特征描述等),用以明確區(qū)分業(yè)務(wù)對象，業(yè)務(wù)范圍和業(yè)務(wù)的具體細節(jié)特征一致性：主數(shù)據(jù)在不同系統(tǒng)中，均按統(tǒng)一標準出現(xiàn)穩(wěn)定性：主數(shù)據(jù)相對穩(wěn)定，本身屬性不會隨交易過程而被修改有效性：貫穿該業(yè)務(wù)對象的全生命周期過程，只要該業(yè)務(wù)對象存在，則此數(shù)據(jù)不會喪失有效性指標數(shù)據(jù)標準：需要收集指標的管理信息、業(yè)務(wù)定義、以及維度定義，需要兼顧通用性和個性化，個性化方面支持各使用部門個性化定制>數(shù)據(jù)標準設(shè)計規(guī)范以分析型應(yīng)用建設(shè)和操作型應(yīng)用集成為導向，兩套方法結(jié)合，建立數(shù)據(jù)標準設(shè)計體系分析型應(yīng)用建設(shè)導向：以分析應(yīng)用指標范圍為依據(jù)，重點結(jié)合業(yè)務(wù)戰(zhàn)略及管理要求，自上而下追溯數(shù)據(jù)源，聚焦數(shù)據(jù)標準范操作型應(yīng)用集成導向：自上而下的原則，基于實際業(yè)務(wù)流程及操作，重點識別跨業(yè)務(wù)、跨流程的集成點及關(guān)鍵步驟，分析提煉共享數(shù)據(jù)，完成業(yè)務(wù)流程和應(yīng)用共享的數(shù)據(jù)映射，刪除冗余、非重點數(shù)據(jù)，精簡數(shù)據(jù)標準建設(shè)范圍。數(shù)據(jù)項標準導出功能，提供了標準代碼維護的能力；可關(guān)聯(lián)到國標、地標代碼字典，為數(shù)據(jù)的規(guī)范性提供了更加詳細的描述，為后續(xù)的數(shù)據(jù)質(zhì)量、數(shù)據(jù)標準等工作提供支撐。標準數(shù)據(jù)項具有唯一的編碼(標準代碼),按照實際的業(yè)務(wù)領(lǐng)域進行分類之后，可以形成帶有業(yè)務(wù)領(lǐng)域特征的相關(guān)編碼，為元數(shù)據(jù)的質(zhì)量檢查提供依據(jù)。直頁數(shù)描噴標準×+試B+試B試ceJ23/需求則試的文本文班日期時間自版本首理山人口主顯駐人份證存儲觀筆文本類a版本營理數(shù)據(jù)維度標準對系統(tǒng)進行各類維度的設(shè)置，方便各類數(shù)據(jù)的管理和維護，如：在質(zhì)量檢查中需要檢查一個字段的數(shù)據(jù)是否是指定的內(nèi)容(顏色、型號等),便可將指定的內(nèi)容配置到維度中，后續(xù)選擇該維度，便可檢查出數(shù)據(jù)是否在這些指定的內(nèi)容中。注m女收0試之數(shù)據(jù)字典標準對表名、表字段等進行命名規(guī)范，將頻率使用極高的詞指定為標準元素，命名標準化是對用戶以后的標準制定和系統(tǒng)的某些命名推薦功能具有指導作用，方便查找數(shù)據(jù)，讓整個系統(tǒng)更加清晰更利于操作和維護。所自中文名本自間：伊改時間÷人賬戶0直版本營理通0所豐營理自后本冒理由版本營理客戶周日自所本營理中L白版本營理數(shù)據(jù)命名標準需要對表字段進行命名的規(guī)范，同時也需要對表名進行命名更加清晰的展示出表名是屬于哪一個主題，哪一個數(shù)據(jù)庫的。使數(shù)據(jù)的來源更加的清晰可見，讓整個系統(tǒng)更加清晰更利于操作和名際準×■用1電子證服主震名下自版本營主下下2020-12-2612:00112020-12-2理按照數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，需要實現(xiàn)各層的各種對象，如表、存儲過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)據(jù)流程、各對象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。元數(shù)據(jù)內(nèi)容涉及到整個大數(shù)據(jù)資源平臺的各個數(shù)據(jù)環(huán)節(jié)，包括數(shù)據(jù)采集、逐層加工稽核，數(shù)據(jù)服務(wù)到最終應(yīng)用展現(xiàn)的處理，元數(shù)據(jù)管理貫穿了整個流程，并與各環(huán)節(jié)實現(xiàn)有效互動。元數(shù)據(jù)管理分類按照元數(shù)據(jù)的定義分類，綜合價值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)三類。其中：(1)業(yè)務(wù)元數(shù)據(jù)●使用者的業(yè)務(wù)術(shù)語所表達的數(shù)據(jù)模型、對象名和屬性名；●訪問數(shù)據(jù)的原則和數(shù)據(jù)來源；●系統(tǒng)所提供的分析方法及公式、報表信息；●對業(yè)務(wù)元數(shù)據(jù)來源的管理和差異性對比；(2)技術(shù)元數(shù)據(jù)●系統(tǒng)結(jié)構(gòu)的描述(各個主題的定義，星型模式或雪花型模式的描述定義等);●整合數(shù)據(jù)層的機構(gòu)單位的數(shù)據(jù)模型描述(以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式);●對數(shù)據(jù)稽核規(guī)則的定義、匯總數(shù)據(jù)層模型描述與裝載描述(包括維度、層次、度量以及相應(yīng)事實表、概要表的抽取規(guī)則);(3)管理元數(shù)據(jù)系統(tǒng)內(nèi)部用戶的數(shù)據(jù)處理操作規(guī)則，包括抽取、轉(zhuǎn)換、加載、外部訪問用戶(主要針對該系統(tǒng)對外提供的數(shù)據(jù)服務(wù))的操作規(guī)則和方式，包括所提供的數(shù)據(jù)服務(wù)接口、數(shù)據(jù)訪問方式、操各類用戶的操作記錄日志，包括操作用戶、登錄方式、操作對象、持續(xù)時間、操作類型等相關(guān)信息。元數(shù)據(jù)管理組織為了保障元數(shù)據(jù)管理目標的順利達成，需要從組織架構(gòu)層面建立專業(yè)的元數(shù)據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以落實、制度得以執(zhí)行。元數(shù)據(jù)管理流程元數(shù)據(jù)維護管理流程是以需求提出作為開始，經(jīng)歷規(guī)劃設(shè)計、開發(fā)實施、需求驗收等項目階段的元數(shù)據(jù)建立和校驗，最后實現(xiàn)元數(shù)據(jù)的發(fā)布和運維管理。在這些階段中，元數(shù)據(jù)管控組負責元數(shù)據(jù)信息的全生命周期流程的管理和監(jiān)控。元數(shù)據(jù)管理功能元數(shù)據(jù)管理包括元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)管理和元數(shù)據(jù)應(yīng)用，由元數(shù)據(jù)自動獲取、元數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理功能組成>元數(shù)據(jù)正向采集對元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進行集中登記管理，并形成自動獲取數(shù)據(jù)源的全局視圖，實現(xiàn)元數(shù)據(jù)自動獲要實現(xiàn)元數(shù)據(jù)的自動獲取，需要在集成的元數(shù)據(jù)平臺中配置自動獲取策略和調(diào)度時間等，使元數(shù)據(jù)能夠按預設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動獲取過程，滿足元數(shù)據(jù)自動獲取的時效性。調(diào)度策略包括時間周期觸發(fā)、事件觸發(fā)兩種方式。例如，在每周星期一凌晨00:00到01:00之間觸發(fā)數(shù)據(jù)資源平臺元數(shù)據(jù)的自動獲取過程，或者在數(shù)據(jù)處理程序更新后12小時內(nèi)觸發(fā)相應(yīng)的映射關(guān)系元數(shù)據(jù)自動獲取過程。 數(shù)報庫orecle>元數(shù)據(jù)維護包括元數(shù)據(jù)的定義、變更及版本管理，對主機信息、數(shù)據(jù)庫信息、用戶信息、數(shù)據(jù)對象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進>元數(shù)據(jù)檢索在元數(shù)據(jù)管理首頁用戶通過輸入關(guān)鍵字后，系統(tǒng)采用全文檢索的方式迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，并將信息返回給用戶。用戶能夠通過展示的路徑信息快速定位到元數(shù)據(jù)組織樹上的節(jié)點。>元數(shù)據(jù)版本版本管理分為元數(shù)據(jù)對象版本管理與基線版本管理兩種類型。元數(shù)據(jù)對象版本：對元數(shù)據(jù)的每次提交形成版本(上一版本形成歷史版本),提供歷史版本間，歷史版本與當前版本對比功基線版本，對某一階段產(chǎn)生的元數(shù)據(jù)對象形成數(shù)據(jù)集，提供不同階段產(chǎn)生的數(shù)據(jù)集的版本比較版本管理/11所本批對人作>權(quán)限管理及查詢統(tǒng)一實現(xiàn)數(shù)據(jù)庫的訪問和操作管控，對用戶進行角色權(quán)限、對象權(quán)限、數(shù)據(jù)權(quán)限等方面的管控和查詢；>元數(shù)據(jù)的導入/導出在系統(tǒng)層面實現(xiàn)元數(shù)據(jù)的導入/導出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對象能夠靈活的遷移，支持模型間的檢查和比對，以便于數(shù)據(jù)模型的維護和擴展。更用F進押狀態(tài)H干選押需叫!乙批導出批入制000審批中0數(shù)欲本人口主常注人口日C更人口主常注人口d3白1v人口主需駐人口v|更多數(shù)據(jù)質(zhì)量管理主要包含對數(shù)據(jù)完整性、準確性、范性的分析和管理，并對數(shù)據(jù)進行跟蹤、處理和解決，實現(xiàn)對數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。能夠提供規(guī)則配置、質(zhì)量監(jiān)控、質(zhì)量分析等功能，及時發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價值。全部數(shù)據(jù)庫全即名日批次作2020-11-731320592020-11-2408242367e2040.g2020-11-231320592020-11-2020-11-181422582020-11-12020-11-171313152020e08247367e2e40.2020-10-Z711405120202020-10-2711.40092020/2020-09-211452392020-09-22020-09-211452032020-09-2e082d2367e240.2020-09-181401472020-09-18140147詳旺告數(shù)據(jù)質(zhì)量分析的基本單元，一個質(zhì)量模型由可以由一套實體表、一套規(guī)則以及多套質(zhì)檢方案組成，用戶在定義質(zhì)檢方案時，可以根據(jù)業(yè)務(wù)需要選擇實體表和規(guī)則，方案與方案之間相互獨立，互不干擾。通過執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問題數(shù)據(jù)明細信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。55一盤現(xiàn)則9質(zhì)檢方案二e6性實體表相量規(guī)則：>關(guān)聯(lián)性檢查引用關(guān)聯(lián)性：用于判斷實體表中的數(shù)據(jù)是否完全存在于比照表中。實體表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中，規(guī)則算法：實體表的檢查字段關(guān)聯(lián)distinct后的比照表的字段，關(guān)聯(lián)后，如果比照字段為空，則檢查字段的值非來源于比照表，則該規(guī)則對應(yīng)結(jié)果為false重復數(shù)據(jù)檢查：用于檢查表內(nèi)是否有重復數(shù)據(jù)。匯總數(shù)據(jù)重復性檢查：groupby重復依據(jù)字段，count(1)>1的算重復>一致性檢查支持字段、表間字段、表間記錄一致性檢查。方案配置調(diào)度依據(jù)質(zhì)量規(guī)則執(zhí)行的實際治理需求，通過圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控平臺自動執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時間周期(如月、周、日)、事件觸發(fā)等執(zhí)行方式，并且在控制臺可以查看質(zhì)檢方案執(zhí)行歷史，對數(shù)據(jù)質(zhì)檢全流程進行管控。>界面配置通過圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，通過界面進行數(shù)據(jù)傳參。>觸發(fā)方式事件觸發(fā)等執(zhí)行方式。>全流程管控固定時間監(jiān)控業(yè)務(wù)系統(tǒng)運行的各類數(shù)據(jù)，及時發(fā)現(xiàn)并整改數(shù)據(jù)異常，完善系統(tǒng)運行機制。質(zhì)檢結(jié)果查看基于質(zhì)檢方案執(zhí)行過程，反饋每次質(zhì)檢產(chǎn)生的異常數(shù)據(jù)，根據(jù)問題數(shù)據(jù)所配置的規(guī)則提供詳情、比對及整改重檢的能力。結(jié)合實際可執(zhí)行和可實現(xiàn)的原則，分析系統(tǒng)存在的數(shù)據(jù)質(zhì)量問題：>分析與檢測著重于在數(shù)據(jù)的定義基礎(chǔ)上，利用數(shù)據(jù)的邏輯和業(yè)務(wù)規(guī)則度數(shù)據(jù)質(zhì)量進行檢測和分析。>整改與重建著重與在數(shù)據(jù)的分析和檢測基礎(chǔ)上，利用起結(jié)果對數(shù)據(jù)，特別是源數(shù)據(jù)的數(shù)據(jù)管理提出整改意見，重建數(shù)據(jù)質(zhì)量的管理能力。質(zhì)檢分析報告基于質(zhì)檢方案及質(zhì)檢結(jié)果，對每次質(zhì)檢的檢查數(shù)、問題數(shù)、折線圖。2302201324202.3.7數(shù)據(jù)開發(fā)平臺(1)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(2)大數(shù)據(jù)平臺●支持大數(shù)據(jù)平臺的快速對接(3)外部系統(tǒng)●支持FTP、JMS、Webservice、http\https等通訊類適配器等支持數(shù)據(jù)內(nèi)容清洗，如通過關(guān)聯(lián)關(guān)系，將A數(shù)據(jù)源中的數(shù)據(jù)清●支持數(shù)據(jù)格式化：統(tǒng)一數(shù)據(jù)源中同類數(shù)據(jù)的格式，具體包括時間、數(shù)值、字符等數(shù)據(jù)；字符連接；●支持空值處理：捕獲空值，根據(jù)規(guī)則替換為對應(yīng)數(shù)據(jù)；●支持復雜條件過濾，過濾條件可靈活配置；●支持海量數(shù)據(jù)處理引擎，如Hive、MPP、Spark等●支持任意合理的數(shù)據(jù)格式轉(zhuǎn)換，包括但不限于：時間類型的轉(zhuǎn)換、字符編碼轉(zhuǎn)換；●支持任意合理的數(shù)據(jù)類型轉(zhuǎn)換；●ETL處理過程支持各種字符集的轉(zhuǎn)換；●支持數(shù)據(jù)轉(zhuǎn)換過程中對數(shù)據(jù)進行加解密操作；●支持海量數(shù)據(jù)處理引擎，如Hive、MPP、Spark等數(shù)據(jù)開發(fā)平臺數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉(zhuǎn)換，提升開發(fā)>支持可視化開發(fā)BPoC口a證口a作交a通噪>支持原生態(tài)開發(fā)用本開露威來成開發(fā)工具是用于配置中介流程、組件及適配器開發(fā)工具，它提供了完整的從設(shè)計、開發(fā)、配置到打包部署整個階段的GUI(GraphicalUserInterface,圖形用戶界面)工具，幫助用戶快速利用和充分發(fā)揮數(shù)據(jù)服務(wù)集成管理系統(tǒng)的服務(wù)中介功能。平臺支持對數(shù)據(jù)開發(fā)與管理任務(wù)的統(tǒng)一調(diào)度，包括流程設(shè)計與管理、調(diào)度策略管控、任務(wù)調(diào)度控制等功能模塊，通過作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實現(xiàn)對采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一的調(diào)度與管理。任務(wù)調(diào)度控制加作業(yè)/任務(wù)管理標準化控件顧以一個業(yè)務(wù)量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進行協(xié)同生產(chǎn)。在統(tǒng)一調(diào)度平臺中以數(shù)據(jù)流作為驅(qū)動，通過控制中心進行作業(yè)命令下發(fā)，狀態(tài)收集進行控制，達到各個異構(gòu)系統(tǒng)，多個子系統(tǒng)的協(xié)同調(diào)度。根據(jù)事先定義的執(zhí)行頻度，計算下次執(zhí)行時間，記錄執(zhí)行次數(shù)，并進行流程調(diào)度。提供等間隔時間調(diào)度和定時調(diào)度，具備自動運行和手工執(zhí)行兩種啟動方式。支持某一個任務(wù)流程依賴于一個或幾個前置的任務(wù)的完成進行觸發(fā)。支持當所有前置任務(wù)調(diào)度成功，同時系統(tǒng)對任務(wù)條件驗證通過后，依賴的任務(wù)根據(jù)調(diào)度系統(tǒng)中的流程id和數(shù)據(jù)日期立即執(zhí)行一次調(diào)度計劃，并將相應(yīng)流程調(diào)度起來，生成完整的調(diào)度任務(wù)進行調(diào)度。Fii00日-m的畫行重月0日的a用調(diào)度運行支持作業(yè)狀態(tài)查看和控制功能，可查看作業(yè)運行過程中任務(wù)的多種運行狀態(tài)支持對錯誤進行分析，可查看到具體的錯誤信息，并通過數(shù)據(jù)依賴視圖，查看當前作業(yè)錯誤對其他作業(yè)的影響情況支持對錯誤進行相關(guān)處理，比如進行作業(yè)繼續(xù)執(zhí)行或者重新執(zhí)行等操作