數(shù)據(jù)治理服務解決方案

第2頁 3 3 3 3 5 5 21 31 34(一)數(shù)據(jù)治理概念數(shù)據(jù)治理是指將數(shù)據(jù)作為組織資產(chǎn)圍繞數(shù)據(jù)全生命周期而展開的相關管控活動、績效和風險管理工作的集合，以保障數(shù)據(jù)及其應用過程中的運營合規(guī)、風險可控和價值實現(xiàn)。數(shù)據(jù)治理體系是指從組織架構、管理制度、IT應用技術、績效考核等多個維度對組織的數(shù)據(jù)架構、元數(shù)據(jù)、數(shù)據(jù)質量、數(shù)據(jù)標準、數(shù)據(jù)安全、數(shù)據(jù)生命周期等各方面進行全面的梳理、建設并持續(xù)改進的體系。(二)數(shù)據(jù)治理目標結合當前行業(yè)組織信息化發(fā)展過程中數(shù)據(jù)業(yè)務相關的應用需求，以“風險可控、運營合規(guī)、價值實現(xiàn)”為數(shù)據(jù)治理總體目標：1)運營合規(guī)：組織應建立符合法律、規(guī)范和行業(yè)準則的數(shù)據(jù)合規(guī)管理體系，并通過評價評估、數(shù)據(jù)審計和優(yōu)化改進等流程保證數(shù)據(jù)的合規(guī)性，促進數(shù)據(jù)價值的實現(xiàn)；2)風險可控：組織應建立、評估數(shù)據(jù)風險管理機制，確保數(shù)據(jù)風險不超過組織的風險偏好和風險容忍度，評估、指導和監(jiān)督風險管理的實施；3)價值實現(xiàn)：組織應形成統(tǒng)一的數(shù)據(jù)驅動和數(shù)據(jù)價值理念，完善價值實現(xiàn)相關要素的定義、應用、調整，助力組織加快實現(xiàn)數(shù)字化進程。數(shù)據(jù)治理管控目標是提高組織數(shù)據(jù)的質量(準確性和完整性),保證數(shù)據(jù)的安全性(保密性、完整性及可用性),推進數(shù)字資源在組織各機構部門間的高效整合、對接和共享，從而提升組織整體數(shù)字化水平，充分發(fā)揮數(shù)據(jù)資產(chǎn)價值。數(shù)據(jù)資產(chǎn)意識在各組織機構中已經(jīng)得到充分的認可，但目前各組織單位對數(shù)據(jù)資產(chǎn)的管控狀況依舊不容樂觀，制約了組織數(shù)據(jù)質量的進一步提高，同時也限制了數(shù)據(jù)價值的實現(xiàn)。根據(jù)行業(yè)信息化與數(shù)據(jù)治理發(fā)展現(xiàn)狀，各組織單位現(xiàn)階段對數(shù)據(jù)治理的需求主要存在以下五大方面：1)需要專門對數(shù)據(jù)治理進行監(jiān)督和控制的組織。信息系統(tǒng)的建設和管理職能分散在各部門，致使數(shù)據(jù)管理的職責分散，權責不明確。組織機構各部門關注數(shù)據(jù)的角度不一樣，缺少一個組織從全局的視角對數(shù)據(jù)進行管理，導致無法建立統(tǒng)一的數(shù)據(jù)管理規(guī)程、標準等，相應的數(shù)據(jù)管理監(jiān)督措施無法得到落實。組織機構的數(shù)據(jù)考核體系也尚未建立，無法保障數(shù)據(jù)管理標準和規(guī)程的有效執(zhí)行。2)需要規(guī)范統(tǒng)一的數(shù)據(jù)標準和數(shù)據(jù)模型。組織機構為應對迅速變化的市場和社會需求，逐步建立了各自的信息系統(tǒng)，各部門站在各自的立場生產(chǎn)、使用和管理數(shù)據(jù)，使得數(shù)據(jù)分散在不同的部門和信息系統(tǒng)中，缺乏統(tǒng)一的數(shù)據(jù)規(guī)劃、可信的數(shù)據(jù)來源和數(shù)據(jù)標準，導致數(shù)據(jù)不規(guī)范、不一致、冗余、無法共享等問題出現(xiàn)，組織機構各部門對數(shù)據(jù)的理解難以應用一致的語言來描述，導致理解不一致。3)需要規(guī)范統(tǒng)一的主數(shù)據(jù)。組織機構核心系統(tǒng)間的人員等主要信息并不是存儲在一個獨立的系統(tǒng)中，或者不是通過統(tǒng)一的業(yè)務管理流程在系統(tǒng)間維護。缺乏主數(shù)據(jù)管理，使得主數(shù)據(jù)在整個業(yè)務范圍內保持一致、完整和可控無法保障，從而無法保證數(shù)據(jù)的準確性。4)需要統(tǒng)一集團化的數(shù)據(jù)質量管控體系。當前現(xiàn)狀中數(shù)據(jù)質量管理主要由各組織部門分頭進行；跨部門跨機構的數(shù)據(jù)質量溝通機制不完善；缺乏清晰的跨部門跨機構的數(shù)據(jù)質量管控標準與規(guī)范，數(shù)據(jù)分析隨機性強，存在業(yè)務需求不清的現(xiàn)象，影響數(shù)據(jù)質量；數(shù)據(jù)的自動采集尚未全面實現(xiàn)，處理過程存在人為干預問題，大多數(shù)部門存在數(shù)據(jù)質量管理人員不足、知識與經(jīng)驗不夠、監(jiān)管方式不全面等問題；缺乏完善的數(shù)據(jù)質量管控流程和系統(tǒng)支撐能力。5)需要基于數(shù)據(jù)全生命周期的治理。目前，大型集團或政務單位，數(shù)據(jù)的產(chǎn)生、使用、維護、備份到過時被銷毀的數(shù)據(jù)生命周期管理規(guī)范和流程還不完善，不能確定過期和無效數(shù)據(jù)的識別條件，且非結構化數(shù)據(jù)未納入數(shù)據(jù)生命周期的管理范疇；無信息化工具支撐數(shù)據(jù)生命周期狀態(tài)的查詢，未有效利用元數(shù)據(jù)管理。三、數(shù)據(jù)治理體系建設數(shù)據(jù)治理實施路線三年規(guī)劃數(shù)據(jù)治理實施路線三年規(guī)劃決策支持數(shù)據(jù)服務管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理數(shù)據(jù)質量管理數(shù)據(jù)標準管理元數(shù)據(jù)管理數(shù)據(jù)架構管理制度章程與辦法數(shù)據(jù)治理組織與職責數(shù)據(jù)治理管控流程數(shù)據(jù)治理管控宣介IT工具支撐(一)數(shù)據(jù)治理管控機制1數(shù)據(jù)治理組織有效的組織架構是項目成功的有力保證，為了達到項目預期目標，在項目開數(shù)據(jù)治理組織架構數(shù)據(jù)治理組織架構發(fā)人分粉分新注的1.2組織層次數(shù)據(jù)治理委員會由組織高層領導者組成。委員會定義數(shù)據(jù)治理愿景和目標；組織內跨業(yè)務部門和IT部門進行協(xié)調；設置數(shù)據(jù)治理計劃的總體方向；在發(fā)生策略分歧時進行協(xié)調。委員會也將包含來自部門或子公司的領導代表，以及來自數(shù)據(jù)為組織資產(chǎn)的信息科技部門代表。這些高層管理人員是數(shù)據(jù)治理計劃的所有擁護者，確保在整個組織內獲得支持。數(shù)據(jù)治理工作組是組織內委員會下面的下一個級別。工作組執(zhí)行數(shù)據(jù)治理計劃。工作組負責監(jiān)督數(shù)據(jù)管理員工作。數(shù)據(jù)治理工作組由數(shù)據(jù)治理委員會中各局領導主持。每各業(yè)務部門有至少一位業(yè)務分析員，信息科技部門設置數(shù)據(jù)質量分析員、數(shù)據(jù)管理員、集成開發(fā)人員。各工作人員負責本部門數(shù)據(jù)的質量，履行職責，解1.3角色職責根據(jù)數(shù)據(jù)管理工作的實際需要，在業(yè)務管理部門、技術管理部門和業(yè)務應用部門確定各工作人員的職責。1)從戰(zhàn)略角度來統(tǒng)籌和規(guī)劃，對數(shù)據(jù)資產(chǎn)和系統(tǒng)進行清理，確定數(shù)據(jù)治理的范圍；明確數(shù)據(jù)源的出處、使用和管理的流程及職責；2)明確數(shù)據(jù)治理的組織、功能、角色和職責；3)負責各工作組成員的培訓工作；4)負責審查各工作小組的目標、原則，批準數(shù)據(jù)管理的相關制度、標準及5)負責確定數(shù)據(jù)治理的工具、技術和平臺；6)負責制定數(shù)據(jù)治理的評估指標、方法。數(shù)據(jù)治理工作小組，其主要工作職責是：1)負責數(shù)據(jù)治理的牽頭，組織、指導和協(xié)調組織的數(shù)據(jù)治理工作；2)綜合數(shù)據(jù)治理管控辦法、數(shù)據(jù)治理考核機制等有關規(guī)章制度的牽頭制定、3)負責數(shù)據(jù)的分析整理并出具數(shù)據(jù)指標報告；4)負責數(shù)據(jù)的監(jiān)測預測工作；5)建立數(shù)據(jù)沖突的處理流程和數(shù)據(jù)變更控制流程；6)負責對基礎數(shù)據(jù)質量的檢測、發(fā)布、考核和清理完善工作。工作組成員：業(yè)務分析員、數(shù)據(jù)質量分析員、數(shù)據(jù)管理員、集成開發(fā)員這些不同的角色在數(shù)據(jù)治理過程中承擔著彼此不同，而又相輔相成的職責。集成開發(fā)人員在數(shù)據(jù)治理流程中需要肩負起數(shù)據(jù)訪問、驗證數(shù)據(jù)結構、驗證數(shù)據(jù)、交付數(shù)據(jù)以及數(shù)據(jù)庫/知識庫的構建等角色，其主要工作職責作包括：1)訪問及交付相應數(shù)據(jù)給業(yè)務用戶；2)提高生產(chǎn)力和性能；3)最大化減少異常/出錯的影響；4)開發(fā)和完善技術最佳實踐。數(shù)據(jù)質量分析員在數(shù)據(jù)治理流程中負責數(shù)據(jù)的剖析、清洗匹配合并等，其主1)為開發(fā)人員定義數(shù)據(jù)規(guī)格及標準；2)為機構有效的追蹤數(shù)據(jù)質量問題；3)實施被業(yè)務人員和數(shù)據(jù)管理員定義正確的數(shù)據(jù)質量規(guī)則；第8頁4)不間斷的監(jiān)控數(shù)據(jù)質量水平及問題。業(yè)務分析人員在數(shù)據(jù)治理流程中負責定義數(shù)據(jù)的轉換規(guī)則，其主要工作職責1)與需求開發(fā)人員協(xié)作，正確捕獲和解析業(yè)務需求；2)與開發(fā)人員和數(shù)據(jù)管理員協(xié)作，為業(yè)務用戶縮短數(shù)據(jù)產(chǎn)生價值的時間。數(shù)據(jù)管理員需要定義引證數(shù)據(jù)，并管理元數(shù)據(jù)，其主要工作職責作包括：1)保證數(shù)據(jù)的質量、正確、完整、一致、審計及安全性；2)定義引證/參考數(shù)據(jù)；3)為組織機構數(shù)據(jù)實體給出正確業(yè)務定義；4)為組織機構解決混淆和有爭論的數(shù)據(jù)定義。數(shù)據(jù)治理章程類似于企業(yè)的公司條例，該章程用以明確數(shù)據(jù)治理相關戰(zhàn)略規(guī)劃、合規(guī)管理和控制、標準和規(guī)范，如《數(shù)據(jù)治理工作管理辦法》,加強組織數(shù)據(jù)治理管理能力，滿足組織數(shù)據(jù)治理的要求，統(tǒng)一數(shù)據(jù)標準，提高數(shù)據(jù)質量，深化數(shù)據(jù)應用，支撐業(yè)務發(fā)展，提升管理水平及合規(guī)監(jiān)管要求。具體可參見附件A數(shù)據(jù)治理管理辦法。2.2管控辦法數(shù)據(jù)治理管控辦法是基于規(guī)章制度與工具的結合，可落地的操作的辦法，用以完善數(shù)據(jù)管控相關的規(guī)章制度起草、審核、落實、監(jiān)督的部門和管控機制，明確各數(shù)據(jù)管理活動的人員角色和職責、管理內容和相關流程，一般組織會設置《數(shù)據(jù)標準管控辦法》、《數(shù)據(jù)質量管控辦法》、《數(shù)據(jù)質量評估辦法》、《元數(shù)據(jù)管控具體可參見附件B數(shù)據(jù)質量評估辦法2.3考核機制考核是保障制度落實的根本，建立明確的考核制度，實際操作中可根據(jù)組織情況，建立數(shù)據(jù)治理管控相關的考核指標、制度和辦法，不斷優(yōu)化相關機制。一般組織都會針對數(shù)據(jù)標準管理、數(shù)據(jù)質量管理、元數(shù)據(jù)管理等核心治理域設置相關的考核機制與指標，并與個人績效相關聯(lián)。對于數(shù)據(jù)質量的考核，可參見下圖：問題的個數(shù)月1、數(shù)據(jù)質量問題影響30%以下(含30%)信息系統(tǒng)，扣5分；2、數(shù)據(jù)質量問題影響30%~70%(含70%)信息系統(tǒng)，扣15分；3、數(shù)據(jù)質量問題影響70%以上信息系統(tǒng)，扣25分；國最大的數(shù)據(jù)為準；月考核標準：以造成的經(jīng)濟損失為考核依據(jù)，年的處理個數(shù)和1、在規(guī)定時間內處理完成一例數(shù)據(jù)質量問題，加1分；否則不加分；月數(shù)據(jù)管控流程是基于數(shù)據(jù)治理各核心領域的工作目標，在數(shù)據(jù)治理組織下，明確各參與方的工作步驟、工作任務以及流轉方向。數(shù)據(jù)治理流程的設立是數(shù)據(jù)治理核心領域內容得以貫徹執(zhí)行的基礎，通過將數(shù)據(jù)治理任務進行分解，最大程度提高數(shù)據(jù)治理的執(zhí)行效率，降低管理成本。數(shù)據(jù)治理管控流程包括流程目標、流程任務、流程分級，根據(jù)數(shù)據(jù)治理的內容，建立相應流程，且遵循組織數(shù)據(jù)治理的規(guī)則制度。實際操作中可結合所使用的數(shù)據(jù)治理工具，與數(shù)據(jù)治理工具供應商進行協(xié)商，建立符合組織的流程管理。數(shù)據(jù)管控流程的設計應從組織實際出發(fā)，充分考慮組織的業(yè)務特點、管控模式以及數(shù)據(jù)管控的應急響應，同時將數(shù)據(jù)管控流程固化在相應的管理工具或平臺，實現(xiàn)各數(shù)據(jù)管理流程的自動化、可視化和實時監(jiān)控。具體可參見附件C數(shù)據(jù)質量管控流程(二)數(shù)據(jù)治理核心域數(shù)據(jù)模型是數(shù)據(jù)構架中重要一部分，包括概念數(shù)據(jù)模型、邏輯數(shù)據(jù)模型和物理數(shù)據(jù)模型，是數(shù)據(jù)治理的關鍵、重點。理想的數(shù)據(jù)模型應該具有非冗余、穩(wěn)定、一致、易用等特征。邏輯數(shù)據(jù)模型能涵蓋整個組織的業(yè)務范圍，以一種清晰的表達方式記錄跟蹤組織的重要數(shù)據(jù)元素及其變動，并利用它們之間各種可能的限制條件和關系來表達重要的業(yè)務規(guī)則。數(shù)據(jù)模型必須在設計過程中保持統(tǒng)一的業(yè)務定義。為了滿足將來不同的應用分析需要，邏輯數(shù)據(jù)模型的設計應該能夠支持最小粒度的詳細數(shù)據(jù)的存儲，以支持各種可能的分析查詢。同時保障邏輯數(shù)據(jù)模型能夠最大程度上減少冗余，并保障結構具有足夠的靈活性和擴展性。物理數(shù)據(jù)模型是邏輯數(shù)據(jù)模型在數(shù)據(jù)庫中的具體實現(xiàn)，是數(shù)據(jù)庫系統(tǒng)中實際數(shù)據(jù)的定義或主機文件系統(tǒng)中的文件結構定義，內容包括數(shù)據(jù)庫內所有的表、視圖、字段及其相關主鍵和外鍵的定義，以及系統(tǒng)內數(shù)據(jù)流向及系統(tǒng)間的數(shù)據(jù)交換關系。元數(shù)據(jù)是關于數(shù)據(jù)的數(shù)據(jù)，描述了數(shù)據(jù)定義和屬性。主要包括業(yè)務元數(shù)據(jù)、技術元數(shù)據(jù)和管理元數(shù)據(jù)。元數(shù)據(jù)管理的目的是厘清元數(shù)據(jù)之間的關系與脈絡，規(guī)范元數(shù)據(jù)設計、實現(xiàn)和運維的全生命周期過程。有效的元數(shù)據(jù)管理為技術與業(yè)務之間搭建了橋梁，為系統(tǒng)建設、運維、業(yè)務操作、管理分析和數(shù)據(jù)管控等工作的開展提供重要指導。元數(shù)據(jù)管理的內容主要包括元數(shù)據(jù)獲取、元數(shù)據(jù)存儲、元數(shù)據(jù)維護(變更維護、版本維護)、元數(shù)據(jù)分析(血緣分析、影響分析、實體差異分析、實體關聯(lián)分析、指標一致性分析、數(shù)據(jù)地圖展示)、元數(shù)據(jù)質量管理與第11頁3數(shù)據(jù)標準管理數(shù)據(jù)標準是組織建立的一套符合自身實際，涵蓋定義、操作、應用多層次數(shù)據(jù)的標準化體系。數(shù)據(jù)治理對標準的需求可以劃分為三類，即基礎類數(shù)據(jù)標準、指標類數(shù)據(jù)標準和專有類數(shù)據(jù)標準。基礎類數(shù)據(jù)是指組織日常業(yè)務開展過程中所產(chǎn)生的具有共同業(yè)務特性的基礎性數(shù)據(jù)。基礎數(shù)據(jù)可分為客戶、資產(chǎn)、協(xié)議、地域、產(chǎn)品、交易、渠道、機構、財務、營銷等主題。指標類數(shù)據(jù)是指為滿足組織內部管理需要及外部監(jiān)管要求，在基礎性數(shù)據(jù)基礎上按一定統(tǒng)計、分析規(guī)則加工后的可定量化的數(shù)據(jù)。專有類數(shù)據(jù)標準是指公司架構下子公司在業(yè)務經(jīng)營及管理4數(shù)據(jù)質量管理數(shù)據(jù)質量不高將影響數(shù)據(jù)應用程度。數(shù)據(jù)質量管理包含對數(shù)據(jù)的絕對質量管理、過程質量管理。絕對質量即數(shù)據(jù)的準確性、完整性、一致性等是數(shù)據(jù)本身應具有的屬性。過程質量即使用質量、存儲質量和傳輸質量。高質量的行業(yè)數(shù)據(jù)至少應滿足以下要求：一是準備性，在轉換、分析、存儲、傳輸、應用流程中不存在錯誤；二是完整性，數(shù)據(jù)庫應用或要求的所有記錄、字段都存在；三是一致性，體現(xiàn)在整個數(shù)據(jù)庫的定義和維護方面，確保數(shù)據(jù)在使用的整個過程中是一致的；四是時效性，衡量指標是在指定的數(shù)據(jù)與真實的業(yè)務情況同步的時間容忍度內，即指定的更新頻度內，及時被刷新的數(shù)據(jù)的百分比；五是可靠性，提供數(shù)據(jù)的數(shù)據(jù)源必須能夠可靠穩(wěn)定地提供數(shù)據(jù)。數(shù)據(jù)質量管理的規(guī)劃和實施應至少包括以下內容：一是數(shù)據(jù)質量管控體系的建立，包括數(shù)據(jù)質量的評估體系，定期評估數(shù)據(jù)質二是在部門各個應用系統(tǒng)中的落實，包括每個應用系統(tǒng)中的數(shù)據(jù)質量檢查三是在最開始建立數(shù)據(jù)質量管理系統(tǒng)的時候，借助數(shù)據(jù)治理平臺上，通過建立數(shù)據(jù)質量管理的規(guī)則來集中化地建立數(shù)據(jù)質量管理系統(tǒng)，發(fā)現(xiàn)問題并持續(xù)改四是數(shù)據(jù)質量管理與業(yè)務稽核的結合，通過業(yè)務規(guī)則的稽核來發(fā)現(xiàn)數(shù)據(jù)質量深層次的問題，將數(shù)據(jù)質量與業(yè)務一線結合起來，使業(yè)務人員對數(shù)據(jù)質量問題有完善的數(shù)據(jù)質量管理是保障各項數(shù)據(jù)治理工作能夠得到有效落實，達到數(shù)據(jù)準確、完整的目標，并能夠提供有效的增值服務的重要基礎。5主數(shù)據(jù)管理主數(shù)據(jù)管理要做的就是從各部門的多個業(yè)務系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù)(主數(shù)據(jù)),集中進行數(shù)據(jù)的清洗和豐富，并且以服務的方式把統(tǒng)一的、完整的、準確的、具有權威性的主數(shù)據(jù)傳送給組織范圍內需要使用這些數(shù)據(jù)的操作型應用系統(tǒng)和分析型應用系統(tǒng)。2)主數(shù)據(jù)管理系統(tǒng)將整合之后完整、準確的主數(shù)據(jù)傳送給所有有關的應用系統(tǒng)3)主數(shù)據(jù)管理系統(tǒng)為決策支持和數(shù)據(jù)倉庫系統(tǒng)提供準確的數(shù)據(jù)源。因此對于主數(shù)據(jù)管理要考慮運用主數(shù)據(jù)管理系統(tǒng)實現(xiàn)，主數(shù)據(jù)管理系統(tǒng)的建設，要從建設初期就考慮整體的平臺框架和技術實現(xiàn)。6數(shù)據(jù)安全管理由于組織的重要且敏感信息大部分集中在應用系統(tǒng)中，數(shù)據(jù)安全更是至關重要。如何保障數(shù)據(jù)不被泄露和非法訪問，是非常關鍵的問題。數(shù)據(jù)安全管理主要解決的就是數(shù)據(jù)在保存、使用和交換過程中的安全問題。數(shù)據(jù)安全管理主要體現(xiàn)在以下六個方面：第13頁一是數(shù)據(jù)使用的安全性，包括基礎數(shù)據(jù)的保存、訪問和權限管理；二是數(shù)據(jù)隱私問題，系統(tǒng)中采集的敏感信息在下游分析系統(tǒng)和內部管理系統(tǒng)中，是否要進行加密，以避免數(shù)據(jù)被非法訪問；三是訪問權限統(tǒng)一管理，包括單點登錄問題及用戶名、數(shù)據(jù)和應用的訪問授四是數(shù)據(jù)安全審計，為數(shù)據(jù)修改、使用等環(huán)節(jié)設置審計方法，事后進行審計五是制度及流程建立，逐步建立數(shù)據(jù)安全性的管理辦法、系統(tǒng)開發(fā)規(guī)范、數(shù)據(jù)隱私管理辦法及相應的應用系統(tǒng)規(guī)范、在管理決策和分析類系統(tǒng)中的審計管理六是應用系統(tǒng)權限的訪問控制，建立集團級權限管理系統(tǒng)，增加數(shù)字水印等技術在應用系統(tǒng)中的使用。7數(shù)據(jù)生命周期管理數(shù)據(jù)生命周期管理一般包括數(shù)據(jù)生成及傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理及應用、數(shù)據(jù)銷毀四個方面。(1)數(shù)據(jù)生成及傳輸數(shù)據(jù)應該能夠按照數(shù)據(jù)質量標準和發(fā)展需要產(chǎn)生，應采取措施保證數(shù)據(jù)的準確性和完整性，業(yè)務系統(tǒng)上線前應該進行必要的安全測試，以保證上述措施的有效性。對于手工流程中產(chǎn)生的數(shù)據(jù)在相關制度中明確要求，并通過事中復核、事后檢查等手段保證其準確性和完整性。數(shù)據(jù)傳輸過程中需要考慮保密性和完整性的問題，對不同種類的數(shù)據(jù)分別采取不同的措施防止數(shù)據(jù)泄漏或數(shù)據(jù)被篡改。(2)數(shù)據(jù)存儲這個階段除了關注保密性、完整性之外，更要關心數(shù)據(jù)的可用性，對于大部分數(shù)據(jù)應采取分級存儲的方式，不僅存儲在本地遠程復制到磁盤陣列中，或者采用光盤庫進行存儲。對于存儲備份的數(shù)據(jù)要定期進行測試，確保其可訪問其數(shù)據(jù)完整。數(shù)據(jù)的備份恢復策略應該由數(shù)據(jù)的責任部門或責任人負責制定，信息化管理部門可以給予相應的支持。同時還需要注意因為部門需要或故障處理的需要，可能對數(shù)據(jù)進行修改，必須在數(shù)據(jù)管理辦法中明確數(shù)據(jù)修改的申請審批流程，審慎對待后臺數(shù)據(jù)修改。(3)數(shù)據(jù)處理和應用信息化相關部門需要對數(shù)據(jù)進行分析處理，以挖掘出對于管理及業(yè)務開展有價值的信息，為保證過程中數(shù)據(jù)的安全性，一般應采用聯(lián)機處理，系統(tǒng)只輸出分析處理的結果。但是實際中，因為相關數(shù)據(jù)分析系統(tǒng)建設不到位，需要從數(shù)據(jù)庫中提取數(shù)據(jù)后再對數(shù)據(jù)進行必要的分析處理，在這個過程中就需要關注數(shù)據(jù)提取操作是否可能對數(shù)據(jù)庫造成破壞、提取出的數(shù)據(jù)在交付給分析處理人員的過程中其安全性是否會降低、數(shù)據(jù)分析處理的環(huán)境安全性等。(4)數(shù)據(jù)銷毀這個階段主要涉及數(shù)據(jù)的保密性。應明確數(shù)據(jù)銷毀的流程，采用必要的工具，數(shù)據(jù)的銷毀應該有完整的記錄。尤其是對于需要送出外部修理的存儲設備，送修數(shù)據(jù)整合歸集最終目的就是要服務于各機構部門、人員等，能更準確更快更方便的服務是數(shù)據(jù)服務管理的目標。數(shù)據(jù)服務管理是指針對內部積累多年的數(shù)據(jù)，研究如何能夠充分利用這些數(shù)據(jù)，分析行業(yè)業(yè)務流程優(yōu)化業(yè)務流程。數(shù)據(jù)使用的方式通常包括對數(shù)據(jù)的深度加工和分析，包括通過各種報表、工具來分析運營層面的問題，還包括通過數(shù)據(jù)挖掘等工具對數(shù)據(jù)進行深度加工，從而更好的管理者服務。通過建立統(tǒng)一的數(shù)據(jù)服務平臺來滿足針對跨部門、跨系統(tǒng)的數(shù)據(jù)應用。通過統(tǒng)一的數(shù)據(jù)服務平臺來統(tǒng)一數(shù)據(jù)源，變多源為單源，加快數(shù)據(jù)流轉速度，提升數(shù)據(jù)服務的效率。(三)IT工具支撐數(shù)據(jù)治理平臺/工具是支撐公司數(shù)據(jù)治理體系和制度辦法在流程上的執(zhí)行落地，以最大限度地實現(xiàn)公司數(shù)據(jù)治理工作的自動化，提升數(shù)據(jù)治理能力和數(shù)據(jù)服目前市場上關于數(shù)據(jù)治理平臺存在不同的成熟產(chǎn)品，但在功能實現(xiàn)上大致相同，具體可參加下圖了解。數(shù)據(jù)管理門戶數(shù)據(jù)管理門戶數(shù)據(jù)運營監(jiān)控數(shù)據(jù)使用概況數(shù)據(jù)規(guī)范遵循概況數(shù)據(jù)質量概況異常預警分析報告數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)目業(yè)務數(shù)據(jù)模數(shù)據(jù)資產(chǎn)業(yè)務與物理數(shù)據(jù)處理過數(shù)據(jù)內容極型映射程全景圖搜索元數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)質量管理分析數(shù)據(jù)服務監(jiān)控管理數(shù)據(jù)數(shù)據(jù)標準管理數(shù)據(jù)服務管理數(shù)據(jù)治理平臺總體架構元數(shù)據(jù)基礎管理元數(shù)據(jù)基礎管理元數(shù)據(jù)采集元數(shù)據(jù)分析服務元橫型管理元數(shù)據(jù)功能采集適配器元數(shù)據(jù)管理功能架構數(shù)據(jù)問題處理數(shù)據(jù)問題處理用戶及權限管理數(shù)據(jù)質量規(guī)則庫數(shù)據(jù)質量檢核信息庫數(shù)據(jù)檢核引擎數(shù)據(jù)源適配器數(shù)據(jù)質量監(jiān)控系統(tǒng)配置管理數(shù)據(jù)質量分析存儲層數(shù)據(jù)質量檢核功能層來源數(shù)據(jù)質量管理功能架構展示層展示層庫基礎層存儲層結構化咨詢成果元模型執(zhí)行層數(shù)據(jù)標準管理功能架構技術規(guī)范是保障數(shù)據(jù)治理平臺可持續(xù)管理的基礎，隨著數(shù)據(jù)量的增長、技術水平的發(fā)展，為更好、可持續(xù)的實現(xiàn)數(shù)據(jù)資產(chǎn)的管理、應用，需建立明確的技術規(guī)范。結合數(shù)據(jù)治理相關管控制度和流程，構建組織的數(shù)據(jù)技術規(guī)范，包括：數(shù)據(jù)應用研發(fā)規(guī)范、數(shù)據(jù)架構規(guī)范、門戶數(shù)據(jù)整合規(guī)范、數(shù)據(jù)存儲規(guī)范等。在數(shù)據(jù)治理體系建設和完善的基礎上，調研分析數(shù)據(jù)治理產(chǎn)品和工具，結合組織實際應用需求，形成相關的數(shù)據(jù)治理產(chǎn)品選型標準和建議。(四)數(shù)據(jù)治理管控宣介結合組織數(shù)據(jù)治理現(xiàn)狀、數(shù)據(jù)治理體系建設、數(shù)據(jù)治理未來愿景、組織團隊建設以及信息系統(tǒng)建設等，構建具有針對性的數(shù)據(jù)治理管控宣介方案，形成數(shù)據(jù)治理的全員意識，為組織數(shù)據(jù)治理的成功實施提供保障。(五)數(shù)據(jù)治理實施規(guī)劃數(shù)據(jù)治理是一項長期的復雜工程，其涉及面之廣且深。為了更好地落實數(shù)據(jù)治理工作的開展，組織數(shù)據(jù)治理工作需要根據(jù)其當前的現(xiàn)狀和水平分階段的逐步開展，因此，有必要制定組織未來三年的數(shù)據(jù)治理實施路線圖，明確數(shù)據(jù)治理實施路徑，形成相關指引，為其IT戰(zhàn)略和數(shù)據(jù)戰(zhàn)略以及公司發(fā)展戰(zhàn)略規(guī)劃提供支撐。1)結合組織數(shù)據(jù)成熟度評估現(xiàn)狀、戰(zhàn)略愿景、治理目標，考慮未來三年數(shù)2)結合組織未來三年數(shù)據(jù)治理推進的重點工作，從IT投資、人力支持、重要程度和技術難度等維度開展數(shù)據(jù)治理實施的優(yōu)先級分析，明確相關重點推進工作。四、數(shù)據(jù)治理應用證券行業(yè)作為一個數(shù)據(jù)密集型行業(yè)，無論是傳統(tǒng)線下業(yè)務還是新型的線上業(yè)務，其競爭的一個關鍵要素就是數(shù)據(jù)。隨著證券行業(yè)及證券公司業(yè)務種類、范圍等的逐漸延伸，使得IT系統(tǒng)產(chǎn)生的數(shù)據(jù)量以驚人的速度增長，面對巨大的數(shù)據(jù)規(guī)模，證券公司如何在監(jiān)管報送和信息披露、風險控制、決策支持、精準營銷、產(chǎn)品定價、績效考核等各方面得到準確、及時、完整的數(shù)據(jù)支持，使其發(fā)揮價值是當前證券公司必須考慮的重要問題。1.1背景介紹企業(yè)普遍通過對IT系統(tǒng)建設生命周期中的主要環(huán)節(jié)，如業(yè)務需求、系統(tǒng)設計、測試上線等環(huán)節(jié)，運用數(shù)據(jù)標準或數(shù)據(jù)模型等工具，進行系統(tǒng)層面的管控，以數(shù)據(jù)規(guī)范性在信息系統(tǒng)的提升為主要目標。然而在實際推進過程中，往往遇到“數(shù)據(jù)治理與業(yè)務創(chuàng)新脫節(jié)”、“數(shù)據(jù)生產(chǎn)與應用脫節(jié)”、“信息化建設與業(yè)務規(guī)1.2場景描述為解決這一困境，建議組織將數(shù)據(jù)治理管控擴展到產(chǎn)品管理領域，以業(yè)務規(guī)范定義為源頭，將數(shù)據(jù)生命周期和產(chǎn)品管理流程相結合，借助產(chǎn)品目錄、業(yè)務臺賬規(guī)范和數(shù)據(jù)標準等工具，通過產(chǎn)品識別、產(chǎn)品信息要素梳理、數(shù)據(jù)標準定義、數(shù)據(jù)標準落地等治理活動進行數(shù)據(jù)治理管控，形成產(chǎn)品創(chuàng)新階段中數(shù)據(jù)治理的有>系統(tǒng)概費設計上數(shù)據(jù)標準定義識別產(chǎn)品.梳理戶品計劃觀范定又開發(fā)實施創(chuàng)建獲取產(chǎn)品創(chuàng)2.1背景介紹證券公司客戶授信首先來源于銀行的信貸管理，由于貸款人信用狀證券公司客戶授信首先來源于銀行的信貸管理，由于貸款人信用狀況多維性和復雜性，銀行通常無法準確快速判斷每個貸款人的信用情況，為全面獲得客戶的征信信息，對于證券公司來說，非常重要。匯的征信信息，對于證券公司來說，非常重要。匯聚客戶線上線下數(shù)據(jù)，包括消費數(shù)據(jù)、行為數(shù)據(jù)等，作為貸款客戶的重要征信依據(jù)，有利的支撐貸款授信業(yè)務，2.2場景描述某證券公司與銀行、移動公司合作推出了手機貸業(yè)務，通過手機貸某證券公司與銀行、移動公司合作推出了手機貸業(yè)務，通過手機貸APP終端，可方便的進行無抵押小額貸款。流程如下圖所示：端，可方便的進行無抵押小額貸款。流程如下圖所示：第20頁頁名注冊頁名注冊版數(shù)抵結果結果反饋_綜合評估請求標準化處理標準化數(shù)據(jù)滑息推送 1)用戶在得到手機貸業(yè)務的宣傳后，下載安裝并實名注冊手機貸客戶端。1)用戶在得到手機貸業(yè)務的宣傳后，下載安裝并實名注冊手機貸客戶端。2)2)APP進行注冊后，手機貸APP進行授信請求的推送。3)用戶同意授信后，3)用戶同意授信后，APP后臺發(fā)送數(shù)據(jù)請求到移動大數(shù)據(jù)平臺。4)大數(shù)據(jù)平臺以該手機號碼為關鍵字，進行用戶相關信息的采集和解析。5)采集后的數(shù)據(jù)通過數(shù)據(jù)標準化要求進行數(shù)據(jù)預處理，通過標準化處理和元數(shù)6)標準化數(shù)據(jù)經(jīng)過平臺數(shù)據(jù)數(shù)據(jù)定價和評估模型，產(chǎn)生有價值的數(shù)據(jù)資產(chǎn)。6)標準化數(shù)據(jù)經(jīng)過平臺數(shù)據(jù)數(shù)據(jù)定價和評估模型，產(chǎn)生有價值的數(shù)據(jù)資產(chǎn)。7)數(shù)據(jù)資產(chǎn)通過預先配置好的數(shù)據(jù)質量檢查規(guī)則，形成待服務數(shù)據(jù)。8)滿足數(shù)據(jù)質量要求的數(shù)據(jù)資產(chǎn)經(jīng)過平臺相應數(shù)據(jù)安全機制驗證，產(chǎn)生評估結9)滿足評估結果的用戶會收到9)滿足評估結果的用戶會收到APP的相應推送消息，用戶可進行后續(xù)的貸款預3.1背景介紹隨著我國監(jiān)管改革持續(xù)推進，監(jiān)管部門對證券行業(yè)風險管理工作提出了更高司風險控制指標動態(tài)監(jiān)控系統(tǒng)指引》等文件中明確提出建立健全數(shù)據(jù)治理和質量控制機制”、制定數(shù)據(jù)標準，涵蓋數(shù)據(jù)源管理、數(shù)據(jù)庫建設、數(shù)據(jù)質量監(jiān)測等合規(guī)要求。目前，證券公司在風險管理方面主要存在以下不足：風險計量數(shù)據(jù)基礎完備性不足、風險計量模型表現(xiàn)有效性不足、風險計量結果應用充分性不足等問題，亟需全面建設數(shù)據(jù)驅動型風險管理體系。3.2場景描述為了全面滿足新形勢下對證券公司全面風險管理的要求，證券公司需要在前期工作的基礎上，進一步提升對風險數(shù)據(jù)、模型、系統(tǒng)以及人員的管理能力，全面建設數(shù)據(jù)驅動型風險管理體系。以構建深化風險管理中的數(shù)據(jù)治理管控機制為抓手，實現(xiàn)風險數(shù)據(jù)的統(tǒng)一視圖，并通過統(tǒng)一的數(shù)據(jù)服務和管理，確保數(shù)據(jù)的完整性和準確性，從而提升風險管理效率。流程如下圖所示：領導者風險視圖數(shù)據(jù)流程管理致概服務證券公司信息系統(tǒng)其他系統(tǒng)綜合壓力測試總量風險管理數(shù)規(guī)標準首理數(shù)據(jù)質量管理風賦教據(jù)模型元數(shù)據(jù)管理多維度風檢管理視圖專項風險管理預警監(jiān)控數(shù)據(jù)資產(chǎn)估值數(shù)據(jù)資訊奧情數(shù)據(jù)數(shù)據(jù)創(chuàng)放輸理現(xiàn)為逐步提高數(shù)據(jù)資產(chǎn)利用效果，推動信息化建設向標準化、信息化和數(shù)字化方向發(fā)展，數(shù)據(jù)治理應遵循以下原則：(1)統(tǒng)一規(guī)范。數(shù)據(jù)標準要嚴格執(zhí)行組織的統(tǒng)一標準。(2)分級管理。實行分層級的數(shù)據(jù)管理模式，明確職責分工，層層落實責任。(3)過程控制。建立數(shù)據(jù)從采集、報送、審核到應用、維護全過程的控制規(guī)范，保證數(shù)據(jù)質量，提高應用效果。(4)保障安全。建立數(shù)據(jù)訪問的身份驗證、權限管理及定期備份等安全制度，規(guī)范操作，做好病毒預防、入侵檢測和數(shù)據(jù)保密工作。(5)數(shù)據(jù)共享。整合應用系統(tǒng)，做到入口唯一，實現(xiàn)數(shù)據(jù)一次采集，集中數(shù)據(jù)治理的規(guī)范工作包括：數(shù)據(jù)標準、數(shù)據(jù)采集、數(shù)據(jù)審核、數(shù)據(jù)維護、數(shù)據(jù)分析、數(shù)據(jù)應用、數(shù)據(jù)發(fā)布、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(備份、恢復)、數(shù)據(jù)安全管理、數(shù)據(jù)質量監(jiān)控、數(shù)據(jù)管理考核等。(一)數(shù)據(jù)標準第一條組織數(shù)據(jù)必須按統(tǒng)一制定的數(shù)據(jù)標準和代碼規(guī)范執(zhí)行。第二條在數(shù)據(jù)采集工作中，組織依據(jù)制定的標準進行數(shù)據(jù)的采集錄入、審核修正、數(shù)據(jù)質量監(jiān)控和管理考核，確保數(shù)據(jù)質量。第三條數(shù)據(jù)指標的設定和修改必須嚴格執(zhí)行軟件的管理規(guī)定和程序。數(shù)據(jù)治理管理小組根據(jù)業(yè)務管理部門的需求，及時制定(修改)數(shù)據(jù)采集的技術規(guī)范，包括數(shù)據(jù)采集格式、權限設定和方法步驟等，并按時向業(yè)務管理部門通報所采集數(shù)據(jù)的指標內容變化情況，以便業(yè)務部門根據(jù)采集到的指標提出數(shù)據(jù)加工需求。第四條數(shù)據(jù)指標的確定應以有效實用和優(yōu)化服務為目標，不斷提高數(shù)據(jù)集中度和信息共享度，科學歸并各項業(yè)務的同類、同屬性指標，避免業(yè)務部門重復上報數(shù)據(jù)。(二)數(shù)據(jù)采集第一條數(shù)據(jù)采集重點是原始數(shù)據(jù)的采集，原始數(shù)據(jù)主要包括業(yè)務部門通過紙質資料報送的數(shù)據(jù)，通過電子傳輸報送的數(shù)據(jù)(含電磁介質報送的數(shù)據(jù)和網(wǎng)絡傳輸報送的數(shù)據(jù)，下同);相關部門通過紙質、電子傳輸提供的數(shù)據(jù)；管理業(yè)務處理結果(檢查、調查、核實、認定、審批等)產(chǎn)生的數(shù)據(jù)。第二條數(shù)據(jù)采集主要依靠應用系統(tǒng)進行錄入(導入),現(xiàn)用應用系統(tǒng)不能滿足數(shù)據(jù)采集需要的，通過相關系統(tǒng)的補錄模塊進行數(shù)據(jù)錄入(導入)第三條數(shù)據(jù)采集方式分為手工采集、數(shù)據(jù)電文導入和光學字符識別(OCR、圖形掃描等其他方式。為保障數(shù)據(jù)采集的質量，提高數(shù)據(jù)采集的效率，應充分應用信息化技術，最大限度地減少手工錄入。第四條為提高數(shù)據(jù)錄入質量，組織各有關機構部門要認真執(zhí)行資料數(shù)據(jù)的核對制度，嚴格以原始資料為依據(jù)，確保錄入數(shù)據(jù)的一致性和準確性。數(shù)據(jù)采集錄入前，操作人員應先將準備錄入的原始資料或有關表證單書進行完整性、邏輯性、真實性審核，發(fā)現(xiàn)漏填、錯填和邏輯關系不符的，應于做出修正或補正；第五條對通過電子傳輸方式報送數(shù)據(jù)的，數(shù)據(jù)必須通過接收軟件相應設置的完整性、邏輯性審核。第六條各部門機構應建立紙質數(shù)據(jù)和電子數(shù)據(jù)的核對制度，明確職責分工和工作程序，落實崗位責任，發(fā)現(xiàn)問題及時處理。第七條對于未規(guī)定的數(shù)據(jù)采集標準規(guī)范，組織相關責任部門應根據(jù)不同的數(shù)據(jù)采集崗位和軟件覆蓋面，細化工作職責，量化作業(yè)標準，結合業(yè)務操作規(guī)程，建立統(tǒng)一的數(shù)據(jù)采集錄入操作規(guī)范和管理制度。數(shù)據(jù)采集規(guī)范應包括數(shù)據(jù)來源、采集時間、操作崗位、操作步驟、操作內容和采集內容的邏輯校驗等要素。第八條各級數(shù)據(jù)采集人員應強化數(shù)據(jù)質量意識,熟練掌握正確的采集和審核方法，按照部門職責分工，嚴格按照相關操作規(guī)范采集各類數(shù)據(jù)。第九條任何人不準擅自委托他人以本人用戶名錄入數(shù)據(jù)。確因工作需要委托他人以自己名義錄入的，必須報經(jīng)主管領導批準，并及時更改口令。(三)數(shù)據(jù)審核第一條數(shù)據(jù)審核是確保數(shù)據(jù)質量的重要環(huán)節(jié)。審核的重點是數(shù)據(jù)的及時性、完整性、真實性、準確性和規(guī)范性。(1)及時性是指數(shù)據(jù)要在規(guī)定的時間內采集，確保應用系統(tǒng)數(shù)據(jù)與實際業(yè)(2)完整性是指數(shù)據(jù)采集應按照有關規(guī)定及相應表、證、單、書采集的要求進行，不得缺表或漏項，杜絕數(shù)據(jù)的機外操作和循環(huán)；(3)真實性是指數(shù)據(jù)采集要如實反映組織管理實際，以合法、真實的原始資料為依據(jù)，不得隨意捏造；(4)準確性是指數(shù)據(jù)采集應準確反映組織管理實際，與紙質資料數(shù)據(jù)一致，數(shù)據(jù)之間邏輯相符，不得出現(xiàn)運算錯誤或邏輯錯誤；第24頁(5)規(guī)范性是指數(shù)據(jù)采集應按照統(tǒng)一的業(yè)務標準及技術規(guī)范進行。第二條各部門及相關崗位人員按照自身工作職責范圍，負責相關數(shù)據(jù)的日常第三條為加強數(shù)據(jù)質量管理，省廳建立數(shù)據(jù)審核制度，數(shù)據(jù)管理員定期或不定期對已采集數(shù)據(jù)進行審核。對審核中發(fā)現(xiàn)的數(shù)據(jù)質量問題應及時反饋至具體的原始數(shù)據(jù)采集崗，限期補錄修正。第四條各部門機構可采取人工抽樣、數(shù)據(jù)軟件檢測等方式進行數(shù)據(jù)審核。對檢索出不符合標準的數(shù)據(jù)，反饋至原數(shù)據(jù)采集崗進行補錄修正。在數(shù)據(jù)應用環(huán)節(jié)發(fā)現(xiàn)的數(shù)據(jù)采集差錯，應通過相關業(yè)務管理部門的數(shù)據(jù)管理員進行審核確認，然后反饋至原數(shù)據(jù)采集崗進行變更修正。第五條審核中發(fā)現(xiàn)的差錯應及時通知相關部門。第六條數(shù)據(jù)審核崗人員與數(shù)據(jù)采集崗人員對數(shù)據(jù)問題有異議的，由上級業(yè)務主管部門負責對爭議事項做出裁定。(四)數(shù)據(jù)維護第一條數(shù)據(jù)維護包括對數(shù)據(jù)中錯誤數(shù)據(jù)的修正、不完整數(shù)據(jù)的補充、垃圾數(shù)據(jù)的清理及歷史數(shù)據(jù)的遷移等。第二條各業(yè)務管理部門應結合各應用系統(tǒng)制定詳細的數(shù)據(jù)維護工作制度，明確數(shù)據(jù)維護的權限、職責，嚴格按照工作制度進行數(shù)據(jù)維護。已經(jīng)進入應用系統(tǒng)的數(shù)據(jù)，不得擅自修改、刪除。第三條對錯誤數(shù)據(jù)的修正和不完整數(shù)據(jù)的補充，組織統(tǒng)一按以下程序處理：(1)對尚未錄入應用系統(tǒng)或已錄入尚保留修改權限的數(shù)據(jù)，需修改的，可由前臺原數(shù)據(jù)采集崗根據(jù)審核意見糾正后重新錄入(或直接糾正);(2)對已錄入應用系統(tǒng)的數(shù)據(jù)，經(jīng)審核發(fā)現(xiàn)錯誤，前臺原數(shù)據(jù)采集崗已無權限修改的，應根據(jù)具體業(yè)務工作流程和要求實行層級審批修正。第四條對已錄入應用系統(tǒng)需層級審批修正的數(shù)據(jù)，信息部門有權限處理的，應由數(shù)據(jù)修正申請機構部門及時提出數(shù)據(jù)修正申請，報數(shù)據(jù)所屬系統(tǒng)的責任部門對經(jīng)確認不能予以修正的，有權修正單位應及時向申請單位或相關人員說明第25頁原因。第五條對需由數(shù)據(jù)中心辦理的數(shù)據(jù)修正事項，應由申請部門機構及時提出數(shù)據(jù)修正申請，分別報相關責任部門審批。數(shù)據(jù)中心在接到同意修正的申批后辦理。對經(jīng)確認不能予以修正的，有關單位應及時向數(shù)據(jù)修正申請單位及有關人員第六條對不按規(guī)定程序上報審批的數(shù)據(jù)修正申請，各部門機構數(shù)據(jù)管理的技術管理團隊不予以修改。第七條對經(jīng)查實，屬有關單位弄虛作假、人為調整指標等主觀因素造成其無法自行恢復的數(shù)據(jù)錯誤，各部門機構數(shù)據(jù)管理的技術管理團隊有權不予修正，并向相關責任部門報告。第八條各部門機構數(shù)據(jù)管理的技術管理團隊應按照系統(tǒng)初始維護設置和上級部門分配的權限實施數(shù)據(jù)修正業(yè)務。執(zhí)行過程中如遇權限調整，各部門機構數(shù)據(jù)管理的技術管理團隊應在權限變動后十五日內向相關責任部門公告通知。第九條數(shù)據(jù)維護前應做好相應備份工作。數(shù)據(jù)維護工作應嚴格備案，對每項數(shù)據(jù)維護的內容、時間、維護原因、責任人等進行詳細記錄，涉及的書面材料必須登記存檔。第十條應用系統(tǒng)因數(shù)據(jù)平臺轉換、系統(tǒng)升級等原因需對歷史數(shù)據(jù)轉儲、遷移的，由信息技術部門會同業(yè)務管理部門確定歷史數(shù)據(jù)的處理方法，保證新舊數(shù)據(jù)的銜接和系統(tǒng)的平穩(wěn)過渡。第十一條信息技術部門應加強對數(shù)據(jù)的監(jiān)控，定期檢測數(shù)據(jù)的存儲，分析數(shù)據(jù)的構成，提出數(shù)據(jù)清理優(yōu)化的方案，經(jīng)業(yè)務管理部門確認后，定期進行垃圾數(shù)據(jù)的清理。垃圾數(shù)據(jù)主要指過期的、重復的、沒有使用價值的數(shù)據(jù)，不包括按規(guī)定應保留的歷史數(shù)據(jù)。(五)數(shù)據(jù)分析第一條數(shù)據(jù)分析是采取科學合理的方法，利用現(xiàn)代信息技術手段，對計算機應用系統(tǒng)生成的數(shù)據(jù)進行分析，充分發(fā)掘數(shù)據(jù)中蘊涵的信息，形成有用指標數(shù)據(jù)值的過程。第二條數(shù)據(jù)分析一般按照選題一分析一應用一反饋—再選題的方式進行，積極研究、探索科學實用的分析方法，同時依據(jù)數(shù)據(jù)應用過程中暴露出的問題，改進數(shù)據(jù)管理方法和手段，促進數(shù)據(jù)管理質量不斷提高。第三條數(shù)據(jù)分析分為固定分析和專項分析兩種。固定分析指標在一定時期內相對固定，通過編制應用軟件自動生成。專項分析的選題指標根據(jù)組織所處行業(yè)的新形勢和新問題專門設計，臨時從前臺或后臺抽取相關數(shù)據(jù)進行分析處理。第四條各部門機構應充分利用數(shù)據(jù)資源，規(guī)范數(shù)據(jù)分析程序，積極探索數(shù)據(jù)獲取、加工、計算、展現(xiàn)等過程的規(guī)律，不斷探索和創(chuàng)新數(shù)據(jù)分析方法，提高數(shù)據(jù)分析質量。(六)數(shù)據(jù)應用第一條數(shù)據(jù)應用分為直接使用和加工后使用。數(shù)據(jù)加工是指根據(jù)工作需要，用數(shù)理統(tǒng)計、多維分析等科學方法對數(shù)據(jù)進行抽取、匯集、歸類、挖掘、比對，并以報表、圖形、文字等形式展現(xiàn)數(shù)據(jù)處理結果。第二條各部門機構應充分利用數(shù)據(jù)資源，深化數(shù)據(jù)應用，用數(shù)據(jù)描述現(xiàn)狀，預測趨勢，規(guī)范執(zhí)法，加強管理，優(yōu)化服務，提供決策支持。數(shù)據(jù)應用的任務一(1)整合應用系統(tǒng)的數(shù)據(jù)，建立數(shù)據(jù)關聯(lián)關系，滿足各級、各部門、各崗位業(yè)務管理的需要。(2)分析行業(yè)管理現(xiàn)狀，研究存在問題，提出改進措施，提高管理水平，(3)監(jiān)控執(zhí)法過程，跟蹤執(zhí)法結果，檢查執(zhí)法質量。(4)建立合理的指標體系，全面考核和監(jiān)控各部門機構管理的工作質量和(5)統(tǒng)籌規(guī)劃、合理分布數(shù)據(jù)，實現(xiàn)各類數(shù)據(jù)的全面共享，簡化組織審批第三條組織數(shù)據(jù)加工統(tǒng)一由數(shù)據(jù)中心承擔，信息部門提供技術支持。業(yè)務管理部門有特殊需求時，報相關責任人批準后及時向數(shù)據(jù)管理中心提出，數(shù)據(jù)管理中心應及時提供已加工數(shù)據(jù)列表和數(shù)據(jù)使用授權，以保證各部門業(yè)務管理需要。第四條數(shù)據(jù)加工分兩個層次，一個層次是為滿足日常業(yè)務需要，利用數(shù)據(jù)加工工具進行數(shù)據(jù)加工，供各部門日常管理使用，可直接展示數(shù)據(jù)處理結果；另一層次是滿足評估分析和輔助決策等數(shù)據(jù)應用系統(tǒng)的需要，利用數(shù)據(jù)加工工具或專用軟件對數(shù)據(jù)加工或進行系統(tǒng)間的數(shù)據(jù)銜接。第五條數(shù)據(jù)中心負責數(shù)據(jù)加工軟件的日常管理工作。第六條數(shù)據(jù)使用單位和人員必須嚴格按照授權使用數(shù)據(jù)，負責管理組織、本人口令，不得越權使用數(shù)據(jù)；不得采取任何方法破壞數(shù)據(jù)；對所使用的涉密數(shù)據(jù)負有保密責任。(七)數(shù)據(jù)發(fā)布第一條數(shù)據(jù)發(fā)布是數(shù)據(jù)管理的重要內容。各部門機構必須建立數(shù)據(jù)發(fā)布制度，明確數(shù)據(jù)發(fā)布職責，依法發(fā)布數(shù)據(jù)。第二條各部門機構對外公布數(shù)據(jù)必須報領導或分管領導批準后對外公布，否則不得擅自對外公布和發(fā)布數(shù)據(jù)。(八)數(shù)據(jù)傳輸?shù)谝粭l各部門機構應針對各項數(shù)據(jù)傳輸工作，設置專門崗位，明確職責分工，制定相應考核制度。第二條數(shù)據(jù)傳輸工作嚴格遵照相應的操作規(guī)程和時間要求，不得延誤。由于特殊原因，數(shù)據(jù)發(fā)送方不能按時完成數(shù)據(jù)傳輸任務時，應及時通知數(shù)據(jù)接收方，雙方應積極采取措施，恢復正常傳輸。數(shù)據(jù)傳輸完成，雙方應及時進行數(shù)據(jù)對賬。第三條數(shù)據(jù)傳輸應當使用組織機構內部計算機網(wǎng)絡完成，未經(jīng)批準不得借助其它公共計算機網(wǎng)絡平臺進行數(shù)據(jù)傳輸。使用可移動載體進行數(shù)據(jù)傳輸?shù)?，傳輸完畢后，必須從載體上完全清除數(shù)據(jù)。第四條各部門機構內部信息的傳遞，如任務下達、信息交換、調查統(tǒng)計、報表報送、成果報告、情況通報等，應采取電子數(shù)據(jù)傳輸方式。第五條信息技術部門要定期檢測網(wǎng)絡運行狀況，及時發(fā)現(xiàn)解決網(wǎng)絡傳輸中的(九)數(shù)據(jù)存儲、備份和恢復第一條信息技術部門應加強對各類數(shù)據(jù)存儲和備份的管理，以保障應用系統(tǒng)第二條信息技術部門應定期對存儲和備份的數(shù)據(jù)進行整理優(yōu)化，以提高系統(tǒng)運行和數(shù)據(jù)處理的效率。第三條各類數(shù)據(jù)由信息技術部門統(tǒng)一集中存儲和備份。第四條信息技術部門應根據(jù)不同類型數(shù)據(jù)的更新頻率、數(shù)據(jù)量、重要程度、保存期限，制定相應備份、恢復策略和操作規(guī)范。第五條已做備份的數(shù)據(jù)任何部門不得擅自更改。第六條數(shù)據(jù)備份文件必須存儲在非本機磁盤的其它介質中，建立登記制度，由專人保管，備份介質必須保存在符合條件的環(huán)境中，對應用系統(tǒng)中存儲時間長、使用頻度低的歷史數(shù)據(jù)，可按有關規(guī)定予以結轉、存儲，長期妥善保管，并隨時可供調取應用。重要數(shù)據(jù)應異地存放。第七條數(shù)據(jù)備份文件應定期進行恢復測試，以確保所備份的數(shù)據(jù)能夠及時、準確、完整地恢復。(十)數(shù)據(jù)安全管理第一條數(shù)據(jù)管理中心應建立健全數(shù)據(jù)安全管理制度和辦法。數(shù)據(jù)安全管理的內容包括：數(shù)據(jù)訪問的身份驗證、權限管理及數(shù)據(jù)的加密、保密、日志管理、網(wǎng)絡安全等。第二條為統(tǒng)一規(guī)范操作權限，各部門機構操作人員的錄入權限、訪問權限、維護權限應先由各業(yè)務管理部門按照部門、崗位的職責分工，提出權限設定規(guī)則，報數(shù)據(jù)管理領導小組批準后由信息技術部門予以維護，任何人不得擅自設立、變更和注銷。第三條各類應用系統(tǒng)的使用必須實行用戶身份驗證。應用系統(tǒng)應按規(guī)定設置相應的用戶名、密碼，并按不同權限級別，對用戶口令加密保護。操作人員應注意自己用戶名和口令的保密，并定期或不定期修改口令。第四條數(shù)據(jù)安全實行專人負責制。信息技術部門要指定專人負責系統(tǒng)數(shù)據(jù)及磁介質資料的安全管理工作。對數(shù)據(jù)庫的管理實行數(shù)據(jù)庫管理員制度，制定和明確管理員用戶和數(shù)據(jù)查詢用戶的操作權限及規(guī)程，關鍵數(shù)據(jù)庫管理崗位應設兩人第五條對涉密數(shù)據(jù)的傳輸、存儲，應嚴格按照相關規(guī)定進行加密處理。第六條對各類數(shù)據(jù)應嚴格執(zhí)行保密制度，不得泄漏。對涉及從業(yè)人員隱私而未征得本人同意或按有關保密規(guī)定不能公開的數(shù)據(jù)，不得對外公開，也不得用于業(yè)務以外的其它目的。第七條對數(shù)據(jù)的各項操作應實行日志管理，嚴格監(jiān)控操作過程，對發(fā)現(xiàn)的數(shù)據(jù)安全問題，要及時處理和上報。第八條各部門機構要加強網(wǎng)絡安全管理，采取嚴格措施,做好計算機病毒的預防、檢測、清除工作，防止各類針對網(wǎng)絡的攻擊，保證數(shù)據(jù)傳輸和存儲安全。管理員用戶應掌握和運用數(shù)據(jù)庫訪問跟蹤布控技術，加強對數(shù)據(jù)庫的核查與監(jiān)第九條對需要長期保存的數(shù)據(jù)磁帶、磁盤，應在質量保證期內(一般為一年)進行轉儲，以防止數(shù)據(jù)失效造成損失。第十條系統(tǒng)維護和數(shù)據(jù)管理責任單位應當采取以下措施，保證信息系統(tǒng)應用(1)明確崗位職責，嚴格操作規(guī)范，完善內部控制；(2)加強應用系統(tǒng)的運行維護，定期進行數(shù)據(jù)備份；(3)實時監(jiān)控數(shù)據(jù)庫的訪問情況，定期審核和更新數(shù)據(jù)庫的口令等(十一)數(shù)據(jù)質量監(jiān)控第一條數(shù)據(jù)質量監(jiān)控是數(shù)據(jù)管理中心以組織業(yè)務規(guī)程為基礎，通過建立數(shù)據(jù)質量指標體系和設置過錯類別，運用一定的手段和方法，對一定時期的數(shù)據(jù)質量進行檢查、認證、鑒定與評價等一系列管理活動。第二條數(shù)據(jù)質量監(jiān)控應按照分途采集、集中比對、管住增量、強化責任的原則，對數(shù)據(jù)采集和處理的真實性、準確性、完整性、合法性、邏輯性、及時性進行監(jiān)控。第三條組織各系統(tǒng)建立數(shù)據(jù)質量監(jiān)控聯(lián)動機制，實行數(shù)據(jù)管理中心、基層數(shù)據(jù)管理員監(jiān)控聯(lián)動。(1)數(shù)據(jù)管理中心負責組織全部范圍的數(shù)據(jù)質量監(jiān)控，定期或不定期發(fā)布數(shù)據(jù)質量監(jiān)控檢測結果。(2)數(shù)據(jù)管理中心負責組織全部范圍的數(shù)據(jù)質量監(jiān)控，定期或不定期發(fā)布全市、區(qū)數(shù)據(jù)質量監(jiān)控檢測結果，指導相關部門落實數(shù)據(jù)質量監(jiān)控檢測結果。(3)基層數(shù)據(jù)管理員負責督導落實數(shù)據(jù)質量監(jiān)控檢測結果。第四條數(shù)據(jù)管理中心應建立相應的數(shù)據(jù)質量監(jiān)控機制，采用人機結合等方式，以一定形式對數(shù)據(jù)質量實施監(jiān)控審核，并及時發(fā)布監(jiān)控結果。第五條數(shù)據(jù)管理中心應于年度開始10日內制定年度數(shù)據(jù)質量監(jiān)控檢測計劃，經(jīng)相關領導、責任人批準后有計劃開展全年數(shù)據(jù)質量監(jiān)控檢測工作，并報送第六條數(shù)據(jù)管理中心負責對數(shù)據(jù)質量監(jiān)控發(fā)現(xiàn)的問題數(shù)據(jù)限期督導相關部門機構完成修正，一般最長要求5日內完成，并將修正結果報送審核。第七條對數(shù)據(jù)質量監(jiān)控發(fā)現(xiàn)的問題數(shù)據(jù)嚴格按照本辦法數(shù)據(jù)維護規(guī)定的程序開展修正工作，任何人不得擅自修改。(十二)數(shù)據(jù)管理考核第一條數(shù)據(jù)管理是組織信息化建設的重要內容，數(shù)據(jù)質量直接關系到組織信息化的應用效果。各部門機構應根據(jù)本辦法所涉及的內容制定具體的數(shù)據(jù)管理考核辦法，建立切實有效的數(shù)據(jù)管理考核獎懲機制。第二條數(shù)據(jù)管理考核應遵循客觀公正、公開透明的原則。各級可采取日常考核和定期考核相結合、人工抽檢考核和機器全面檢測相結合的方法，強化數(shù)據(jù)管理考核。組織應對數(shù)據(jù)管理工作實施百分制考核，主要考核項目包括：(1)組織機構是否健全，崗位職責是否明確；(2)數(shù)據(jù)錄入是否及時，數(shù)據(jù)采集是否完整；(3)數(shù)據(jù)內容是否準確，抽取展示是否按時；(4)審核差錯是否修正，數(shù)據(jù)維護是否及時；(5)管理機制是否建立，安全措施是否到位。第三條數(shù)據(jù)管理考核辦法應突出數(shù)據(jù)錄入、審核、維護、備份、安全等重點環(huán)節(jié)，進行指標量化。依據(jù)標準，對必錄項的考核指標，在采集錄入環(huán)節(jié)，其及時率、準確率、完整率必須達到95%以上；經(jīng)過審核、修正后，其“三率”的考核指標應達到99%以上。第四條各部門機構和部門人員發(fā)生下述行為之一的，組織應根據(jù)其危害程度、過錯大小、情節(jié)輕重等，依據(jù)執(zhí)法責任制和目標管理責任制追究相應責任：(1)數(shù)據(jù)錄入不及時，造成下一環(huán)節(jié)工作延誤的；(2)數(shù)據(jù)錄入不規(guī)范、差錯率連續(xù)居高的；(3)未認真履行數(shù)據(jù)審核職責，造成大量數(shù)據(jù)差錯不能及時糾正的；(4)未及時進行數(shù)據(jù)維護，造成應用環(huán)節(jié)數(shù)據(jù)嚴重失真的；(5)未按規(guī)定存儲和備份數(shù)據(jù)，造成數(shù)據(jù)丟失的；(6)未按規(guī)定進行系統(tǒng)維護，或因過失引發(fā)信息系統(tǒng)運行障礙造成數(shù)據(jù)丟(7)未按規(guī)定實施安全管理防范措施，造成計算機系統(tǒng)癱瘓或病毒侵害嚴重，嚴重影響數(shù)據(jù)傳輸和存儲的；(8)未按規(guī)定執(zhí)行保密制度，發(fā)生重大泄密事件的；(9)擅自對數(shù)據(jù)、權限進行修改、刪除，或擅自使用他人的用戶名、密碼(10)其他過錯行為。對有意破壞、惡意攻擊稅收應用信息系統(tǒng)，造成重大損失，涉嫌刑事責任的，移送司法機關處理。下面將從數(shù)據(jù)質量評估核心指標、數(shù)據(jù)質量評估模式、數(shù)據(jù)質量評估管理流程三個方面介紹數(shù)據(jù)質量評估方法。數(shù)據(jù)質量評估的核心指標指標定義：數(shù)據(jù)質量問題頻率=數(shù)據(jù)質量問題的總數(shù)據(jù)量根據(jù)數(shù)據(jù)質量評估指標將各數(shù)據(jù)倉庫中的主數(shù)據(jù)及其歷史行為劃分為三個第32頁數(shù)據(jù)質量等級統(tǒng)計口徑一級點監(jiān)控二級數(shù)據(jù)質量問題頻率大于等于0.5次/GB,小三級通過對數(shù)據(jù)質量問題頻率的考評和等級劃分，就可以從數(shù)據(jù)倉庫眾多的數(shù)據(jù)中解放出來，集中精力把有限的資源投入到需要重點關注的主題數(shù)據(jù)。因此數(shù)據(jù)質量可信等級是數(shù)據(jù)質量提高的有效途徑。與之相配套的，必須建立了一套相關的管理制度，管理制度主要包括：(1)可信等級初始值確立流程質量管理小組牽頭，執(zhí)行全面檢查后報數(shù)據(jù)中心主管部門批準后確立。(2)可信等級變更流程數(shù)據(jù)質量管理小組每季度、每年組織定時抽查、全面檢查時，每半年根據(jù)檢查結果對相關主題域的可信等級提出調整意見，報數(shù)據(jù)中心主管部門批準后確對于具體數(shù)據(jù)的質量檢查模式采用記錄數(shù)檢查法、關鍵指標總量驗證法、歷史數(shù)據(jù)對比法、值域判斷法、經(jīng)驗審核法及匹配判斷法。通過這些方法方法，可以對單個數(shù)據(jù)點的數(shù)據(jù)準確性進行檢查，及時發(fā)現(xiàn)數(shù)據(jù)質量問題。(1)記錄數(shù)檢查法通過比較記錄條數(shù)，對數(shù)據(jù)情況進行概括性驗證。主要是檢查數(shù)據(jù)表的記錄數(shù)是否為確定的數(shù)值或在確定的范圍內。對于數(shù)據(jù)表中按日期進行增量加載的數(shù)據(jù)，每個加載周期遞增的記錄數(shù)為常數(shù)值或可以確定的范圍時，必須進行記錄條數(shù)檢驗。(2)關鍵指標總量驗證法第33頁對于關鍵指標，對比數(shù)據(jù)總量是否一致。主要是指具有相同業(yè)務含義，從不同維度統(tǒng)計的匯總邏輯的檢查。同表內對同個字段從不同的維度進行統(tǒng)計，存在匯總關系時，必須進行總量本表的字段與其它表中的字段具有相同的業(yè)務含義，從不同的維度統(tǒng)計，存在匯總關系，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時必須進(3)歷史數(shù)據(jù)對比法通過歷史數(shù)據(jù)觀察數(shù)據(jù)變化規(guī)律，從而驗證數(shù)據(jù)質量。通常以同比發(fā)展速度進行判斷。評估時應根據(jù)各種指標發(fā)展特點，重點對同比發(fā)展速度增幅(或降幅)較大的數(shù)據(jù)進行審核。歷史數(shù)據(jù)對比法包括同比和環(huán)比兩種方式。不能進行記錄數(shù)檢查法、關鍵指標總量驗證法，且事實表的記錄數(shù)小于1000萬條時必須進行歷史數(shù)據(jù)對比法。(4)值域判斷法確定一定時期內指標數(shù)據(jù)合理的變動區(qū)間，對區(qū)間外的數(shù)據(jù)進行重點審核。其中數(shù)據(jù)的合理變動區(qū)間范圍是直接根據(jù)業(yè)務經(jīng)驗來確定的。事實表中的字段可以確定取值范圍，同時可以判定不在此范圍內的數(shù)據(jù)必定是錯誤的。滿足此條件必須進行值域判斷法。(5)經(jīng)驗審核法針對報表中指標間邏輯關系僅靠計算機程序審核無法確認、量化，或有些審核雖設定數(shù)量界限，但界限較寬不好判定的情況，需要增加人工經(jīng)驗審核。以上方法都不適用的情況下，可以使用經(jīng)驗審核法。(6)匹配判斷法與相關部門提供或發(fā)布的有關數(shù)據(jù)進行對比驗證。第34頁與有相關部門提供或發(fā)布的有關數(shù)據(jù)口徑一致的，可以使用匹配判斷法。(一)數(shù)據(jù)質量校驗流程數(shù)據(jù)倉庫每天都有很多ETL任務定時執(zhí)行加載數(shù)據(jù)，確保ETL加載數(shù)據(jù)的完整性、準確性是數(shù)據(jù)質量管理的基本要求。1)日常數(shù)據(jù)校驗數(shù)據(jù)質量管理人員每天要對ETL加載任務執(zhí)行情況進行檢查。數(shù)據(jù)校驗方法選擇ETL任務數(shù)據(jù)質量校驗要求必須采用以下三類方法中的至少一種來進行判斷：記錄數(shù)檢查法；關鍵指標總量驗證法；值域判斷法。數(shù)據(jù)校驗周期每天ETL加載任務比較多，如果全部執(zhí)行數(shù)據(jù)校驗需要的時間過長，因此根據(jù)每個主題數(shù)據(jù)的可信等級確定校驗頻率。一級：每次加載都必須執(zhí)行數(shù)據(jù)校驗二級：每三次加載執(zhí)行一次數(shù)據(jù)校驗三級：每六次加載執(zhí)行一次數(shù)據(jù)校驗對于需要特別保障的主題數(shù)據(jù)，可調整校驗頻率并額外增加經(jīng)驗審核法。2)定時數(shù)據(jù)抽查數(shù)據(jù)校驗確保每天加載的增量數(shù)據(jù)的完整性、準確性，在此基礎上，數(shù)據(jù)質量管理小組必須每季度組織一次數(shù)據(jù)倉庫的定期抽查。定期抽查的范圍必須包括可信等級為一級的所有主題數(shù)據(jù)，可信等級為二級的二個主題的數(shù)據(jù)，可信等級為三級的一個主題的數(shù)據(jù)。定期抽查必須采用數(shù)據(jù)質量評估方法中定義的所有方法。3)全面數(shù)據(jù)檢查數(shù)據(jù)質量管理小組必須每年組織一次數(shù)據(jù)倉庫的全面檢查。全面檢查的范圍包括企業(yè)數(shù)據(jù)中心平臺所有主題的數(shù)據(jù)。