中國數據治理現狀調研報告202

2021年12月CONTENT11調研背景調研背景22主要結論主要結論33調研分析調研分析44發(fā)展建議發(fā)展建議PARTPART數據治理規(guī)范化、合法化勢在必行《中華人民共和國個人信息保護法》《中華人民共和國個人信息保護法》《中華人民共和國數據安全法》《工業(yè)互聯網數據安全保護要求》《促進大數據發(fā)展行動綱要》數據治理市場增長迅速，但發(fā)展不均衡全國公共資源交易數據顯示，2021年成交的數據治理相關的建設項目已經超過240個，連續(xù)兩50技術進步極大增強了數據治理的可操作性數據治理已經成為企業(yè)急需解決的難題調研目的調研工作。通過調研各單位數據治理現狀，以及數據治理工作的難調研方法和樣本說明調研對象：企業(yè)中高級管理人員、信息技術調查問卷小組訪談調查問卷小組訪談文獻研究CONTENT11調研背景調研背景22主要結論主要結論33調研分析調研分析44發(fā)展建議發(fā)展建議PARTPART主要結論數據治理已具備較好的技術基礎，近數據治理已具備較好的技術基礎，近90%的機開源是最廣泛被采用的技術體系。其中開源是最廣泛被采用的技術體系。其中Hadoop、Sp數據治理的驅動力來源主要是業(yè)務，數據治理內驅力需要提升。同時在數據治數據治理的驅動力來源主要是業(yè)務，數據治理內驅力需要提升。同時在數據治主要結論4數據安全正由“保護數據”擴展到“保護數據成果”、“保護數據資產”，各行業(yè)根據數據安全正由“保護數據”擴展到“保護數據成果”、“保護數據資產”，各行業(yè)根據各行業(yè)均存在人才不足情況，高端人才、數據分析人才缺口較大，各行業(yè)均在各行業(yè)均存在人才不足情況，高端人才、數據分析人才缺口較大，各行業(yè)均在CONTENT11調研背景調研背景22主要結論主要結論33調研分析調研分析44發(fā)展建議發(fā)展建議PARTPART近九成機構已有或正在規(guī)劃建設大數據平臺63.7%的機構已經建立大數據平臺，22.5%的機構正在規(guī)劃建設。大多數貴單位有沒有大數據平臺（總體）大數據平臺建設互聯網領先，政府和醫(yī)療正迎頭趕上接近90%的互聯網企業(yè)都建立了大數據平臺；未建設大數據平臺的政府機構和醫(yī)將大數據平臺建設納入未來發(fā)展規(guī)劃中。貴單位有沒有大數據平臺（分行業(yè)）沒有大數據平臺且無規(guī)劃沒有大數據平臺，正在規(guī)劃中--政府--醫(yī)療-金融--互聯網--房地產開源是最廣泛被采用的技術架構，其中Hadoop應用最廣泛大數據平臺技術架構，Hadoop、Spark處于絕對領先位置，比率分別為67.6%、41.2Clickhouse 88ClickHouse在互聯網行業(yè)已得到廣泛應用Hadoop、Spark作為經典的大數據技術，在調研行業(yè)被廣泛應用。但是，將近60%的互聯網企業(yè)貴單位大數據平臺使用的基礎架構有哪些（分行業(yè)）政府醫(yī)療金融互聯網房地產數據實時性有待提高貴單位大數據平臺數據的更新情況是（總體）互聯網數據更新實時性較好，其他行業(yè)有待提高其中，互聯網企業(yè)能做到即時更新、分鐘級業(yè)能做到及時更新，支持分鐘級更新的比率分別為28.6%、28.5%、16.貴單位大數據平臺數據的更新情況是（分行業(yè)）政府--醫(yī)療金融房地產數據集成的主要方式是ETL、數據庫同步和接口調用 訂閱%各行業(yè)數據集成方式呈多樣性，同時體現出行業(yè)差異性數據集成方式體現出不同行業(yè)業(yè)務特點，金融行業(yè)普遍采用ETL、數據庫同據；房地產行業(yè)普遍采用接口、文件、數據庫同步集成貴單位的大數據平臺獲取/集成數據的主要方式有哪些（分行業(yè)）政府醫(yī)療金融互聯網房地產多源數據處理機制傾向“一數一源”44.1%按照“一數一源”的方式獲取數據；23.5%按照數據的時效性進行選擇；22.5%的企業(yè)會保保留多個版本，讓使用者選擇保留多個版本，讓使用者選擇44多源數據政府側重由使用者選擇，互聯網側重根據時效性選擇政府機構的數據獲取的方式主要是保留數據的多個版本業(yè)比較傾向于根據數據的時效性進行選擇，比率其他保留多個版本，讓使用者選擇按照數據的時效性進行選擇按照“一數一源”進行數據獲取政府醫(yī)療金融互聯網房地產數據源變更近一半還需要人工處理，不能實現自動化47.4%的機構數據源變更的處理機制是人工處理，32.5%的機構數據源變更由系統(tǒng)金融、互聯網行業(yè)數據源變更處理自動化程度更高貴單位數據源變更的處理機制是（分行業(yè)）--政府--醫(yī)療--金融--互聯網--房地產數據治理目前側重系統(tǒng)建設，治理管理有待加強60%以上的機構集中于數據標準化管理、元數據管理、數據共享交換、主數設，而在數據資產管理、數據質量、數據安全、數據生命周期、時序數據管理等數據治理能力數據資產、數據共享交換、元數據系統(tǒng)建設呈兩極化分布政府和金融注重數據安全管理和數據共享交換；互聯網注重數據資產管理和元貴單位現有與數據治理相關的系統(tǒng)（分行業(yè)）政府醫(yī)療金融互聯網房地產業(yè)務驅動是數據治理的核心動力依托數據資源目錄進行數據治理依托數據管控系統(tǒng)進行數據治理%不同行業(yè)數據治理工作管理方式存在較大差異貴單位目前數據治理工作的管理方式（分行業(yè)）--政府--醫(yī)療--金融--互聯網--房地產理理理數據安全、數據質量是當前數據治理的建設重點數據清洗、數據質量管控等數據治理相關模塊的比率分別為65. 數據戰(zhàn)略與規(guī)劃信息項管理%%各行業(yè)對數據治理的規(guī)劃重點差異性較大政府側重于數據標準和信息資源編目；醫(yī)療行業(yè)側重于數據清洗；金融行業(yè)側貴單位已規(guī)劃了哪些數據治理模塊（分行業(yè)）政府醫(yī)療金融互聯網房地產數據治理考評機制嚴重缺位52.9%的機構沒有建立數據治理相關的評價體系和考核機制，2貴單位是否已建立數據治理的評價體系和考核機制（總體）金融行業(yè)評價體系和考核機制建設表現相對較好金融和互聯網數據治理的評價體系和考核機制的普及率最貴單位是否已建立數據治理的評價體系和考核機制(分行業(yè))已建立相關考評機制未建立相數據質量管理工作最大困境：有制度無執(zhí)行數據顯示，74.5%的機構制定數據質量管理制度或辦法，但同時在專崗，但同時存在缺乏完整的管理、告警機制的在日常統(tǒng)計分析中發(fā)現并提出數據質量問題，但在部門在日常統(tǒng)計分析中發(fā)現并提出數據質量問題，但在部門定期進行數據質量評估工作，形成數據質量評估定期對數據進行質量檢查，發(fā)現并及時解決質量統(tǒng)一收集和管理，有完善的管理流程、檢查、告警%互聯網行業(yè)數據治理管理工作制度最健全、執(zhí)行最到位政府、醫(yī)療普遍存在有制度但無落地的情況，政府在“存在集中管理，但缺乏完整制”的比率分別達到90%、33.5%；醫(yī)療“在日常統(tǒng)計分析中發(fā)現并提貴單位如何開展數據質量管理工作（分行業(yè)）--政府--醫(yī)療--金融--互聯網--房地產A:實時監(jiān)控和跟蹤數據質量，形成數J:設立專門的數據質量管理組織和人影響數據質量的因素復雜化多元化數據準確性、數據完整性、數據一致性、數據時效性都是影響數據質量的突 影響數據質量的原因具有共性，同時也有行業(yè)差異性就政府行業(yè)而言，數據目錄的顆粒度是一個重要因素；就金融行業(yè)是影響數據質量的重要因素；就房地產行業(yè)而言，數據隱私性和數據完影響數據質量的因素有哪些（分行業(yè)）--政府--醫(yī)療--金融--互聯網--房地產數據分析主要應用場景集中在決策支持和日常展示數據分析應用場景與行業(yè)屬性緊密相關貴單位數據分析應用的范圍有哪些（分行業(yè)）--政府--醫(yī)療--金融--互聯網--房地產各行業(yè)均采用多種手段保護數據成果76.5%的機構數據成果安全保護措施為日志管理和審計；56.9%建立數據安全域；52.9%的機構數據成果安全保護措施為數據脫敏；5外部各方數據訪問審核各行業(yè)數據成果安全保護措施側重點有所差異金融行業(yè)數據成果安全保護措施集中在數據脫敏和數據加密傳輸；互聯網貴單位數據成果的安全保護措施有哪些（分行業(yè)）--政府--醫(yī)療--金融--互聯網--房地產數據開放應用管控方式以可用可見為主數據開放應用管控的方式，可用可見不可存儲、可用可見可存不可他用和分別是31.4%、22.5%、16.7%；可用不可見的比率是26數據應用管控政府以面向公共服務為主，其他行業(yè)以自用為主您認為數據開放應用管控方式是（分行業(yè)） 其他可用可見可存可他用可用可見可存不可他用可用不可見--政府--醫(yī)療--金融--互聯網--房地產人才問題是數據治理面臨的主要問題%%數據治理不同階段面臨的問題有顯著區(qū)別其中，互聯網數據治理工作開展比較久，面臨的問題主要是缺乏專業(yè)的數據治理人才、多套口徑標準混亂、缺乏數據治理工具；房地產行業(yè)剛開展數據治理工作，面臨的問題主要是數據標準缺失和貴單位在數據治理工作中最常遇到的問題有（分行業(yè)）政府醫(yī)療金融互聯網房地產數據分析、處理能力不足導致數據應用難數據應用工作最常遇到的問題中，84.3%是數據分析人才缺乏的問題；78.4%是問題；70.6%是數據處理能力不足的問題；62.7%是無法利用不同數據庫進貴單位在數據應用工作中常遇到的問題有（總體）各行業(yè)業(yè)務不同，數據應用遇到的問題也不同94.4%的互聯網企業(yè)最常遇到的問題是數據分析人才缺乏；房地產最常遇到療最常遇到的問題是無法利用不同數據庫數據進行聯合分析；金融最常遇到的問題是貴單位在數據應用工作中常遇到的問題有（分行業(yè)）A:其他--政府--醫(yī)療--金融--互聯網--房地產企業(yè)大數據團隊構成的主要方式是外包+自建貴單位目前數據團隊人員情況（總體）互聯網更傾向于自建，其他行業(yè)更傾向于購買服務72.2%的互聯網企業(yè)大數據團隊為自建團隊，政府機構和醫(yī)療單位以及貴單位目前數據團隊人員情況（分行業(yè)）政府醫(yī)療金融互聯網房地產未來急需數據分析工程師和數據安全工程師70%以上的企業(yè)缺乏數據分析工程師、數據安全工程師；同時，師、業(yè)務方向的數據分析工程師、數據平臺運維工程師的比率分別為58.8%數據分析師不足在各行業(yè)都比較突出房地產、互聯網、醫(yī)療、政府行業(yè)未來最急需的數據治理人才是數據分析工貴單位現在及未來最急需的數據治理人才有哪些（分行業(yè)）政府醫(yī)療金融互聯網房地產大數據高端人才的缺乏是各行業(yè)普遍面臨的困境77.5%的機構在大數據人才方面存在的主要問題是缺乏數據治理高端預算不足、人才數量不夠；44.1%的主要原因是基礎人才不夠；41.2%金融、房地