2024年大模型賦能數(shù)據(jù)治理方案

目錄數(shù)據(jù)治理體系0102大模型賦能數(shù)據(jù)治理03結(jié)語01數(shù)據(jù)治理體系核心理念力維數(shù)據(jù)治理體系的核心理念：過程與成果并重，以成果引導(dǎo)過程過程“行”必有據(jù)“行”必有果最終成果成果“行”必有“管”體系建設(shè)流程通過將業(yè)務(wù)、制度、技術(shù)深度融合建設(shè)數(shù)據(jù)治理流程，保障技術(shù)體系的高效、穩(wěn)定運行，主要包含數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)共享等流程技術(shù)通過技術(shù)體系建設(shè)保障業(yè)務(wù)目標(biāo)能夠?qū)崿F(xiàn)、制度體系能夠落實，最終實現(xiàn)戰(zhàn)略目標(biāo)，技術(shù)體系建設(shè)主要包含數(shù)據(jù)匯聚、數(shù)據(jù)存儲、分類分級、數(shù)據(jù)開發(fā)等技術(shù)內(nèi)容以推進(jìn)數(shù)據(jù)質(zhì)量提升、保障數(shù)據(jù)安全為基本目標(biāo)進(jìn)行“建章立制”，基本內(nèi)容包含數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)共享使用等制度制度戰(zhàn)略根據(jù)組織實際情況，建設(shè)長期戰(zhàn)略、短中期目標(biāo)業(yè)務(wù)將數(shù)據(jù)戰(zhàn)略與組織業(yè)務(wù)進(jìn)行深度融合，制定組織各項業(yè)務(wù)目標(biāo)，并逐步實現(xiàn)0105040203數(shù)據(jù)治理體系過程建設(shè)標(biāo)準(zhǔn)設(shè)計數(shù)據(jù)匯聚數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量數(shù)據(jù)架構(gòu)數(shù)據(jù)分析元數(shù)據(jù)管理以“最終成果”為總目標(biāo)、階段成果為分級目標(biāo)將數(shù)據(jù)治理工作“化整為零”過程管理的核心01對內(nèi)，推動數(shù)據(jù)治理工作高質(zhì)量持續(xù)開展02對外：推動各參與方持續(xù)配合數(shù)據(jù)治理工作過程管理—任務(wù)池管理0102030405數(shù)據(jù)架構(gòu)數(shù)據(jù)匯聚數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理元數(shù)據(jù)管理1009080706……數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)數(shù)據(jù)服務(wù)數(shù)據(jù)融合建模分析數(shù)據(jù)治理任務(wù)池以“數(shù)據(jù)戰(zhàn)略”為導(dǎo)向，構(gòu)建階段性目標(biāo)并以此為基礎(chǔ)，建設(shè)數(shù)據(jù)治理任務(wù)池用以指導(dǎo)整個周期的數(shù)據(jù)治理工作過程管理—數(shù)據(jù)質(zhì)量報告設(shè)計數(shù)據(jù)質(zhì)量明細(xì)報告質(zhì)檢報告是是數(shù)據(jù)質(zhì)量管理工作的重要產(chǎn)物，是推動數(shù)據(jù)數(shù)據(jù)治理工作的重要推手?jǐn)?shù)據(jù)質(zhì)量明細(xì)報告面向業(yè)務(wù)專項的數(shù)據(jù)質(zhì)量報告，主要描述了數(shù)據(jù)可用的部分?jǐn)?shù)據(jù)質(zhì)量駕駛艙面向領(lǐng)導(dǎo)層的數(shù)據(jù)質(zhì)量報告，重要描述項目所涉及數(shù)據(jù)的質(zhì)量分布和走勢問題數(shù)據(jù)報告面向數(shù)據(jù)來源部門的記錄級問題數(shù)據(jù)清單數(shù)據(jù)質(zhì)量駕駛艙問題數(shù)據(jù)明細(xì)02大模型賦能數(shù)據(jù)治理大模型與數(shù)據(jù)治理的關(guān)系數(shù)據(jù)治理通過數(shù)據(jù)治理工作的推進(jìn)，數(shù)據(jù)質(zhì)量不斷得到提升，不斷提升大模型所需數(shù)據(jù)的語料質(zhì)量大模型大模型的分析計算能力使數(shù)據(jù)質(zhì)量問題更加精確并豐富數(shù)據(jù)治理的技術(shù)、業(yè)務(wù)手段賦能體系建設(shè)01提示詞根據(jù)用戶性格、興趣點等因素構(gòu)建提示詞便于用戶快速訪問，快速交互，提升對數(shù)據(jù)治理過程的參與感、獲得感02數(shù)據(jù)治理知識庫建設(shè)基于數(shù)據(jù)治理階段性過程及成果（含每個實施階段的成果）、總體成果建設(shè)知識庫03業(yè)務(wù)知識庫建設(shè)基于調(diào)研記錄、官方材料、建設(shè)內(nèi)容、數(shù)據(jù)標(biāo)準(zhǔn)等材料，建設(shè)業(yè)務(wù)知識庫知識庫建設(shè)交互能力庫建設(shè)賦能途徑如何賦能？01提質(zhì)提升數(shù)據(jù)治理對業(yè)務(wù)的服務(wù)質(zhì)量，加強業(yè)務(wù)在數(shù)據(jù)治理過程中的參與感02降本降低數(shù)據(jù)治理實施成本，主要包含時間成本、業(yè)務(wù)損失成本等03增效豐富數(shù)據(jù)治理手段，提升數(shù)據(jù)治理效率賦能途徑大模型對數(shù)據(jù)治理工作的賦能主要體現(xiàn)在提質(zhì)、降本、增效三個方面提質(zhì)—術(shù)語體系建設(shè)主要包含業(yè)務(wù)領(lǐng)域、

業(yè)務(wù)流程、

業(yè)務(wù)規(guī)則、

業(yè)務(wù)需求、

業(yè)務(wù)價值、數(shù)據(jù)質(zhì)量要求主要包含技術(shù)實現(xiàn)路徑、

技術(shù)標(biāo)準(zhǔn)、技術(shù)規(guī)范等信息主要包含數(shù)據(jù)類型、

數(shù)據(jù)來源、

數(shù)據(jù)格式、

數(shù)據(jù)長度依托大模型的理解能力，建設(shè)符合業(yè)務(wù)場景的術(shù)語體系，使數(shù)據(jù)部門與業(yè)務(wù)部門“有的聊”提質(zhì)—應(yīng)用建設(shè)大模型輔助分析數(shù)據(jù)資源目錄數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)類型數(shù)據(jù)加工信息業(yè)務(wù)數(shù)據(jù)需求數(shù)據(jù)量要求數(shù)據(jù)質(zhì)量要求數(shù)據(jù)類型要求數(shù)據(jù)加工要求利用大模型將能基于業(yè)務(wù)側(cè)數(shù)據(jù)需求、數(shù)據(jù)服務(wù)體系對應(yīng)用場景的建設(shè)成果進(jìn)行初步分析和定性預(yù)估，使應(yīng)用場景建設(shè)更加合理提質(zhì)—數(shù)據(jù)質(zhì)量問題定位數(shù)據(jù)質(zhì)量稽核質(zhì)量報告產(chǎn)出質(zhì)量報告理解自助應(yīng)答數(shù)據(jù)質(zhì)量報告對于推動數(shù)據(jù)治理工作高效推進(jìn)有著至關(guān)重要的作用，因此如何能夠讓決策者理解數(shù)據(jù)質(zhì)量問題稱為關(guān)鍵，建設(shè)全面的數(shù)據(jù)質(zhì)量報告，再借助大模型的理解能力能夠快速給決策定位當(dāng)前的數(shù)據(jù)質(zhì)量問題降本增效—數(shù)據(jù)質(zhì)量規(guī)則設(shè)計數(shù)據(jù)質(zhì)量稽核規(guī)則字段值結(jié)構(gòu)格式校驗字段值業(yè)務(wù)合理性校驗數(shù)據(jù)更新周期性校驗數(shù)據(jù)完整性校驗跨表/字段一致性校驗字段值準(zhǔn)確校驗主鍵是否重復(fù)校驗空值校驗更新及時性校驗數(shù)據(jù)遷移一致性字典值域校驗準(zhǔn)確性唯一性一致性完標(biāo)整性題及時性合理性規(guī)范性主鍵重復(fù)行校驗數(shù)據(jù)重復(fù)行校驗邏輯一致性校驗表結(jié)構(gòu)校驗業(yè)務(wù)邏輯值域校驗身份證號校驗示例：數(shù)據(jù)質(zhì)量規(guī)則設(shè)計完整性檢測設(shè)施編碼SSBM字符型64中文名字段名數(shù)據(jù)類型長度值域及說明約束條件字段業(yè)務(wù)分級標(biāo)識碼BSM字符型32自動生成，唯一MA行政區(qū)劃代碼XZQHDM字符型16行政區(qū)劃代碼表MA點位名稱DWMC字符型64MB設(shè)施名稱SSMC字符型64OB監(jiān)測類型JCLX字符型641：管網(wǎng)

2：廠站

3：居民用戶

4：非居民用戶MA廠站：關(guān)聯(lián)廠站屬性結(jié)構(gòu)表的原始庫主鍵標(biāo)志管網(wǎng)：1、管線關(guān)聯(lián)管線屬性結(jié)構(gòu)表的原始庫主鍵標(biāo)志；2、管點關(guān)聯(lián)管點屬性結(jié)構(gòu)表的原始庫主鍵標(biāo)志居民用戶：傳默認(rèn)值：99非居民用戶：關(guān)聯(lián)燃?xì)庥脩魧傩越Y(jié)構(gòu)表表的原始庫主鍵標(biāo)志MA空間信息KJXXGEOMETRY-MA原始庫主鍵標(biāo)志YSKZJBZ字符型64MA數(shù)據(jù)同步狀態(tài)SJTBZT字符型16MA同步時間TBSJ時間日期型-MA一致性檢測合理性檢測關(guān)聯(lián)性檢測唯一性檢測及時性檢測完整性和一致性檢測降本增效—提升業(yè)務(wù)理解01業(yè)務(wù)材料收集根據(jù)業(yè)務(wù)需求收集業(yè)務(wù)相關(guān)的材料，例如：訪談記錄、國標(biāo)文件、系統(tǒng)建設(shè)材料等02業(yè)務(wù)知識庫建設(shè)將材料進(jìn)行治理、分類、篩選，建設(shè)業(yè)務(wù)知識庫03場景訓(xùn)練將業(yè)務(wù)知識庫作為語料進(jìn)行場景訓(xùn)練04團(tuán)隊賦能大模型作為業(yè)務(wù)專家為數(shù)據(jù)團(tuán)隊進(jìn)行業(yè)務(wù)賦能使數(shù)據(jù)與業(yè)務(wù)能聊到一起降本增效—標(biāo)準(zhǔn)體系建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)基于業(yè)務(wù)建設(shè)需求，快速生成與業(yè)務(wù)需求相匹配的初步數(shù)據(jù)標(biāo)準(zhǔn)，主要含數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)對接方案等業(yè)務(wù)理解與權(quán)威的相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行橫向?qū)Ρ龋ɡ纾簢鴺?biāo)、行標(biāo)等），找不足，提升標(biāo)準(zhǔn)的結(jié)構(gòu)性、合理性、準(zhǔn)確性權(quán)威內(nèi)容提煉對人員修改的意見進(jìn)行再次復(fù)核，對數(shù)據(jù)標(biāo)準(zhǔn)體系的標(biāo)準(zhǔn)型進(jìn)行的修正，例如：錯別字、語法錯誤等內(nèi)容修正降本增效—元數(shù)據(jù)管理元數(shù)據(jù)變更評估對于各種元數(shù)據(jù)變更的生成快速