-數(shù)據(jù)中臺(tái)及數(shù)據(jù)治理服務(wù)解決方案及案例

錄一、數(shù)據(jù)治理服務(wù)主數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)服務(wù)化數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)業(yè)務(wù)調(diào)研業(yè)務(wù)活動(dòng)全景圖盤業(yè)務(wù)活動(dòng)特性全域數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)梳理屬性邏輯實(shí)體數(shù)據(jù)模型用業(yè)務(wù)對(duì)象識(shí)別業(yè)務(wù)場景系統(tǒng)&數(shù)據(jù)系統(tǒng)調(diào)研數(shù)據(jù)標(biāo)準(zhǔn)邏輯設(shè)計(jì)主數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)服務(wù)化數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)業(yè)務(wù)調(diào)研業(yè)務(wù)活動(dòng)全景圖盤業(yè)務(wù)活動(dòng)特性全域數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)梳理屬性邏輯實(shí)體數(shù)據(jù)模型用業(yè)務(wù)對(duì)象識(shí)別業(yè)務(wù)場景系統(tǒng)&數(shù)據(jù)系統(tǒng)調(diào)研數(shù)據(jù)標(biāo)準(zhǔn)邏輯設(shè)計(jì) 優(yōu)化提升夯實(shí)基礎(chǔ)優(yōu)化提升夯實(shí)基礎(chǔ)治理訴求價(jià)值體現(xiàn).提升數(shù)據(jù)準(zhǔn)備度，為業(yè)務(wù)運(yùn)作提供可信的足量治理訴求價(jià)值體現(xiàn).一致的數(shù)據(jù)標(biāo)準(zhǔn)..一致的數(shù)據(jù)標(biāo)準(zhǔn).可信數(shù)據(jù)源.實(shí)現(xiàn)業(yè)務(wù)上下游數(shù)據(jù)的快速傳遞共享，提升業(yè)務(wù)運(yùn)作效率.高效的數(shù)據(jù)共享.數(shù)據(jù)質(zhì)量的持續(xù)提升減少糾錯(cuò)成本，降低運(yùn)營風(fēng)險(xiǎn)，提升業(yè)務(wù)服務(wù)滿意度數(shù)據(jù)治理框架數(shù)據(jù)集成與共享數(shù)據(jù)地?cái)?shù)據(jù)集成與共享數(shù)據(jù)地?cái)?shù)據(jù)治理組織/流程數(shù)據(jù)質(zhì)量檢查(管理看板)(元數(shù)據(jù)-數(shù)據(jù)標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)核標(biāo)(管理看板)數(shù)據(jù)安全(數(shù)據(jù)分類分級(jí))數(shù)據(jù)資產(chǎn)目錄&數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量檢查(管理看板)(元數(shù)據(jù)-數(shù)據(jù)標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)核標(biāo)(管理看板)數(shù)據(jù)安全(數(shù)據(jù)分類分級(jí))數(shù)據(jù)資產(chǎn)目錄&數(shù)據(jù)服務(wù)(數(shù)據(jù)運(yùn)營)(自上而下)(自下而上)標(biāo)準(zhǔn)層加工層數(shù)據(jù)資產(chǎn)層標(biāo)準(zhǔn)層加工層數(shù)據(jù)資產(chǎn)層這一步是數(shù)據(jù)中臺(tái)核心工作內(nèi)容，其中業(yè)務(wù)模型、數(shù)據(jù)模型也是數(shù)據(jù)中臺(tái)建設(shè)的關(guān)鍵所在。 業(yè)務(wù)流程業(yè)務(wù)架構(gòu)數(shù)據(jù)責(zé)任數(shù)據(jù)安全入湖標(biāo)準(zhǔn)架構(gòu)層業(yè)務(wù)模型業(yè)務(wù)模型數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)-數(shù)據(jù)模型數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)(數(shù)據(jù)湖)自動(dòng)發(fā)布邏輯實(shí)體、屬性資產(chǎn)目錄維護(hù)數(shù)據(jù)權(quán)屬認(rèn)責(zé)信息分級(jí)分類邏輯數(shù)據(jù)湖──湖側(cè)元數(shù)據(jù)自助入湖模型發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)實(shí)時(shí)入湖模型治理運(yùn)營模型驗(yàn)證模型設(shè)計(jì)批量入湖元數(shù)據(jù)管理TP&AP一體化建模體系自動(dòng)發(fā)布邏輯實(shí)體、屬性資產(chǎn)目錄維護(hù)數(shù)據(jù)權(quán)屬認(rèn)責(zé)信息分級(jí)分類邏輯數(shù)據(jù)湖──湖側(cè)元數(shù)據(jù)自助入湖模型發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)實(shí)時(shí)入湖模型治理運(yùn)營模型驗(yàn)證模型設(shè)計(jì)批量入湖元數(shù)據(jù)管理模型上線交付核標(biāo)與數(shù)據(jù)質(zhì)量元數(shù)據(jù)融合數(shù)據(jù)湖數(shù)據(jù)湖數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)率數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)率定時(shí)/自動(dòng)采集定時(shí)/自動(dòng)采集模型審計(jì)模型審計(jì)技術(shù)元數(shù)據(jù)采集技術(shù)元數(shù)據(jù)采集 部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫2、數(shù)據(jù)同步3、數(shù)據(jù)建模4、連接&萃取5、應(yīng)用開發(fā)6、數(shù)據(jù)校驗(yàn)業(yè)務(wù)概念模型概要設(shè)計(jì)詳細(xì)設(shè)計(jì)上線交付編碼開發(fā)需求分析運(yùn)行維護(hù)系統(tǒng)測試業(yè)務(wù)概念模型概要設(shè)計(jì)詳細(xì)設(shè)計(jì)上線交付編碼開發(fā)需求分析運(yùn)行維護(hù)系統(tǒng)測試元數(shù)據(jù)元數(shù)據(jù)由數(shù)據(jù)資產(chǎn)系統(tǒng)建立數(shù)據(jù)模型管理，實(shí)現(xiàn)數(shù)據(jù)模型事前-事中--事后的管理通過統(tǒng)一模型工具以及在數(shù)據(jù)資產(chǎn)管理平臺(tái)簡歷數(shù)據(jù)模型管理功能，實(shí)現(xiàn)數(shù)據(jù)模型事前-事中-事后的管理。并且實(shí)現(xiàn)了數(shù)據(jù)資產(chǎn)管理的閉環(huán)。事前事后事中事后數(shù)據(jù)數(shù)據(jù)模型數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)的閉環(huán)，通過模型關(guān)聯(lián)元數(shù)據(jù)和標(biāo)準(zhǔn)，為數(shù)據(jù)標(biāo)準(zhǔn)落地打下基礎(chǔ)確定標(biāo)注主確定標(biāo)注主題邏輯模型參考通過模型工通過模型工具自動(dòng)落標(biāo)初期提供落標(biāo)指導(dǎo)人員模型庫提供模型庫提供模型落標(biāo)報(bào)告審核重點(diǎn)標(biāo)準(zhǔn)使用問題模型工具自模型工具自動(dòng)審核提供核準(zhǔn)通過證書模型工具自模型工具自動(dòng)監(jiān)測差異發(fā)送差異報(bào)告數(shù)據(jù)標(biāo)準(zhǔn)管理模型設(shè)計(jì)模型審核模型架構(gòu)師數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)審核發(fā)布NY引用數(shù)據(jù)標(biāo)準(zhǔn)使用建模工具進(jìn)行模型設(shè)計(jì)引用數(shù)據(jù)標(biāo)準(zhǔn)使用建模工具進(jìn)行模型設(shè)計(jì)修改模型并提交模型評(píng)審發(fā)布模型報(bào)告YNNY是否提供模型反饋意見N是否通過模型Y發(fā)布基線模型郵件通知相關(guān)負(fù)責(zé)人N是否與基線模Y是否與基線模t采集元數(shù)據(jù)數(shù)據(jù)庫上線42不同類型系統(tǒng)的落標(biāo)策略.在業(yè)務(wù)系統(tǒng)建設(shè)時(shí)，.在業(yè)務(wù)系統(tǒng)建設(shè)時(shí)，執(zhí)行適用的數(shù)據(jù)標(biāo)準(zhǔn).新建系統(tǒng)的代碼應(yīng)遵照數(shù)據(jù)標(biāo)準(zhǔn)項(xiàng)的代碼.不建議在沒有業(yè)務(wù)需求時(shí)，.配合已有的系統(tǒng)改造計(jì)劃，將數(shù)據(jù)標(biāo)準(zhǔn)要求作為需求執(zhí)行.可考慮在不同系統(tǒng)交互時(shí)，完成標(biāo)準(zhǔn)轉(zhuǎn)換.不強(qiáng)制執(zhí)行.可作為外購產(chǎn)品的評(píng)估指標(biāo).可考慮在不同系統(tǒng)交互時(shí)，完成標(biāo)準(zhǔn)轉(zhuǎn)換參考參考依據(jù)依據(jù)案)》數(shù)據(jù)分級(jí)規(guī)則數(shù)據(jù)分級(jí)規(guī)則內(nèi)部數(shù)據(jù)內(nèi)部數(shù)據(jù)重要數(shù)據(jù)核心數(shù)據(jù)涉密數(shù)據(jù)數(shù)據(jù)資產(chǎn)排查數(shù)據(jù)資產(chǎn)排查盤點(diǎn)數(shù)盤點(diǎn)數(shù)據(jù)資產(chǎn)基礎(chǔ)風(fēng)基礎(chǔ)風(fēng)險(xiǎn)排查梳理訪賬號(hào)檢賬號(hào)檢查梳理檢查已有的數(shù)據(jù)權(quán)限情況，尤其是高危操作的以及運(yùn)維人員的權(quán)限，以及在用的管控措施脫敏數(shù)據(jù)流數(shù)據(jù)資產(chǎn)和安全管理組織機(jī)構(gòu)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)治理數(shù)據(jù)庫脫敏數(shù)據(jù)流數(shù)據(jù)資產(chǎn)和安全管理組織機(jī)構(gòu)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)治理數(shù)據(jù)庫數(shù)據(jù)自動(dòng)授權(quán)體系建自動(dòng)訪問體系和白名單相結(jié)合數(shù)據(jù)安全應(yīng)用數(shù)據(jù)安全訪問引擎數(shù)據(jù)安全框架數(shù)據(jù)安全框架資產(chǎn)盤點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)治理數(shù)據(jù)標(biāo)準(zhǔn)治理OLAPOLAP45數(shù)據(jù)分類分級(jí)驅(qū)動(dòng)的數(shù)據(jù)資產(chǎn)安全管控MYSQLMYSQLOracel數(shù)據(jù)安全網(wǎng)關(guān)數(shù)據(jù)資產(chǎn)分類登記姓名姓名地區(qū)張三1512****0325北京李四1432****0452上海王五1222****1325北京安全訪問JDBC統(tǒng)一數(shù)據(jù)查詢SQL姓名地區(qū)張三1512****0325北京李四1432****0452上海王五1222****1325北京錄一、數(shù)據(jù)治理服務(wù)4647基礎(chǔ)庫建設(shè)業(yè)務(wù)信息數(shù)據(jù)數(shù)據(jù)公安口公安口記基本信息人社口人社口社會(huì)五險(xiǎn)參保等信息質(zhì)監(jiān)口質(zhì)監(jiān)口婚姻關(guān)系雙方信息孕產(chǎn)婦及家屬信息稅務(wù)口稅務(wù)口>地名地址數(shù)據(jù)>三維數(shù)據(jù)基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)庫管理應(yīng)用基礎(chǔ)庫管理應(yīng)用人口庫應(yīng)用法人庫應(yīng)用空間地理應(yīng)用務(wù)、三維服務(wù)與坐標(biāo)轉(zhuǎn)換等功能服48人錄一、數(shù)據(jù)治理服務(wù)三、總結(jié)49數(shù)據(jù)中臺(tái)建設(shè)建議.總體規(guī)劃.按需搭建平臺(tái).基于平臺(tái)敏捷實(shí)施一、數(shù)據(jù)中臺(tái)是什么、臺(tái)建設(shè)2營數(shù)據(jù)應(yīng)用一網(wǎng)通辦一網(wǎng)協(xié)同業(yè)務(wù)活動(dòng)數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源業(yè)務(wù)創(chuàng)新營數(shù)據(jù)應(yīng)用一網(wǎng)通辦一網(wǎng)協(xié)同業(yè)務(wù)活動(dòng)數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源業(yè)務(wù)創(chuàng)新數(shù)據(jù)化的定義數(shù)據(jù)化的定義利用政務(wù)服務(wù)過程中各部門業(yè)務(wù)系統(tǒng)產(chǎn)生的和一切擁有或者可以獲取的數(shù)據(jù)，進(jìn)行整體建模和二次加工，從而產(chǎn)生新的數(shù)據(jù)，利用這些新的數(shù)據(jù)驅(qū)動(dòng)政府管理效率、提升政務(wù)服務(wù)能力以及增強(qiáng)數(shù)據(jù)活力。這個(gè)過程稱之為數(shù)據(jù)化。數(shù)據(jù)治數(shù)據(jù)治理數(shù)據(jù)運(yùn)數(shù)據(jù)運(yùn)數(shù)據(jù)應(yīng)用數(shù)據(jù)資產(chǎn)數(shù)據(jù)化數(shù)據(jù)資產(chǎn)咨詢規(guī)劃數(shù)據(jù)資源數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)治理過程數(shù)據(jù)化運(yùn)營組織3數(shù)據(jù)安全數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)組織數(shù)據(jù)資產(chǎn)數(shù)據(jù)治理數(shù)據(jù)治理(數(shù)據(jù)化架構(gòu)搭建)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)資源數(shù)據(jù)資源數(shù)據(jù)治理：解決整體架構(gòu)問題數(shù)據(jù)資源：數(shù)據(jù)化建設(shè)的根基數(shù)據(jù)資產(chǎn)：完整、健壯、數(shù)據(jù)中臺(tái)的核心建設(shè)內(nèi)容數(shù)據(jù)應(yīng)用：業(yè)務(wù)價(jià)值的轉(zhuǎn)化關(guān)鍵點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)組織：人的保障和標(biāo)準(zhǔn)體系數(shù)據(jù)質(zhì)量：保證加工過程中的質(zhì)量問題數(shù)據(jù)安全：保證數(shù)據(jù)正常使用不丟失和被竊取4信息化數(shù)據(jù)化背景信息化數(shù)數(shù)?財(cái)務(wù)報(bào)表?業(yè)務(wù)報(bào)表?管理駕駛艙?數(shù)據(jù)治理?數(shù)據(jù)中臺(tái)?數(shù)據(jù)智能據(jù)?數(shù)據(jù)應(yīng)用?數(shù)據(jù)中心據(jù)?數(shù)據(jù)應(yīng)用?數(shù)據(jù)中心......化數(shù)據(jù)反哺業(yè)務(wù)數(shù)據(jù)反哺業(yè)務(wù)?會(huì)計(jì)電算化?辦公自動(dòng)化?大量應(yīng)用使用與部署?系統(tǒng)的大量內(nèi)部集中?信息中心SOAESB應(yīng)用中臺(tái)分布式5數(shù)據(jù)中臺(tái)?數(shù)據(jù)中臺(tái)?匯聚數(shù)據(jù)，拒絕數(shù)據(jù)煙囪?提升開發(fā)效率，發(fā)成本?統(tǒng)一建模?大數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)中臺(tái)指導(dǎo)數(shù)據(jù)化整體規(guī)劃----全面指導(dǎo)數(shù)據(jù)化工作；數(shù)據(jù)中臺(tái)匯聚全域數(shù)據(jù)----構(gòu)建數(shù)據(jù)應(yīng)用的基礎(chǔ)，數(shù)據(jù)資產(chǎn)管理；----縮短應(yīng)用落地實(shí)踐的時(shí)間，提升成功率；數(shù)據(jù)中臺(tái)提供數(shù)據(jù)組織規(guī)劃----組織是數(shù)據(jù)化能夠全面展開的保障。6數(shù)據(jù)中臺(tái)的定數(shù)據(jù)中臺(tái):政務(wù)服務(wù)數(shù)據(jù)化是一個(gè)整體工作，通過數(shù)據(jù)中臺(tái)的構(gòu)建，讓其為各個(gè)部門的業(yè)務(wù)活動(dòng)，各個(gè)層級(jí)提供充分業(yè)務(wù)(AP)應(yīng)用(TP)數(shù)據(jù)中臺(tái)數(shù)據(jù)中臺(tái)(數(shù)據(jù)大腦)7數(shù)據(jù)開發(fā)一站式傳統(tǒng)數(shù)倉往往將ODS、數(shù)據(jù)開發(fā)一站式傳統(tǒng)數(shù)倉往往將ODS、EDW和ETL開發(fā)切割到不同廠商工具實(shí)現(xiàn)；數(shù)據(jù)中臺(tái)則主張一站式可視化數(shù)據(jù)開發(fā)，借助分布式技術(shù)簡化數(shù)據(jù)加工處理的過程數(shù)據(jù)應(yīng)用創(chuàng)新傳統(tǒng)數(shù)倉以某個(gè)業(yè)務(wù)主題的BI報(bào)表和決策支持為主，目的性單一，煙囪式建設(shè)；數(shù)據(jù)中臺(tái)則主張全域數(shù)據(jù)、打通數(shù)據(jù)孤島，釋放業(yè)務(wù)方數(shù)據(jù)應(yīng)用創(chuàng)新的能量建設(shè)模式傳統(tǒng)數(shù)倉往往采用自頂向下的建設(shè)模式，以明確的業(yè)務(wù)分析驅(qū)動(dòng)，延續(xù)性低；數(shù)據(jù)中臺(tái)采用自底向上的方式，結(jié)合業(yè)務(wù)需求變化不斷分布式數(shù)據(jù)平臺(tái)傳統(tǒng)數(shù)倉以關(guān)系型數(shù)據(jù)庫離線分析為主；數(shù)據(jù)中臺(tái)以分布式引擎架構(gòu)，同時(shí)支持離線計(jì)算/實(shí)時(shí)計(jì)算/即時(shí)計(jì)算/智能計(jì)算數(shù)據(jù)資產(chǎn)在線化傳統(tǒng)數(shù)倉的數(shù)據(jù)管理和治理，往往花費(fèi)大量精力，最終形成的是離線的規(guī)范和文檔；數(shù)據(jù)中臺(tái)則強(qiáng)調(diào)元數(shù)據(jù)管理統(tǒng)一入口的自動(dòng)化和數(shù)據(jù)資產(chǎn)管理的在線化數(shù)據(jù)資產(chǎn)在線化傳統(tǒng)數(shù)倉的數(shù)據(jù)管理和治理，往往花費(fèi)大量精力，最終形成的是離線的規(guī)范和文檔；數(shù)據(jù)中臺(tái)則強(qiáng)調(diào)元數(shù)據(jù)管理統(tǒng)一入口的自動(dòng)化和數(shù)據(jù)資產(chǎn)管理的在線化數(shù)據(jù)源豐富據(jù)、爬蟲數(shù)據(jù)、社會(huì)數(shù)據(jù)等8數(shù)據(jù)智能化數(shù)據(jù)智能化數(shù)據(jù)中臺(tái)的價(jià)數(shù)據(jù)數(shù)據(jù)服務(wù)化數(shù)據(jù)中臺(tái)是培育業(yè)務(wù)的創(chuàng)新的方法基礎(chǔ)，是利用數(shù)據(jù)促進(jìn)業(yè)務(wù)創(chuàng)新的保障。通過大量智能算法訓(xùn)先洞察未來。數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化統(tǒng)一建模、統(tǒng)一視圖、統(tǒng)一管理。避免重復(fù)抽取和維護(hù)帶來的成數(shù)據(jù)數(shù)據(jù)資產(chǎn)化數(shù)據(jù)模型不斷地進(jìn)化，通過對(duì)數(shù)據(jù)不斷地完一字段逐漸成長為最為寶貴的數(shù)據(jù)資產(chǎn)。9數(shù)據(jù)服務(wù)在部門之間的調(diào)用，都伴隨著數(shù)據(jù)流動(dòng)數(shù)據(jù)服務(wù)在部門之間的調(diào)用，都伴隨著數(shù)據(jù)流動(dòng)。重組織誰負(fù)責(zé)提煉數(shù)據(jù)(業(yè)務(wù)架構(gòu)負(fù)責(zé)人)、誰負(fù)責(zé)持續(xù)運(yùn)營管理賦能讓部門的前后臺(tái)用戶深入理解價(jià)值，推廣和持續(xù)性的優(yōu)化賦能可以支撐業(yè)務(wù)，也可以輔助決策能力能力核心是部門數(shù)據(jù)提煉共享這種數(shù)據(jù)在部門間有共享的需求服務(wù)服務(wù)以服務(wù)的方式對(duì)外提供數(shù)據(jù)展示一、數(shù)據(jù)中臺(tái)是什么可對(duì)外提供數(shù)滿足企業(yè)各類型數(shù)據(jù)的采集存儲(chǔ)淀數(shù)據(jù)資產(chǎn)可對(duì)外提供數(shù)滿足企業(yè)各類型數(shù)據(jù)的采集存儲(chǔ)淀數(shù)據(jù)資產(chǎn)數(shù)據(jù)處理計(jì)算、數(shù)據(jù)分析挖掘等數(shù)據(jù)采集存儲(chǔ)數(shù)據(jù)治理數(shù)據(jù)服務(wù)數(shù)據(jù)組織規(guī)劃與建議3.1技術(shù)框架設(shè)計(jì)3.2數(shù)據(jù)模型設(shè)計(jì)運(yùn)營能力迭代數(shù)據(jù)組織規(guī)劃與建議3.1技術(shù)框架設(shè)計(jì)3.2數(shù)據(jù)模型設(shè)計(jì)運(yùn)營能力迭代組織架構(gòu)設(shè)計(jì)2.4組織架構(gòu)設(shè)計(jì)2.44.3算法類數(shù)據(jù)應(yīng)用4.2領(lǐng)導(dǎo)駕駛艙4.1報(bào)表分析類應(yīng)用2.2應(yīng)用場景梳理2.1業(yè)務(wù)模型設(shè)計(jì)2.1規(guī)劃運(yùn)營組織盤點(diǎn)數(shù)據(jù)資產(chǎn)建設(shè)數(shù)據(jù)資產(chǎn)規(guī)劃運(yùn)營組織盤點(diǎn)數(shù)據(jù)資產(chǎn)開發(fā)數(shù)據(jù)應(yīng)用梳理體系架構(gòu)開發(fā)數(shù)據(jù)應(yīng)用1.1現(xiàn)有數(shù)據(jù)資源盤點(diǎn)1.2未來數(shù)據(jù)資源規(guī)劃1.3數(shù)據(jù)資源質(zhì)量檢測梳理間接成果物作：郎豐利數(shù)據(jù)血緣關(guān)系梳理間接成果物作：郎豐利數(shù)據(jù)血緣關(guān)系數(shù)據(jù)梳理權(quán)責(zé)清單(組織架構(gòu))按編辦“三定方案”對(duì)省直部門進(jìn)行職責(zé)梳理、職責(zé)對(duì)應(yīng)業(yè)務(wù)活動(dòng)的的梳理、業(yè)務(wù)活動(dòng)對(duì)應(yīng)業(yè)務(wù)系統(tǒng)的梳理、業(yè)務(wù)活動(dòng)對(duì)應(yīng)所需材料的梳理、已經(jīng)業(yè)務(wù)活動(dòng)對(duì)應(yīng)產(chǎn)生材料的梳理。梳理直接成果物1、數(shù)據(jù)責(zé)任目錄2、數(shù)據(jù)需求目錄3、數(shù)據(jù)負(fù)面目錄1、數(shù)據(jù)責(zé)任目錄2、數(shù)據(jù)需求目錄3、數(shù)據(jù)負(fù)面目錄根據(jù)數(shù)據(jù)應(yīng)用評(píng)估體系進(jìn)行整體評(píng)估確定實(shí)施優(yōu)先級(jí)及行動(dòng)路線按數(shù)據(jù)類型2、半結(jié)構(gòu)數(shù)據(jù)3、非機(jī)構(gòu)數(shù)據(jù)11、有哪些部門哪些處室權(quán)責(zé)下的業(yè)務(wù)活動(dòng)有系統(tǒng)支撐，系統(tǒng)功能是否完全滿足部門開展相應(yīng)的業(yè)務(wù)活動(dòng)的需求、系統(tǒng)產(chǎn)生的數(shù)據(jù)是2、沒有系統(tǒng)的部門處室，業(yè)務(wù)活動(dòng)產(chǎn)生的數(shù)據(jù)如何采集、如何共享？3、是否存在僵死系統(tǒng)、未上云系統(tǒng)；4、系統(tǒng)的安全性、數(shù)據(jù)的安全性；等等方面梳理工作第一步、數(shù)據(jù)點(diǎn) 了解相應(yīng)的技術(shù)，構(gòu)建業(yè)務(wù)模型；2、基于最佳實(shí)踐知識(shí)庫；了解相應(yīng)的技術(shù)，構(gòu)建業(yè)務(wù)模型；2、基于最佳實(shí)踐知識(shí)庫；3、基于深厚的數(shù)據(jù)應(yīng)用能力及經(jīng)驗(yàn)。1、結(jié)合數(shù)據(jù)資源盤點(diǎn)情況，確認(rèn)指標(biāo)支撐情況；2、通過指標(biāo)關(guān)聯(lián)數(shù)據(jù)應(yīng)用場景；3、根據(jù)數(shù)據(jù)應(yīng)用評(píng)估體系進(jìn)行整體評(píng)估；4、確定實(shí)施優(yōu)先級(jí)及行動(dòng)路線整理制作：郎豐利1519制作時(shí)間：2023年 整理制作：郎豐利1519制作時(shí)間：2023年11、梳理業(yè)務(wù)流程2、梳理業(yè)務(wù)架構(gòu)3、梳理數(shù)據(jù)責(zé)任4、數(shù)據(jù)安全5、入湖(數(shù)據(jù)資產(chǎn))標(biāo)準(zhǔn)業(yè)務(wù)模型數(shù)據(jù)模型變更自動(dòng)感知流程審批狀態(tài)管理版本管理變更自動(dòng)感知流程審批狀態(tài)管理版本管理這也是跟數(shù)倉不同的核心所在在這里，構(gòu)建數(shù)據(jù)模型，也是體現(xiàn)數(shù)據(jù)中臺(tái)強(qiáng)調(diào)元數(shù)據(jù)管理統(tǒng)入口的自動(dòng)化和數(shù)據(jù)資產(chǎn)管理的在線化。數(shù)據(jù)記錄元數(shù)據(jù)統(tǒng)一檢索元數(shù)據(jù)分布地圖元數(shù)據(jù)血緣追溯業(yè)務(wù)解釋元數(shù)據(jù)統(tǒng)一檢索元數(shù)據(jù)分布地圖元數(shù)據(jù)血緣追溯業(yè)務(wù)解釋數(shù)據(jù)定義定義新增新增導(dǎo)入抽取接口采集元數(shù)據(jù)內(nèi)容元數(shù)據(jù)管理功能三個(gè)主要工作內(nèi)容三個(gè)主要工作內(nèi)容技術(shù)驅(qū)動(dòng)數(shù)據(jù)連接技術(shù)內(nèi)核工具化技術(shù)驅(qū)動(dòng)數(shù)據(jù)連接技術(shù)內(nèi)核工具化業(yè)務(wù)驅(qū)動(dòng)技術(shù)價(jià)值化OneData數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)內(nèi)核工具化元數(shù)據(jù)驅(qū)動(dòng)智能化OneService主題式數(shù)據(jù)服務(wù)統(tǒng)一但多樣化數(shù)據(jù)服務(wù)跨源數(shù)據(jù)服務(wù)設(shè)計(jì)方法論全流程一體化全流程一體化從數(shù)據(jù)采集到數(shù)據(jù)服務(wù)全鏈路通向上多樣化賦能場景通用場景+主題場景+專題場景雙向聯(lián)動(dòng)業(yè)務(wù)場景&技術(shù)協(xié)同互助向下屏蔽多計(jì)算引擎公共云+專有云+私有云概念模型設(shè)計(jì)物理模型設(shè)計(jì)概念模型設(shè)計(jì)物理模型設(shè)計(jì)整理制作：郎豐利1519制作時(shí)間：2023年睿利而行三整理制作：郎豐利1519整理制作：郎豐利1519制作時(shí)間：2023年睿利而行三數(shù)據(jù)庫模型設(shè)計(jì)確定主題確定主題域的邊界粒度層次劃分 結(jié)構(gòu)模型確認(rèn)確定存儲(chǔ)結(jié)構(gòu)(存儲(chǔ)時(shí)間、存儲(chǔ)空間利用率和維護(hù)代價(jià))確定索引結(jié)構(gòu)(專用的、復(fù)雜的、文檔的)確定存放位置(歸并、冗余、建立數(shù)據(jù)序列)優(yōu)化存儲(chǔ)分配(塊大小、緩沖區(qū)大小、個(gè)數(shù)等)20第三步、基于OneData數(shù)據(jù)模型分層設(shè)計(jì)>個(gè)性化指標(biāo)加工：復(fù)雜性(指數(shù)型、比值型、排名型指標(biāo))>基于應(yīng)用的數(shù)據(jù)組裝：大寬表集市、橫表轉(zhuǎn)縱表、趨勢(shì)指標(biāo)串分別是明細(xì)寬表層和公共匯總數(shù)據(jù)層>DWD：以維度模型方法基礎(chǔ)，采用維度退化手法，減少事實(shí)表和維度表的關(guān)聯(lián)>DWS：加強(qiáng)指標(biāo)的維度退化，采取更多寬表化構(gòu)建公共指標(biāo)層，提升公共指標(biāo)的復(fù)用性>同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步>結(jié)構(gòu)化：非結(jié)構(gòu)化(日志)結(jié)構(gòu)化處理>累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計(jì)要求保存歷史數(shù)據(jù)、數(shù)據(jù)清洗21公共處理邏輯下沉及單一越是底層公用的處理邏輯更應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公共的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，不要讓公共邏輯在多處同時(shí)存在。開發(fā)規(guī)范成本與性能平衡公共處理邏輯下沉及單一越是底層公用的處理邏輯更應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公共的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，不要讓公共邏輯在多處同時(shí)存在。開發(fā)規(guī)范成本與性能平衡適當(dāng)?shù)臄?shù)據(jù)冗余換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制。開發(fā)過程規(guī)則表命名需清晰、一致，表名需易于消費(fèi)者理解和使用，相同的字段含義在不同表中字段命名必須相同，必須使用規(guī)范定義中的名稱。22高內(nèi)聚和低耦合高內(nèi)聚和低耦合主要從數(shù)據(jù)業(yè)務(wù)特性和訪問特性兩個(gè)角度來考慮：將業(yè)務(wù)相近或者相關(guān)的數(shù)據(jù)、粒度相同數(shù)據(jù)設(shè)計(jì)為一個(gè)邏輯或者物理模型；將高概率同時(shí)訪問的數(shù)據(jù)放一起，將低概率同時(shí)訪問的數(shù)據(jù)分開存儲(chǔ)。數(shù)據(jù)可回滾數(shù)據(jù)可回滾處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變核心模型與擴(kuò)展模型分離核心模型與擴(kuò)展模型分離建立核心模型與擴(kuò)展模型體系，核心模型包括的字段支持常用核心的業(yè)務(wù)，擴(kuò)展模型包括的字段支持個(gè)性化或是少量應(yīng)用的需要，不能讓擴(kuò)展字段過度侵入核心模型，破壞了核心模型的架構(gòu)簡潔性與可維護(hù)性。數(shù)據(jù)模型性能調(diào)整和優(yōu)化開發(fā)數(shù)據(jù)備份與恢復(fù)程序開發(fā)日常增量加載的程序和處理流程開發(fā)歷史數(shù)據(jù)加載的程序和處理流程歷史數(shù)據(jù)加載數(shù)據(jù)模型性能調(diào)整和優(yōu)化開發(fā)數(shù)據(jù)備份與恢復(fù)程序開發(fā)日常增量加載的程序和處理流程開發(fā)歷史數(shù)據(jù)加載的程序和處理流程歷史數(shù)據(jù)加載增量數(shù)據(jù)加載數(shù)據(jù)定時(shí)/實(shí)時(shí)同步，建立DW/OLAP分析模型針對(duì)開發(fā)后的ETL腳本進(jìn)行自測和交叉測試數(shù)據(jù)模型性能優(yōu)化數(shù)據(jù)模型測試數(shù)據(jù)備份和恢復(fù)數(shù)倉開發(fā)23從業(yè)務(wù)管理目標(biāo)從業(yè)務(wù)管理目標(biāo)入手，探索數(shù)據(jù)應(yīng)用場景引入行業(yè)分析框架，規(guī)劃設(shè)計(jì)應(yīng)用藍(lán)圖需要建立一個(gè)相對(duì)規(guī)范的迭代機(jī)制深入業(yè)務(wù)應(yīng)用場用體驗(yàn)數(shù)據(jù)校驗(yàn)是數(shù)據(jù)應(yīng)用的重要環(huán)節(jié)基于主流BI工具或技術(shù)棧研發(fā)上線與試運(yùn)行運(yùn)維等階段；如果應(yīng)用建設(shè)中包含算法類應(yīng)用，還需預(yù)留模型效果驗(yàn)證與調(diào)整的節(jié)點(diǎn)；●從項(xiàng)目整體建設(shè)角度看，數(shù)據(jù)應(yīng)用的調(diào)研和整體規(guī)劃要先于數(shù)據(jù)中臺(tái)數(shù)據(jù)模型設(shè)計(jì)，應(yīng)用開發(fā)可以與數(shù)據(jù)中臺(tái)的數(shù)據(jù)開發(fā)工作串并行；●從應(yīng)用的迭代優(yōu)化角度看，還需要建立一套規(guī)范的數(shù)據(jù)應(yīng)用迭代、優(yōu)化機(jī)制，來保證應(yīng)用上線后的穩(wěn)定。典型數(shù)據(jù)應(yīng)用的建設(shè)目的典型數(shù)據(jù)應(yīng)用的建設(shè)目的2526聯(lián)關(guān)過員通人聯(lián)關(guān)過急通應(yīng)ods_人社數(shù)據(jù)區(qū)社會(huì)綜合數(shù)據(jù)表一聯(lián)關(guān)過員通人聯(lián)關(guān)過急通應(yīng)ods_人社數(shù)據(jù)區(qū)社會(huì)綜合數(shù)據(jù)表一ods_公安數(shù)據(jù)區(qū)dwd_temp_人員氣象信息/100常監(jiān)測城市運(yùn)行-常監(jiān)測城市運(yùn)行-dws_信息dws_信息水文信息數(shù)據(jù)表水文信息數(shù)據(jù)表ods_水利數(shù)據(jù)區(qū)事件分布/突發(fā)公共事件告警事件分布/突發(fā)公共事件告警建筑信息數(shù)據(jù)表ods_國土數(shù)據(jù)區(qū)→dwd_temp_地點(diǎn)建筑物信息/3,500旅游信息數(shù)據(jù)表ods_旅游數(shù)據(jù)區(qū)dwd_temp_旅游點(diǎn)旅游點(diǎn)信息10027旅游點(diǎn)信息100數(shù)據(jù)技術(shù)發(fā)展的要求數(shù)據(jù)業(yè)務(wù)化的要求業(yè)務(wù)數(shù)據(jù)化的要求數(shù)據(jù)技術(shù)發(fā)展的要求數(shù)據(jù)業(yè)務(wù)化的要求業(yè)務(wù)數(shù)據(jù)化的