2024年【數(shù)據(jù)中臺(tái)】企業(yè)一站式數(shù)據(jù)開發(fā)與治理平臺(tái)（數(shù)據(jù)中臺(tái)）解決方案

2024-01-07企業(yè)一站式數(shù)據(jù)開發(fā)與治理平臺(tái)解決方案01背景與挑戰(zhàn)數(shù)據(jù)治理存在的背景以及挑戰(zhàn)企業(yè)普遍存在數(shù)據(jù)現(xiàn)狀問題隨著數(shù)據(jù)時(shí)代的到來，以Google、Facebook、Amazon為代表的企業(yè)已經(jīng)完成了從IT巨頭到DT巨頭的轉(zhuǎn)變。這些公司借助其在大數(shù)據(jù)、云計(jì)算、人工智能的技術(shù)發(fā)展優(yōu)勢，快速實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化和企業(yè)經(jīng)營數(shù)據(jù)化，加速商業(yè)價(jià)值的轉(zhuǎn)化，在引領(lǐng)技術(shù)風(fēng)向的同時(shí)獲取了巨大的商業(yè)成功。數(shù)據(jù)統(tǒng)一化數(shù)據(jù)集中處理統(tǒng)一的元數(shù)據(jù)統(tǒng)一的計(jì)算平臺(tái)數(shù)據(jù)資產(chǎn)化數(shù)據(jù)整合數(shù)據(jù)質(zhì)量管理資產(chǎn)化與計(jì)量數(shù)據(jù)業(yè)務(wù)化數(shù)據(jù)化運(yùn)營智能應(yīng)用在線數(shù)據(jù)數(shù)據(jù)生態(tài)化數(shù)據(jù)域業(yè)務(wù)閉環(huán)運(yùn)營數(shù)據(jù)服務(wù)和應(yīng)用共享數(shù)據(jù)服務(wù)體系的數(shù)據(jù)驅(qū)動(dòng)模式依托大數(shù)據(jù)技術(shù)，以數(shù)據(jù)服務(wù)、數(shù)據(jù)產(chǎn)品的體系化建設(shè)為樞紐，推進(jìn)多元化數(shù)據(jù)應(yīng)用建設(shè)，健全數(shù)據(jù)治理體系，加速數(shù)據(jù)資產(chǎn)化管理，激發(fā)數(shù)據(jù)動(dòng)能。產(chǎn)品化管理資產(chǎn)化運(yùn)營組件構(gòu)建數(shù)據(jù)治理全棧平臺(tái)級數(shù)據(jù)技術(shù)能力體系能力開放服務(wù)共享產(chǎn)品應(yīng)用資產(chǎn)管理交易數(shù)據(jù)行為數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)批量數(shù)據(jù)外部數(shù)據(jù)內(nèi)部數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)流式數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)圖數(shù)據(jù)存儲(chǔ)算力監(jiān)控環(huán)境開放數(shù)據(jù)應(yīng)用能力共享數(shù)據(jù)服務(wù)模式數(shù)據(jù)資產(chǎn)經(jīng)營生態(tài)數(shù)據(jù)即服務(wù)DaaS-DataasaService精準(zhǔn)營銷風(fēng)險(xiǎn)防控運(yùn)營優(yōu)化管理決策企業(yè)在實(shí)行數(shù)據(jù)戰(zhàn)略時(shí)需要關(guān)注什么專注與數(shù)據(jù)，將數(shù)據(jù)視為戰(zhàn)略資產(chǎn)你有什么數(shù)據(jù)？這些數(shù)據(jù)在哪里?如何治理和保護(hù)它們？如何訪問它們？如何發(fā)揮他們的價(jià)值?完善的數(shù)據(jù)應(yīng)用能力對企業(yè)未來至關(guān)重要數(shù)據(jù)在不斷的增長但還未被充分利用未來兩年企業(yè)數(shù)據(jù)將以42.2%

的速速保持高速增長，但與此同時(shí)，調(diào)研結(jié)果顯示，企業(yè)運(yùn)營中的數(shù)據(jù)只有56%

能夠及時(shí)捕獲，而這其中，僅有57%

的數(shù)據(jù)得到了利用，43%

的采集數(shù)據(jù)并有被激活。

也就是說，僅有32%的企業(yè)數(shù)據(jù)價(jià)值能夠被激活。

數(shù)據(jù)來源：Statista,2020年11月數(shù)據(jù)來源：IDC和希捷科技，2020年企業(yè)在數(shù)據(jù)應(yīng)用能力的建設(shè)路徑數(shù)據(jù)查詢即服務(wù)分析報(bào)表即服務(wù)工具即服務(wù)數(shù)據(jù)即服務(wù)業(yè)務(wù)系統(tǒng)獨(dú)立建設(shè)存儲(chǔ)少量結(jié)果性數(shù)據(jù)，主要用于OLTP多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)融合分析和報(bào)表處理整合內(nèi)部各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，主要用于OLAP利用大數(shù)據(jù)技術(shù)洞察業(yè)務(wù)，支撐運(yùn)營決策整合企業(yè)數(shù)據(jù)+社會(huì)數(shù)據(jù)，用于大數(shù)據(jù)分析經(jīng)過業(yè)務(wù)沉淀，形成有業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù)通過數(shù)據(jù)服務(wù)快速適應(yīng)業(yè)務(wù)發(fā)展和賦能創(chuàng)新業(yè)務(wù)未來的企業(yè)數(shù)據(jù)中臺(tái)需要什么支持?jǐn)?shù)據(jù)的一站式開發(fā)治理和服務(wù)，提供智能化的數(shù)據(jù)任務(wù)調(diào)度與監(jiān)控彈性的，可插拔的計(jì)算、查詢引擎及數(shù)據(jù)治理工具組件開源兼容，能夠支持各種開源大數(shù)據(jù)組件集成，滿足客戶不同場景需求支持混合云，與云原生技術(shù)深度融合，優(yōu)化底層存儲(chǔ)和計(jì)算引擎架構(gòu)支持流批一體、湖倉一體的現(xiàn)代化數(shù)據(jù)架構(gòu)設(shè)計(jì)02數(shù)據(jù)中臺(tái)方案數(shù)據(jù)中臺(tái)方案及內(nèi)容數(shù)據(jù)中臺(tái)解決方案數(shù)據(jù)應(yīng)用第三方插件行業(yè)中臺(tái)解決方案數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量數(shù)據(jù)安全數(shù)據(jù)開發(fā)監(jiān)控運(yùn)維實(shí)時(shí)分析數(shù)據(jù)集成統(tǒng)一元數(shù)據(jù)系統(tǒng)統(tǒng)一調(diào)度系統(tǒng)大數(shù)據(jù)運(yùn)維平臺(tái)租戶權(quán)限監(jiān)控告警基礎(chǔ)設(shè)施HadoopSparkFlinkClickHouse圖計(jì)算AI組件管理數(shù)據(jù)開發(fā)與治理平臺(tái)從數(shù)據(jù)匯聚到數(shù)據(jù)服務(wù)的一站式大數(shù)據(jù)智能研發(fā)與治理平臺(tái)，支持實(shí)時(shí)/離線計(jì)算引擎，集成了數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、生產(chǎn)運(yùn)維、實(shí)時(shí)分析、資產(chǎn)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享等核心數(shù)據(jù)工藝，承上啟下，讓數(shù)據(jù)從采集到展現(xiàn)、從分析到驅(qū)動(dòng)應(yīng)用實(shí)現(xiàn)一站式平臺(tái)服務(wù)大數(shù)據(jù)引擎套件提供可插拔的數(shù)據(jù)引擎服務(wù)，可根據(jù)業(yè)務(wù)需求在數(shù)據(jù)處理時(shí)編排引擎處理模式。并依托云原生化的特性進(jìn)一步提升引擎的調(diào)度和運(yùn)行效率。數(shù)據(jù)應(yīng)用與專家服務(wù)提供在數(shù)據(jù)中臺(tái)建設(shè)中企業(yè)所有需要的各類專家服務(wù)和數(shù)據(jù)應(yīng)用定制化服務(wù)。幫助企業(yè)打通數(shù)據(jù)業(yè)務(wù)閉環(huán)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值賦能數(shù)據(jù)運(yùn)營。大數(shù)據(jù)運(yùn)維管控平臺(tái)提供跨大數(shù)據(jù)生態(tài)的智能化大數(shù)據(jù)集群運(yùn)維管理能力，提升企業(yè)對大數(shù)據(jù)平臺(tái)的運(yùn)維效率，降低運(yùn)維成本。大數(shù)據(jù)引擎套件提供覆蓋全業(yè)務(wù)場景的計(jì)算引擎包含了離線計(jì)算、流式計(jì)算、數(shù)據(jù)查詢、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等各個(gè)領(lǐng)域。引擎模塊以容器化封裝杜絕與平臺(tái)層的依賴，可根據(jù)業(yè)務(wù)場景需求提供熱插拔式的調(diào)用為業(yè)務(wù)場景提供最佳的服務(wù)?；谌萜鞯淖鈶舾綦x能力，大幅提升資源隔離和管控能力提供彈性調(diào)度能力有效提高集群的利用率，并可實(shí)現(xiàn)多集群多云的調(diào)度編排能力大數(shù)據(jù)運(yùn)維管控平臺(tái)向?qū)阶詣?dòng)化平臺(tái)安裝、部署過程，支持集群中節(jié)點(diǎn)的自動(dòng)化配置，覆蓋Hadoop生態(tài)及第三方各類大數(shù)據(jù)組件(Greenplum、Doris等)安裝、升級、維護(hù)支持對各類組件管理和集群各節(jié)點(diǎn)的可視化、圖形化、指標(biāo)化監(jiān)控支持統(tǒng)一的告警服務(wù)，提供消息、郵件及界面可視化等多種方式展示支持基于整體平臺(tái)或獨(dú)立組件的版本升級，并保障數(shù)據(jù)的持續(xù)可用大數(shù)據(jù)運(yùn)維平臺(tái)計(jì)算引擎服務(wù)場景數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算服務(wù)依賴關(guān)系自動(dòng)化組件參數(shù)智能化運(yùn)維監(jiān)控可視化根據(jù)當(dāng)前的硬件條件自動(dòng)設(shè)置組件的配置內(nèi)存、CPU、硬盤IO參數(shù)產(chǎn)品優(yōu)勢一個(gè)配置能夠自動(dòng)的分發(fā)到所有的關(guān)聯(lián)組件節(jié)點(diǎn)上快速找出性能瓶頸、錯(cuò)誤日志等，給出優(yōu)化建議產(chǎn)品功能簡化大數(shù)據(jù)組件安裝、維護(hù)、監(jiān)控預(yù)警、日志管理等服務(wù)，提升運(yùn)維人員對大數(shù)據(jù)集群各服務(wù)的管理和維護(hù)的效率50%以上客戶價(jià)值一站式數(shù)據(jù)開發(fā)與治理平臺(tái)提供全鏈路的數(shù)據(jù)管理功能，從產(chǎn)生、流轉(zhuǎn)、加工、使用、到銷毀多種粒度的元數(shù)據(jù)可視化管理分析功能，實(shí)現(xiàn)數(shù)據(jù)全生命周期的查看與溯源提供基于組織架構(gòu)的多層級資源配額配置的項(xiàng)目空間管理支持各種主流關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái)，支持各種類型數(shù)據(jù)文件產(chǎn)品功能核心模塊數(shù)據(jù)集成元數(shù)據(jù)系統(tǒng)統(tǒng)一調(diào)度系統(tǒng)數(shù)據(jù)服務(wù)數(shù)據(jù)治理套件流批一體可視化智能調(diào)度使用門檻無代碼化產(chǎn)品優(yōu)勢可視化的流批一體開發(fā)模式，統(tǒng)一離線和實(shí)時(shí)數(shù)據(jù)處理屏蔽底層數(shù)據(jù)源細(xì)節(jié)，豐富的開發(fā)組件，拖、拉、拽式的開發(fā)模式，降低使用門檻數(shù)據(jù)服務(wù)異構(gòu)數(shù)據(jù)源訪問Api生成可彈性擴(kuò)展一站式數(shù)據(jù)開發(fā)治理數(shù)據(jù)識(shí)別敏感數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)分類分級數(shù)據(jù)血緣可視化開發(fā)流批統(tǒng)一Api訪問調(diào)度引擎實(shí)時(shí)獲取服務(wù)器資源信息，通過智能調(diào)度算法動(dòng)態(tài)分配任務(wù)至資源充分的服務(wù)器服務(wù)應(yīng)用支撐拉通數(shù)據(jù)孤島數(shù)據(jù)中臺(tái)數(shù)據(jù)分層ApplicationDataStore,數(shù)據(jù)倉庫應(yīng)用數(shù)據(jù)集市層。完全貼合前端業(yè)務(wù)應(yīng)用面向應(yīng)用提供數(shù)據(jù)服務(wù)關(guān)鍵詞：高度匯總，應(yīng)用指標(biāo)DataWarehouseSubject,數(shù)據(jù)倉庫主題數(shù)據(jù)層。按分析對象對實(shí)體進(jìn)行數(shù)據(jù)整合，輕度匯總面向應(yīng)用提供數(shù)據(jù)服務(wù)關(guān)鍵詞：

輕度匯總，公共匯聚指標(biāo)DataWarehouseDetail，數(shù)據(jù)倉庫明細(xì)層數(shù)據(jù)，面向數(shù)據(jù)進(jìn)行數(shù)據(jù)域分類，整合、清洗、形成一套標(biāo)準(zhǔn)化數(shù)據(jù)模型關(guān)鍵詞：數(shù)據(jù)模型標(biāo)準(zhǔn)化OperationalDataStore，操作性型數(shù)據(jù)，指結(jié)構(gòu)與源系統(tǒng)保持一致的全量數(shù)據(jù)對STG層數(shù)據(jù)進(jìn)行數(shù)據(jù)全/增量合并以及數(shù)據(jù)清洗和標(biāo)準(zhǔn)化動(dòng)作關(guān)鍵詞：溯源、標(biāo)準(zhǔn)STAGE，結(jié)構(gòu)與源系統(tǒng)保持一致的增量數(shù)據(jù)。匯聚業(yè)務(wù)系統(tǒng)源頭數(shù)據(jù)是ETL加工過程的緩沖區(qū)關(guān)鍵詞：匯聚、緩沖ADS層DWS層STG層DWD層ODS層面向數(shù)據(jù)面向業(yè)務(wù)數(shù)據(jù)中臺(tái)整體架構(gòu)API分組API注冊API授權(quán)控制臺(tái)MySQL、Oracle、SQLServer…數(shù)據(jù)服務(wù)數(shù)據(jù)治理數(shù)據(jù)開發(fā)計(jì)算引擎數(shù)據(jù)源多租戶管理子用戶管理項(xiàng)目管理權(quán)限認(rèn)證API創(chuàng)建API調(diào)試API調(diào)用數(shù)據(jù)標(biāo)準(zhǔn)自定義規(guī)則FTP、OSS、Minio…Hive、Hbase、Elasticsearch…API授權(quán)API調(diào)用數(shù)據(jù)質(zhì)量質(zhì)量監(jiān)控健康檢查數(shù)據(jù)資產(chǎn)地圖元數(shù)據(jù)管理資產(chǎn)目錄數(shù)據(jù)檢索數(shù)據(jù)血緣資產(chǎn)盤點(diǎn)數(shù)據(jù)熱度分析數(shù)據(jù)分級數(shù)據(jù)脫敏行列權(quán)限權(quán)限申請權(quán)限審批權(quán)限審計(jì)數(shù)據(jù)安全全量同步增量同步數(shù)據(jù)集成實(shí)時(shí)同步數(shù)據(jù)轉(zhuǎn)換智能SQL編輯在線調(diào)試離線開發(fā)自動(dòng)識(shí)別依賴調(diào)度配置FlinkSQL自定義參數(shù)實(shí)時(shí)開發(fā)JarFlink支持多流合并任務(wù)運(yùn)維一鍵重跑補(bǔ)錄監(jiān)控運(yùn)維運(yùn)行監(jiān)控?cái)帱c(diǎn)自動(dòng)恢復(fù)FlinkSpark平臺(tái)優(yōu)勢一體化、全棧式01多源、異構(gòu)02混合云、容器化03開源底座、OS04組件式、插件化05提供數(shù)據(jù)采集，數(shù)據(jù)處理、發(fā)布運(yùn)維、自動(dòng)化元數(shù)據(jù)管理、數(shù)據(jù)共享等一站式數(shù)據(jù)服務(wù)，覆蓋整個(gè)數(shù)據(jù)生命周期基于分布式架構(gòu)設(shè)計(jì)，提供可視化配置及高性能的數(shù)據(jù)同步服務(wù)，支持多種數(shù)據(jù)源任意方向的數(shù)據(jù)讀寫支持混合云、多云、混合容器化等各種部署方案，大大節(jié)省部署時(shí)間整合高性能、穩(wěn)定版本的開源存儲(chǔ)及計(jì)算大數(shù)據(jù)組件，全國首個(gè)開源完整的數(shù)據(jù)平臺(tái)OS組件式、插件化產(chǎn)品架構(gòu)，開放的集成生態(tài)，支持平臺(tái)能力與大數(shù)據(jù)組件分離，實(shí)現(xiàn)輕量化部署，與客戶原有大數(shù)據(jù)組件無縫銜接，大大節(jié)省資源數(shù)據(jù)中臺(tái)：數(shù)據(jù)集成NormalizationPre-builtConnectorsDestinationSQLTransformsAnalysisReadySchemasManagedbyCyber??MetaFullyManagedbyCyber??Meta半結(jié)構(gòu)化存儲(chǔ)HDFSNoSQLmongoDB關(guān)系型數(shù)據(jù)庫PostgreSQL大數(shù)據(jù)存儲(chǔ)Hive消息隊(duì)列kafka多數(shù)據(jù)源支持：支持各種主流關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái)，支持各種類型數(shù)據(jù)文件目前支持?jǐn)?shù)據(jù)源：MySQL、Oracle、SQLServer、Hive、FTP、Minio、Hbase、HDFS…集成引擎采取異步并行處理的技術(shù)，實(shí)現(xiàn)流程中的每個(gè)組件多線程并行高效處理單點(diǎn)容錯(cuò)機(jī)制，保證整體作業(yè)的高可用基于日志的FlinkCDC實(shí)時(shí)數(shù)據(jù)采集方案數(shù)據(jù)中臺(tái)：數(shù)據(jù)開發(fā)數(shù)據(jù)開發(fā)可視化工作流程設(shè)計(jì)支持用戶組合SQL、Shell、Python實(shí)現(xiàn)分級調(diào)節(jié)邏輯控制上下游傳參實(shí)時(shí)計(jì)算各類任務(wù)混編工作流支持通過腳本、Java程序、API、SQL等多種方式進(jìn)行數(shù)據(jù)查詢分析支持?jǐn)?shù)據(jù)的多源、多類型的導(dǎo)入與導(dǎo)出提供可視化的SQL執(zhí)行IDE，支持不同類型的數(shù)據(jù)查詢及結(jié)果輸出流批一體開發(fā)模式，統(tǒng)一離線和實(shí)時(shí)數(shù)據(jù)處理調(diào)度引擎實(shí)時(shí)獲取服務(wù)器的資源信息，基于智能調(diào)度算法動(dòng)態(tài)分配任務(wù)至資源充分的服務(wù)器數(shù)據(jù)中臺(tái)：統(tǒng)一調(diào)度中心用戶接口負(fù)載均衡CoordinatorCoordinatorCoordinatorCoordinator協(xié)調(diào)器組協(xié)調(diào)器組協(xié)調(diào)器組租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心用戶內(nèi)核…元數(shù)據(jù)存儲(chǔ)Worker工作組工作組工作組WorkerWorkerWorker支持完備的企業(yè)級實(shí)戰(zhàn)功能，任務(wù)類型覆蓋全面，支持跨周期依賴，自依賴，補(bǔ)數(shù)據(jù)，斷點(diǎn)續(xù)跑等。無單點(diǎn)調(diào)度Worker集群化，可故障轉(zhuǎn)移智能調(diào)度，基于歷史運(yùn)行數(shù)據(jù)優(yōu)化智能監(jiān)控告警支持多元異構(gòu)集群統(tǒng)一調(diào)度，支持跨云，跨中心，跨集群，跨系統(tǒng)調(diào)度最小調(diào)度周期：分鐘級。任務(wù)準(zhǔn)實(shí)時(shí)轉(zhuǎn)實(shí)例：延遲一分鐘配套服務(wù)元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)存儲(chǔ)數(shù)據(jù)中臺(tái)：數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)治理數(shù)據(jù)安全數(shù)據(jù)訪問監(jiān)控統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)敏感數(shù)據(jù)發(fā)現(xiàn)全流程數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)分級風(fēng)險(xiǎn)發(fā)現(xiàn)預(yù)警數(shù)據(jù)脫敏數(shù)據(jù)資產(chǎn)數(shù)據(jù)檢索數(shù)據(jù)血緣數(shù)據(jù)目錄元數(shù)據(jù)管理完善的元數(shù)據(jù)管理工具，支持?jǐn)?shù)據(jù)的血緣分析，實(shí)現(xiàn)數(shù)據(jù)全生命周期的查看與溯源支持按照企業(yè)業(yè)務(wù)分類劃分?jǐn)?shù)據(jù)，形成企業(yè)專屬的數(shù)據(jù)目錄支持企業(yè)數(shù)據(jù)量、敏感數(shù)據(jù)變化、數(shù)據(jù)質(zhì)量等全面的企業(yè)數(shù)據(jù)資產(chǎn)監(jiān)控?cái)?shù)據(jù)中臺(tái)：數(shù)據(jù)服務(wù)API網(wǎng)關(guān)數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用屏蔽底層數(shù)據(jù)源細(xì)節(jié)，通過向?qū)Ｊ?腳本模式/注冊API模式構(gòu)建取數(shù)API，提高數(shù)據(jù)中臺(tái)的整體效率完善數(shù)據(jù)安全：服務(wù)層提供數(shù)據(jù)加密、隔離存儲(chǔ)及完善的安全技術(shù)方案，為數(shù)據(jù)安全保駕護(hù)航提供應(yīng)用、表和API的關(guān)系鏈路，降低運(yùn)維成本，解耦應(yīng)用與底層表，提供統(tǒng)一的認(rèn)證、權(quán)限和監(jiān)控，確保數(shù)據(jù)應(yīng)用質(zhì)量主題化，讓數(shù)據(jù)以業(yè)務(wù)主題對象進(jìn)行組織提供服務(wù)現(xiàn)有API多種異構(gòu)數(shù)據(jù)源數(shù)據(jù)服務(wù)組合編排應(yīng)用注冊API調(diào)試API認(rèn)證注冊API生成API03案例分析典型項(xiàng)目案例某地市電力公司數(shù)據(jù)中臺(tái)客戶痛點(diǎn)園區(qū)專網(wǎng)采集數(shù)據(jù)未做數(shù)據(jù)治理與分析，數(shù)據(jù)價(jià)值不高。數(shù)據(jù)中臺(tái)數(shù)據(jù)、企業(yè)級量測中心等數(shù)據(jù)來源數(shù)據(jù)融合度不高。缺少高效的數(shù)據(jù)資產(chǎn)管理和使用。解決方案提供離線開發(fā)平臺(tái)，通過Hadoop+hive技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集和數(shù)據(jù)處理能力。提供實(shí)時(shí)開發(fā)平臺(tái)，通過Flink+Kafka技術(shù)實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)采集和數(shù)據(jù)處理能力，支持異構(gòu)數(shù)據(jù)源讀寫，自動(dòng)構(gòu)建血緣關(guān)系。提供統(tǒng)一的數(shù)據(jù)資產(chǎn)管理平臺(tái)，通過元數(shù)據(jù)采集對資產(chǎn)進(jìn)行統(tǒng)一的管理，形成資產(chǎn)目錄，提供全域數(shù)據(jù)檢索能力，對數(shù)據(jù)熱度分析并出具報(bào)告，對資產(chǎn)進(jìn)行盤點(diǎn)，監(jiān)控元數(shù)據(jù)變化。集成了省側(cè)數(shù)據(jù)中臺(tái)、企業(yè)級量測中心、電網(wǎng)資源業(yè)務(wù)中臺(tái)、園區(qū)用戶側(cè)數(shù)據(jù)等多源數(shù)據(jù)內(nèi)容，豐富了數(shù)據(jù)資源目錄。構(gòu)建地市供電公司標(biāo)準(zhǔn)數(shù)據(jù)治理服務(wù)體系，提升了整體的數(shù)據(jù)價(jià)值。為新型電力系統(tǒng)提供支撐了園區(qū)IMES和智慧中樞兩大應(yīng)用，實(shí)現(xiàn)了國網(wǎng)低碳、經(jīng)濟(jì)的目的平臺(tái)價(jià)值電網(wǎng)儲(chǔ)能數(shù)據(jù)主網(wǎng)量測數(shù)據(jù)配網(wǎng)量測數(shù)據(jù)配電變壓器......算法開發(fā)實(shí)時(shí)開發(fā)智能調(diào)度環(huán)境隔離離線開發(fā)運(yùn)維監(jiān)控?cái)?shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)生命周期主題層主網(wǎng)量測主題庫配網(wǎng)量測主題庫貼源層共享層API網(wǎng)關(guān)服務(wù)創(chuàng)建服務(wù)授權(quán)調(diào)用管理......園區(qū)IEMS智慧中樞數(shù)據(jù)安全管理電網(wǎng)拓?fù)鋱D電網(wǎng)數(shù)據(jù)資產(chǎn)管理電網(wǎng)數(shù)據(jù)服務(wù)體系電網(wǎng)數(shù)據(jù)倉庫數(shù)據(jù)集成數(shù)據(jù)開發(fā)數(shù)據(jù)中臺(tái)企業(yè)級量測中心電網(wǎng)資源業(yè)務(wù)中臺(tái)省能大中心園區(qū)采集數(shù)據(jù)某工業(yè)制造企業(yè)數(shù)據(jù)中臺(tái)面向產(chǎn)業(yè)生態(tài)建設(shè)的客戶數(shù)據(jù)平臺(tái)，以數(shù)據(jù)為主要驅(qū)動(dòng)力，加強(qiáng)企業(yè)的設(shè)計(jì)研發(fā)、生產(chǎn)制造、市場服務(wù)等數(shù)據(jù)的動(dòng)態(tài)采集、匯聚、分析、展示等，建立覆蓋項(xiàng)目研制過程中的數(shù)據(jù)集成以及數(shù)據(jù)消費(fèi)體系，同時(shí)對企業(yè)數(shù)據(jù)資產(chǎn)進(jìn)行全面工具化管理，針對合同、制造、適航、績效等七大業(yè)務(wù)場景提供數(shù)據(jù)服務(wù)支撐，大大提升企業(yè)生產(chǎn)、管理、運(yùn)營效率。各系統(tǒng)采集適配器物料數(shù)據(jù)數(shù)據(jù)管控平臺(tái)適航工程數(shù)據(jù)構(gòu)型管理數(shù)據(jù)臺(tái)份狀態(tài)數(shù)據(jù)供應(yīng)商數(shù)據(jù)服務(wù)工程數(shù)據(jù)……數(shù)據(jù)源集中采集適配模塊轉(zhuǎn)換提取處理加密關(guān)聯(lián)過濾數(shù)據(jù)采集數(shù)據(jù)隊(duì)列流處理主數(shù)據(jù)庫實(shí)時(shí)處理框架整體調(diào)度數(shù)據(jù)交換表緩存元數(shù)據(jù)模型庫mpp數(shù)據(jù)庫KV數(shù)據(jù)庫搜索引擎分布式文件系統(tǒng)內(nèi)存計(jì)算分布式計(jì)算分布式列存運(yùn)算框架批處理統(tǒng)一數(shù)據(jù)服務(wù)網(wǎng)關(guān)數(shù)據(jù)API服務(wù)標(biāo)簽服務(wù)查詢/分析服務(wù)數(shù)據(jù)服務(wù)大屏展示統(tǒng)一門戶網(wǎng)絡(luò)運(yùn)維監(jiān)管數(shù)字孿生數(shù)據(jù)監(jiān)管系統(tǒng)統(tǒng)一流程管理大數(shù)據(jù)分析數(shù)據(jù)應(yīng)用大數(shù)據(jù)AI預(yù)測調(diào)度管理數(shù)據(jù)治理權(quán)限管理監(jiān)控預(yù)警數(shù)據(jù)API服務(wù)標(biāo)簽服務(wù)某能源企業(yè)數(shù)據(jù)中臺(tái)該項(xiàng)目在支持半結(jié)構(gòu)化、非結(jié)構(gòu)化各種復(fù)雜類型及數(shù)據(jù)的實(shí)時(shí)處理能力上大大提升，提升數(shù)據(jù)資產(chǎn)管理能力，對數(shù)據(jù)家當(dāng)進(jìn)行全面盤點(diǎn)，形成數(shù)據(jù)地圖，為業(yè)務(wù)應(yīng)用和數(shù)據(jù)獲取夯實(shí)基礎(chǔ)，滿足快速發(fā)展的業(yè)務(wù)，提供更加高效有力的數(shù)據(jù)支撐。數(shù)據(jù)資源管控平臺(tái)物理數(shù)據(jù)模型業(yè)務(wù)&數(shù)倉分層模型查詢模型在線創(chuàng)建、入庫操作日志數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)目錄標(biāo)準(zhǔn)維護(hù)標(biāo)準(zhǔn)版本管理數(shù)據(jù)一致性檢查預(yù)警日志標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)庫資源數(shù)據(jù)庫信息數(shù)據(jù)庫連接數(shù)據(jù)庫對象數(shù)據(jù)庫資源統(tǒng)計(jì)數(shù)據(jù)庫監(jiān)控異常報(bào)警數(shù)據(jù)服務(wù)應(yīng)用管理服務(wù)定義注冊APIAPI版本管理API版本對比服務(wù)編排API共享集市API告警服務(wù)授權(quán)運(yùn)行監(jiān)控日志管理統(tǒng)計(jì)分析數(shù)據(jù)血緣數(shù)據(jù)同步血緣數(shù)據(jù)服務(wù)血緣血緣關(guān)系分析異常告警審批中心數(shù)據(jù)質(zhì)量規(guī)則配置質(zhì)量問題任務(wù)管理及調(diào)度監(jiān)控報(bào)警數(shù)據(jù)同步同步對象運(yùn)行監(jiān)控、報(bào)警租戶體系項(xiàng)目管理數(shù)據(jù)集成數(shù)據(jù)可視化開發(fā)調(diào)度系統(tǒng)任務(wù)發(fā)布運(yùn)維監(jiān)控元數(shù)據(jù)管理數(shù)據(jù)地圖用戶中心一站式開發(fā)數(shù)據(jù)資產(chǎn)04應(yīng)用場景03這樣做可以讓他們更好地了解全局?jǐn)?shù)據(jù)情況，發(fā)現(xiàn)并解決問題，同時(shí)也可以為后續(xù)的數(shù)據(jù)分析和挖掘提供有利條件。01企業(yè)通常擁有多個(gè)數(shù)據(jù)源，如不同的數(shù)據(jù)庫、數(shù)據(jù)倉庫、第三方系統(tǒng)等。02一站式數(shù)據(jù)開發(fā)與治理平臺(tái)可以提供數(shù)據(jù)集成和同步功能，將不同數(shù)據(jù)源的數(shù)據(jù)整合在一起，形成一致性的數(shù)據(jù)視圖。數(shù)據(jù)集成和同步數(shù)據(jù)可視化和報(bào)表企業(yè)需要將數(shù)據(jù)轉(zhuǎn)化為可視化的圖表和報(bào)表，以便更直觀地了解業(yè)務(wù)狀況和趨勢。一站式數(shù)據(jù)開發(fā)與治理平臺(tái)提供了豐富的數(shù)據(jù)可視化和報(bào)表功能，可以根據(jù)用戶需求自定義報(bào)表，并支持自動(dòng)化生成和定期更新。通過將數(shù)據(jù)轉(zhuǎn)換為圖表和報(bào)表的形式，企業(yè)可以更好地了解數(shù)據(jù)的分布和變化，發(fā)現(xiàn)異常