版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
2024-01-07企業(yè)一站式數(shù)據(jù)開發(fā)與治理平臺(tái)解決方案01背景與挑戰(zhàn)數(shù)據(jù)治理存在的背景以及挑戰(zhàn)企業(yè)普遍存在數(shù)據(jù)現(xiàn)狀問題隨著數(shù)據(jù)時(shí)代的到來,以Google、Facebook、Amazon為代表的企業(yè)已經(jīng)完成了從IT巨頭到DT巨頭的轉(zhuǎn)變。這些公司借助其在大數(shù)據(jù)、云計(jì)算、人工智能的技術(shù)發(fā)展優(yōu)勢,快速實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化和企業(yè)經(jīng)營數(shù)據(jù)化,加速商業(yè)價(jià)值的轉(zhuǎn)化,在引領(lǐng)技術(shù)風(fēng)向的同時(shí)獲取了巨大的商業(yè)成功。數(shù)據(jù)統(tǒng)一化數(shù)據(jù)集中處理統(tǒng)一的元數(shù)據(jù)統(tǒng)一的計(jì)算平臺(tái)數(shù)據(jù)資產(chǎn)化數(shù)據(jù)整合數(shù)據(jù)質(zhì)量管理資產(chǎn)化與計(jì)量數(shù)據(jù)業(yè)務(wù)化數(shù)據(jù)化運(yùn)營智能應(yīng)用在線數(shù)據(jù)數(shù)據(jù)生態(tài)化數(shù)據(jù)域業(yè)務(wù)閉環(huán)運(yùn)營數(shù)據(jù)服務(wù)和應(yīng)用共享數(shù)據(jù)服務(wù)體系的數(shù)據(jù)驅(qū)動(dòng)模式依托大數(shù)據(jù)技術(shù),以數(shù)據(jù)服務(wù)、數(shù)據(jù)產(chǎn)品的體系化建設(shè)為樞紐,推進(jìn)多元化數(shù)據(jù)應(yīng)用建設(shè),健全數(shù)據(jù)治理體系,加速數(shù)據(jù)資產(chǎn)化管理,激發(fā)數(shù)據(jù)動(dòng)能。產(chǎn)品化管理資產(chǎn)化運(yùn)營組件構(gòu)建數(shù)據(jù)治理全棧平臺(tái)級數(shù)據(jù)技術(shù)能力體系能力開放服務(wù)共享產(chǎn)品應(yīng)用資產(chǎn)管理交易數(shù)據(jù)行為數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)批量數(shù)據(jù)外部數(shù)據(jù)內(nèi)部數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)流式數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)圖數(shù)據(jù)存儲(chǔ)算力監(jiān)控環(huán)境開放數(shù)據(jù)應(yīng)用能力共享數(shù)據(jù)服務(wù)模式數(shù)據(jù)資產(chǎn)經(jīng)營生態(tài)數(shù)據(jù)即服務(wù)DaaS-DataasaService精準(zhǔn)營銷風(fēng)險(xiǎn)防控運(yùn)營優(yōu)化管理決策企業(yè)在實(shí)行數(shù)據(jù)戰(zhàn)略時(shí)需要關(guān)注什么專注與數(shù)據(jù),將數(shù)據(jù)視為戰(zhàn)略資產(chǎn)你有什么數(shù)據(jù)?這些數(shù)據(jù)在哪里?如何治理和保護(hù)它們?如何訪問它們?如何發(fā)揮他們的價(jià)值?完善的數(shù)據(jù)應(yīng)用能力對企業(yè)未來至關(guān)重要數(shù)據(jù)在不斷的增長但還未被充分利用未來兩年企業(yè)數(shù)據(jù)將以42.2%
的速速保持高速增長,但與此同時(shí),調(diào)研結(jié)果顯示,企業(yè)運(yùn)營中的數(shù)據(jù)只有56%
能夠及時(shí)捕獲,而這其中,僅有57%
的數(shù)據(jù)得到了利用,43%
的采集數(shù)據(jù)并有被激活。
也就是說,僅有32%的企業(yè)數(shù)據(jù)價(jià)值能夠被激活。
數(shù)據(jù)來源:Statista,2020年11月數(shù)據(jù)來源:IDC和希捷科技,2020年企業(yè)在數(shù)據(jù)應(yīng)用能力的建設(shè)路徑數(shù)據(jù)查詢即服務(wù)分析報(bào)表即服務(wù)工具即服務(wù)數(shù)據(jù)即服務(wù)業(yè)務(wù)系統(tǒng)獨(dú)立建設(shè)存儲(chǔ)少量結(jié)果性數(shù)據(jù),主要用于OLTP多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)融合分析和報(bào)表處理整合內(nèi)部各業(yè)務(wù)系統(tǒng)數(shù)據(jù),主要用于OLAP利用大數(shù)據(jù)技術(shù)洞察業(yè)務(wù),支撐運(yùn)營決策整合企業(yè)數(shù)據(jù)+社會(huì)數(shù)據(jù),用于大數(shù)據(jù)分析經(jīng)過業(yè)務(wù)沉淀,形成有業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù)通過數(shù)據(jù)服務(wù)快速適應(yīng)業(yè)務(wù)發(fā)展和賦能創(chuàng)新業(yè)務(wù)未來的企業(yè)數(shù)據(jù)中臺(tái)需要什么支持?jǐn)?shù)據(jù)的一站式開發(fā)治理和服務(wù),提供智能化的數(shù)據(jù)任務(wù)調(diào)度與監(jiān)控彈性的,可插拔的計(jì)算、查詢引擎及數(shù)據(jù)治理工具組件開源兼容,能夠支持各種開源大數(shù)據(jù)組件集成,滿足客戶不同場景需求支持混合云,與云原生技術(shù)深度融合,優(yōu)化底層存儲(chǔ)和計(jì)算引擎架構(gòu)支持流批一體、湖倉一體的現(xiàn)代化數(shù)據(jù)架構(gòu)設(shè)計(jì)02數(shù)據(jù)中臺(tái)方案數(shù)據(jù)中臺(tái)方案及內(nèi)容數(shù)據(jù)中臺(tái)解決方案數(shù)據(jù)應(yīng)用第三方插件行業(yè)中臺(tái)解決方案數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量數(shù)據(jù)安全數(shù)據(jù)開發(fā)監(jiān)控運(yùn)維實(shí)時(shí)分析數(shù)據(jù)集成統(tǒng)一元數(shù)據(jù)系統(tǒng)統(tǒng)一調(diào)度系統(tǒng)大數(shù)據(jù)運(yùn)維平臺(tái)租戶權(quán)限監(jiān)控告警基礎(chǔ)設(shè)施HadoopSparkFlinkClickHouse圖計(jì)算AI組件管理數(shù)據(jù)開發(fā)與治理平臺(tái)從數(shù)據(jù)匯聚到數(shù)據(jù)服務(wù)的一站式大數(shù)據(jù)智能研發(fā)與治理平臺(tái),支持實(shí)時(shí)/離線計(jì)算引擎,集成了數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、生產(chǎn)運(yùn)維、實(shí)時(shí)分析、資產(chǎn)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享等核心數(shù)據(jù)工藝,承上啟下,讓數(shù)據(jù)從采集到展現(xiàn)、從分析到驅(qū)動(dòng)應(yīng)用實(shí)現(xiàn)一站式平臺(tái)服務(wù)大數(shù)據(jù)引擎套件提供可插拔的數(shù)據(jù)引擎服務(wù),可根據(jù)業(yè)務(wù)需求在數(shù)據(jù)處理時(shí)編排引擎處理模式。并依托云原生化的特性進(jìn)一步提升引擎的調(diào)度和運(yùn)行效率。數(shù)據(jù)應(yīng)用與專家服務(wù)提供在數(shù)據(jù)中臺(tái)建設(shè)中企業(yè)所有需要的各類專家服務(wù)和數(shù)據(jù)應(yīng)用定制化服務(wù)。幫助企業(yè)打通數(shù)據(jù)業(yè)務(wù)閉環(huán),實(shí)現(xiàn)數(shù)據(jù)價(jià)值賦能數(shù)據(jù)運(yùn)營。大數(shù)據(jù)運(yùn)維管控平臺(tái)提供跨大數(shù)據(jù)生態(tài)的智能化大數(shù)據(jù)集群運(yùn)維管理能力,提升企業(yè)對大數(shù)據(jù)平臺(tái)的運(yùn)維效率,降低運(yùn)維成本。大數(shù)據(jù)引擎套件提供覆蓋全業(yè)務(wù)場景的計(jì)算引擎包含了離線計(jì)算、流式計(jì)算、數(shù)據(jù)查詢、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等各個(gè)領(lǐng)域。引擎模塊以容器化封裝杜絕與平臺(tái)層的依賴,可根據(jù)業(yè)務(wù)場景需求提供熱插拔式的調(diào)用為業(yè)務(wù)場景提供最佳的服務(wù)?;谌萜鞯淖鈶舾綦x能力,大幅提升資源隔離和管控能力提供彈性調(diào)度能力有效提高集群的利用率,并可實(shí)現(xiàn)多集群多云的調(diào)度編排能力大數(shù)據(jù)運(yùn)維管控平臺(tái)向?qū)阶詣?dòng)化平臺(tái)安裝、部署過程,支持集群中節(jié)點(diǎn)的自動(dòng)化配置,覆蓋Hadoop生態(tài)及第三方各類大數(shù)據(jù)組件(Greenplum、Doris等)安裝、升級、維護(hù)支持對各類組件管理和集群各節(jié)點(diǎn)的可視化、圖形化、指標(biāo)化監(jiān)控支持統(tǒng)一的告警服務(wù),提供消息、郵件及界面可視化等多種方式展示支持基于整體平臺(tái)或獨(dú)立組件的版本升級,并保障數(shù)據(jù)的持續(xù)可用大數(shù)據(jù)運(yùn)維平臺(tái)計(jì)算引擎服務(wù)場景數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算服務(wù)依賴關(guān)系自動(dòng)化組件參數(shù)智能化運(yùn)維監(jiān)控可視化根據(jù)當(dāng)前的硬件條件自動(dòng)設(shè)置組件的配置內(nèi)存、CPU、硬盤IO參數(shù)產(chǎn)品優(yōu)勢一個(gè)配置能夠自動(dòng)的分發(fā)到所有的關(guān)聯(lián)組件節(jié)點(diǎn)上快速找出性能瓶頸、錯(cuò)誤日志等,給出優(yōu)化建議產(chǎn)品功能簡化大數(shù)據(jù)組件安裝、維護(hù)、監(jiān)控預(yù)警、日志管理等服務(wù),提升運(yùn)維人員對大數(shù)據(jù)集群各服務(wù)的管理和維護(hù)的效率50%以上客戶價(jià)值一站式數(shù)據(jù)開發(fā)與治理平臺(tái)提供全鏈路的數(shù)據(jù)管理功能,從產(chǎn)生、流轉(zhuǎn)、加工、使用、到銷毀多種粒度的元數(shù)據(jù)可視化管理分析功能,實(shí)現(xiàn)數(shù)據(jù)全生命周期的查看與溯源提供基于組織架構(gòu)的多層級資源配額配置的項(xiàng)目空間管理支持各種主流關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái),支持各種類型數(shù)據(jù)文件產(chǎn)品功能核心模塊數(shù)據(jù)集成元數(shù)據(jù)系統(tǒng)統(tǒng)一調(diào)度系統(tǒng)數(shù)據(jù)服務(wù)數(shù)據(jù)治理套件流批一體可視化智能調(diào)度使用門檻無代碼化產(chǎn)品優(yōu)勢可視化的流批一體開發(fā)模式,統(tǒng)一離線和實(shí)時(shí)數(shù)據(jù)處理屏蔽底層數(shù)據(jù)源細(xì)節(jié),豐富的開發(fā)組件,拖、拉、拽式的開發(fā)模式,降低使用門檻數(shù)據(jù)服務(wù)異構(gòu)數(shù)據(jù)源訪問Api生成可彈性擴(kuò)展一站式數(shù)據(jù)開發(fā)治理數(shù)據(jù)識(shí)別敏感數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)分類分級數(shù)據(jù)血緣可視化開發(fā)流批統(tǒng)一Api訪問調(diào)度引擎實(shí)時(shí)獲取服務(wù)器資源信息,通過智能調(diào)度算法動(dòng)態(tài)分配任務(wù)至資源充分的服務(wù)器服務(wù)應(yīng)用支撐拉通數(shù)據(jù)孤島數(shù)據(jù)中臺(tái)數(shù)據(jù)分層ApplicationDataStore,數(shù)據(jù)倉庫應(yīng)用數(shù)據(jù)集市層。完全貼合前端業(yè)務(wù)應(yīng)用面向應(yīng)用提供數(shù)據(jù)服務(wù)關(guān)鍵詞:高度匯總,應(yīng)用指標(biāo)DataWarehouseSubject,數(shù)據(jù)倉庫主題數(shù)據(jù)層。按分析對象對實(shí)體進(jìn)行數(shù)據(jù)整合,輕度匯總面向應(yīng)用提供數(shù)據(jù)服務(wù)關(guān)鍵詞:
輕度匯總,公共匯聚指標(biāo)DataWarehouseDetail,數(shù)據(jù)倉庫明細(xì)層數(shù)據(jù),面向數(shù)據(jù)進(jìn)行數(shù)據(jù)域分類,整合、清洗、形成一套標(biāo)準(zhǔn)化數(shù)據(jù)模型關(guān)鍵詞:數(shù)據(jù)模型標(biāo)準(zhǔn)化OperationalDataStore,操作性型數(shù)據(jù),指結(jié)構(gòu)與源系統(tǒng)保持一致的全量數(shù)據(jù)對STG層數(shù)據(jù)進(jìn)行數(shù)據(jù)全/增量合并以及數(shù)據(jù)清洗和標(biāo)準(zhǔn)化動(dòng)作關(guān)鍵詞:溯源、標(biāo)準(zhǔn)STAGE,結(jié)構(gòu)與源系統(tǒng)保持一致的增量數(shù)據(jù)。匯聚業(yè)務(wù)系統(tǒng)源頭數(shù)據(jù)是ETL加工過程的緩沖區(qū)關(guān)鍵詞:匯聚、緩沖ADS層DWS層STG層DWD層ODS層面向數(shù)據(jù)面向業(yè)務(wù)數(shù)據(jù)中臺(tái)整體架構(gòu)API分組API注冊API授權(quán)控制臺(tái)MySQL、Oracle、SQLServer…數(shù)據(jù)服務(wù)數(shù)據(jù)治理數(shù)據(jù)開發(fā)計(jì)算引擎數(shù)據(jù)源多租戶管理子用戶管理項(xiàng)目管理權(quán)限認(rèn)證API創(chuàng)建API調(diào)試API調(diào)用數(shù)據(jù)標(biāo)準(zhǔn)自定義規(guī)則FTP、OSS、Minio…Hive、Hbase、Elasticsearch…API授權(quán)API調(diào)用數(shù)據(jù)質(zhì)量質(zhì)量監(jiān)控健康檢查數(shù)據(jù)資產(chǎn)地圖元數(shù)據(jù)管理資產(chǎn)目錄數(shù)據(jù)檢索數(shù)據(jù)血緣資產(chǎn)盤點(diǎn)數(shù)據(jù)熱度分析數(shù)據(jù)分級數(shù)據(jù)脫敏行列權(quán)限權(quán)限申請權(quán)限審批權(quán)限審計(jì)數(shù)據(jù)安全全量同步增量同步數(shù)據(jù)集成實(shí)時(shí)同步數(shù)據(jù)轉(zhuǎn)換智能SQL編輯在線調(diào)試離線開發(fā)自動(dòng)識(shí)別依賴調(diào)度配置FlinkSQL自定義參數(shù)實(shí)時(shí)開發(fā)JarFlink支持多流合并任務(wù)運(yùn)維一鍵重跑補(bǔ)錄監(jiān)控運(yùn)維運(yùn)行監(jiān)控?cái)帱c(diǎn)自動(dòng)恢復(fù)FlinkSpark平臺(tái)優(yōu)勢一體化、全棧式01多源、異構(gòu)02混合云、容器化03開源底座、OS04組件式、插件化05提供數(shù)據(jù)采集,數(shù)據(jù)處理、發(fā)布運(yùn)維、自動(dòng)化元數(shù)據(jù)管理、數(shù)據(jù)共享等一站式數(shù)據(jù)服務(wù),覆蓋整個(gè)數(shù)據(jù)生命周期基于分布式架構(gòu)設(shè)計(jì),提供可視化配置及高性能的數(shù)據(jù)同步服務(wù),支持多種數(shù)據(jù)源任意方向的數(shù)據(jù)讀寫支持混合云、多云、混合容器化等各種部署方案,大大節(jié)省部署時(shí)間整合高性能、穩(wěn)定版本的開源存儲(chǔ)及計(jì)算大數(shù)據(jù)組件,全國首個(gè)開源完整的數(shù)據(jù)平臺(tái)OS組件式、插件化產(chǎn)品架構(gòu),開放的集成生態(tài),支持平臺(tái)能力與大數(shù)據(jù)組件分離,實(shí)現(xiàn)輕量化部署,與客戶原有大數(shù)據(jù)組件無縫銜接,大大節(jié)省資源數(shù)據(jù)中臺(tái):數(shù)據(jù)集成NormalizationPre-builtConnectorsDestinationSQLTransformsAnalysisReadySchemasManagedbyCyber??MetaFullyManagedbyCyber??Meta半結(jié)構(gòu)化存儲(chǔ)HDFSNoSQLmongoDB關(guān)系型數(shù)據(jù)庫PostgreSQL大數(shù)據(jù)存儲(chǔ)Hive消息隊(duì)列kafka多數(shù)據(jù)源支持:支持各種主流關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái),支持各種類型數(shù)據(jù)文件目前支持?jǐn)?shù)據(jù)源:MySQL、Oracle、SQLServer、Hive、FTP、Minio、Hbase、HDFS…集成引擎采取異步并行處理的技術(shù),實(shí)現(xiàn)流程中的每個(gè)組件多線程并行高效處理單點(diǎn)容錯(cuò)機(jī)制,保證整體作業(yè)的高可用基于日志的FlinkCDC實(shí)時(shí)數(shù)據(jù)采集方案數(shù)據(jù)中臺(tái):數(shù)據(jù)開發(fā)數(shù)據(jù)開發(fā)可視化工作流程設(shè)計(jì)支持用戶組合SQL、Shell、Python實(shí)現(xiàn)分級調(diào)節(jié)邏輯控制上下游傳參實(shí)時(shí)計(jì)算各類任務(wù)混編工作流支持通過腳本、Java程序、API、SQL等多種方式進(jìn)行數(shù)據(jù)查詢分析支持?jǐn)?shù)據(jù)的多源、多類型的導(dǎo)入與導(dǎo)出提供可視化的SQL執(zhí)行IDE,支持不同類型的數(shù)據(jù)查詢及結(jié)果輸出流批一體開發(fā)模式,統(tǒng)一離線和實(shí)時(shí)數(shù)據(jù)處理調(diào)度引擎實(shí)時(shí)獲取服務(wù)器的資源信息,基于智能調(diào)度算法動(dòng)態(tài)分配任務(wù)至資源充分的服務(wù)器數(shù)據(jù)中臺(tái):統(tǒng)一調(diào)度中心用戶接口負(fù)載均衡CoordinatorCoordinatorCoordinatorCoordinator協(xié)調(diào)器組協(xié)調(diào)器組協(xié)調(diào)器組租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心用戶內(nèi)核…元數(shù)據(jù)存儲(chǔ)Worker工作組工作組工作組WorkerWorkerWorker支持完備的企業(yè)級實(shí)戰(zhàn)功能,任務(wù)類型覆蓋全面,支持跨周期依賴,自依賴,補(bǔ)數(shù)據(jù),斷點(diǎn)續(xù)跑等。無單點(diǎn)調(diào)度Worker集群化,可故障轉(zhuǎn)移智能調(diào)度,基于歷史運(yùn)行數(shù)據(jù)優(yōu)化智能監(jiān)控告警支持多元異構(gòu)集群統(tǒng)一調(diào)度,支持跨云,跨中心,跨集群,跨系統(tǒng)調(diào)度最小調(diào)度周期:分鐘級。任務(wù)準(zhǔn)實(shí)時(shí)轉(zhuǎn)實(shí)例:延遲一分鐘配套服務(wù)元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)存儲(chǔ)數(shù)據(jù)中臺(tái):數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)治理數(shù)據(jù)安全數(shù)據(jù)訪問監(jiān)控統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)敏感數(shù)據(jù)發(fā)現(xiàn)全流程數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)分級風(fēng)險(xiǎn)發(fā)現(xiàn)預(yù)警數(shù)據(jù)脫敏數(shù)據(jù)資產(chǎn)數(shù)據(jù)檢索數(shù)據(jù)血緣數(shù)據(jù)目錄元數(shù)據(jù)管理完善的元數(shù)據(jù)管理工具,支持?jǐn)?shù)據(jù)的血緣分析,實(shí)現(xiàn)數(shù)據(jù)全生命周期的查看與溯源支持按照企業(yè)業(yè)務(wù)分類劃分?jǐn)?shù)據(jù),形成企業(yè)專屬的數(shù)據(jù)目錄支持企業(yè)數(shù)據(jù)量、敏感數(shù)據(jù)變化、數(shù)據(jù)質(zhì)量等全面的企業(yè)數(shù)據(jù)資產(chǎn)監(jiān)控?cái)?shù)據(jù)中臺(tái):數(shù)據(jù)服務(wù)API網(wǎng)關(guān)數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用屏蔽底層數(shù)據(jù)源細(xì)節(jié),通過向?qū)J?腳本模式/注冊API模式構(gòu)建取數(shù)API,提高數(shù)據(jù)中臺(tái)的整體效率完善數(shù)據(jù)安全:服務(wù)層提供數(shù)據(jù)加密、隔離存儲(chǔ)及完善的安全技術(shù)方案,為數(shù)據(jù)安全保駕護(hù)航提供應(yīng)用、表和API的關(guān)系鏈路,降低運(yùn)維成本,解耦應(yīng)用與底層表,提供統(tǒng)一的認(rèn)證、權(quán)限和監(jiān)控,確保數(shù)據(jù)應(yīng)用質(zhì)量主題化,讓數(shù)據(jù)以業(yè)務(wù)主題對象進(jìn)行組織提供服務(wù)現(xiàn)有API多種異構(gòu)數(shù)據(jù)源數(shù)據(jù)服務(wù)組合編排應(yīng)用注冊API調(diào)試API認(rèn)證注冊API生成API03案例分析典型項(xiàng)目案例某地市電力公司數(shù)據(jù)中臺(tái)客戶痛點(diǎn)園區(qū)專網(wǎng)采集數(shù)據(jù)未做數(shù)據(jù)治理與分析,數(shù)據(jù)價(jià)值不高。數(shù)據(jù)中臺(tái)數(shù)據(jù)、企業(yè)級量測中心等數(shù)據(jù)來源數(shù)據(jù)融合度不高。缺少高效的數(shù)據(jù)資產(chǎn)管理和使用。解決方案提供離線開發(fā)平臺(tái),通過Hadoop+hive技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集和數(shù)據(jù)處理能力。提供實(shí)時(shí)開發(fā)平臺(tái),通過Flink+Kafka技術(shù)實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)采集和數(shù)據(jù)處理能力,支持異構(gòu)數(shù)據(jù)源讀寫,自動(dòng)構(gòu)建血緣關(guān)系。提供統(tǒng)一的數(shù)據(jù)資產(chǎn)管理平臺(tái),通過元數(shù)據(jù)采集對資產(chǎn)進(jìn)行統(tǒng)一的管理,形成資產(chǎn)目錄,提供全域數(shù)據(jù)檢索能力,對數(shù)據(jù)熱度分析并出具報(bào)告,對資產(chǎn)進(jìn)行盤點(diǎn),監(jiān)控元數(shù)據(jù)變化。集成了省側(cè)數(shù)據(jù)中臺(tái)、企業(yè)級量測中心、電網(wǎng)資源業(yè)務(wù)中臺(tái)、園區(qū)用戶側(cè)數(shù)據(jù)等多源數(shù)據(jù)內(nèi)容,豐富了數(shù)據(jù)資源目錄。構(gòu)建地市供電公司標(biāo)準(zhǔn)數(shù)據(jù)治理服務(wù)體系,提升了整體的數(shù)據(jù)價(jià)值。為新型電力系統(tǒng)提供支撐了園區(qū)IMES和智慧中樞兩大應(yīng)用,實(shí)現(xiàn)了國網(wǎng)低碳、經(jīng)濟(jì)的目的平臺(tái)價(jià)值電網(wǎng)儲(chǔ)能數(shù)據(jù)主網(wǎng)量測數(shù)據(jù)配網(wǎng)量測數(shù)據(jù)配電變壓器......算法開發(fā)實(shí)時(shí)開發(fā)智能調(diào)度環(huán)境隔離離線開發(fā)運(yùn)維監(jiān)控?cái)?shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)生命周期主題層主網(wǎng)量測主題庫配網(wǎng)量測主題庫貼源層共享層API網(wǎng)關(guān)服務(wù)創(chuàng)建服務(wù)授權(quán)調(diào)用管理......園區(qū)IEMS智慧中樞數(shù)據(jù)安全管理電網(wǎng)拓?fù)鋱D電網(wǎng)數(shù)據(jù)資產(chǎn)管理電網(wǎng)數(shù)據(jù)服務(wù)體系電網(wǎng)數(shù)據(jù)倉庫數(shù)據(jù)集成數(shù)據(jù)開發(fā)數(shù)據(jù)中臺(tái)企業(yè)級量測中心電網(wǎng)資源業(yè)務(wù)中臺(tái)省能大中心園區(qū)采集數(shù)據(jù)某工業(yè)制造企業(yè)數(shù)據(jù)中臺(tái)面向產(chǎn)業(yè)生態(tài)建設(shè)的客戶數(shù)據(jù)平臺(tái),以數(shù)據(jù)為主要驅(qū)動(dòng)力,加強(qiáng)企業(yè)的設(shè)計(jì)研發(fā)、生產(chǎn)制造、市場服務(wù)等數(shù)據(jù)的動(dòng)態(tài)采集、匯聚、分析、展示等,建立覆蓋項(xiàng)目研制過程中的數(shù)據(jù)集成以及數(shù)據(jù)消費(fèi)體系,同時(shí)對企業(yè)數(shù)據(jù)資產(chǎn)進(jìn)行全面工具化管理,針對合同、制造、適航、績效等七大業(yè)務(wù)場景提供數(shù)據(jù)服務(wù)支撐,大大提升企業(yè)生產(chǎn)、管理、運(yùn)營效率。各系統(tǒng)采集適配器物料數(shù)據(jù)數(shù)據(jù)管控平臺(tái)適航工程數(shù)據(jù)構(gòu)型管理數(shù)據(jù)臺(tái)份狀態(tài)數(shù)據(jù)供應(yīng)商數(shù)據(jù)服務(wù)工程數(shù)據(jù)……數(shù)據(jù)源集中采集適配模塊轉(zhuǎn)換提取處理加密關(guān)聯(lián)過濾數(shù)據(jù)采集數(shù)據(jù)隊(duì)列流處理主數(shù)據(jù)庫實(shí)時(shí)處理框架整體調(diào)度數(shù)據(jù)交換表緩存元數(shù)據(jù)模型庫mpp數(shù)據(jù)庫KV數(shù)據(jù)庫搜索引擎分布式文件系統(tǒng)內(nèi)存計(jì)算分布式計(jì)算分布式列存運(yùn)算框架批處理統(tǒng)一數(shù)據(jù)服務(wù)網(wǎng)關(guān)數(shù)據(jù)API服務(wù)標(biāo)簽服務(wù)查詢/分析服務(wù)數(shù)據(jù)服務(wù)大屏展示統(tǒng)一門戶網(wǎng)絡(luò)運(yùn)維監(jiān)管數(shù)字孿生數(shù)據(jù)監(jiān)管系統(tǒng)統(tǒng)一流程管理大數(shù)據(jù)分析數(shù)據(jù)應(yīng)用大數(shù)據(jù)AI預(yù)測調(diào)度管理數(shù)據(jù)治理權(quán)限管理監(jiān)控預(yù)警數(shù)據(jù)API服務(wù)標(biāo)簽服務(wù)某能源企業(yè)數(shù)據(jù)中臺(tái)該項(xiàng)目在支持半結(jié)構(gòu)化、非結(jié)構(gòu)化各種復(fù)雜類型及數(shù)據(jù)的實(shí)時(shí)處理能力上大大提升,提升數(shù)據(jù)資產(chǎn)管理能力,對數(shù)據(jù)家當(dāng)進(jìn)行全面盤點(diǎn),形成數(shù)據(jù)地圖,為業(yè)務(wù)應(yīng)用和數(shù)據(jù)獲取夯實(shí)基礎(chǔ),滿足快速發(fā)展的業(yè)務(wù),提供更加高效有力的數(shù)據(jù)支撐。數(shù)據(jù)資源管控平臺(tái)物理數(shù)據(jù)模型業(yè)務(wù)&數(shù)倉分層模型查詢模型在線創(chuàng)建、入庫操作日志數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)目錄標(biāo)準(zhǔn)維護(hù)標(biāo)準(zhǔn)版本管理數(shù)據(jù)一致性檢查預(yù)警日志標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)庫資源數(shù)據(jù)庫信息數(shù)據(jù)庫連接數(shù)據(jù)庫對象數(shù)據(jù)庫資源統(tǒng)計(jì)數(shù)據(jù)庫監(jiān)控異常報(bào)警數(shù)據(jù)服務(wù)應(yīng)用管理服務(wù)定義注冊APIAPI版本管理API版本對比服務(wù)編排API共享集市API告警服務(wù)授權(quán)運(yùn)行監(jiān)控日志管理統(tǒng)計(jì)分析數(shù)據(jù)血緣數(shù)據(jù)同步血緣數(shù)據(jù)服務(wù)血緣血緣關(guān)系分析異常告警審批中心數(shù)據(jù)質(zhì)量規(guī)則配置質(zhì)量問題任務(wù)管理及調(diào)度監(jiān)控報(bào)警數(shù)據(jù)同步同步對象運(yùn)行監(jiān)控、報(bào)警租戶體系項(xiàng)目管理數(shù)據(jù)集成數(shù)據(jù)可視化開發(fā)調(diào)度系統(tǒng)任務(wù)發(fā)布運(yùn)維監(jiān)控元數(shù)據(jù)管理數(shù)據(jù)地圖用戶中心一站式開發(fā)數(shù)據(jù)資產(chǎn)04應(yīng)用場景03這樣做可以讓他們更好地了解全局?jǐn)?shù)據(jù)情況,發(fā)現(xiàn)并解決問題,同時(shí)也可以為后續(xù)的數(shù)據(jù)分析和挖掘提供有利條件。01企業(yè)通常擁有多個(gè)數(shù)據(jù)源,如不同的數(shù)據(jù)庫、數(shù)據(jù)倉庫、第三方系統(tǒng)等。02一站式數(shù)據(jù)開發(fā)與治理平臺(tái)可以提供數(shù)據(jù)集成和同步功能,將不同數(shù)據(jù)源的數(shù)據(jù)整合在一起,形成一致性的數(shù)據(jù)視圖。數(shù)據(jù)集成和同步數(shù)據(jù)可視化和報(bào)表企業(yè)需要將數(shù)據(jù)轉(zhuǎn)化為可視化的圖表和報(bào)表,以便更直觀地了解業(yè)務(wù)狀況和趨勢。一站式數(shù)據(jù)開發(fā)與治理平臺(tái)提供了豐富的數(shù)據(jù)可視化和報(bào)表功能,可以根據(jù)用戶需求自定義報(bào)表,并支持自動(dòng)化生成和定期更新。通過將數(shù)據(jù)轉(zhuǎn)換為圖表和報(bào)表的形式,企業(yè)可以更好地了解數(shù)據(jù)的分布和變化,發(fā)現(xiàn)異常
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 人教版八年級上冊英語各單元語法說明-八年級上unit
- 山西省部分學(xué)校2024-2025學(xué)年高三上學(xué)期階段性測試(二)物理 含答案
- 內(nèi)蒙古自治區(qū)通遼市市級名校2023-2024學(xué)年中考數(shù)學(xué)最后沖刺模擬試卷含解析
- 化 學(xué)燃料的燃燒(第1課時(shí)燃燒的條件)課件-2024-2025學(xué)年九年級化學(xué)人教版(2024)上冊
- 地理旅游景觀的欣賞旅游景觀的審美特征
- 湘教版五年級下冊科學(xué)全冊教案
- 顏楷書法教學(xué)課件
- 快遞員叔叔課件
- 鍋爐服務(wù)外包合同模板
- 冷鏈委托配送合同模板
- 光伏項(xiàng)目強(qiáng)制性條文實(shí)施措施及計(jì)劃
- 《國家機(jī)構(gòu)》課件
- 2023年山東師范大學(xué)招聘工作人員78人筆試參考題庫(共500題)答案詳解版
- 正高級會(huì)計(jì)師答辯面試資料
- 英語詞匯的奧秘智慧樹知到課后章節(jié)答案2023年下武昌工學(xué)院
- 檢驗(yàn)科規(guī)章制度
- 幼兒園優(yōu)質(zhì)公開課:大班科學(xué)繪本《樹葉尺子-任意單位測量長度》PPT
- 醫(yī)院陪護(hù)投標(biāo)文件方案-醫(yī)院陪護(hù)方案
- 醫(yī)院易燃易爆危險(xiǎn)品管理制度
- 收款收據(jù)范本(通用5篇)
- 大班語言詩歌PPT課件之《家》
評論
0/150
提交評論