基于云計算的電子政務(wù)公共平臺頂層設(shè)計數(shù)據(jù)管理課件

安徽智圣網(wǎng)絡(luò)與信息安全咨詢服務(wù)中心2022年12月10日1基于云計算的電子政務(wù)公共平臺數(shù)據(jù)管理技術(shù)江濤安徽智圣網(wǎng)絡(luò)與信息安全咨詢服務(wù)中心2022年12月8日1數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)容提綱2數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)3數(shù)據(jù)產(chǎn)生于計算機(jī)出現(xiàn)之前：書本、地圖、藝術(shù)等計算機(jī)出現(xiàn)以后，數(shù)據(jù)的內(nèi)涵與表現(xiàn)形式都發(fā)生了巨大變化在存儲介質(zhì)層面，數(shù)據(jù)表現(xiàn)為各種能保存0，1兩種狀態(tài)的載體在邏輯層面，數(shù)據(jù)表現(xiàn)為組織與使用方式邏輯層面（數(shù)據(jù)管理）物理層面（存儲介質(zhì)：卡片，內(nèi)存、磁盤、光盤、磁帶）100001今天，我們討論的主要是指邏輯層面，可稱為數(shù)據(jù)管理“數(shù)據(jù)”簡析——追根溯源3數(shù)據(jù)產(chǎn)生于計算機(jī)出現(xiàn)之前：書本、地圖、藝術(shù)等邏輯層面物4IDC研究表明：2013年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB（相當(dāng)于8億TB），2倍于2012年，相當(dāng)于2009年全球的數(shù)據(jù)總量。預(yù)計到2020年，中國產(chǎn)生的數(shù)據(jù)總量將是2013年的10倍，超過8.5ZB主要有兩類情況：一類是原有數(shù)據(jù)種類量的增加（如業(yè)務(wù)應(yīng)用等）另一類是過去我們沒關(guān)心或沒能力關(guān)心的數(shù)據(jù)（如Weblog，社交媒體，實時位置，智能設(shè)備、傳感器計量等）數(shù)據(jù)管理最大的挑戰(zhàn)是：海量管理能力，多類型，變化快，高可用性，低成本，高端可擴(kuò)展性很多傳統(tǒng)的技術(shù)已經(jīng)難以應(yīng)對！海量數(shù)據(jù)管理——時代的挑戰(zhàn)4IDC研究表明：主要有兩類情況：數(shù)據(jù)管理最大的挑戰(zhàn)是：5電子政務(wù)公共平臺的挑戰(zhàn)---數(shù)據(jù)管理5電子政務(wù)公共平臺的挑戰(zhàn)---數(shù)據(jù)管理6集中資源池的共享虛擬化、分時/區(qū)共享動態(tài)調(diào)配、彈性伸縮自動化、自服務(wù)低成本、標(biāo)準(zhǔn)化硬件云計算云數(shù)據(jù)管理技術(shù)標(biāo)準(zhǔn)化能力服務(wù)化提供快速化資源彈性化管理自動化管控集中化新工具--云數(shù)據(jù)管理6集中資源池的共享虛擬化、分時/區(qū)共享動態(tài)調(diào)配、彈性伸縮自動7計算資源、存儲數(shù)據(jù)應(yīng)用/服務(wù)云接入數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！新工具--云數(shù)據(jù)管理7計算資源、存儲數(shù)據(jù)應(yīng)用/服務(wù)云接入數(shù)據(jù)仍然是云中心最重要的

電子政務(wù)公共平臺數(shù)據(jù)管理技術(shù)是結(jié)合云計算、大數(shù)據(jù)的管理技術(shù)特征，同時規(guī)范公共平臺數(shù)據(jù)管理核心要素，并兼顧、引導(dǎo)傳統(tǒng)數(shù)據(jù)管理技術(shù)逐步轉(zhuǎn)化為云數(shù)據(jù)管理技術(shù)。公共平臺管理技術(shù)設(shè)計應(yīng)涵蓋數(shù)據(jù)全生命周期管理，包括數(shù)據(jù)采集管理、數(shù)據(jù)存儲管理、數(shù)據(jù)服務(wù)等過程的管理。定義8電子政務(wù)公共平臺數(shù)據(jù)管理技術(shù)是結(jié)合云計算、大數(shù)數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)容提綱9數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)目標(biāo)電子政務(wù)公共平臺數(shù)據(jù)管理的建設(shè)，最終要形成信息資源的統(tǒng)一采集管理、統(tǒng)一存儲管理、統(tǒng)一利用管理和基于平臺和共享信息資源的應(yīng)用系統(tǒng)管理，形成平臺相應(yīng)的技術(shù)和管理規(guī)范，保障政務(wù)信息資源的有效服務(wù)利用。電子政務(wù)公共平臺數(shù)據(jù)管理將是對平臺現(xiàn)有的數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)全過程進(jìn)行統(tǒng)一的數(shù)據(jù)管理、質(zhì)量管控，并且通過標(biāo)準(zhǔn)的云平臺技術(shù)下的交換共享服務(wù)模式，實現(xiàn)政務(wù)數(shù)據(jù)在公共云平臺上的統(tǒng)一存儲、統(tǒng)一維護(hù)和靈活服務(wù)，提升政務(wù)現(xiàn)有數(shù)據(jù)的安全存儲和高效使用等能力，更加深入地進(jìn)行數(shù)據(jù)挖掘等工作，為政府創(chuàng)造更多的價值。目標(biāo)10目電子政務(wù)公共平臺數(shù)據(jù)管理的建設(shè)，最終要形成信息資源的統(tǒng)一采數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)容提綱11數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)數(shù)據(jù)管理總體設(shè)計框架12三個環(huán)節(jié)四部分內(nèi)容數(shù)據(jù)管理總體設(shè)計框架12三個環(huán)節(jié)四部分內(nèi)容一、數(shù)據(jù)管理采集技術(shù)設(shè)計13數(shù)據(jù)管理采集技術(shù)設(shè)計

電子政務(wù)云平臺數(shù)據(jù)管理采集技術(shù)設(shè)計，是在指依照云平臺管理和服務(wù)范圍內(nèi)政務(wù)信息用戶的需求，從電子政務(wù)云平臺或者接入云平臺的有關(guān)信息源或載體內(nèi)對各種形態(tài)的政務(wù)信息（包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等）發(fā)現(xiàn)、定位、采集、提取并加以聚合和集中的管理設(shè)計。一、數(shù)據(jù)管理采集技術(shù)設(shè)計13數(shù)據(jù)管理采集技術(shù)設(shè)計數(shù)據(jù)采集技術(shù)要解決的問題：確定數(shù)據(jù)源的范圍（什么樣的數(shù)據(jù)源為平臺合格的數(shù)據(jù)源）；如何將數(shù)據(jù)源變成真正的采集對象（服務(wù)化，自服務(wù)）；采集對象的自描述（涵蓋哪些屬性）；平臺與采集對象的綁定（采集過程的實現(xiàn)）；對采集過程的監(jiān)控與追溯；對采集行為及任務(wù)完整統(tǒng)計分析；平臺將上述功能的服務(wù)化，并為提供給平臺的使用者。14數(shù)據(jù)采集技術(shù)要解決的問題：確定數(shù)據(jù)源的范圍（什么樣的數(shù)據(jù)源為數(shù)據(jù)管理采集技術(shù)主要內(nèi)容15（1）采集對象管理數(shù)據(jù)源：

平臺能管理的數(shù)據(jù)來源，涵蓋在平臺內(nèi)外部署的所有應(yīng)用系統(tǒng)，應(yīng)包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)應(yīng)用、互聯(lián)網(wǎng)應(yīng)用和移動應(yīng)用等。數(shù)據(jù)管理采集技術(shù)主要內(nèi)容15（1）采集對象管理數(shù)據(jù)源：16采集對象：能自描述和自服務(wù)的所有數(shù)據(jù)源稱之為采集對象。自描述是指它能提供所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)類型、更新頻率、訪問方式等屬性，并以服務(wù)形式提供給平臺發(fā)現(xiàn)和定位；自服務(wù)是指它以服務(wù)化方式提供接入平臺的方式，以便平臺獲取和收集數(shù)據(jù)。平臺對采集對象管理功能：提供采集對象的屬性描述功能，所有接入的數(shù)據(jù)源需要有唯一標(biāo)識、所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)類型、更新頻率、訪問方式、通信機(jī)制等；提供組織功能，可按用戶的組織機(jī)構(gòu)、業(yè)務(wù)應(yīng)用等不同方式進(jìn)行分類管理；提供對采集對象的查詢/檢索功能；提供生命周期控制功能，包括采集對象的注冊、發(fā)布、使用授權(quán)、變更、注銷；支持?jǐn)?shù)據(jù)源管理模型的擴(kuò)展能力，以便適應(yīng)多種新型的信息存取方式。16采集對象：平臺對采集對象管理功能：（2）采集過程管理平臺對采集對象的綁定：通過綁定方式對數(shù)據(jù)提供者和使用者進(jìn)行關(guān)聯(lián)和管理，提供數(shù)據(jù)生產(chǎn)方與使用方一對一、一對多、多對多的綁定功能，提供綁定生成、綁定變更、綁定解除等。采集流程調(diào)度：在采集過程中，依照數(shù)據(jù)提供周期及使用周期的不同，提供不同頻次的數(shù)據(jù)采集調(diào)度，包括：可以根據(jù)不同業(yè)務(wù)、不同場景，實時調(diào)度或者指定在某一天單一調(diào)度，也可以指定在某年、某月、某日、某小時、某分來循環(huán)調(diào)度。并行采集技術(shù)：為提高采集效率，通過多通道分時復(fù)用數(shù)據(jù)采集、多通道同步數(shù)據(jù)采集、分布式數(shù)據(jù)采集等采集技術(shù)。17（2）采集過程管理平臺對采集對象的綁定：采集流程調(diào)度：并行采狀態(tài)監(jiān)控：

監(jiān)控采集過程中的所有信息，包括提供采集對象監(jiān)控，包括采集對象運行狀態(tài)、負(fù)載情況監(jiān)控等。18（3）采集監(jiān)控管理任務(wù)監(jiān)控：能實時了解供采集任務(wù)執(zhí)行情況，能實時了解任務(wù)執(zhí)行時間、采集數(shù)據(jù)量、采集數(shù)據(jù)大小、空間使用情況、內(nèi)存使用情況等。異常監(jiān)控：針對過程中的異常情況，能提供異常情況預(yù)警；包括采集任務(wù)執(zhí)行失敗、采集節(jié)點狀態(tài)異常、網(wǎng)絡(luò)情況異常等；對采集異常情況可以進(jìn)行采集任務(wù)追溯。狀態(tài)監(jiān)控：18（3）采集監(jiān)控管理任務(wù)監(jiān)控：異常監(jiān)控：在數(shù)據(jù)采集過程中，采集統(tǒng)計管理負(fù)責(zé)對采集過程和采集結(jié)果的統(tǒng)計，主要包括：采集任務(wù)運行情況統(tǒng)計；采集任務(wù)資源使用情況統(tǒng)計；采集任務(wù)異常事件統(tǒng)計等按照日報、周報、月報、年報、實時報方式統(tǒng)計；將各統(tǒng)計信息以不同圖表方式展示。19（4）采集統(tǒng)計管理在數(shù)據(jù)采集過程中，采集統(tǒng)計管理負(fù)責(zé)對采集過程和采集結(jié)果的統(tǒng)計二、數(shù)據(jù)管理存儲技術(shù)設(shè)計20

在云計算電子政務(wù)公共平臺環(huán)境下，針對數(shù)據(jù)的非確定性、分布異構(gòu)性、海量、動態(tài)變化等特點，設(shè)計采用分布式數(shù)據(jù)管理技術(shù)對數(shù)據(jù)存儲進(jìn)行有效管理，為向用戶提供高效的服務(wù)奠定基礎(chǔ)。數(shù)據(jù)管理存儲技術(shù)設(shè)計二、數(shù)據(jù)管理存儲技術(shù)設(shè)計20在云計算電子政務(wù)公共存儲技術(shù)要解決的問題：按不同用戶的需求，確定數(shù)據(jù)存儲策略；對不同用戶的數(shù)據(jù)，要實現(xiàn)數(shù)據(jù)隔離或融合機(jī)制；對用戶提供高效管理的工具（配置、導(dǎo)入、導(dǎo)出、安全等）；云服務(wù)動態(tài)調(diào)度策略和機(jī)制；為用戶提供對存儲的有效監(jiān)控；支持非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲管理技術(shù)；支持大數(shù)據(jù)存儲與分析。21存儲技術(shù)要解決的問題：按不同用戶的需求，確定數(shù)據(jù)存儲策略；2數(shù)據(jù)管理存儲技術(shù)主要內(nèi)容（1）存儲管理平臺云存儲的管理：通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個的存儲設(shè)備可以對外提供同一種存儲服務(wù)，并提供更大更強更好的數(shù)據(jù)訪問性能；存儲管理是實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變的核心。22云存儲管理要求：

云計算系統(tǒng)能為不同用戶提供不同級別的數(shù)據(jù)存儲策略。應(yīng)提供可將計算機(jī)文件的存放劃分為幾個等級，如單機(jī)級、跨服務(wù)器級、跨機(jī)柜級以及跨數(shù)據(jù)中心級。為單個用戶提供獨立邏輯數(shù)據(jù)存儲空間，必須保證各用戶之間的數(shù)據(jù)不可見性，確保多用戶之間的數(shù)據(jù)隔離機(jī)制。數(shù)據(jù)管理存儲技術(shù)主要內(nèi)容（1）存儲管理平臺云存儲的管理：22（2）存儲調(diào)度23存儲調(diào)度策略：在存儲調(diào)度管理過程中，應(yīng)提供根據(jù)不同任務(wù)需求和調(diào)度模型情況下的云服務(wù)動態(tài)調(diào)度機(jī)制：

可通過相應(yīng)的權(quán)限和優(yōu)先機(jī)制進(jìn)行服務(wù)的調(diào)度處理，以平衡各類應(yīng)用壓力，優(yōu)化資源的應(yīng)用；

提供讓用戶可以按任意的時間間隔（年、月、日、時、分）自動調(diào)度。（3）存儲監(jiān)控存儲活動的運行狀態(tài)監(jiān)控：存儲監(jiān)控指在存儲過程中對存儲的所有活動進(jìn)行監(jiān)控和管理，包括存儲狀態(tài)監(jiān)控、對基礎(chǔ)軟硬件進(jìn)行狀態(tài)監(jiān)控和性能監(jiān)控等。

分布式文件系統(tǒng)監(jiān)控：

監(jiān)控信息包括節(jié)點信息、文件/數(shù)據(jù)塊分析、文件歷史操作、數(shù)據(jù)塊操作歷史、文件/數(shù)據(jù)塊排名等監(jiān)控。（2）存儲調(diào)度23存儲調(diào)度策略：（3）存儲監(jiān)控存儲活動的運行24安全設(shè)計應(yīng)考慮支持多實例并行：

任一實例宕機(jī)不會影響應(yīng)用可用性，系統(tǒng)自動完成運行實例與數(shù)據(jù)的恢復(fù)。（4）存儲備份支持集中控制云環(huán)境多節(jié)點數(shù)據(jù)并行備份：

應(yīng)支持系統(tǒng)提供錯誤監(jiān)控機(jī)制，對于故障采取自動遷移，采用多份備份來確保數(shù)據(jù)的安全性，系統(tǒng)達(dá)到高可用性。24安全設(shè)計應(yīng)考慮支持多實例并行：（4）存儲備份支持集中控制（3）數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計

電子政務(wù)云平臺應(yīng)提供數(shù)據(jù)管理的服務(wù)技術(shù)，方便各部門用戶管理、處理和共享所需的各種數(shù)據(jù)資源。設(shè)計針對服務(wù)生命周期不同階段進(jìn)行管理提供的服務(wù)。數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計（3）數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計電子政務(wù)云平臺應(yīng)提供服務(wù)技術(shù)要解決的問題數(shù)據(jù)的使用要以服務(wù)方式體現(xiàn)；要支持?jǐn)?shù)據(jù)服務(wù)的多樣性，形成統(tǒng)一訪問方法；要支持?jǐn)?shù)據(jù)服務(wù)靈活變更需求；對數(shù)據(jù)服務(wù)要有有效監(jiān)控手段；平臺要支持多租戶管理；要有支撐數(shù)據(jù)服務(wù)的支撐技術(shù)。26服務(wù)技術(shù)要解決的問題數(shù)據(jù)的使用要以服務(wù)方式體現(xiàn)；2627數(shù)據(jù)服務(wù)管理技術(shù)主要內(nèi)容數(shù)據(jù)服務(wù)發(fā)布管理數(shù)據(jù)服務(wù)訪問管理數(shù)據(jù)服務(wù)變更管理數(shù)據(jù)服務(wù)監(jiān)控管理27數(shù)據(jù)服務(wù)管理技術(shù)主要內(nèi)容數(shù)據(jù)服務(wù)發(fā)布管理數(shù)據(jù)服務(wù)訪問管理（4）數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計

信息資源目錄服務(wù)技術(shù)設(shè)計應(yīng)按照《政務(wù)信息資源目錄體系》系列標(biāo)準(zhǔn)進(jìn)行目錄的各項功能設(shè)計，并將功能按照公告平臺規(guī)范要求將各功能進(jìn)行服務(wù)化設(shè)計。數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計目錄編目目錄注冊目錄發(fā)布目錄查詢目錄維護(hù)（4）數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計信息資源目錄服務(wù)技術(shù)（5）共享交換管理技術(shù)設(shè)計

共享交換服務(wù)設(shè)計，應(yīng)在按照《政務(wù)信息資源交換體系》系列標(biāo)準(zhǔn)要求的功能基礎(chǔ)上實現(xiàn)共享交換功能的服務(wù)化，并實現(xiàn)政務(wù)云平臺內(nèi)部應(yīng)用系統(tǒng)間及政務(wù)云平臺內(nèi)部、外部應(yīng)用系統(tǒng)間的交換服務(wù)。共享交換管理技術(shù)設(shè)計29（5）共享交換管理技術(shù)設(shè)計共享交換服務(wù)設(shè)計，應(yīng)共享交換管理技術(shù)主要內(nèi)容30交換橋接前置交換交換傳輸交換管理共享交換管理技術(shù)主要內(nèi)容30交換橋接前置交換交換傳輸交換管理（6）數(shù)據(jù)集成服務(wù)技術(shù)設(shè)計

數(shù)據(jù)集成服務(wù)設(shè)計，應(yīng)提供面向多租戶的ETL服務(wù)，即數(shù)據(jù)抽?。‥xtraction）、數(shù)據(jù)轉(zhuǎn)換（Transformation）、數(shù)據(jù)加載（Loading）服務(wù)，同時提供用戶自主使用的ETL開發(fā)配置和監(jiān)控管理服務(wù)，幫助用戶將批量異構(gòu)的數(shù)據(jù)集成到統(tǒng)一的存儲管理系統(tǒng)中，以便完成進(jìn)一步的數(shù)據(jù)挖掘和分析。數(shù)據(jù)集成服務(wù)技術(shù)設(shè)計31（6）數(shù)據(jù)集成服務(wù)技術(shù)設(shè)計數(shù)據(jù)集成服務(wù)設(shè)計，數(shù)據(jù)集成服務(wù)技術(shù)主要內(nèi)容32數(shù)據(jù)抽取服務(wù)數(shù)據(jù)轉(zhuǎn)換服務(wù)數(shù)據(jù)加載服務(wù)ETL開發(fā)配置服務(wù)ETL監(jiān)控管理服務(wù)對可支持常見關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、文件等不同類型的數(shù)據(jù)源的數(shù)據(jù)抽取，必須支持主流國產(chǎn)數(shù)據(jù)庫。支持全量抽取、增量抽取、基于日志的抽取等抽取模式。具備擴(kuò)展能力，可以非關(guān)系數(shù)據(jù)庫的抽取。數(shù)據(jù)集成服務(wù)技術(shù)主要內(nèi)容32數(shù)據(jù)抽數(shù)據(jù)轉(zhuǎn)數(shù)據(jù)加載服務(wù)ETL開（7）數(shù)據(jù)處理服務(wù)技術(shù)設(shè)計

主要指為滿足電子政務(wù)應(yīng)用需求而提供的對數(shù)據(jù)的多種技術(shù)處理手段。電子政務(wù)中常用的有：數(shù)據(jù)分析服務(wù)和數(shù)據(jù)展現(xiàn)服務(wù)等。數(shù)據(jù)處理服務(wù)技術(shù)設(shè)計33（7）數(shù)據(jù)處理服務(wù)技術(shù)設(shè)計主要指為滿足電子政數(shù)據(jù)處理服務(wù)技術(shù)主要內(nèi)容

公共平臺應(yīng)根據(jù)所管理數(shù)據(jù)的規(guī)模和實際業(yè)務(wù)需求提供大數(shù)據(jù)特征的數(shù)據(jù)分析和預(yù)測分析服務(wù)：（1）數(shù)據(jù)分析服務(wù)34具有良好的擴(kuò)展性、容錯性和大規(guī)模并行處理特征，滿足電子政務(wù)的智能性分析預(yù)測的需求；應(yīng)支持海量數(shù)據(jù)挖掘，滿足政府部門單位TB、PB級數(shù)據(jù)分析需要。

應(yīng)支持業(yè)界流行的大數(shù)據(jù)存儲、分布式計算框架，靈活處理分布式挖掘分析應(yīng)用；數(shù)據(jù)分析結(jié)果應(yīng)滿足多種形式的輸出，分析結(jié)果可導(dǎo)出數(shù)據(jù)、分析結(jié)果可生成多種格式的報表、分析結(jié)果可通過門戶發(fā)布到web頁面、分析模型及分析結(jié)果可與現(xiàn)有應(yīng)用系統(tǒng)無縫集成等。數(shù)據(jù)處理服務(wù)技術(shù)主要內(nèi)容公共平臺應(yīng)根據(jù)所管理數(shù)據(jù)的規(guī)模和實

公共平臺通過統(tǒng)一的數(shù)據(jù)門戶提供數(shù)據(jù)展現(xiàn)服務(wù)有關(guān)功能，數(shù)據(jù)門戶提供統(tǒng)一的數(shù)據(jù)展現(xiàn)服務(wù)管理，將各類數(shù)據(jù)以圖形、圖像、地圖、動畫等更為生動、易于理解的方式來展現(xiàn)數(shù)據(jù)。（2）數(shù)據(jù)展現(xiàn)服務(wù)35應(yīng)提供統(tǒng)一的數(shù)據(jù)門戶服務(wù)；支持報表展現(xiàn)：支持專業(yè)報表、即席報表、企業(yè)級復(fù)雜報表等多種報表形式；

支持分析展現(xiàn)：支持假設(shè)分析、多維分析等高級應(yīng)用；

支持圖展現(xiàn)：提供GIS地圖組件、儀表盤、熱度圖、樹圖、組織結(jié)構(gòu)圖、餅狀圖、柱狀圖、曲線圖、曲面圖、雷達(dá)圖、漏斗圖、極坐標(biāo)圖、股票圖等多種交互式圖表等方式。公共平臺通過統(tǒng)一的數(shù)據(jù)門戶提供數(shù)據(jù)展現(xiàn)服務(wù)有關(guān)功能，數(shù)據(jù)門3636安徽智圣網(wǎng)絡(luò)與信息安全咨詢服務(wù)中心2022年12月10日37基于云計算的電子政務(wù)公共平臺數(shù)據(jù)管理技術(shù)江濤安徽智圣網(wǎng)絡(luò)與信息安全咨詢服務(wù)中心2022年12月8日1數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)容提綱38數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)39數(shù)據(jù)產(chǎn)生于計算機(jī)出現(xiàn)之前：書本、地圖、藝術(shù)等計算機(jī)出現(xiàn)以后，數(shù)據(jù)的內(nèi)涵與表現(xiàn)形式都發(fā)生了巨大變化在存儲介質(zhì)層面，數(shù)據(jù)表現(xiàn)為各種能保存0，1兩種狀態(tài)的載體在邏輯層面，數(shù)據(jù)表現(xiàn)為組織與使用方式邏輯層面（數(shù)據(jù)管理）物理層面（存儲介質(zhì)：卡片，內(nèi)存、磁盤、光盤、磁帶）100001今天，我們討論的主要是指邏輯層面，可稱為數(shù)據(jù)管理“數(shù)據(jù)”簡析——追根溯源3數(shù)據(jù)產(chǎn)生于計算機(jī)出現(xiàn)之前：書本、地圖、藝術(shù)等邏輯層面物40IDC研究表明：2013年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB（相當(dāng)于8億TB），2倍于2012年，相當(dāng)于2009年全球的數(shù)據(jù)總量。預(yù)計到2020年，中國產(chǎn)生的數(shù)據(jù)總量將是2013年的10倍，超過8.5ZB主要有兩類情況：一類是原有數(shù)據(jù)種類量的增加（如業(yè)務(wù)應(yīng)用等）另一類是過去我們沒關(guān)心或沒能力關(guān)心的數(shù)據(jù)（如Weblog，社交媒體，實時位置，智能設(shè)備、傳感器計量等）數(shù)據(jù)管理最大的挑戰(zhàn)是：海量管理能力，多類型，變化快，高可用性，低成本，高端可擴(kuò)展性很多傳統(tǒng)的技術(shù)已經(jīng)難以應(yīng)對！海量數(shù)據(jù)管理——時代的挑戰(zhàn)4IDC研究表明：主要有兩類情況：數(shù)據(jù)管理最大的挑戰(zhàn)是：41電子政務(wù)公共平臺的挑戰(zhàn)---數(shù)據(jù)管理5電子政務(wù)公共平臺的挑戰(zhàn)---數(shù)據(jù)管理42集中資源池的共享虛擬化、分時/區(qū)共享動態(tài)調(diào)配、彈性伸縮自動化、自服務(wù)低成本、標(biāo)準(zhǔn)化硬件云計算云數(shù)據(jù)管理技術(shù)標(biāo)準(zhǔn)化能力服務(wù)化提供快速化資源彈性化管理自動化管控集中化新工具--云數(shù)據(jù)管理6集中資源池的共享虛擬化、分時/區(qū)共享動態(tài)調(diào)配、彈性伸縮自動43計算資源、存儲數(shù)據(jù)應(yīng)用/服務(wù)云接入數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！新工具--云數(shù)據(jù)管理7計算資源、存儲數(shù)據(jù)應(yīng)用/服務(wù)云接入數(shù)據(jù)仍然是云中心最重要的

電子政務(wù)公共平臺數(shù)據(jù)管理技術(shù)是結(jié)合云計算、大數(shù)據(jù)的管理技術(shù)特征，同時規(guī)范公共平臺數(shù)據(jù)管理核心要素，并兼顧、引導(dǎo)傳統(tǒng)數(shù)據(jù)管理技術(shù)逐步轉(zhuǎn)化為云數(shù)據(jù)管理技術(shù)。公共平臺管理技術(shù)設(shè)計應(yīng)涵蓋數(shù)據(jù)全生命周期管理，包括數(shù)據(jù)采集管理、數(shù)據(jù)存儲管理、數(shù)據(jù)服務(wù)等過程的管理。定義44電子政務(wù)公共平臺數(shù)據(jù)管理技術(shù)是結(jié)合云計算、大數(shù)數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)容提綱45數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)目標(biāo)電子政務(wù)公共平臺數(shù)據(jù)管理的建設(shè)，最終要形成信息資源的統(tǒng)一采集管理、統(tǒng)一存儲管理、統(tǒng)一利用管理和基于平臺和共享信息資源的應(yīng)用系統(tǒng)管理，形成平臺相應(yīng)的技術(shù)和管理規(guī)范，保障政務(wù)信息資源的有效服務(wù)利用。電子政務(wù)公共平臺數(shù)據(jù)管理將是對平臺現(xiàn)有的數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)全過程進(jìn)行統(tǒng)一的數(shù)據(jù)管理、質(zhì)量管控，并且通過標(biāo)準(zhǔn)的云平臺技術(shù)下的交換共享服務(wù)模式，實現(xiàn)政務(wù)數(shù)據(jù)在公共云平臺上的統(tǒng)一存儲、統(tǒng)一維護(hù)和靈活服務(wù)，提升政務(wù)現(xiàn)有數(shù)據(jù)的安全存儲和高效使用等能力，更加深入地進(jìn)行數(shù)據(jù)挖掘等工作，為政府創(chuàng)造更多的價值。目標(biāo)46目電子政務(wù)公共平臺數(shù)據(jù)管理的建設(shè)，最終要形成信息資源的統(tǒng)一采數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)容提綱47數(shù)據(jù)管理范疇與定義2數(shù)據(jù)管理技術(shù)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計和內(nèi)數(shù)據(jù)管理總體設(shè)計框架48三個環(huán)節(jié)四部分內(nèi)容數(shù)據(jù)管理總體設(shè)計框架12三個環(huán)節(jié)四部分內(nèi)容一、數(shù)據(jù)管理采集技術(shù)設(shè)計49數(shù)據(jù)管理采集技術(shù)設(shè)計

電子政務(wù)云平臺數(shù)據(jù)管理采集技術(shù)設(shè)計，是在指依照云平臺管理和服務(wù)范圍內(nèi)政務(wù)信息用戶的需求，從電子政務(wù)云平臺或者接入云平臺的有關(guān)信息源或載體內(nèi)對各種形態(tài)的政務(wù)信息（包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等）發(fā)現(xiàn)、定位、采集、提取并加以聚合和集中的管理設(shè)計。一、數(shù)據(jù)管理采集技術(shù)設(shè)計13數(shù)據(jù)管理采集技術(shù)設(shè)計數(shù)據(jù)采集技術(shù)要解決的問題：確定數(shù)據(jù)源的范圍（什么樣的數(shù)據(jù)源為平臺合格的數(shù)據(jù)源）；如何將數(shù)據(jù)源變成真正的采集對象（服務(wù)化，自服務(wù)）；采集對象的自描述（涵蓋哪些屬性）；平臺與采集對象的綁定（采集過程的實現(xiàn)）；對采集過程的監(jiān)控與追溯；對采集行為及任務(wù)完整統(tǒng)計分析；平臺將上述功能的服務(wù)化，并為提供給平臺的使用者。50數(shù)據(jù)采集技術(shù)要解決的問題：確定數(shù)據(jù)源的范圍（什么樣的數(shù)據(jù)源為數(shù)據(jù)管理采集技術(shù)主要內(nèi)容51（1）采集對象管理數(shù)據(jù)源：

平臺能管理的數(shù)據(jù)來源，涵蓋在平臺內(nèi)外部署的所有應(yīng)用系統(tǒng)，應(yīng)包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)應(yīng)用、互聯(lián)網(wǎng)應(yīng)用和移動應(yīng)用等。數(shù)據(jù)管理采集技術(shù)主要內(nèi)容15（1）采集對象管理數(shù)據(jù)源：52采集對象：能自描述和自服務(wù)的所有數(shù)據(jù)源稱之為采集對象。自描述是指它能提供所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)類型、更新頻率、訪問方式等屬性，并以服務(wù)形式提供給平臺發(fā)現(xiàn)和定位；自服務(wù)是指它以服務(wù)化方式提供接入平臺的方式，以便平臺獲取和收集數(shù)據(jù)。平臺對采集對象管理功能：提供采集對象的屬性描述功能，所有接入的數(shù)據(jù)源需要有唯一標(biāo)識、所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)類型、更新頻率、訪問方式、通信機(jī)制等；提供組織功能，可按用戶的組織機(jī)構(gòu)、業(yè)務(wù)應(yīng)用等不同方式進(jìn)行分類管理；提供對采集對象的查詢/檢索功能；提供生命周期控制功能，包括采集對象的注冊、發(fā)布、使用授權(quán)、變更、注銷；支持?jǐn)?shù)據(jù)源管理模型的擴(kuò)展能力，以便適應(yīng)多種新型的信息存取方式。16采集對象：平臺對采集對象管理功能：（2）采集過程管理平臺對采集對象的綁定：通過綁定方式對數(shù)據(jù)提供者和使用者進(jìn)行關(guān)聯(lián)和管理，提供數(shù)據(jù)生產(chǎn)方與使用方一對一、一對多、多對多的綁定功能，提供綁定生成、綁定變更、綁定解除等。采集流程調(diào)度：在采集過程中，依照數(shù)據(jù)提供周期及使用周期的不同，提供不同頻次的數(shù)據(jù)采集調(diào)度，包括：可以根據(jù)不同業(yè)務(wù)、不同場景，實時調(diào)度或者指定在某一天單一調(diào)度，也可以指定在某年、某月、某日、某小時、某分來循環(huán)調(diào)度。并行采集技術(shù)：為提高采集效率，通過多通道分時復(fù)用數(shù)據(jù)采集、多通道同步數(shù)據(jù)采集、分布式數(shù)據(jù)采集等采集技術(shù)。53（2）采集過程管理平臺對采集對象的綁定：采集流程調(diào)度：并行采狀態(tài)監(jiān)控：

監(jiān)控采集過程中的所有信息，包括提供采集對象監(jiān)控，包括采集對象運行狀態(tài)、負(fù)載情況監(jiān)控等。54（3）采集監(jiān)控管理任務(wù)監(jiān)控：能實時了解供采集任務(wù)執(zhí)行情況，能實時了解任務(wù)執(zhí)行時間、采集數(shù)據(jù)量、采集數(shù)據(jù)大小、空間使用情況、內(nèi)存使用情況等。異常監(jiān)控：針對過程中的異常情況，能提供異常情況預(yù)警；包括采集任務(wù)執(zhí)行失敗、采集節(jié)點狀態(tài)異常、網(wǎng)絡(luò)情況異常等；對采集異常情況可以進(jìn)行采集任務(wù)追溯。狀態(tài)監(jiān)控：18（3）采集監(jiān)控管理任務(wù)監(jiān)控：異常監(jiān)控：在數(shù)據(jù)采集過程中，采集統(tǒng)計管理負(fù)責(zé)對采集過程和采集結(jié)果的統(tǒng)計，主要包括：采集任務(wù)運行情況統(tǒng)計；采集任務(wù)資源使用情況統(tǒng)計；采集任務(wù)異常事件統(tǒng)計等按照日報、周報、月報、年報、實時報方式統(tǒng)計；將各統(tǒng)計信息以不同圖表方式展示。55（4）采集統(tǒng)計管理在數(shù)據(jù)采集過程中，采集統(tǒng)計管理負(fù)責(zé)對采集過程和采集結(jié)果的統(tǒng)計二、數(shù)據(jù)管理存儲技術(shù)設(shè)計56

在云計算電子政務(wù)公共平臺環(huán)境下，針對數(shù)據(jù)的非確定性、分布異構(gòu)性、海量、動態(tài)變化等特點，設(shè)計采用分布式數(shù)據(jù)管理技術(shù)對數(shù)據(jù)存儲進(jìn)行有效管理，為向用戶提供高效的服務(wù)奠定基礎(chǔ)。數(shù)據(jù)管理存儲技術(shù)設(shè)計二、數(shù)據(jù)管理存儲技術(shù)設(shè)計20在云計算電子政務(wù)公共存儲技術(shù)要解決的問題：按不同用戶的需求，確定數(shù)據(jù)存儲策略；對不同用戶的數(shù)據(jù)，要實現(xiàn)數(shù)據(jù)隔離或融合機(jī)制；對用戶提供高效管理的工具（配置、導(dǎo)入、導(dǎo)出、安全等）；云服務(wù)動態(tài)調(diào)度策略和機(jī)制；為用戶提供對存儲的有效監(jiān)控；支持非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲管理技術(shù)；支持大數(shù)據(jù)存儲與分析。57存儲技術(shù)要解決的問題：按不同用戶的需求，確定數(shù)據(jù)存儲策略；2數(shù)據(jù)管理存儲技術(shù)主要內(nèi)容（1）存儲管理平臺云存儲的管理：通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個的存儲設(shè)備可以對外提供同一種存儲服務(wù)，并提供更大更強更好的數(shù)據(jù)訪問性能；存儲管理是實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變的核心。58云存儲管理要求：

云計算系統(tǒng)能為不同用戶提供不同級別的數(shù)據(jù)存儲策略。應(yīng)提供可將計算機(jī)文件的存放劃分為幾個等級，如單機(jī)級、跨服務(wù)器級、跨機(jī)柜級以及跨數(shù)據(jù)中心級。為單個用戶提供獨立邏輯數(shù)據(jù)存儲空間，必須保證各用戶之間的數(shù)據(jù)不可見性，確保多用戶之間的數(shù)據(jù)隔離機(jī)制。數(shù)據(jù)管理存儲技術(shù)主要內(nèi)容（1）存儲管理平臺云存儲的管理：22（2）存儲調(diào)度59存儲調(diào)度策略：在存儲調(diào)度管理過程中，應(yīng)提供根據(jù)不同任務(wù)需求和調(diào)度模型情況下的云服務(wù)動態(tài)調(diào)度機(jī)制：

可通過相應(yīng)的權(quán)限和優(yōu)先機(jī)制進(jìn)行服務(wù)的調(diào)度處理，以平衡各類應(yīng)用壓力，優(yōu)化資源的應(yīng)用；

提供讓用戶可以按任意的時間間隔（年、月、日、時、分）自動調(diào)度。（3）存儲監(jiān)控存儲活動的運行狀態(tài)監(jiān)控：存儲監(jiān)控指在存儲過程中對存儲的所有活動進(jìn)行監(jiān)控和管理，包括存儲狀態(tài)監(jiān)控、對基礎(chǔ)軟硬件進(jìn)行狀態(tài)監(jiān)控和性能監(jiān)控等。

分布式文件系統(tǒng)監(jiān)控：

監(jiān)控信息包括節(jié)點信息、文件/數(shù)據(jù)塊分析、文件歷史操作、數(shù)據(jù)塊操作歷史、文件/數(shù)據(jù)塊排名等監(jiān)控。（2）存儲調(diào)度23存儲調(diào)度策略：（3）存儲監(jiān)控存儲活動的運行60安全設(shè)計應(yīng)考慮支持多實例并行：

任一實例宕機(jī)不會影響應(yīng)用可用性，系統(tǒng)自動完成運行實例與數(shù)據(jù)的恢復(fù)。（4）存儲備份支持集中控制云環(huán)境多節(jié)點數(shù)據(jù)并行備份：

應(yīng)支持系統(tǒng)提供錯誤監(jiān)控機(jī)制，對于故障采取自動遷移，采用多份備份來確保數(shù)據(jù)的安全性，系統(tǒng)達(dá)到高可用性。24安全設(shè)計應(yīng)考慮支持多實例并行：（4）存儲備份支持集中控制（3）數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計

電子政務(wù)云平臺應(yīng)提供數(shù)據(jù)管理的服務(wù)技術(shù)，方便各部門用戶管理、處理和共享所需的各種數(shù)據(jù)資源。設(shè)計針對服務(wù)生命周期不同階段進(jìn)行管理提供的服務(wù)。數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計（3）數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計電子政務(wù)云平臺應(yīng)提供服務(wù)技術(shù)要解決的問題數(shù)據(jù)的使用要以服務(wù)方式體現(xiàn)；要支持?jǐn)?shù)據(jù)服務(wù)的多樣性，形成統(tǒng)一訪問方法；要支持?jǐn)?shù)據(jù)服務(wù)靈活變更需求；對數(shù)據(jù)服務(wù)要有有效監(jiān)控手段；平臺要支持多租戶管理；要有支撐數(shù)據(jù)服務(wù)的支撐技術(shù)。62服務(wù)技術(shù)要解決的問題數(shù)據(jù)的使用要以服務(wù)方式體現(xiàn)；2663數(shù)據(jù)服務(wù)管理技術(shù)主要內(nèi)容數(shù)據(jù)服務(wù)發(fā)布管理數(shù)據(jù)服務(wù)訪問管理數(shù)據(jù)服務(wù)變更管理數(shù)據(jù)服務(wù)監(jiān)控管理27數(shù)據(jù)服務(wù)管理技術(shù)主要內(nèi)容數(shù)據(jù)服務(wù)發(fā)布管理數(shù)據(jù)服務(wù)訪問管理（4）數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計

信息資源目錄服務(wù)技術(shù)設(shè)計應(yīng)按照《政務(wù)信息資源目錄體系》系列標(biāo)準(zhǔn)進(jìn)行目錄的各項功能設(shè)計，并將功能按照公告平臺規(guī)范要求將各功能進(jìn)行服務(wù)化設(shè)計。數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計目錄編目目錄注冊目錄發(fā)布目錄查詢目錄維護(hù)（4）數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計信息資源目錄服務(wù)技術(shù)（5）共享交換管理技術(shù)設(shè)計

共享交換服務(wù)設(shè)計，應(yīng)在按照《政務(wù)信息資源交換體系》系列標(biāo)準(zhǔn)要求的功能基礎(chǔ)上實現(xiàn)共享交換功能的服務(wù)化，并實現(xiàn)政務(wù)云平臺內(nèi)部應(yīng)用系統(tǒng)間及政務(wù)云平臺內(nèi)