2024發(fā)電企業(yè)大數(shù)據(jù)平臺技術(shù)方案

發(fā)電企業(yè)大數(shù)據(jù)平臺技術(shù)方案2024.06目錄TOC\o"1-3"\h\u7589一、云平臺建設(shè) ），每張網(wǎng)卡可以在不同的子網(wǎng)內(nèi)，私網(wǎng)IP可以通過DHCP分配或指定IP地址；公網(wǎng)IP可以對外連接企業(yè)內(nèi)大網(wǎng)或互聯(lián)網(wǎng)，可以根據(jù)需要申請綁定“EIP”為ECS實例申請公網(wǎng)IP。4、提供公共鏡像能力和私有鏡像服務(wù)，免安裝快速部署操作系統(tǒng)與軟件。公共鏡像：公共鏡像由系統(tǒng)管理員制作并注冊到系統(tǒng)中，一般提供常見的標準操作系統(tǒng)鏡像，所有用戶可見。包含操作系統(tǒng)以及預(yù)裝的公共應(yīng)用。私有鏡像：私有鏡像服務(wù)用于滿足用戶個性化需求。選擇私有鏡像創(chuàng)建云主機，可以節(jié)省重復(fù)配置云主機的時間。私有鏡像僅用戶自己可見。包含操作系統(tǒng)、預(yù)裝的公共應(yīng)用以及用戶的私有應(yīng)用。用戶可基于ECS實例或者已有的鏡像文件創(chuàng)建的私有鏡像。提供VNC控制臺、遠程終端和API等多種管理方式，滿足用戶多種登錄需求，簡化運維人員的工作難度，提升運維效率。用戶可以完全控制自己創(chuàng)建的ECS實例。通過VNC控制臺連接終端，解決系統(tǒng)問題，進行各項操作；也可以通過ECS服務(wù)控制臺、API、命令行等類似工具對服務(wù)器進行啟動、重啟、關(guān)機等操作。5、安全。支持用戶申請時指定實例登錄方式，ECS實例支持多種登錄方式（密碼、密鑰對），密碼防暴力破解，滿足用戶的登錄安全需求。對于Windows的ECS實例，用戶只能使用密碼登陸。支持云硬盤備份，在磁盤故障或數(shù)據(jù)錯誤時可快速恢復(fù)，使數(shù)據(jù)更加安全可靠。實例反親和性：支持在ECS控制臺上創(chuàng)建一個或多個反親和性組。在一個反親和性組中的ECS實例將分配到不同的物理主機上來保證高可用。用戶可以把同一應(yīng)用模塊的ECS實例加入反親和性組，增強應(yīng)用的可靠性。2彈性伸縮服務(wù)彈性伸縮（AutoScaling）服務(wù)，是根據(jù)用戶的業(yè)務(wù)需求和策略，自動調(diào)整其彈性計算資源的管理服務(wù)。用戶根據(jù)自己的業(yè)務(wù)需求，設(shè)置相應(yīng)的策略，系統(tǒng)則據(jù)此自動調(diào)整其彈性計算資源，在滿足業(yè)務(wù)需求高峰增長時，自動增加彈性云主機（ECS）實例，并在業(yè)務(wù)需求下降時，自動減少ECS實例以節(jié)約成本。彈性伸縮根據(jù)用戶的業(yè)務(wù)需求和策略，自動調(diào)整彈性云主機的數(shù)量。如在業(yè)務(wù)量增長超過一定閾值時，系統(tǒng)可自動擴展（ScaleOut）彈性云主機實例數(shù)量；然后在業(yè)務(wù)量下降到一定的閾值時，系統(tǒng)自動收縮（ScaleIn）彈性云主機實例數(shù)量。同時，可以指定需要運行的實例的最小數(shù)目（MinimumNumber）和最大數(shù)目（MaximumNumber），根據(jù)規(guī)則集自動添加或刪除VM。設(shè)置最小數(shù)目，可確保應(yīng)用程序在沒有負載的情況下也會運行。設(shè)置最大數(shù)目是為了限制每小時可能會引發(fā)的總成本?？梢允褂脛?chuàng)建的規(guī)則在這兩種極限之間自動縮放。當滿足規(guī)則條件時，將觸發(fā)一個或多個自動縮放操作?？梢宰詣犹砑雍蛣h除云主機，或執(zhí)行其他操作。彈性伸縮的工作流程如下：在用戶完成啟動配置、伸縮組、伸縮策略創(chuàng)建并啟用后，系統(tǒng)會自動化執(zhí)行以下流程（以增加ECS實例為例）：1、系統(tǒng)自動通過接口觸發(fā)伸縮活動，并在該接口中指定需要執(zhí)行的伸縮規(guī)則的資源唯一標識符。監(jiān)控策略會實時監(jiān)控伸縮組內(nèi)ECS實例的性能（參考圖中步驟1），并根據(jù)用戶配置的告警規(guī)則（如伸縮組內(nèi)所有ECS實例的CPU使用率平均值大于80%），觸發(fā)執(zhí)行伸縮動作。。定時策略會根據(jù)用戶配置的時間來觸發(fā)執(zhí)行伸縮規(guī)則請求。周期策略會根據(jù)用戶配置的周期定期來觸發(fā)執(zhí)行伸縮規(guī)則請求。健康檢查任務(wù)會按照用戶設(shè)定的間隔定期檢查伸縮組內(nèi)ECS實例的健康情況，如發(fā)現(xiàn)有不健康的ECS實例（如，關(guān)機狀態(tài)）會按照用戶設(shè)定的伸縮組默認移除方式移除不健康實例。2、根據(jù)步驟2傳入的伸縮規(guī)則獲取伸縮策略、伸縮組、啟動配置的相關(guān)信息，并創(chuàng)建伸縮活動。3、執(zhí)行伸縮活動。通過伸縮規(guī)則查詢伸縮策略以及相應(yīng)的伸縮組信息，計算出需要增加的ECS實例數(shù)量，并獲得需要配置的SLB信息。（SLB為可選項）通過伸縮組查詢到相應(yīng)的伸縮配置信息，獲得需要創(chuàng)建的ECS實例的配置信息（CPU、內(nèi)存、帶寬等）。根據(jù)需要增加的ECS實例數(shù)量、ECS實例配置信息、需要配置的SLB實例創(chuàng)建伸縮活動。4、在伸縮活動中，自動創(chuàng)建ECS實例并配置SLB（SLB為可選項）。按照實例配置信息創(chuàng)建指定數(shù)量的ECS實例。將創(chuàng)建好的ECS實例添加到指定的SLB實例當中。5、伸縮活動完成后，啟動伸縮組的沉默功能。待沉默時間完成后，該伸縮組才能接收新的執(zhí)行伸縮規(guī)則請求。伸縮效果示例伸縮組創(chuàng)建后，彈性伸縮組是缺省停用的，用戶需要創(chuàng)建使用策略才能實際使用彈性伸縮功能。以下以監(jiān)控項為伸縮組內(nèi)ECS實例的內(nèi)存使用率平均值，觸發(fā)彈性擴張的閾值為70%，觸發(fā)彈性收縮的閾值為20%，擴容/縮容動作為增加/減少1臺云主機為例進行說明。當用戶的業(yè)務(wù)需求上升時，彈性伸縮自動完成底層資源升級，避免訪問延時和資源超負荷運行。例如，當后臺監(jiān)控檢測到伸縮組內(nèi)的ECS實例內(nèi)存使用率平均值超過70%時，彈性伸縮根據(jù)用戶配置的伸縮規(guī)則彈性擴張ECS資源，自動創(chuàng)建1臺ECS實例加入伸縮組。當用戶業(yè)務(wù)需求下降時，彈性伸縮自動完成底層資源釋放，避免資源浪費。例如，后臺監(jiān)控檢測到伸縮組內(nèi)的ECS實例內(nèi)存使用率平均值低于20%時，彈性伸縮根據(jù)用戶配置的伸縮規(guī)則彈性收縮ECS資源，自動移除1臺ECS實例。彈性伸縮提供健康檢查功能，自動監(jiān)控伸縮組內(nèi)的ECS實例的健康狀態(tài)，避免伸縮組內(nèi)健康ECS實例低于用戶設(shè)置的最小值。當檢測到某臺ECS實例處于不健康狀態(tài)（如關(guān)機狀態(tài)）時，伸縮組將自動移除不健康ECS實例并創(chuàng)建新的ECS實例。3資源編排服務(wù)服務(wù)構(gòu)建器提供圖形化資源模板編排以及通過導(dǎo)入RTS模板編排、一鍵式應(yīng)用部署、彈性伸縮的應(yīng)用自動化部署服務(wù)。管理員和租戶通過可視化編排界面任意拖拽圖元或通過導(dǎo)入的RTS模板，快速完成計算，存儲，網(wǎng)絡(luò)，應(yīng)用等資源的組合編排和自動化部署，并作為一個整體為用戶服務(wù)，支撐業(yè)務(wù)快速上線。并且可以自定義自動伸縮策略以達到自動擴容和減容的彈性云服務(wù)器，以實現(xiàn)負載均衡，資源充分利用。服務(wù)構(gòu)建器的主要功能如下：服務(wù)模板是將計算、存儲、網(wǎng)絡(luò)、伸縮組、腳本等多種資源，按照特定關(guān)系的有機結(jié)合，基于服務(wù)模板可以快速構(gòu)建服務(wù)并上線到服務(wù)目錄。用戶可以新建模板，也可以導(dǎo)入已有的模板，并支持Heat模板的導(dǎo)入。為了方便用戶使用，縮短用戶的學(xué)習(xí)過程，系統(tǒng)預(yù)置了大量常用的模板，包括：典型Web三層架構(gòu)網(wǎng)站模板、安裝MySQL服務(wù)模板、安裝MongoDB集群模板、安裝Kafka集群模板、安裝Nginx服務(wù)模板、安裝Apache服務(wù)模板、安裝Tomcat服務(wù)模板等；服務(wù)構(gòu)建器提供圖形化模板編排功能。資源管理員可以在可視化界面通過拖拽圖元的方式完成服務(wù)模板的設(shè)計、制作?？删幣诺脑匕◤椥栽品?wù)器、網(wǎng)絡(luò)、彈性負載均衡、腳本等元素，可設(shè)置各元素的信息和各元素之間的關(guān)聯(lián)關(guān)系，編排完成后保存為模板。基于模板，可以構(gòu)建服務(wù)并上架到服務(wù)目錄。構(gòu)建服務(wù)過程中，可以分類組合參數(shù)，鎖定參數(shù)取值或開放出來由用戶申請時指定。服務(wù)上架之后，用戶可以一鍵式申請服務(wù)并部署應(yīng)用實例，系統(tǒng)根據(jù)模板定義創(chuàng)建服務(wù)實例、設(shè)置服務(wù)實例之間的關(guān)聯(lián)并根據(jù)腳本自動部署應(yīng)用軟件，實現(xiàn)一鍵式應(yīng)用部署。申請過程中，用戶還可以指定服務(wù)實例歸屬哪個應(yīng)用，也可以不指定應(yīng)用，服務(wù)構(gòu)建完成后自動生成一個應(yīng)用，完成服務(wù)資源和應(yīng)用的關(guān)聯(lián)，便于后續(xù)基于應(yīng)用管理資源。編排服務(wù)模板時，可以指定在彈性云服務(wù)器上運行的腳本，通過腳本完成應(yīng)用軟件的安裝部署。服務(wù)構(gòu)建器支持三種應(yīng)用軟件部署模式：鏡像、Cloud-init、腳本，腳本的部署方式最靈活，功能也最強大。系統(tǒng)支持腳本管理功能，用戶可以將本地的腳本文件上傳到系統(tǒng)，系統(tǒng)會將腳本信息保存到數(shù)據(jù)庫中，后續(xù)使用模板發(fā)放實例時，可以選擇已有的腳本。4對象存儲對象存儲（Object-basedStorage)是一種新的網(wǎng)絡(luò)存儲架構(gòu)，基于對象存儲技術(shù)的設(shè)備就是對象存儲設(shè)備（Object-basedStorageDevice）簡稱OSD。1999年成立的全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會（SNIA）的對象存儲設(shè)備工作組發(fā)布了ANSI的X3T10標準。總體上來講，對象存儲綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問和NAS的分布式數(shù)據(jù)共享等優(yōu)勢，提供了具有高性能、高可靠性、跨平臺以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。SAN存儲架構(gòu)，采用SCSI快I/O命令集，通過磁盤或FC（iberChannel）級的數(shù)據(jù)訪問提供高性能的隨機I/O個數(shù)據(jù)吞吐率，它具有高寬帶、低時延的優(yōu)勢，在高性能計算中占有一席之地，如SGI的CXFS文件系統(tǒng)就是基于SAN實現(xiàn)高性能文件存儲的，但是由于SAN系統(tǒng)的價格較高，且擴展性較差，已不能滿足成千上萬個CPU規(guī)模的系統(tǒng)。NAS存儲架構(gòu)，它采用NFS或CIFS命令集訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過TCP/IP實現(xiàn)網(wǎng)絡(luò)化存儲，可擴展行好、價格便宜、用戶易管理，如目前在集群計算中應(yīng)用較多的NFS文件系統(tǒng)，但由于NAS的西醫(yī)開銷高、帶寬低、延遲大，不利于在高性能集群中使用。對象存儲架構(gòu)，核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對象存儲設(shè)備構(gòu)建存儲系統(tǒng)，每個對象存儲設(shè)備具有一定的只能，能夠自動管理其上的數(shù)據(jù)分布。對象存儲結(jié)構(gòu)由對象、對象存儲設(shè)備、元數(shù)據(jù)服務(wù)器、對象存儲系統(tǒng)的客戶端四部分組成。5塊存儲塊存儲資源池由資源池管理系統(tǒng)和基礎(chǔ)設(shè)施組成。在資源池管理系統(tǒng)中每個Tier可以由多個來自不同廠家不同存儲設(shè)備的存儲池構(gòu)成，塊存儲Tier指定了可以創(chuàng)建哪種類型的卷，管理員可以創(chuàng)建、刪除、修改塊存儲服務(wù)等級。資源池管理系統(tǒng)能夠?qū)崿F(xiàn)邏輯層面的塊存儲資源虛擬化。塊存儲資源虛擬化是通過將不同廠商、不同型號的存儲設(shè)備接入到系統(tǒng)中，對存儲設(shè)備上的存儲池按照一定規(guī)則（性能/保護能力等）進行分組，組成不同的塊存儲資源池。進行資源分配時，只需要在這些塊存儲資源池中申請塊存儲服務(wù)，不用再關(guān)注不同存儲設(shè)備的操作差異。在上圖中，可用分區(qū)（AvailabilityZone，簡稱AZ）定義了一個可用域，在這個域里面包含了主機，存儲設(shè)備等對象，AZ本身可以由存儲管理員設(shè)定，AZ內(nèi)包含的對象也由存儲管理員定義，但是所有對象需遵循一個原則，即域內(nèi)的所有存儲設(shè)備與所有物理主機都是物理可達的，使用的物理網(wǎng)絡(luò)就是域內(nèi)定義的光纖網(wǎng)絡(luò)（Fabric）。因此，AZ域?qū)嶋H上定義了一個全連通域，域內(nèi)的主機與存儲是可任意兩兩互聯(lián)的，不會出現(xiàn)由于物理連接的限制導(dǎo)致分配的存儲空間無法訪問的問題。實際配置過程中，存儲管理員可以合理的規(guī)劃AZ的范圍。由于物理連通性的要求，實際分配過程中AZ的范圍應(yīng)該是以FC網(wǎng)絡(luò)為基準的。當申請存儲卷創(chuàng)建服務(wù)的時候，系統(tǒng)會在指定的AZ范圍內(nèi)調(diào)度存儲空間的分配，使存儲只分配給同一AZ內(nèi)的主機使用。6負載均衡ELB（ElasticLoadBalance），即彈性負載均衡，是將訪問流量根據(jù)轉(zhuǎn)發(fā)策略分發(fā)到后端多臺彈性云服務(wù)器的流量分發(fā)控制服務(wù)。彈性負載均衡可以通過流量分發(fā)擴展應(yīng)用系統(tǒng)對外的服務(wù)能力，實現(xiàn)更高水平的應(yīng)用程序容錯性能。彈性負載均衡可以消除單點故障，提高整個系統(tǒng)的可用性。場景1南北向ELB用戶通過internet訪問ELB服務(wù)。公網(wǎng)負載均衡通過創(chuàng)建時分配或選擇的彈性IP對外提供服務(wù)。場景2東西向ELB內(nèi)網(wǎng)租戶在云網(wǎng)絡(luò)內(nèi)部訪問ELB服務(wù)。私網(wǎng)負載均衡通過創(chuàng)建時分配或指定的私網(wǎng)IP地址對同一VPC下其他服務(wù)器提供服務(wù)。ELB服務(wù)具有以下功能：支持多監(jiān)聽器能力，提供不同業(yè)務(wù)申請不同的監(jiān)聽器提供服務(wù)訪問；支持TCP、UDP、HTTP、HTTPS的負載均衡。支持HTTPSSSL證書卸載。支持證書管理。支持RR、源IP、最小連接的負載均衡算法。支持源IP、HTTP_Cookie、APP_Cookie的會話保持。支持TCP、HTTP的健康檢查。支持訪問白名單控制。支持按域名、URL轉(zhuǎn)發(fā)。支持高級轉(zhuǎn)發(fā)策略。高級轉(zhuǎn)發(fā)策略開啟后，ELB實例會根據(jù)用戶配置的高級轉(zhuǎn)發(fā)策略將不同的請求按照不同的方式處理支持的轉(zhuǎn)發(fā)規(guī)則有：域名、URL、多URL或者多域名的組合。支持的動作類型有：轉(zhuǎn)發(fā)至后端服務(wù)器組、重定向至監(jiān)聽器、重定向至URL。支持IPv4和IPv6。支持實例限速：新建連接數(shù)，并發(fā)連接數(shù)，帶寬支持國密算法和證書：支持《GM/T0024-2014:SSLVPN技術(shù)規(guī)范》定義的ECDHE-SM4-SM3、ECC-SM4-SM3算法套件。支持國密證書（簽名證書、加密證書）支持混合負載均衡。混合負載均衡的后端服務(wù)器組不僅支持添加云上VPC內(nèi)的服務(wù)器實例，還支持以TargetIP地址形式添加?？梢允潜綱PCIP、其他VPCIP、其他RegionIP、云下數(shù)據(jù)中心的服務(wù)器IP。幫助用戶根據(jù)業(yè)務(wù)訴求靈活配置，將流量請求轉(zhuǎn)發(fā)到云上、云間或云下的服務(wù)器上。7虛擬網(wǎng)絡(luò)服務(wù)VPC即虛擬私有云，是通過邏輯方式進行網(wǎng)絡(luò)隔離，提供安全、隔離的網(wǎng)絡(luò)環(huán)境，提供與傳統(tǒng)網(wǎng)絡(luò)無差別的虛擬網(wǎng)絡(luò)。場景1多個子網(wǎng)的VPC首先按照網(wǎng)絡(luò)規(guī)劃創(chuàng)建VPC和subnet，并在虛擬私有云中創(chuàng)建云主機使用；VPC間隔離。場景2VPC互通首先規(guī)劃創(chuàng)建兩個VPC，互通VPC的子網(wǎng)地址不能重疊。場景3VPC通過SNAT訪問公網(wǎng)多個子網(wǎng)的虛擬機通過SNAT共享EIP訪問Internet網(wǎng)絡(luò)。如下圖，VPC1內(nèi)subnet1、subnet2子網(wǎng)內(nèi)的所有VM都共享EIP1訪問外網(wǎng)。網(wǎng)絡(luò)服務(wù)整體架構(gòu)VPC網(wǎng)絡(luò)服務(wù)分為VPC云服務(wù)層、網(wǎng)絡(luò)控制層、基礎(chǔ)設(shè)施層。1、云服務(wù)層云服務(wù)層提供統(tǒng)一的云服務(wù)申請和自助操作服務(wù)控制臺。VPC服務(wù)提供VPC服務(wù)實例申請和自助操作維護控制臺。VPC服務(wù)分為VPCUI和VPCService兩部分，VPCUI提供面向用戶的控制臺VPCService提供服務(wù)管理功能。2、網(wǎng)絡(luò)控制&轉(zhuǎn)發(fā)層管理與控制能力由Openstack、PecadoSDN控制器、計算節(jié)點agent來提供；VPC網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)承載在OVS、VPCGW之上。3、基礎(chǔ)設(shè)施層服務(wù)器、存儲、網(wǎng)絡(luò)等物理基礎(chǔ)設(shè)施，構(gòu)成數(shù)據(jù)中心資源池的基礎(chǔ)架構(gòu)。服務(wù)能力VPC服務(wù)通過web管理控制臺，讓用戶自主的完成服務(wù)的開通與關(guān)閉，讓用戶靈活使用VPC服務(wù)，達到即開即用，用完歸還的目標。VPC服務(wù)具有以下功能：1、支持子網(wǎng)管理可以創(chuàng)建多個子網(wǎng)，指定子網(wǎng)申請?zhí)摂MIP，以及修改私有IP地址。支持IPv4，IPv6雙棧場景。2、項目級子網(wǎng)項目級子網(wǎng)是通過子網(wǎng)提供與其他網(wǎng)絡(luò)隔離的、可以獨享的網(wǎng)絡(luò)資源，僅加入到該子網(wǎng)的虛擬機才能訪問該網(wǎng)絡(luò)上的資源。項目級子網(wǎng)僅有二層能力，無外部網(wǎng)絡(luò)出口。3、共享VPC通常同一個項目中計算ECS、網(wǎng)絡(luò)VPC、存儲EVS等由VDC業(yè)務(wù)員發(fā)放。為了實現(xiàn)網(wǎng)絡(luò)資源的統(tǒng)一管理，在一個項目中由網(wǎng)絡(luò)管理員統(tǒng)一發(fā)放VPC網(wǎng)絡(luò)資源，在其它項目使用這個VPC資源。4、路由管理配置VPC的默認路由，把指定目的網(wǎng)段的報文發(fā)給指定下一跳。支持IPv4，IPv6雙棧場景。5、VPCPeering支持租戶使用私有業(yè)務(wù)IP地址在安全隔離的VPC之間實現(xiàn)三層路由互通。支持IPv4，IPv6雙棧場景。6、虛擬IP服務(wù)虛擬IP（即VIP）是一個未分配給真實彈性云服務(wù)器網(wǎng)卡的IP地址，可以同時綁定多個虛擬機網(wǎng)卡。主要用在彈性云服務(wù)器的主備切換，達到高可用性HA（HighAvailability）的目的。需要注意的是用戶綁定的多個彈性云服務(wù)器自身要能提供類似keepalive的動態(tài)配置虛擬ip的能力。7、VPC流日志可以記錄虛擬私有云中的流量信息，幫助用戶檢查和優(yōu)化安全組和網(wǎng)絡(luò)ACL控制規(guī)則、監(jiān)控網(wǎng)絡(luò)流量、進行網(wǎng)絡(luò)攻擊分析等。支持VPC、子網(wǎng)、端口三種粒度的流日志設(shè)置。8、虛擬網(wǎng)卡限速可以基于虛擬網(wǎng)卡進行出方向流量的帶寬上限限速，防止單個虛擬網(wǎng)卡流量對同主機其它虛擬網(wǎng)卡流量造成沖擊。9、支持路由表路由表由一系列路由規(guī)則組成，用于控制虛擬私有云內(nèi)子網(wǎng)的出流量走向。VPC中的每個子網(wǎng)都必須關(guān)聯(lián)一個路由表，一個子網(wǎng)一次只能關(guān)聯(lián)一個路由表，但一個路由表可以關(guān)聯(lián)多個子網(wǎng)。路由表分兩類：默認路由表和自定義路由表用戶創(chuàng)建虛擬私有云時，系統(tǒng)會自動為其生成一個默認路由表，創(chuàng)建子網(wǎng)后，子網(wǎng)會自動關(guān)聯(lián)默認路由表。用戶可以在默認路由表中添加、刪除和修改路由規(guī)則，但不能刪除默認路由表。創(chuàng)建VPN、云專線、云連接服務(wù)時，默認路由表會自動下發(fā)路由，云連接路由不能刪除和修改，用戶可以將子網(wǎng)關(guān)聯(lián)到自定義路由表或者復(fù)制該條路由到自定義路由表中，在自定義路由表中添加、修改和刪除路由。路由表管理支持的操作包括（1）創(chuàng)建、刪除、查詢自定義路由表（2）子網(wǎng)關(guān)聯(lián)路由表、更新關(guān)聯(lián)路由表（3）添加、修改、查詢路由。自定義路由表僅支持IPv4路由。路由的下一跳支持：服務(wù)器實例、擴展網(wǎng)卡、虛擬IP、VPN網(wǎng)關(guān)、云專線網(wǎng)關(guān)、NAT網(wǎng)關(guān)、云連接、對等連接8云平臺運營管理運營服務(wù)中心是云管平臺的資源、服務(wù)管理中心，支持多租戶模式，租戶自助申請服務(wù)、管理資源，支持服務(wù)流程合規(guī)檢查，提升運營效率，包括：多云管理：支持對多個Region的云服務(wù)進行統(tǒng)一運營管理，滿足大型企業(yè)或組織跨地域運營混合云的需求，支持多云管理，包括華為云、AWS、AZure、華為虛擬化、VMware等。政企組織結(jié)構(gòu)管理：匹配政企多級組織管理模型，滿足各級組織靈活使用云服務(wù)資源的需求，同時支持政企IT項目管理，把項目預(yù)算轉(zhuǎn)換成資源配額，管控各業(yè)務(wù)部門的云資源池使用量，使得各業(yè)務(wù)部門在預(yù)算范圍內(nèi)合理使用云資源。權(quán)限管理：提供不同的運營權(quán)限，包括預(yù)置權(quán)限和自定義策略，滿足政企不同用戶角色的權(quán)限控制需求。服務(wù)管理：提供開箱即用的服務(wù)目錄，支持服務(wù)按租戶、按部門上架、下架，同時支持按需構(gòu)建服務(wù)，支持跨region、跨云的組合服務(wù)編排，支持重新編排云服務(wù)的申請頁面，服務(wù)申請客戶化，助力政企數(shù)字化轉(zhuǎn)型；資源管理：支持全局統(tǒng)一的資源中心，運營管理員、租戶可以在一張資源視圖內(nèi)管理所有region的云服務(wù)資源，支持對資源進行監(jiān)控、執(zhí)行常用操作。應(yīng)用管理：提供應(yīng)用管理，政企的業(yè)務(wù)系統(tǒng)可以定義為應(yīng)用，支持應(yīng)用部署，以應(yīng)用為中心管理云資源，提升運營管理效率；服務(wù)流程管理：提供圖形化、按需定義的服務(wù)流程編排能力，可自定義服務(wù)流程（包括并行、串行處理）、流程節(jié)點、節(jié)點的表單定義，指定各節(jié)點的審批人，靈活適配各企業(yè)不同的業(yè)務(wù)審批訴求。運營管理：提供訂單管理、配額管理、計量計價、購物車、回收站等運營能力，滿足租戶自助申請服務(wù)的訴求，提升運營效率。運營服務(wù)中心在匹配政企組織管理模型的基礎(chǔ)上，圍繞服務(wù)、資源、應(yīng)用的生命周期，結(jié)合統(tǒng)一服務(wù)流程進行合規(guī)管理。運營服務(wù)邏輯架構(gòu)1、門戶層：統(tǒng)一門戶：提供政企統(tǒng)一訪問門戶，門戶支持預(yù)集成服務(wù)、動態(tài)構(gòu)建注冊的服務(wù)、ISV開發(fā)的服務(wù)。2、運營能力層：組織管理：匹配政企組織結(jié)構(gòu)，提供企業(yè)、部門、項目不同層級的管理，通過部門配額控制各部門可使用的資源池資源數(shù)量，同時也可以通過項目預(yù)算為部門錄入資源配額，管控各部門可以使用的云資源數(shù)量。服務(wù)管理：支持服務(wù)按部門上架、下架，支持預(yù)集成服務(wù)、動態(tài)構(gòu)建服務(wù)、ISV開發(fā)的服務(wù)，支持多云服務(wù)的統(tǒng)一管理。資源管理：提供全局統(tǒng)一的資源管理中心，支持資源常用操作、資源監(jiān)控，提供一站式的資源中心。服務(wù)構(gòu)建：支持按需構(gòu)建服務(wù)，支持編排各原子服務(wù)API、服務(wù)申請頁面、申請流程，支持跨云服務(wù)編排，組合成用戶需要的云服務(wù)，發(fā)布到服務(wù)目錄，供租戶自助申請使用。應(yīng)用管理：提供以應(yīng)用為中心的資源管理，支持以應(yīng)用為粒度管理、監(jiān)控資源，支持在云主機上部署應(yīng)用軟件、應(yīng)用模塊進程監(jiān)控，提供一站式的應(yīng)用管理。運營管理；提供多云統(tǒng)一訂單、配額管理、計量統(tǒng)計。多云管理：支持接入多種云資源池，包括華為云、華為虛擬化、VMware、AWS、AZure等云類型的管理。3、統(tǒng)一服務(wù)流程：服務(wù)流程：提供服務(wù)申請、審批的統(tǒng)一流程，支持圖形化可靈活定義的流程編排，支持定義流程表單。4、統(tǒng)一服務(wù)接入框架：提供統(tǒng)一的服務(wù)接入框架，包括控制臺、鑒權(quán)認證、計量、訂單、配額等。9云平臺運維管理隨著企業(yè)數(shù)字化轉(zhuǎn)型的加速，企業(yè)業(yè)務(wù)上云的訴求越來越強烈，而云化數(shù)據(jù)中心相對于傳統(tǒng)的數(shù)據(jù)中心，運維的復(fù)雜度成指數(shù)級增加，最典型的問題如：運維效率低，運維難度大，系統(tǒng)穩(wěn)定性差等。從業(yè)界運維的發(fā)展歷程看，一般是經(jīng)過大概幾個階段：第一階段：傳統(tǒng)的IT運維，以ITIL為最佳實踐的流程化的運維管理，核心在于流程管控第二階段：以提升效率為核心的自動化運維，以DevOps為最佳實踐，實現(xiàn)軟件發(fā)布、升級、變更、監(jiān)控、故障處理全流程自動化的運維管理；第三階段：無人值守的智能化運維，以AIOps為核心，大量引入AI/ML技術(shù)，實現(xiàn)機器的故障預(yù)測和自主決策。實現(xiàn)監(jiān)控、故障、執(zhí)行自閉環(huán)的運維管理，最終實現(xiàn)無人值守的運維；云管平臺提供統(tǒng)一的運維能力，解決云數(shù)據(jù)中心運維的幾個核心問題：效率、成本和質(zhì)量。主要面向?qū)I(yè)的運維管理員，如一線駐場工程、云平臺運維工程師，運維安全工程師、網(wǎng)絡(luò)運維工程師以及設(shè)備運維工程師等。提供標準化、自動化、智能化的運維能力，方便運維人員及時掌握系統(tǒng)運行狀況，并提供故障診斷以及閉環(huán)的能力。實現(xiàn)了多云、多數(shù)據(jù)中心、多資源池、多種云服務(wù)的統(tǒng)一管理，提供包含資源管理、集中監(jiān)控、可視化、運維分析、安裝部署等功能模塊，支撐日常運維、系統(tǒng)變更、運營分析等運維業(yè)務(wù)場景。運維對象覆蓋基礎(chǔ)設(shè)施、云服務(wù)和應(yīng)用整個云環(huán)境的一體化的運維能力。云運維具備以下特點：架構(gòu)解耦：云運維架構(gòu)采用微服務(wù)架構(gòu)，具備良好的敏捷交付和可擴展性。能力開放：對外開放北向接口可對接第三方運維平臺，第三方可自開發(fā)驅(qū)動通過南向接口接入集中運維管理平臺。分布式架構(gòu)：每個數(shù)據(jù)中心部署本地云資源管理系統(tǒng)和物理設(shè)備運維系統(tǒng)，負責本地的運維操作、配置和監(jiān)控數(shù)據(jù)采集。統(tǒng)一管理：華為云Stack提供了統(tǒng)一的運維門戶，和靈活的南向?qū)幽芰?，基于從南向?qū)酉到y(tǒng)中抽取的資源對象的告警、性能、資源等信息，對資源進行監(jiān)控、統(tǒng)計、分析與預(yù)測，從而實現(xiàn)云數(shù)據(jù)中心資源的統(tǒng)一運維管理。智能分析：利用AI/ML技術(shù)，基于客戶實際應(yīng)用場景，構(gòu)建場景化智能運維能力。10態(tài)勢感知態(tài)勢感知（SituationAwareness，SA）是華為云安全管理與態(tài)勢分析平臺。能夠檢測出8大類的云上安全風險，包括DDoS攻擊、暴力破解、Web攻擊、后門木馬、僵尸主機、異常行為、漏洞攻擊、命令與控制等。利用大數(shù)據(jù)分析技術(shù)，態(tài)勢感知可以對攻擊事件、威脅告警和攻擊源頭進行分類統(tǒng)計和綜合分析，為用戶呈現(xiàn)出全局安全攻擊態(tài)勢。態(tài)勢感知通過采集全網(wǎng)流量數(shù)據(jù)和安全防護設(shè)備日志信息，并利用大數(shù)據(jù)安全分析平臺進行處理和分析，態(tài)勢感知檢測出威脅告警，同時將企業(yè)主機安全、Web應(yīng)用防火墻和DDoS流量清洗等安全服務(wù)上報的告警數(shù)據(jù)進行匯合，實時為用戶呈現(xiàn)完整的全網(wǎng)攻擊態(tài)勢，進而為安全事件的處置決策提供依據(jù)。11云主機安全服務(wù)器主機是所有應(yīng)用服務(wù)的基石，服務(wù)器一旦出現(xiàn)故障，所有信息化服務(wù)將停止。系統(tǒng)主機安全主要從兩個方面考慮。1、建立雙主機系統(tǒng)，利用操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)或其它第三方系統(tǒng)，實現(xiàn)服務(wù)器主機、應(yīng)用服務(wù)雙機冗余備份，雙網(wǎng)鏈路接入網(wǎng)絡(luò)交換設(shè)備，從物理底層避免單點故障；視應(yīng)用系統(tǒng)軟件特性，對應(yīng)用系統(tǒng)進行集群建設(shè)，使應(yīng)用系統(tǒng)在物理和應(yīng)用兩個層面上均實現(xiàn)雙機甚至多機系統(tǒng)，全面降低單點故障對整個信息系統(tǒng)的影響；2、服務(wù)器主機系統(tǒng)可考慮增加主機加固軟件系統(tǒng)，防止服務(wù)器數(shù)據(jù)被非法篡改，對于信息發(fā)布服務(wù)器，可以再增加主頁防篡改系統(tǒng)，以保障信息發(fā)布的安全性；針對數(shù)據(jù)庫主機服務(wù)器這樣的重點保護設(shè)備和數(shù)據(jù)資產(chǎn)，還可以增加HIPS（HostIPS）主機入侵防護系統(tǒng)，以保障數(shù)據(jù)的訪問安全。3、系統(tǒng)設(shè)備在正式竣工移交時將完成主機安全加固操作，拆除或禁用不必要的軟驅(qū)、光驅(qū)，關(guān)閉不使用的端口；對操作系統(tǒng)和應(yīng)用軟件的各項配置按相關(guān)規(guī)定進行配置到位；系統(tǒng)應(yīng)用、數(shù)據(jù)庫數(shù)據(jù)、各類配置具備自動備份和恢復(fù)功能。12云堡壘機服務(wù)云堡壘機（CloudBastionHost，CBH）是華為云的一款4A統(tǒng)一安全管控平臺，為企業(yè)提供集中的帳號（Account）、授權(quán)（Authorization）、認證（Authentication）和審計（Audit）管理服務(wù)。云堡壘機提供云計算安全管控的系統(tǒng)和組件，包含部門、用戶、資源、策略、運維、審計等功能模塊，集單點登錄、統(tǒng)一資產(chǎn)管理、多終端訪問協(xié)議、文件傳輸、會話協(xié)同等功能于一體。通過統(tǒng)一運維登錄入口，基于協(xié)議正向代理技術(shù)和遠程訪問隔離技術(shù)，實現(xiàn)對服務(wù)器、云主機、數(shù)據(jù)庫、應(yīng)用系統(tǒng)等云上資源的集中管理和運維審計。13數(shù)據(jù)庫審計服務(wù)數(shù)據(jù)庫安全服務(wù)（DatabaseSecurityService，DBSS）是一個智能的數(shù)據(jù)庫安全服務(wù)，基于機器學(xué)習(xí)機制和大數(shù)據(jù)分析技術(shù)，提供數(shù)據(jù)庫審計，SQL注入攻擊檢測，風險操作識別等功能，保障云上數(shù)據(jù)庫的安全。二、技術(shù)中臺建設(shè)1容器服務(wù)容器服務(wù)是基于iSulad和Kubernetes提供的云上一站式容器全棧能力平臺，包括生命周期管理、容器應(yīng)用Chart、應(yīng)用調(diào)度、監(jiān)控與運維。其中，iSulad是一個輕量級的容器運行守護進程，專為IOT和Cloud基礎(chǔ)設(shè)施而設(shè)計，可進行輕量化、快速的架構(gòu)應(yīng)用。容器服務(wù)的高效性。華為存儲系統(tǒng)支持便捷創(chuàng)建和升級Kubernetes容器集群，大幅簡化了iSulad和Kubernetes集群的部署過程。并且高效地實現(xiàn)了模板的快速部署與后期管理，在存儲系統(tǒng)內(nèi)高效完成容器應(yīng)用的整個生命周期。iSulad容器應(yīng)用，是直接運行于宿主內(nèi)核，無需啟動全部的操作系統(tǒng)，相比傳統(tǒng)的虛擬機技術(shù)擁有更快的應(yīng)用執(zhí)行速度、更低的內(nèi)存損耗和更迅速的文件存儲速度。容器服務(wù)的高穩(wěn)定性。支持資源隔離，支持在一套物理存儲系統(tǒng)中劃分獨享的硬件資源，使容器服務(wù)靈活、部署成本低。支持故障接管，支持容器應(yīng)用在同一控制框中的控制器之間進行自動切換，當控制器故障后，歸屬于該控制器上的容器應(yīng)用可以在正常運行的節(jié)點自動拉起，從而保障業(yè)務(wù)高穩(wěn)定。在本項目中，提供云容器引擎CCE和鏡像倉庫SWR服務(wù)：云容器引擎CCE：提供高度可擴展的、高性能的企業(yè)級Kubernetes集群，支持運行Docker容器。借助云容器引擎，可以在云上輕松部署、管理和擴展容器化應(yīng)用程序。鏡像倉庫SWR：是一種支持容器鏡像全生命周期管理的服務(wù)，提供簡單易用、安全可靠的鏡像管理功能，幫助用戶快速部署容器化服務(wù)。華為云容器引擎提供容器編排、調(diào)度、部署、彈性伸縮、升級、健康檢查、應(yīng)用模板管理等能力，支持純內(nèi)網(wǎng)環(huán)境自助式部署Kubernetes多集群環(huán)境，支持主機維護模式。支持混合集群，可以在虛擬機、裸金屬和虛擬機/裸金屬混合節(jié)點上部署集群。支持單機版master節(jié)點和集群版master節(jié)點。提供鏡像倉庫，方便企業(yè)對通用軟件包以及業(yè)務(wù)應(yīng)用鏡像進行本地化管理。并提供如下容器服務(wù)能力：集群資源管理，云容器與華為Stack和IaaS，支持集群監(jiān)控、部署和統(tǒng)計；工作負載管理，支持配置服務(wù)器訪問外部域名，支持運行環(huán)境變量配置；應(yīng)用調(diào)度管理，為容器運行選擇最優(yōu)節(jié)點，支持使用Helm模板編排應(yīng)用目錄；以及應(yīng)用彈性和監(jiān)控管理。2微服務(wù)管理微服務(wù)管理能夠?qū)崿F(xiàn)全生命周期的微服務(wù)治理能力，支持不同技術(shù)堆棧之間的服務(wù)注冊與發(fā)現(xiàn)、智能路由、全局配置推送、熔斷等復(fù)雜功能的屏蔽，開發(fā)者只需聚焦業(yè)務(wù)邏輯的開發(fā)，無需關(guān)注分布式系統(tǒng)管理的復(fù)雜性，從而實現(xiàn)每個服務(wù)單元的獨立快速開發(fā)和上線。平臺為基于微服務(wù)架構(gòu)開發(fā)的應(yīng)用提供支撐環(huán)境，同時為XX發(fā)電公司原有的遺留應(yīng)用微服務(wù)化提供接入途徑。本項目采用微服務(wù)框架作為中間件服務(wù)平臺，提供一站式應(yīng)用生命周期管理，實現(xiàn)包括服務(wù)治理、基礎(chǔ)監(jiān)控、應(yīng)用監(jiān)控和應(yīng)用診斷在內(nèi)的一系列應(yīng)用管理服務(wù)，能利用彈性伸縮應(yīng)對流量高峰，以提升對大型分布式應(yīng)用的管理能力。主要能力包括：應(yīng)用管理：支持應(yīng)用生命周期管理、環(huán)境管理。微服務(wù)應(yīng)用接入：支持JavaChassis、GoChassis、SpringCloud、Dubbo微服務(wù)框架；支持Mesher服務(wù)網(wǎng)格。配合微服務(wù)引擎可實現(xiàn)服務(wù)注冊發(fā)現(xiàn)、配置管理和服務(wù)治理，請參考微服務(wù)開發(fā)指南。應(yīng)用運維：通過日志、監(jiān)控、告警支持應(yīng)用運維管理。ROMAFactory是面向企業(yè)的一站式應(yīng)用管理與運維平臺，為XX發(fā)電公司ISV開發(fā)人員、測試人員、運維人員或項目經(jīng)理等角色，提供應(yīng)用托管、監(jiān)控、告警和日志分析等能力，同時平臺極具開放性，兼容業(yè)界主流應(yīng)用技術(shù)棧，包括：多種語言，多種微服務(wù)框架和多種運行環(huán)境，能極大地提升傳統(tǒng)應(yīng)用、Web應(yīng)用、微服務(wù)應(yīng)用的管理與運維效率，聚焦面向行業(yè)的應(yīng)用創(chuàng)新，從而提升應(yīng)用管理的質(zhì)量。通過應(yīng)用微服務(wù)化，XX發(fā)電公司可將一個臃腫的系統(tǒng)拆分成若干小的服務(wù)組件，組件之間的通訊采用輕量的協(xié)議完成，實現(xiàn)各組件生命周期管理的解耦。微服務(wù)框架可承載微服務(wù)應(yīng)用的全生命周期管理。支持Go、Java、Docker、Node.js、Tomcat等運行環(huán)境，可無侵入托管ApacheServiceCombJavaChassis、SpringCloud、服務(wù)網(wǎng)格等微服務(wù)應(yīng)用，提供配置管理、監(jiān)控運維和服務(wù)治理等更多功能，讓企業(yè)微服務(wù)應(yīng)用上云更簡單。微服務(wù)框架主要能力如下：支持基于Swagger的API管理。支持多種語言，如JAVA、Go、Node.js等。支持原生ServiceComb、Dubbo、SpringCloud和ServiceMesh多種微服務(wù)框架，無需更改業(yè)務(wù)代碼直接托管上云。提供服務(wù)中心、配置中心、儀表盤等功能。提供限流、降級、熔斷、容錯、錯誤注入、黑白名單等微服務(wù)治理策略，提供界面化操作，極大提高了服務(wù)治理的可用性。實現(xiàn)SpringCloud、JavaChassis和GoChassis之間的互相發(fā)現(xiàn)。3分布式緩存本項目采用分布式緩存服務(wù)DCS，華為云Stack提供的一款內(nèi)存數(shù)據(jù)庫服務(wù)，兼容了Redis，為您提供即開即用、安全可靠、彈性擴容、便捷管理的在線分布式緩存能力，滿足用戶高并發(fā)及數(shù)據(jù)快速訪問的業(yè)務(wù)訴求。性能原則：DCS實例在性能方面主要包含兩個指標，一是吞吐量（Throughput），指系統(tǒng)在指定時間段內(nèi)執(zhí)行的工作量，在緩存中通常以O(shè)PS或者QPS進行衡量，代表每秒能并發(fā)處理的業(yè)務(wù)量；二是單次請求的響應(yīng)時間，指單次緩存請求請求與響應(yīng)之間的平均延遲。DCS是一種內(nèi)存型的分布式緩存服務(wù)，并發(fā)量通常較大，對于在性能和數(shù)據(jù)可靠性方面通常需要進行權(quán)衡，DCS服務(wù)默認采用everysecond的aof持久化策略，在系統(tǒng)故障時容忍少量的數(shù)據(jù)失效（1s內(nèi)系統(tǒng)中未寫入磁盤的數(shù)據(jù)）以確保磁盤不會成為系統(tǒng)中的性能瓶頸。實用性：DCS服務(wù)在Console界面提供方便的Redis實例參數(shù)調(diào)整、備份恢復(fù)、一鍵擴容等功能，方便租戶能夠快捷高效的使用Redis實例，提升租戶的運維和開發(fā)效率。可擴展性：DCS緩存實例在界面和API上均支持方便快捷的一鍵擴容能力，支持從主備實例2GB-64GB，集群實例4GB-1024GB的方便擴容。Redis4.0和Redis5.0主備實例支持使用哨兵模式（Sentinel）進行管理，Sentinel會一直監(jiān)控主備節(jié)點是否正常運行，當主節(jié)點出現(xiàn)故障時，進行主備倒換。Sentinel對用戶不可見，僅在服務(wù)內(nèi)部中使用。只讀節(jié)點和讀寫節(jié)點規(guī)格一致，用戶創(chuàng)建主備實例時，默認包含一個主節(jié)點和一個備節(jié)點。Redis4.0和Redis5.0主備支持跨可用區(qū)容災(zāi)。DCS服務(wù)的Redis4.0/5.0版本的讀寫分離實例，讀寫分離實例默認為從服務(wù)端側(cè)實現(xiàn)的讀寫分離，通過Proxy節(jié)點識別用戶讀寫請求，如果是寫請求，則轉(zhuǎn)發(fā)給主節(jié)點，如果是讀請求，則轉(zhuǎn)發(fā)給備節(jié)點。讀寫分離主要適用于讀高并發(fā)、寫請求較少的業(yè)務(wù)場景，解決高并發(fā)的性能問題，節(jié)約運維成本。Redis是一種支持Key-Value等多種數(shù)據(jù)結(jié)構(gòu)的存儲系統(tǒng)?？捎糜诰彺?、事件發(fā)布或訂閱、高速隊列等應(yīng)用場景。Redis使用ANSIC語言編寫，提供字符串（String）、哈希（Hash）、列表（List）、集合結(jié)構(gòu)（Set、SortedSet）、流（Stream）等數(shù)據(jù)類型的直接存取。數(shù)據(jù)讀寫基于內(nèi)存，同時可持久化到磁盤。分布式緩存服務(wù)需要支持統(tǒng)一身份認證、虛擬私有云、云監(jiān)控與云審計等安全管理服務(wù)；支持靈活的容災(zāi)策略，主備/集群實例從單AZ（可用區(qū)）內(nèi)部署，到支持跨AZ部署；提供對實例內(nèi)存規(guī)格的在線擴容與縮容服務(wù)，實現(xiàn)基于實際業(yè)務(wù)量的成本控制，達到按需使用的目標；提供可視化Web管理界面，在線完成實例重啟、參數(shù)修改、數(shù)據(jù)備份恢復(fù)等操作；提供可視化Web界面遷移功能，支持備份文件導(dǎo)入和在線遷移兩種方式，提高遷移效率。提供基于Restful的管理API，方便進一步實現(xiàn)實例自動化管理。4分布式消息隊列分布式消息隊列應(yīng)基于高可用分布式集群技術(shù)，兼容Kafka協(xié)議，使用統(tǒng)一的消息接入機制，為企業(yè)提供安全、標準化消息通道。分布式消息隊列除了支持客戶端連接后管理Topic和發(fā)布訂閱消息，還支持可視化操作，包括Topic創(chuàng)建和管理、用戶管理與權(quán)限設(shè)置、消息查詢等功能。本項目采用的MQS是一個擁有高吞吐、可持久化、可水平擴展，支持流式數(shù)據(jù)處理等多種特性的分布式消息流處理中間件，采用分布式消息發(fā)布與訂閱機制，在日志收集、流式數(shù)據(jù)傳輸、在線/離線系統(tǒng)分析、實時監(jiān)控等領(lǐng)域有廣泛的應(yīng)用。MQS是一款基于高可用分布式集群技術(shù)，搭建了包括發(fā)布訂閱、消息軌跡、資源統(tǒng)計、監(jiān)控報警等一套完整的消息云服務(wù)。具備簡單、易用、安全、可靠的特性。MQS提供了消息內(nèi)容查詢以及消息軌跡查詢功能，用戶可以對消息內(nèi)容和消息生產(chǎn)、同步以及消費進度進行查看。消息內(nèi)容查詢功能提供了復(fù)合條件查詢消息內(nèi)容的能力，用戶可以實時查看消息內(nèi)容來驗證消息的正確性。消息軌跡功能為用戶直觀展示了消息從生產(chǎn)和消費端到端的全鏈路信息，能夠快速協(xié)助用戶定位生產(chǎn)和消費過程中的問題。運維可視化包含消息消費進度可視化、連接查詢可視化、連接日志可視化、消息統(tǒng)計可視化等。通過可視化的運維平臺，極大提高系統(tǒng)管理員的運維效率，用戶可以配置自定義告警規(guī)則提早發(fā)現(xiàn)問題隱患并解決，使得系統(tǒng)運行更加穩(wěn)定可靠。容量閾值策略設(shè)置磁盤使用達到容量閾值后的消息處理方式。MQS提供了生產(chǎn)受限和自動刪除兩種容量閾值策略，避免在超大數(shù)據(jù)量的極端場景下磁盤占滿的風險，保證用戶業(yè)務(wù)的可用性。用戶可以基于業(yè)務(wù)對數(shù)據(jù)和業(yè)務(wù)的可靠性來進行選擇，若保證歷史數(shù)據(jù)不能丟失可以選擇生產(chǎn)受限策略，若保證業(yè)務(wù)不中斷則可以選擇自動刪除策略。5API網(wǎng)關(guān)建設(shè)華為ROMAConnectAPIC提供企業(yè)級API網(wǎng)關(guān)是華為云的高性能、高可用、高安全的云原生網(wǎng)關(guān)服務(wù)，融合安全、負載均衡、流量入口治理、微服務(wù)流量治理、運維等多項能力。建設(shè)支持將數(shù)據(jù)和后端服務(wù)以API形式開放，簡化分享數(shù)據(jù)或提供服務(wù)的過程，降低企業(yè)和業(yè)務(wù)系統(tǒng)之間對接的成本，實現(xiàn)API安全開放、API高并發(fā)調(diào)用和入口流量、微服務(wù)流量精細化治理。API網(wǎng)關(guān)（APIGateway）提供高性能、高可用、高安全的API托管服務(wù)，能快速將企業(yè)服務(wù)能力包裝成標準API服務(wù)，輕松構(gòu)建、管理和部署任意規(guī)模的API。借助API網(wǎng)關(guān)，可以簡單、快速、低成本、低風險地實現(xiàn)內(nèi)部系統(tǒng)集成、業(yè)務(wù)能力開放及業(yè)務(wù)能力變現(xiàn)。API網(wǎng)關(guān)可變現(xiàn)服務(wù)能力的同時，降低企業(yè)研發(fā)投入，使企業(yè)專注于企業(yè)核心業(yè)務(wù)，提升運營效率。作為API提供者，可以將成熟的業(yè)務(wù)能力（如服務(wù)、數(shù)據(jù)等）作為后端服務(wù)，在API網(wǎng)關(guān)中開放API，并通過線下方式提供給API調(diào)用者使用，或者發(fā)布到API市場，實現(xiàn)業(yè)務(wù)能力變現(xiàn)。API網(wǎng)關(guān)包含如下功能：API生命周期管理，API網(wǎng)關(guān)支持API的創(chuàng)建、發(fā)布、下線、回滾等日常管理。API調(diào)測，在完成API創(chuàng)建后，可以先對API進行調(diào)試，確保API的功能正常。在調(diào)試頁面中，可自定義配置API的請求信息。API安全認證，API網(wǎng)關(guān)具備多種安全認證方式，在調(diào)用API前，需要向API提供方獲取API的請求信息，包括訪問域名、請求協(xié)議、請求方法、請求路徑以及請求參數(shù)。API流量控制，流量控制可限制單位時間內(nèi)API的被調(diào)用次數(shù)，保護后端服務(wù)。為了提供持續(xù)穩(wěn)定的服務(wù)，可以創(chuàng)建流控策略，對綁定策略的API進行流量控制。流量控制策略和API本身是相互獨立的，只有將API綁定流量控制策略后，流量控制策略才對API生效。API策略路由控制，API網(wǎng)關(guān)可配置策略路由，包括訪問控制策略、客戶端配額策略、客戶端訪問控制策略等內(nèi)容。API權(quán)限控制，API網(wǎng)關(guān)對用戶資源實現(xiàn)了嚴格的權(quán)限管理，在同一實例內(nèi)，IAM用戶只能查看和管理自己創(chuàng)建的API資源，默認不能查看其他IAM用戶創(chuàng)建的API資源。API網(wǎng)關(guān)支持精細化權(quán)限管理。API二次開發(fā)，API開發(fā)包含數(shù)據(jù)API開發(fā)，函數(shù)API開發(fā)。數(shù)據(jù)API開發(fā)是指通過編寫SQL腳本的方式，將數(shù)據(jù)庫提供的數(shù)據(jù)服務(wù)轉(zhuǎn)換為RESTAPI的能力。函數(shù)API開發(fā)是指通過編寫JS代碼的方式，對多個BackendAPI進行編排和適配，封裝為一個新的API。6關(guān)系型數(shù)據(jù)庫在本項目中提供的關(guān)系型云數(shù)據(jù)庫RDS（RelationalDatabaseService，簡稱RDS）是一種基于云計算平臺的穩(wěn)定可靠、彈性伸縮、便捷管理的在線云數(shù)據(jù)庫服務(wù)。支持MySQL、PostgreSQL、SQLserver三種數(shù)據(jù)庫引擎：其中，云數(shù)據(jù)庫RDSforMySQL架構(gòu)成熟穩(wěn)定，支持流行應(yīng)用程序；支持各種WEB應(yīng)用；管理控制臺提供全面的監(jiān)控信息，簡單易用，靈活管理，可視又可控；能夠提供穩(wěn)定可靠、可彈性伸縮的數(shù)據(jù)庫服務(wù)。RDSforPostgreSQL支持NoSQL數(shù)據(jù)類型（JSON/XML/hstore），支持GIS地理信息處理。RDSforSQLServer擁有高可用架構(gòu)、數(shù)據(jù)安全保障和故障秒級恢復(fù)功能。RDS具有多重安全防護措施和完善的性能監(jiān)控體系，并提供專業(yè)的數(shù)據(jù)庫備份、恢復(fù)及優(yōu)化方案。有良好的兼容性，支持主流的數(shù)據(jù)庫引擎，并提供完善的OpenAPI供外部調(diào)用。數(shù)據(jù)庫架構(gòu)和功能數(shù)據(jù)的高可用性對系統(tǒng)持續(xù)服務(wù)能力極其重要，數(shù)據(jù)庫服務(wù)器是企業(yè)存放數(shù)據(jù)的重要設(shè)備，如果數(shù)據(jù)庫服務(wù)器故障，就會造成業(yè)務(wù)停頓，導(dǎo)致不可挽回的損失。RDSforMySQL提供主、備高可用方案，主機提供讀寫操作，備機提供只讀操作，通過主機向備機發(fā)送日志，備機回放接收到的日志的方式，實現(xiàn)主備機數(shù)據(jù)同步。當主機出現(xiàn)故障，備機回放完所有接收到的日志后升為主機，提供數(shù)據(jù)庫服務(wù)，保證系統(tǒng)持續(xù)對外提供服務(wù)。通過全量數(shù)據(jù)備份和周期性邏輯日志備份，當發(fā)生故障時可以保證能夠回退到歷史的任何版本。物理數(shù)據(jù)備份：定期做全量數(shù)據(jù)備份，存放在OBS上。邏輯日志備份：每5分鐘進行一次binlog日志。云數(shù)據(jù)庫需要支持可彈性伸縮的在線數(shù)據(jù)庫服務(wù)，。支持在線平滑升降級，計算能力、存儲容量和總IOPS同步線性擴容。統(tǒng)一賬戶、統(tǒng)一認證，確保用戶信息的安全，避免用7時序數(shù)據(jù)庫時序數(shù)據(jù)庫是一種專門用于存儲和處理時間序列數(shù)據(jù)的數(shù)據(jù)庫，它可以應(yīng)用于以下場景：1.物聯(lián)網(wǎng)（IoT）：時序數(shù)據(jù)庫可以用于存儲和處理傳感器數(shù)據(jù)、設(shè)備數(shù)據(jù)、監(jiān)控數(shù)據(jù)等，例如溫度、濕度、壓力、電流、電壓等數(shù)據(jù)。2.金融領(lǐng)域：時序數(shù)據(jù)庫可以用于存儲和處理股票、期貨、外匯等金融數(shù)據(jù)，例如股票價格、交易量、交易時間等數(shù)據(jù)。3.日志分析：時序數(shù)據(jù)庫可以用于存儲和處理日志數(shù)據(jù)，例如服務(wù)器日志、應(yīng)用程序日志、網(wǎng)絡(luò)日志等數(shù)據(jù)。4.運維監(jiān)控：時序數(shù)據(jù)庫可以用于存儲和處理服務(wù)器、網(wǎng)絡(luò)、應(yīng)用程序等監(jiān)控數(shù)據(jù)，例如CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬、請求響應(yīng)時間等數(shù)據(jù)5.工業(yè)控制：時序數(shù)據(jù)庫可以用于存儲和處理工業(yè)控制數(shù)據(jù)，例如生產(chǎn)線數(shù)據(jù)、機器數(shù)據(jù)、傳感器數(shù)據(jù)等?？傊瑫r序數(shù)據(jù)庫適用于需要存儲和處理時間序列數(shù)據(jù)的各種場景，可以幫助用戶更高效地管理和分析數(shù)據(jù)，提高數(shù)據(jù)價值。本項目中有大量時間序列數(shù)據(jù)，時序數(shù)據(jù)庫主要用于處理帶時間標簽的數(shù)據(jù)，應(yīng)用在具有時間序列化的應(yīng)用場景中。擁有時序數(shù)據(jù)常用的計算函數(shù)，包括min、max、avg、count、sum等常用函數(shù)，同時提供多種時序相關(guān)的計算能力，包括線性插值計算、降精度計算、時間經(jīng)緯度混合計算等。在華為云技術(shù)棧中，主要通過表格存儲服務(wù)（CloudTableService，簡稱CloudTable）為用戶提供專屬集群，即開即用，適合業(yè)務(wù)吞吐量大，時延要求低的用戶。CloudTable提供基于HBase全托管的NoSQL服務(wù)，提供毫秒級隨機讀寫能力，適用于海量(半)結(jié)構(gòu)化、時空、時序數(shù)據(jù)存儲；提供基于Doris全托管的實時數(shù)倉服務(wù)，僅需亞秒級響應(yīng)時間即可返回海量數(shù)據(jù)下的查詢結(jié)果，不僅可以支持高并發(fā)的點查詢場景，也可以支持高吞吐的復(fù)雜分析場景。因此，Doris能夠較好的滿足報表分析、即席查詢、統(tǒng)一數(shù)倉構(gòu)建、數(shù)據(jù)湖聯(lián)邦查詢加速等使用場景，用戶可以在此之上構(gòu)建用戶行為分析、AB實驗平臺、日志檢索分析、用戶畫像分析、訂單分析等應(yīng)用。8文檔數(shù)據(jù)庫本項目采用文檔數(shù)據(jù)庫服務(wù)（DocumentDatabaseService，簡稱DDS），兼容MongoDB協(xié)議，提供安全、高可用、高可靠、彈性伸縮和易用的數(shù)據(jù)庫服務(wù)，同時提供一鍵部署、彈性擴容、容災(zāi)、備份、恢復(fù)、監(jiān)控和告警等功能。其中，MongoDB作為文檔數(shù)據(jù)庫的云版本，主要服務(wù)于以json格式為載體的文檔型數(shù)據(jù)，兼容高可用、高可靠、高可擴展特點，提供穩(wěn)定的數(shù)據(jù)庫服務(wù)。云數(shù)據(jù)庫MongoDB具備靈活部署的架構(gòu)模式，根據(jù)不同場景應(yīng)用不同的架構(gòu)，主要包括單節(jié)點、副本集、分片集群、Serverless架構(gòu)。支持集群角色主備自動和手動切換。其關(guān)鍵功能特性：功能特性說明靈活應(yīng)用您可以通過控制臺實時創(chuàng)建目標實例，配合彈性云服務(wù)器一起使用，通過彈性云服務(wù)器內(nèi)網(wǎng)連接文檔數(shù)據(jù)庫，有效地降低應(yīng)用響應(yīng)時間、節(jié)省公網(wǎng)流量費用。通過本地設(shè)備訪問實例時，可以為其綁定彈性公網(wǎng)IP，通過彈性公網(wǎng)IP連接文檔數(shù)據(jù)庫。完全兼容文檔數(shù)據(jù)庫服務(wù)是面向文檔型的NoSQL數(shù)據(jù)庫，完全兼容MongoDB協(xié)議?？梢暬\維控制臺提供可視化實例管理平臺，對實例重啟、備份、數(shù)據(jù)恢復(fù)等高頻需求實現(xiàn)一鍵式便捷操作。數(shù)據(jù)安全通過虛擬私有云、子網(wǎng)、安全組、存儲加密、DDoS防護以及SSL安全訪問等多層安全防護體系，有力地抗擊各種惡意攻擊，保證數(shù)據(jù)安全。提供審計日志功能，審計日志最長支持保存兩年。支持細粒度權(quán)限控制。高可用集群和副本集支持高可用，一旦Primary節(jié)點發(fā)生故障導(dǎo)致節(jié)點不可用，即可在很短時間內(nèi)切換到Secondary節(jié)點上，切換過程對應(yīng)用透明。指標監(jiān)控實時監(jiān)控數(shù)據(jù)庫實例及引擎的關(guān)鍵性能指標，包括CPU、內(nèi)存使用率，磁盤利用率，command、delete、insert語句執(zhí)行頻率，活躍連接數(shù)等指標。備份與恢復(fù)支持設(shè)置自動備份策略和實時手動備份。其中，自動備份保留時長最多達到732天，實時手動備份長期保留。支持通過備份文件進行數(shù)據(jù)恢復(fù)。其中，副本集支持實例級時間點恢復(fù)和庫表級時間點恢復(fù)。日志管理支持查詢和下載數(shù)據(jù)庫錯誤日志和慢日志。參數(shù)配置控制臺支持在線修改并生效配置參數(shù)，以及參數(shù)組配置管理功能。提供高可用連接：通過配置多IP連接串來實現(xiàn)高可用連接，支持集群、副本集、單節(jié)點。針對安全和賬號管理，用戶訪問DDS時支持對數(shù)據(jù)庫用戶進行身份驗證，包含密碼驗證和IAM驗證兩種方式；使用IAM為企業(yè)中的員工設(shè)置不同的訪問權(quán)限，以達到不同員工之間的權(quán)限隔離，通過IAM進行精細的權(quán)限管理。用戶自主配置和管理的虛擬網(wǎng)絡(luò)環(huán)境，提升用戶云上資源的安全性，簡化用戶的網(wǎng)絡(luò)部署。9大數(shù)據(jù)計算存儲在本期平臺建設(shè)、設(shè)計和系統(tǒng)實現(xiàn)過程中，應(yīng)遵循如下原則：集約性原則：數(shù)據(jù)湖平臺應(yīng)建設(shè)為一個統(tǒng)一的數(shù)據(jù)湖平臺，數(shù)據(jù)集中融合處理，避免數(shù)據(jù)孤島。開放性原則：數(shù)據(jù)湖平臺采用開放架構(gòu)，100%兼容開源接口，兼容主流開源生態(tài)系統(tǒng)，確保數(shù)據(jù)湖平臺具備持續(xù)的系統(tǒng)集成和擴展能力。安全性原則：數(shù)據(jù)湖平臺針對系統(tǒng)級、應(yīng)用級、網(wǎng)絡(luò)級，均提供合理的安全手段和措施，為平臺提供全方位、立體化的安全實施方案，確保企業(yè)內(nèi)部信息的安全?？煽啃栽瓌t：數(shù)據(jù)平臺采用高可靠部署架構(gòu)，系統(tǒng)依賴的所有組件沒有單點故障，提供必要的備份容災(zāi)能力，保證數(shù)據(jù)湖平臺的持續(xù)穩(wěn)定運行?？沙掷m(xù)原則：數(shù)據(jù)湖平臺應(yīng)采用分布式部署架構(gòu)，支持在線擴縮容；平臺具備持續(xù)在線升級能力，具備持續(xù)解決系統(tǒng)短板問題和集成最新業(yè)界技術(shù)的能力。（一）設(shè)計架構(gòu)：數(shù)據(jù)湖從各種數(shù)據(jù)源，以批量和實時的方式將全量業(yè)務(wù)數(shù)據(jù)匯聚到數(shù)據(jù)湖平臺中存儲。并利用數(shù)據(jù)湖內(nèi)豐富的計算引擎對數(shù)據(jù)進行加工，根據(jù)業(yè)務(wù)需要形成面向業(yè)務(wù)的專題集市。數(shù)據(jù)湖需要具有批流一體的數(shù)據(jù)加工能力，加快湖內(nèi)數(shù)據(jù)的流轉(zhuǎn)，更快的呈現(xiàn)數(shù)據(jù)價值，同時也完全支持傳統(tǒng)批量加工業(yè)務(wù)?，F(xiàn)在數(shù)據(jù)湖的特點體現(xiàn)在以下幾個方面：1.數(shù)據(jù)入湖：通過批量集成、批量導(dǎo)入等工具，以定時加載或?qū)崟r處理的方式，將常見的數(shù)據(jù)源（如業(yè)務(wù)數(shù)據(jù)庫、FTP文件系統(tǒng)、消息日志、IoT設(shè)備等）的數(shù)據(jù)，批量接入到數(shù)據(jù)湖中進行批量加工分析。同時支持數(shù)據(jù)以實時追加或更新的方式進行入湖，利用批流一體的計算引擎進行數(shù)據(jù)的實時加工。2.數(shù)據(jù)存儲：分布式存儲系統(tǒng)，可線性擴展，支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等各種形式數(shù)據(jù)存儲。支持實時數(shù)據(jù)存儲，支持ACID模式，支持存量數(shù)據(jù)的實時數(shù)據(jù)更新和刪除。3.批流一體數(shù)據(jù)加工：支持批流一體數(shù)據(jù)加工模式，數(shù)據(jù)端到端加工延遲可以低至分鐘級別。支持分布式計算架構(gòu)，豐富的計算引擎支持，按照業(yè)務(wù)場景，支撐海量業(yè)務(wù)數(shù)據(jù)的實時和批量ETL（抽取Extract,轉(zhuǎn)換Transform,加載Load）、邏輯程序處理、靈活查詢等等多個場景所需的數(shù)據(jù)加工引擎。支持數(shù)據(jù)湖內(nèi)的實時數(shù)據(jù)倉建設(shè)，采用批流一體加工引擎，結(jié)合ACID加工模式，及交互式查詢引擎，數(shù)據(jù)入湖、加工、查詢，分鐘級完成端到端數(shù)據(jù)加工，并可以對加工結(jié)果進行即席查詢。4.多樣性數(shù)據(jù)集市：提供多種集市系統(tǒng)，滿足不同業(yè)務(wù)系統(tǒng)的高效用數(shù)據(jù)需求。集市類型包含鍵值查詢、全文檢索、內(nèi)存緩存、寬表查詢、實時OLAP、時序數(shù)據(jù)處理、圖數(shù)據(jù)處理等。集市類型可靈活組合，按需使用。（二）數(shù)據(jù)湖架構(gòu)本次項目將建設(shè)數(shù)據(jù)湖作為企業(yè)內(nèi)的數(shù)據(jù)基座。企業(yè)內(nèi)的全量數(shù)據(jù)，包括實時數(shù)據(jù)、離線數(shù)據(jù)、半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)等，可以以實時或者批量的方式加載到數(shù)據(jù)湖中。數(shù)據(jù)在數(shù)據(jù)湖湖中進行統(tǒng)一存儲和加工，并進行數(shù)據(jù)治理和主題建模。再根據(jù)業(yè)務(wù)需求將數(shù)據(jù)加載進不同的數(shù)據(jù)集市中，通過數(shù)據(jù)服務(wù)的統(tǒng)一接口服務(wù)對外開放數(shù)據(jù)。數(shù)據(jù)加載分為實時數(shù)據(jù)的加載和離線數(shù)據(jù)的加載。OT類實時數(shù)據(jù)通過消息管道統(tǒng)一收集，IT類實時數(shù)據(jù)需要配套數(shù)據(jù)庫廠家提的CDC工具進行收集，收集后送入消息管道中。IT實時數(shù)據(jù)入湖可以通過實時入湖工具進行數(shù)據(jù)同步入湖，OT類數(shù)據(jù)可以使用實時流處理引擎進行數(shù)據(jù)的實時入湖。離線數(shù)據(jù)，包括離線IT數(shù)據(jù)和半結(jié)構(gòu)化/非結(jié)構(gòu)化文件數(shù)據(jù)，使用批量數(shù)據(jù)加載工具將數(shù)據(jù)加載到數(shù)據(jù)湖中。數(shù)據(jù)湖采用分布式統(tǒng)一存儲組件進行各種類型數(shù)據(jù)的統(tǒng)一存儲，并對結(jié)構(gòu)化數(shù)據(jù)支持ACID操作，滿足在數(shù)據(jù)湖內(nèi)建倉建模的需求。數(shù)據(jù)湖存儲采用開放存儲格式，可以對接多種主流數(shù)據(jù)加工引擎，可以在數(shù)據(jù)湖之上利用多種計算引擎對數(shù)據(jù)進行處理，如Hive、Spark、HetuEngine等，且可以擴展對接數(shù)據(jù)挖掘和深度學(xué)習(xí)工具對數(shù)據(jù)湖之上的數(shù)據(jù)進行AI處理。數(shù)據(jù)湖適用于數(shù)據(jù)的統(tǒng)一加工和治理，數(shù)據(jù)湖加工后的數(shù)據(jù)可以根據(jù)業(yè)務(wù)性能要求和查詢模式要求將數(shù)據(jù)導(dǎo)入數(shù)據(jù)集市組件。數(shù)據(jù)集市組件可以在特定查詢場景下提供極致的查詢性能，可以更好的滿足業(yè)務(wù)端數(shù)據(jù)快速呈現(xiàn)的需求。數(shù)據(jù)湖中的數(shù)據(jù)是共享的，全局唯一的。數(shù)據(jù)集市中的數(shù)據(jù)不同業(yè)務(wù)按需從數(shù)據(jù)湖中加載，通常是非共享的，不同業(yè)務(wù)的數(shù)據(jù)可能是重復(fù)的。數(shù)據(jù)湖平臺中提供的數(shù)據(jù)集市組件包括：實時OLAP分析引擎、實時精確檢索數(shù)據(jù)庫，實時綜合搜索數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫、時序數(shù)據(jù)庫等。實時數(shù)據(jù)湖可以提供分鐘級延遲的數(shù)據(jù)入湖加工能力，可滿足準實時業(yè)務(wù)的需求。作為實時數(shù)據(jù)湖的補充，實時數(shù)據(jù)也可以直接通過流處理系統(tǒng)加工后直接送入到數(shù)據(jù)集市組件中，供前端業(yè)務(wù)開展實時應(yīng)用。此時數(shù)據(jù)不經(jīng)過數(shù)據(jù)湖的統(tǒng)一加工處理過程，數(shù)據(jù)延遲可以低至毫米級，適用于需要訪問原始數(shù)據(jù)，延遲要求苛刻的實時業(yè)務(wù)場景。數(shù)據(jù)智能組件結(jié)合AI能力，可以在實時決策和智慧搜索等領(lǐng)域提供更好的業(yè)務(wù)支持，加強數(shù)據(jù)價值的釋放和特色應(yīng)用的建設(shè)能力。數(shù)據(jù)湖平臺作為企業(yè)內(nèi)的數(shù)據(jù)基座，除了提供核心的存儲能力，還需要具備完善的管理運維能力。本次建設(shè)的數(shù)據(jù)湖平臺提供統(tǒng)一的前端可視化管理界面，可以對數(shù)據(jù)湖平臺進行統(tǒng)一運維管理操作。數(shù)據(jù)湖平臺提供完善的安全管控能力，保障數(shù)據(jù)湖內(nèi)的數(shù)據(jù)安全可靠。本次建設(shè)的數(shù)據(jù)湖采用分布式部署架構(gòu)，不存在單點故障，任意節(jié)點的故障不影響整體平臺功能可用性。數(shù)據(jù)湖平臺具備良好的擴展能力，可在線線性擴容，可滿足業(yè)務(wù)長期增長的需求。最后，數(shù)據(jù)湖平臺提供完整的多租戶管理能力，企業(yè)內(nèi)的多個業(yè)務(wù)系統(tǒng)可在數(shù)據(jù)湖之上進行資源共享、權(quán)限隔離，在保證數(shù)據(jù)安全的前提下，實現(xiàn)數(shù)據(jù)湖資源的充分利用。（三）大數(shù)據(jù)服務(wù)本項目采用MRS云原生數(shù)據(jù)湖服務(wù)，提供租戶完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務(wù)，完全兼容開源接口，結(jié)合華為云計算、存儲優(yōu)勢及大數(shù)據(jù)行業(yè)經(jīng)驗，為客戶提供高性能、低成本、靈活易用的數(shù)據(jù)湖服務(wù)。MRS云原生數(shù)據(jù)湖服務(wù)支持構(gòu)筑企業(yè)的云原生數(shù)據(jù)湖，匯聚和存儲企業(yè)或組織內(nèi)全量的結(jié)構(gòu)化/半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)。實現(xiàn)Lakehouse架構(gòu)，湖內(nèi)建倉，提供實時OLAP能力，實現(xiàn)數(shù)據(jù)不出湖，縮短數(shù)據(jù)分析鏈路，直接對接BI報表、交互式查詢等業(yè)務(wù)，解決數(shù)據(jù)孤島的問題。MRS云原生數(shù)據(jù)湖服務(wù)提供Hadoop、Hive、Spark、HBase、Kafka、Flink、Elasticsearch、HetuEngine、Hudi、ClickHouse、Doris、GES、RTD等組件，具備T+0數(shù)據(jù)實時入湖、批量加工、實時流處理、流批一體、實時檢索、交互式查詢等能力，滿足企業(yè)的全場景業(yè)務(wù)需求。（四）產(chǎn)品架構(gòu)MRS云原生數(shù)據(jù)湖對開源組件進行封裝和增強，對外提供穩(wěn)定的大容量的數(shù)據(jù)存儲、查詢和分析能力，實現(xiàn)Lakehouse架構(gòu)，并提供集群管理、節(jié)點大集群、日志檢索等功能。10數(shù)據(jù)倉庫本項目采用數(shù)據(jù)倉庫GaussDB(DWS)，它是基于Shared-nothing分布式架構(gòu)，具備MPP(MassivelyParallelProcessing)大規(guī)模并行處理引擎，由眾多擁有獨立且互不共享的CPU、內(nèi)存、存儲等系統(tǒng)資源的邏輯節(jié)點組成。在系統(tǒng)架構(gòu)中，業(yè)務(wù)數(shù)據(jù)被分散存儲在多個節(jié)點上，數(shù)據(jù)分析任務(wù)被推送到數(shù)據(jù)所在位置就近執(zhí)行，并行地完成大規(guī)模的數(shù)據(jù)處理工作，實現(xiàn)對數(shù)據(jù)處理的快速響應(yīng)。數(shù)據(jù)倉庫服務(wù)（GaussDB(DWS)，簡稱DWS）是一種在線數(shù)據(jù)處理數(shù)據(jù)庫，提供即開即用、可擴展且完全托管的分析型數(shù)據(jù)庫服務(wù)?？蓮V泛應(yīng)用于金融、車聯(lián)網(wǎng)、政企、電商、能源、電信等多個領(lǐng)域，已連續(xù)兩年入選Gartner發(fā)布的數(shù)據(jù)管理解決方案魔力象限，相比傳統(tǒng)數(shù)據(jù)倉庫，性價比提升數(shù)倍，具備大規(guī)模擴展能力和企業(yè)級可靠性。華為并行數(shù)據(jù)庫基于Shared-nothing/MPP架構(gòu)，面向開放x86平臺，數(shù)據(jù)跨所有節(jié)點均勻分布，所有節(jié)點以并行方式工作，提供標準SQL接口，支持SQL92,99,2003標準，支持JDBC/ODBC標準接口，提供多達256個物理節(jié)點PB級數(shù)據(jù)存儲分析的擴展能力。主要包含以下幾個組件：CN（Coordinator）：協(xié)調(diào)節(jié)點組件，獨立進程，SQL的統(tǒng)一入口，對外接收客戶端SQL語句，生成分布式執(zhí)行計劃，下發(fā)計劃片段到各執(zhí)行節(jié)點，各執(zhí)行節(jié)點返回執(zhí)行結(jié)果到Coordinator，返回給客戶端。主要職責是接收SQL請求，生成執(zhí)行計劃，匯聚最終結(jié)果。DN(DataNode)：執(zhí)行節(jié)點組件，也稱之為數(shù)據(jù)節(jié)點，獨立進程，SQL執(zhí)行計劃的執(zhí)行主體，并存放數(shù)據(jù)。GTM（GlobalTransactionManager）：全局事務(wù)管理器，獨立進程，主要是用于維護分布式系統(tǒng)中全局事務(wù)一致性。WLM（WorkloadManager）：負載管理組件，內(nèi)置功能組件，控制SQL語句的資源消耗，保證任務(wù)優(yōu)先級。CM（ClusterManager）:集群管理組件，由兩部分組成，一個是CMServer，一個是CMAgent，每個主機節(jié)點部署一個CMAgent，CMServer和CMAgent均為獨立進程，每個主機節(jié)點上部署一個CMAgent，CMAgent監(jiān)控這個節(jié)點上的所有資源，包括監(jiān)控網(wǎng)絡(luò)狀態(tài)，磁盤狀態(tài)等硬件設(shè)備，以及CN節(jié)點，DN節(jié)點，GTM節(jié)點等軟件設(shè)備的狀態(tài)，CMAgent進程每隔一定時間向CMServer匯報集群各組件狀態(tài)信息，CMServer根據(jù)CMAgent上報的狀態(tài)信息判斷集群資源是否發(fā)生故障，在集群發(fā)生故障時，能夠根據(jù)故障類型做出相應(yīng)的故障處理指令，保證集群自恢復(fù)。OM（OperationManager）：安裝部署運維，配置管理接口工具，獨立進程。系統(tǒng)業(yè)務(wù)處理流程：SQL語句業(yè)務(wù)處理流程：客戶端發(fā)起SQL，CN節(jié)點接受SQL，生成分布式執(zhí)行計劃，CN節(jié)點向涉及DN節(jié)點下發(fā)分布式執(zhí)行計劃，DN節(jié)點執(zhí)行分片執(zhí)行計劃，向CN節(jié)點返回執(zhí)行結(jié)果，CN匯聚最終結(jié)果，返回給客戶端。集群啟停業(yè)務(wù)處理邏輯：cm_ctl客戶端工具發(fā)起集群啟停命令，CMServer接受客戶端工具發(fā)起的命令，將命令下發(fā)給各節(jié)點，執(zhí)行啟停命令。集群狀態(tài)查詢業(yè)務(wù)處理邏輯：cm_ctl客戶端工具發(fā)起集群狀態(tài)查詢命令，CMServer返回給客戶端工具各節(jié)點狀態(tài)信息。數(shù)據(jù)倉庫的應(yīng)用場景主要體現(xiàn)在四個方面：數(shù)據(jù)倉庫遷移、大數(shù)據(jù)融合分析、增強型ETL和實時BI分析、實時數(shù)據(jù)分析。DWS提供配套的遷移工具，可支持TeraData、Oracle、MySQL、SQLServer、PostgreSQL、Greenplum、Impala等常用數(shù)據(jù)分析系統(tǒng)的平滑遷移。兼容主流標準和語法結(jié)構(gòu)，支持數(shù)據(jù)加密和增量備份。11流計算本項目中采用Flink是一個批處理和流處理結(jié)合的統(tǒng)一計算框架，其核心是一個提供了數(shù)據(jù)分發(fā)以及并行化計算的流數(shù)據(jù)處理引擎。它的最大亮點是流處理，是業(yè)界最頂級的開源流處理引擎。Flink最適合的應(yīng)用場景是低時延的數(shù)據(jù)處理（DataProcessing）場景：高并發(fā)pipeline處理數(shù)據(jù)，時延毫秒級，且兼具可靠性。實時計算(流計算)提供可以恢復(fù)數(shù)據(jù)流應(yīng)用到一致狀態(tài)的容錯機制（CheckPoint），容錯機制的核心就是持續(xù)創(chuàng)建分布式數(shù)據(jù)流及其狀態(tài)的一致快照。這些快照在系統(tǒng)遇到故障時，充當可以回退的一致性檢查點（checkpoint）。實時計算模塊是基于ApacheFlink構(gòu)建的一站式、高性能實時大數(shù)據(jù)處理平臺，廣泛適用于流式數(shù)據(jù)處理、離線數(shù)據(jù)處理等多種場景。該實時計算模塊屬于完全托管的流計算引擎，可針對流數(shù)據(jù)運行查詢，無需預(yù)置或管理任何基礎(chǔ)設(shè)施，實時計算提供完全租戶隔離的托管運行服務(wù)。從最上層工作空間，到最底層執(zhí)行機器，提供高度有效的隔離和全面防護。實時計算模塊提供大量優(yōu)化的SQL執(zhí)行引擎，具備實時計算獨特的Exactly-OnceProcessing語義保證，能夠保證各種Failover場景的數(shù)據(jù)準確性；實時計算集成SQL優(yōu)化邏輯，將SQL翻譯為最底層的執(zhí)行代碼的普通人員編寫的Storm代碼，提高編寫SQL代碼的效率；支持自定義函數(shù)UFD的擴展功能，對于SQL無法表達的、或者業(yè)務(wù)定制化邏輯，實時計算通過自定義UFD進行功能擴展；在保證任務(wù)和系統(tǒng)穩(wěn)定性同時，在數(shù)據(jù)突增場景下可以進行彈性擴容。FlinkSQL支持基于無限大窗口的聚合，以及對一個特定的窗口的聚合，并基于EventTime、ProcessingTime這兩種時間屬性對數(shù)據(jù)進行窗口聚合。12大數(shù)據(jù)開發(fā)和治理本項目開發(fā)采用華為云Stack數(shù)據(jù)治理中心DataArtsStudio一站式大數(shù)據(jù)開發(fā)和治理平臺，針對企業(yè)數(shù)字化運營訴求提供的具有數(shù)據(jù)全生命周期管理和智能數(shù)據(jù)管理能力的一站式治理運營平臺，包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全等功能，支持行業(yè)知識庫智能化建設(shè)，支持大數(shù)據(jù)存儲、大數(shù)據(jù)計算分析引擎等數(shù)據(jù)底座，幫助企業(yè)快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng)，消除數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)標準，加快數(shù)據(jù)變現(xiàn)，實現(xiàn)數(shù)字化轉(zhuǎn)型。DataArtsStudio開放架構(gòu)。DataArtsStudio治理方案圖。數(shù)據(jù)治理方法論。實施步驟：數(shù)據(jù)調(diào)研基于現(xiàn)有業(yè)務(wù)數(shù)據(jù)、行業(yè)現(xiàn)狀進行數(shù)據(jù)調(diào)查、需求梳理、業(yè)務(wù)調(diào)研，輸出企業(yè)業(yè)務(wù)流程以及數(shù)據(jù)主題劃分。數(shù)據(jù)集成整庫遷移或表/文件遷移。數(shù)據(jù)目錄采集采集元數(shù)據(jù)和數(shù)據(jù)血緣信息。數(shù)據(jù)架構(gòu)主題設(shè)計和流程設(shè)計：主題設(shè)計通過分層架構(gòu)表達對數(shù)據(jù)的分類和定義，明確業(yè)務(wù)領(lǐng)域和業(yè)務(wù)對象的關(guān)聯(lián)關(guān)系；流程設(shè)計描述企業(yè)流程的分類、層級以及邊界、范圍和輸入/輸出關(guān)系等標準設(shè)計：數(shù)據(jù)標準描述公司層面需要遵守的屬性層數(shù)據(jù)含義和業(yè)務(wù)規(guī)則；碼表管理定義包含一系列允許的值和附加文本描述模型設(shè)計：設(shè)計數(shù)據(jù)分析模型，對數(shù)據(jù)進行探索、分析，從中發(fā)現(xiàn)因果/相關(guān)關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律等指標設(shè)計：設(shè)計并應(yīng)用原子指標、衍生指標和復(fù)合指標數(shù)據(jù)開發(fā)使用數(shù)據(jù)開發(fā)進行數(shù)據(jù)管理、數(shù)據(jù)集成、腳本開發(fā)、作業(yè)開發(fā)、作業(yè)調(diào)度、運維監(jiān)控等操作，完成數(shù)據(jù)的分析處理。數(shù)據(jù)質(zhì)量監(jiān)控從完整性、有效性、及時性、一致性、準確性、唯一性六個維度進行單列、跨列、跨行和跨表的分析。支持數(shù)據(jù)的清洗和標準化，能夠根據(jù)數(shù)據(jù)標準自動生成清洗和標準化的質(zhì)量規(guī)則。支持周期性的監(jiān)控和清洗。數(shù)據(jù)目錄管理管理業(yè)務(wù)資產(chǎn)和技術(shù)資產(chǎn)，查看資產(chǎn)詳情和數(shù)據(jù)血緣信息。數(shù)據(jù)服務(wù)API開發(fā)搭建起統(tǒng)一的數(shù)據(jù)服務(wù)總線，幫助企業(yè)統(tǒng)一管理對內(nèi)對外的API。提供快速將數(shù)據(jù)表生成數(shù)據(jù)API的能力，也支持將已有API快速注冊到數(shù)據(jù)服務(wù)以統(tǒng)一管理和發(fā)布。數(shù)據(jù)治理中心提供數(shù)據(jù)集成、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)管理、數(shù)據(jù)治理等服務(wù)：數(shù)據(jù)集成。數(shù)據(jù)整合具備通過數(shù)據(jù)交換平臺實現(xiàn)各信息化系統(tǒng)數(shù)據(jù)的快速接入，構(gòu)建分布式數(shù)據(jù)整合功能，具備定時/實時數(shù)據(jù)的采集處理能力，實現(xiàn)從數(shù)據(jù)源到平臺存儲的配置開發(fā)、過程，支持拖拽式方式設(shè)計流程，通過可視化操作界面生成滿足業(yè)務(wù)需要的交換任務(wù)，全面的運行監(jiān)控和系統(tǒng)監(jiān)控，完整的日志追蹤，保障系統(tǒng)穩(wěn)定，交換過程可監(jiān)管。支持關(guān)系庫Oracle、mysql、PostgreSql、達夢等各種主流數(shù)據(jù)庫的適配，支持數(shù)據(jù)源的增刪改查、連接測試功能。支持hbase、kafka、redis存儲文件、HDFS文件、FTP資源的TXT、CSV等多格式的數(shù)據(jù)類型。數(shù)據(jù)開發(fā)。采用DataStudio模塊進行調(diào)度任務(wù)的開發(fā)和屬性定義，與運維中心配合使用，為其他引擎如MaxCompute/Hologres/EMR提供可視化開發(fā)主界面，支持智能代碼開發(fā)、多引擎混編工作流、規(guī)范化任務(wù)發(fā)布等能力，滿足離線數(shù)倉、實時數(shù)倉和即席查詢及其他高效、穩(wěn)定的數(shù)據(jù)生產(chǎn)。支持通過圖形化所見即所得的ETL編輯器實現(xiàn)ETL能力，支持數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載。本項目采用的DataArtsStudio數(shù)據(jù)開發(fā)是一個一站式敏捷大數(shù)據(jù)開發(fā)平臺，提供可視化的圖形開發(fā)界面、豐富的數(shù)據(jù)開發(fā)類型（腳本開發(fā)和作業(yè)開發(fā)）、全托管的作業(yè)調(diào)度和運維監(jiān)控能力，內(nèi)置行業(yè)數(shù)據(jù)處理pipeline，一鍵式開發(fā)，全流程可視化，支持多人在線協(xié)同開發(fā)，支持管理多種大數(shù)據(jù)云服務(wù)，極大地降低了用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。數(shù)據(jù)開發(fā)支持數(shù)據(jù)管理、數(shù)據(jù)集成、腳本開發(fā)、作業(yè)開發(fā)、資源管理、作業(yè)調(diào)度、運維監(jiān)控等操作，幫助用戶輕松完成整個數(shù)據(jù)的處理分析流程。數(shù)據(jù)管理。根據(jù)數(shù)據(jù)規(guī)范標準，整理梳理統(tǒng)一數(shù)據(jù)模型，包括元數(shù)據(jù)、字典、公共數(shù)據(jù)模型、發(fā)電設(shè)備模型、量測數(shù)據(jù)模型等。提供元數(shù)據(jù)采集、元數(shù)據(jù)管理、血緣關(guān)系及模型變更功能實現(xiàn)對數(shù)據(jù)模型的統(tǒng)一管理。數(shù)據(jù)質(zhì)量。該模塊支持對業(yè)務(wù)指標和數(shù)據(jù)質(zhì)量進行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗，幫助用戶及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。業(yè)務(wù)指標監(jiān)控是對業(yè)務(wù)指標數(shù)據(jù)進行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標、業(yè)務(wù)規(guī)則和業(yè)務(wù)場景，實時、周期性進行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求；數(shù)據(jù)質(zhì)量監(jiān)控是對數(shù)據(jù)庫里的數(shù)據(jù)質(zhì)量進行質(zhì)量管理的工具，您可以配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線監(jiān)控數(shù)據(jù)準確性。數(shù)據(jù)治理。數(shù)據(jù)治理具備根據(jù)云數(shù)據(jù)中心數(shù)據(jù)對質(zhì)量規(guī)則的配置和根據(jù)規(guī)則進行數(shù)據(jù)的校驗，通過校驗規(guī)則配置，調(diào)試、調(diào)度等操作，能夠產(chǎn)生問題數(shù)據(jù)，幫助用戶快速定位問題，處理問題，提供升數(shù)據(jù)質(zhì)量，具備數(shù)據(jù)質(zhì)量管理過程，包括規(guī)則庫管理、規(guī)則配置、規(guī)則執(zhí)行、質(zhì)量報告功能。規(guī)則庫管理提供豐富的質(zhì)量校驗規(guī)則，從數(shù)據(jù)的完整性、唯一性、合理性三個質(zhì)量維度對元數(shù)據(jù)進行規(guī)則配置。數(shù)據(jù)資產(chǎn)。依據(jù)人資域、財務(wù)域、物資域、項目域、生產(chǎn)域、市場域、安全域、綜合域等主題域數(shù)據(jù)模型標準規(guī)劃數(shù)據(jù)資產(chǎn)目錄，支持多級表類目管理，實現(xiàn)最快時間找到最需要的數(shù)據(jù)。實現(xiàn)對數(shù)據(jù)資產(chǎn)盤點成果中所涉及的據(jù)目錄的統(tǒng)計查詢功能。各層級按不同的模型區(qū)分展示，目錄均可穿透到數(shù)據(jù)表級別，展示系統(tǒng)表的詳細信息，如中英文表名、表類型、負責部門、負責人等。數(shù)據(jù)血緣地圖該數(shù)據(jù)地圖圍繞數(shù)據(jù)搜索，服務(wù)于數(shù)據(jù)分析、數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、數(shù)據(jù)運營等數(shù)據(jù)表的使用者和擁有者，提供方便快捷的數(shù)據(jù)搜索服務(wù)，擁有功能強大的血緣信息及影響分析。在數(shù)據(jù)地圖中，可通過關(guān)鍵詞搜索數(shù)據(jù)目錄，支持模糊搜索，快速檢索，定位數(shù)據(jù)。數(shù)據(jù)安全。網(wǎng)絡(luò)安全，基于網(wǎng)絡(luò)隔離、安全組規(guī)則以及一系列安全加固項，實現(xiàn)租戶隔離和訪問權(quán)限控制，保護系統(tǒng)和用戶的隱私及數(shù)據(jù)安全。用戶權(quán)限策略，基于角色的訪問控制，用戶通過角色與權(quán)限進行關(guān)聯(lián)，并支持細粒度權(quán)限策略，可滿足不同的授權(quán)需求。針對不同的用戶，DataArtsStudio提供了管理者、開發(fā)者、運維者、訪問者四種不同的角色，各個角色擁有不同的權(quán)限。數(shù)據(jù)安全，針對數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)等關(guān)鍵流程，DataArtsStudio提供了審核流程。數(shù)據(jù)的分級分類管理，數(shù)據(jù)的全生命周期管理，保證數(shù)據(jù)的隱私合規(guī)、可審計、可回溯。三、數(shù)據(jù)中臺總體規(guī)劃項目組將采用業(yè)內(nèi)主流的數(shù)據(jù)中臺建設(shè)方法，按需實施建設(shè)數(shù)據(jù)中臺的各個組件。數(shù)據(jù)中臺不是簡單的一套軟件系統(tǒng)或者標準化產(chǎn)品，更多的是一種強調(diào)資源整合、集中配置、能力沉淀、分步執(zhí)行的運作機制，是一系列數(shù)據(jù)組件或模塊的集合，為企業(yè)數(shù)據(jù)治理效率的提升、業(yè)務(wù)流程與組織架構(gòu)的升級、運營與決策的精細化賦能。通過數(shù)據(jù)中臺建設(shè)，實現(xiàn)XX發(fā)電公司的數(shù)據(jù)資產(chǎn)化、資產(chǎn)價值化的過程，數(shù)據(jù)中臺首先采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)，經(jīng)過數(shù)據(jù)計算與處理，通過數(shù)據(jù)指標結(jié)構(gòu)化、規(guī)范化的方式實現(xiàn)指標口徑的統(tǒng)一，存儲到各類數(shù)據(jù)庫、數(shù)據(jù)倉庫或數(shù)據(jù)湖中，以實現(xiàn)數(shù)據(jù)資產(chǎn)化管理。之后，基于數(shù)據(jù)倉庫或數(shù)據(jù)湖中的數(shù)據(jù)資產(chǎn)，向上提供各類數(shù)據(jù)服務(wù)，面向業(yè)務(wù)構(gòu)建統(tǒng)一的數(shù)據(jù)服務(wù)接口與數(shù)據(jù)查詢邏輯，提供數(shù)據(jù)的分析與展示，形成以業(yè)務(wù)核心對象為中心的連接和標簽體系，深度萃取數(shù)據(jù)價值，實現(xiàn)資產(chǎn)價值化，賦能公司數(shù)字化轉(zhuǎn)型工作如上圖所示，整個數(shù)據(jù)中臺建設(shè)分為以下幾大部分：1. 數(shù)據(jù)治理標準體系建設(shè)：建立整個數(shù)據(jù)中臺的數(shù)據(jù)建設(shè)、治理、服務(wù)的規(guī)范、流程和標準，保障數(shù)據(jù)中臺各個部分建設(shè)的規(guī)范性、質(zhì)量和效率。2. 數(shù)據(jù)采集接入建設(shè)：將風光水火以及企業(yè)經(jīng)營管理方面的實時數(shù)據(jù)、離線數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一接入到數(shù)據(jù)中臺，存放在數(shù)據(jù)倉庫或數(shù)據(jù)湖的近源層中。3. 數(shù)據(jù)倉庫建設(shè)：按需對已接入到數(shù)據(jù)中臺的全業(yè)務(wù)數(shù)據(jù)，依據(jù)分層架構(gòu)進行數(shù)據(jù)模型設(shè)計、開發(fā)、測試、部署和運維，完成數(shù)據(jù)的標準化、清洗、整合和加工計算，形成高質(zhì)量、高一致性、高完整性、高價值的數(shù)據(jù)模型，并掛接到企業(yè)的數(shù)據(jù)資產(chǎn)目錄中，供數(shù)據(jù)需求側(cè)使用。4. 數(shù)據(jù)治理建設(shè)：依據(jù)《數(shù)據(jù)管理能力成熟度評估模型（GB/T36073-2018）》、DAMA數(shù)據(jù)管理知識體系（國際數(shù)據(jù)管理協(xié)會）為理論依據(jù)，結(jié)合對XX發(fā)電公司數(shù)據(jù)管理現(xiàn)狀和需求，開展體系化的數(shù)據(jù)治理實施工作，包括但不限于元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準管理、數(shù)據(jù)開發(fā)管理等。5. 數(shù)據(jù)服務(wù)建設(shè)：將數(shù)據(jù)封裝成簡單、易用的數(shù)據(jù)服務(wù)接口，提供給數(shù)據(jù)消費側(cè)使用，大幅降低數(shù)據(jù)使用門檻，提升數(shù)據(jù)使用效率，加速數(shù)據(jù)應(yīng)用建設(shè)。數(shù)據(jù)服務(wù)的形式包括API服務(wù)接口、可視化報表、多維分析報表等形式。四、數(shù)據(jù)接入建設(shè)根據(jù)項目招標文件要求，圍繞風電數(shù)據(jù)、光電數(shù)據(jù)、水電數(shù)據(jù)、火電數(shù)據(jù)以及企業(yè)管理、生產(chǎn)經(jīng)營等各類業(yè)務(wù)系統(tǒng)，通過大數(shù)據(jù)平臺數(shù)據(jù)采集工具，實現(xiàn)各電力生產(chǎn)經(jīng)營業(yè)務(wù)系統(tǒng)數(shù)據(jù)的快速接入，以及定時/實時數(shù)據(jù)的采集處理，構(gòu)建“可配置、可控制、可監(jiān)視”的數(shù)據(jù)接入能力，滿足XX發(fā)電公司大數(shù)據(jù)應(yīng)用建設(shè)對數(shù)據(jù)的需求，至少覆蓋以下數(shù)據(jù)內(nèi)容：依據(jù)既定的數(shù)據(jù)采集接入標準，開展規(guī)范化的數(shù)據(jù)采集工作，并明確每一項已接入數(shù)據(jù)的關(guān)鍵信息，包括數(shù)據(jù)所有者、完整元數(shù)據(jù)信息、關(guān)聯(lián)數(shù)據(jù)標準、數(shù)據(jù)密級、權(quán)威數(shù)據(jù)源、關(guān)聯(lián)數(shù)據(jù)質(zhì)量規(guī)則等。通過關(guān)鍵信息的確認，保證所有采集的數(shù)據(jù)都有明確的業(yè)務(wù)責任人，各項數(shù)據(jù)都可理解，同時都能在相應(yīng)的信息安全保障下進行消費。采集實施過程中針對不同的數(shù)據(jù)類型采用差異化的數(shù)據(jù)匯聚策略：1.時序數(shù)據(jù)和實時關(guān)系庫數(shù)據(jù)，主要采用流集成和數(shù)據(jù)復(fù)制同步技術(shù)，滿足數(shù)據(jù)實時集成需求，處理每秒數(shù)萬甚至數(shù)十萬個事件流；數(shù)據(jù)復(fù)制同步使用基于日