2024發(fā)電企業(yè)大數(shù)據(jù)平臺(tái)技術(shù)方案

發(fā)電企業(yè)大數(shù)據(jù)平臺(tái)技術(shù)方案2024.06目錄TOC\o"1-3"\h\u7589一、云平臺(tái)建設(shè) ），每張網(wǎng)卡可以在不同的子網(wǎng)內(nèi)，私網(wǎng)IP可以通過(guò)DHCP分配或指定IP地址；公網(wǎng)IP可以對(duì)外連接企業(yè)內(nèi)大網(wǎng)或互聯(lián)網(wǎng)，可以根據(jù)需要申請(qǐng)綁定“EIP”為ECS實(shí)例申請(qǐng)公網(wǎng)IP。4、提供公共鏡像能力和私有鏡像服務(wù)，免安裝快速部署操作系統(tǒng)與軟件。公共鏡像：公共鏡像由系統(tǒng)管理員制作并注冊(cè)到系統(tǒng)中，一般提供常見(jiàn)的標(biāo)準(zhǔn)操作系統(tǒng)鏡像，所有用戶(hù)可見(jiàn)。包含操作系統(tǒng)以及預(yù)裝的公共應(yīng)用。私有鏡像：私有鏡像服務(wù)用于滿(mǎn)足用戶(hù)個(gè)性化需求。選擇私有鏡像創(chuàng)建云主機(jī)，可以節(jié)省重復(fù)配置云主機(jī)的時(shí)間。私有鏡像僅用戶(hù)自己可見(jiàn)。包含操作系統(tǒng)、預(yù)裝的公共應(yīng)用以及用戶(hù)的私有應(yīng)用。用戶(hù)可基于ECS實(shí)例或者已有的鏡像文件創(chuàng)建的私有鏡像。提供VNC控制臺(tái)、遠(yuǎn)程終端和API等多種管理方式，滿(mǎn)足用戶(hù)多種登錄需求，簡(jiǎn)化運(yùn)維人員的工作難度，提升運(yùn)維效率。用戶(hù)可以完全控制自己創(chuàng)建的ECS實(shí)例。通過(guò)VNC控制臺(tái)連接終端，解決系統(tǒng)問(wèn)題，進(jìn)行各項(xiàng)操作；也可以通過(guò)ECS服務(wù)控制臺(tái)、API、命令行等類(lèi)似工具對(duì)服務(wù)器進(jìn)行啟動(dòng)、重啟、關(guān)機(jī)等操作。5、安全。支持用戶(hù)申請(qǐng)時(shí)指定實(shí)例登錄方式，ECS實(shí)例支持多種登錄方式（密碼、密鑰對(duì)），密碼防暴力破解，滿(mǎn)足用戶(hù)的登錄安全需求。對(duì)于Windows的ECS實(shí)例，用戶(hù)只能使用密碼登陸。支持云硬盤(pán)備份，在磁盤(pán)故障或數(shù)據(jù)錯(cuò)誤時(shí)可快速恢復(fù)，使數(shù)據(jù)更加安全可靠。實(shí)例反親和性：支持在ECS控制臺(tái)上創(chuàng)建一個(gè)或多個(gè)反親和性組。在一個(gè)反親和性組中的ECS實(shí)例將分配到不同的物理主機(jī)上來(lái)保證高可用。用戶(hù)可以把同一應(yīng)用模塊的ECS實(shí)例加入反親和性組，增強(qiáng)應(yīng)用的可靠性。2彈性伸縮服務(wù)彈性伸縮（AutoScaling）服務(wù)，是根據(jù)用戶(hù)的業(yè)務(wù)需求和策略，自動(dòng)調(diào)整其彈性計(jì)算資源的管理服務(wù)。用戶(hù)根據(jù)自己的業(yè)務(wù)需求，設(shè)置相應(yīng)的策略，系統(tǒng)則據(jù)此自動(dòng)調(diào)整其彈性計(jì)算資源，在滿(mǎn)足業(yè)務(wù)需求高峰增長(zhǎng)時(shí)，自動(dòng)增加彈性云主機(jī)（ECS）實(shí)例，并在業(yè)務(wù)需求下降時(shí)，自動(dòng)減少ECS實(shí)例以節(jié)約成本。彈性伸縮根據(jù)用戶(hù)的業(yè)務(wù)需求和策略，自動(dòng)調(diào)整彈性云主機(jī)的數(shù)量。如在業(yè)務(wù)量增長(zhǎng)超過(guò)一定閾值時(shí)，系統(tǒng)可自動(dòng)擴(kuò)展（ScaleOut）彈性云主機(jī)實(shí)例數(shù)量；然后在業(yè)務(wù)量下降到一定的閾值時(shí)，系統(tǒng)自動(dòng)收縮（ScaleIn）彈性云主機(jī)實(shí)例數(shù)量。同時(shí)，可以指定需要運(yùn)行的實(shí)例的最小數(shù)目（MinimumNumber）和最大數(shù)目（MaximumNumber），根據(jù)規(guī)則集自動(dòng)添加或刪除VM。設(shè)置最小數(shù)目，可確保應(yīng)用程序在沒(méi)有負(fù)載的情況下也會(huì)運(yùn)行。設(shè)置最大數(shù)目是為了限制每小時(shí)可能會(huì)引發(fā)的總成本?？梢允褂脛?chuàng)建的規(guī)則在這兩種極限之間自動(dòng)縮放。當(dāng)滿(mǎn)足規(guī)則條件時(shí)，將觸發(fā)一個(gè)或多個(gè)自動(dòng)縮放操作?？梢宰詣?dòng)添加和刪除云主機(jī)，或執(zhí)行其他操作。彈性伸縮的工作流程如下：在用戶(hù)完成啟動(dòng)配置、伸縮組、伸縮策略創(chuàng)建并啟用后，系統(tǒng)會(huì)自動(dòng)化執(zhí)行以下流程（以增加ECS實(shí)例為例）：1、系統(tǒng)自動(dòng)通過(guò)接口觸發(fā)伸縮活動(dòng)，并在該接口中指定需要執(zhí)行的伸縮規(guī)則的資源唯一標(biāo)識(shí)符。監(jiān)控策略會(huì)實(shí)時(shí)監(jiān)控伸縮組內(nèi)ECS實(shí)例的性能（參考圖中步驟1），并根據(jù)用戶(hù)配置的告警規(guī)則（如伸縮組內(nèi)所有ECS實(shí)例的CPU使用率平均值大于80%），觸發(fā)執(zhí)行伸縮動(dòng)作。。定時(shí)策略會(huì)根據(jù)用戶(hù)配置的時(shí)間來(lái)觸發(fā)執(zhí)行伸縮規(guī)則請(qǐng)求。周期策略會(huì)根據(jù)用戶(hù)配置的周期定期來(lái)觸發(fā)執(zhí)行伸縮規(guī)則請(qǐng)求。健康檢查任務(wù)會(huì)按照用戶(hù)設(shè)定的間隔定期檢查伸縮組內(nèi)ECS實(shí)例的健康情況，如發(fā)現(xiàn)有不健康的ECS實(shí)例（如，關(guān)機(jī)狀態(tài)）會(huì)按照用戶(hù)設(shè)定的伸縮組默認(rèn)移除方式移除不健康實(shí)例。2、根據(jù)步驟2傳入的伸縮規(guī)則獲取伸縮策略、伸縮組、啟動(dòng)配置的相關(guān)信息，并創(chuàng)建伸縮活動(dòng)。3、執(zhí)行伸縮活動(dòng)。通過(guò)伸縮規(guī)則查詢(xún)伸縮策略以及相應(yīng)的伸縮組信息，計(jì)算出需要增加的ECS實(shí)例數(shù)量，并獲得需要配置的SLB信息。（SLB為可選項(xiàng)）通過(guò)伸縮組查詢(xún)到相應(yīng)的伸縮配置信息，獲得需要?jiǎng)?chuàng)建的ECS實(shí)例的配置信息（CPU、內(nèi)存、帶寬等）。根據(jù)需要增加的ECS實(shí)例數(shù)量、ECS實(shí)例配置信息、需要配置的SLB實(shí)例創(chuàng)建伸縮活動(dòng)。4、在伸縮活動(dòng)中，自動(dòng)創(chuàng)建ECS實(shí)例并配置SLB（SLB為可選項(xiàng)）。按照實(shí)例配置信息創(chuàng)建指定數(shù)量的ECS實(shí)例。將創(chuàng)建好的ECS實(shí)例添加到指定的SLB實(shí)例當(dāng)中。5、伸縮活動(dòng)完成后，啟動(dòng)伸縮組的沉默功能。待沉默時(shí)間完成后，該伸縮組才能接收新的執(zhí)行伸縮規(guī)則請(qǐng)求。伸縮效果示例伸縮組創(chuàng)建后，彈性伸縮組是缺省停用的，用戶(hù)需要?jiǎng)?chuàng)建使用策略才能實(shí)際使用彈性伸縮功能。以下以監(jiān)控項(xiàng)為伸縮組內(nèi)ECS實(shí)例的內(nèi)存使用率平均值，觸發(fā)彈性擴(kuò)張的閾值為70%，觸發(fā)彈性收縮的閾值為20%，擴(kuò)容/縮容動(dòng)作為增加/減少1臺(tái)云主機(jī)為例進(jìn)行說(shuō)明。當(dāng)用戶(hù)的業(yè)務(wù)需求上升時(shí)，彈性伸縮自動(dòng)完成底層資源升級(jí)，避免訪問(wèn)延時(shí)和資源超負(fù)荷運(yùn)行。例如，當(dāng)后臺(tái)監(jiān)控檢測(cè)到伸縮組內(nèi)的ECS實(shí)例內(nèi)存使用率平均值超過(guò)70%時(shí)，彈性伸縮根據(jù)用戶(hù)配置的伸縮規(guī)則彈性擴(kuò)張ECS資源，自動(dòng)創(chuàng)建1臺(tái)ECS實(shí)例加入伸縮組。當(dāng)用戶(hù)業(yè)務(wù)需求下降時(shí)，彈性伸縮自動(dòng)完成底層資源釋放，避免資源浪費(fèi)。例如，后臺(tái)監(jiān)控檢測(cè)到伸縮組內(nèi)的ECS實(shí)例內(nèi)存使用率平均值低于20%時(shí)，彈性伸縮根據(jù)用戶(hù)配置的伸縮規(guī)則彈性收縮ECS資源，自動(dòng)移除1臺(tái)ECS實(shí)例。彈性伸縮提供健康檢查功能，自動(dòng)監(jiān)控伸縮組內(nèi)的ECS實(shí)例的健康狀態(tài)，避免伸縮組內(nèi)健康ECS實(shí)例低于用戶(hù)設(shè)置的最小值。當(dāng)檢測(cè)到某臺(tái)ECS實(shí)例處于不健康狀態(tài)（如關(guān)機(jī)狀態(tài)）時(shí)，伸縮組將自動(dòng)移除不健康ECS實(shí)例并創(chuàng)建新的ECS實(shí)例。3資源編排服務(wù)服務(wù)構(gòu)建器提供圖形化資源模板編排以及通過(guò)導(dǎo)入RTS模板編排、一鍵式應(yīng)用部署、彈性伸縮的應(yīng)用自動(dòng)化部署服務(wù)。管理員和租戶(hù)通過(guò)可視化編排界面任意拖拽圖元或通過(guò)導(dǎo)入的RTS模板，快速完成計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)，應(yīng)用等資源的組合編排和自動(dòng)化部署，并作為一個(gè)整體為用戶(hù)服務(wù)，支撐業(yè)務(wù)快速上線(xiàn)。并且可以自定義自動(dòng)伸縮策略以達(dá)到自動(dòng)擴(kuò)容和減容的彈性云服務(wù)器，以實(shí)現(xiàn)負(fù)載均衡，資源充分利用。服務(wù)構(gòu)建器的主要功能如下：服務(wù)模板是將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、伸縮組、腳本等多種資源，按照特定關(guān)系的有機(jī)結(jié)合，基于服務(wù)模板可以快速構(gòu)建服務(wù)并上線(xiàn)到服務(wù)目錄。用戶(hù)可以新建模板，也可以導(dǎo)入已有的模板，并支持Heat模板的導(dǎo)入。為了方便用戶(hù)使用，縮短用戶(hù)的學(xué)習(xí)過(guò)程，系統(tǒng)預(yù)置了大量常用的模板，包括：典型Web三層架構(gòu)網(wǎng)站模板、安裝MySQL服務(wù)模板、安裝MongoDB集群模板、安裝Kafka集群模板、安裝Nginx服務(wù)模板、安裝Apache服務(wù)模板、安裝Tomcat服務(wù)模板等；服務(wù)構(gòu)建器提供圖形化模板編排功能。資源管理員可以在可視化界面通過(guò)拖拽圖元的方式完成服務(wù)模板的設(shè)計(jì)、制作。可編排的元素包括彈性云服務(wù)器、網(wǎng)絡(luò)、彈性負(fù)載均衡、腳本等元素，可設(shè)置各元素的信息和各元素之間的關(guān)聯(lián)關(guān)系，編排完成后保存為模板?；谀０?，可以構(gòu)建服務(wù)并上架到服務(wù)目錄。構(gòu)建服務(wù)過(guò)程中，可以分類(lèi)組合參數(shù)，鎖定參數(shù)取值或開(kāi)放出來(lái)由用戶(hù)申請(qǐng)時(shí)指定。服務(wù)上架之后，用戶(hù)可以一鍵式申請(qǐng)服務(wù)并部署應(yīng)用實(shí)例，系統(tǒng)根據(jù)模板定義創(chuàng)建服務(wù)實(shí)例、設(shè)置服務(wù)實(shí)例之間的關(guān)聯(lián)并根據(jù)腳本自動(dòng)部署應(yīng)用軟件，實(shí)現(xiàn)一鍵式應(yīng)用部署。申請(qǐng)過(guò)程中，用戶(hù)還可以指定服務(wù)實(shí)例歸屬哪個(gè)應(yīng)用，也可以不指定應(yīng)用，服務(wù)構(gòu)建完成后自動(dòng)生成一個(gè)應(yīng)用，完成服務(wù)資源和應(yīng)用的關(guān)聯(lián)，便于后續(xù)基于應(yīng)用管理資源。編排服務(wù)模板時(shí)，可以指定在彈性云服務(wù)器上運(yùn)行的腳本，通過(guò)腳本完成應(yīng)用軟件的安裝部署。服務(wù)構(gòu)建器支持三種應(yīng)用軟件部署模式：鏡像、Cloud-init、腳本，腳本的部署方式最靈活，功能也最強(qiáng)大。系統(tǒng)支持腳本管理功能，用戶(hù)可以將本地的腳本文件上傳到系統(tǒng)，系統(tǒng)會(huì)將腳本信息保存到數(shù)據(jù)庫(kù)中，后續(xù)使用模板發(fā)放實(shí)例時(shí)，可以選擇已有的腳本。4對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)（Object-basedStorage)是一種新的網(wǎng)絡(luò)存儲(chǔ)架構(gòu)，基于對(duì)象存儲(chǔ)技術(shù)的設(shè)備就是對(duì)象存儲(chǔ)設(shè)備（Object-basedStorageDevice）簡(jiǎn)稱(chēng)OSD。1999年成立的全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)（SNIA）的對(duì)象存儲(chǔ)設(shè)備工作組發(fā)布了ANSI的X3T10標(biāo)準(zhǔn)?？傮w上來(lái)講，對(duì)象存儲(chǔ)綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具有SAN的高速直接訪問(wèn)和NAS的分布式數(shù)據(jù)共享等優(yōu)勢(shì)，提供了具有高性能、高可靠性、跨平臺(tái)以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。SAN存儲(chǔ)架構(gòu)，采用SCSI快I/O命令集，通過(guò)磁盤(pán)或FC（iberChannel）級(jí)的數(shù)據(jù)訪問(wèn)提供高性能的隨機(jī)I/O個(gè)數(shù)據(jù)吞吐率，它具有高寬帶、低時(shí)延的優(yōu)勢(shì)，在高性能計(jì)算中占有一席之地，如SGI的CXFS文件系統(tǒng)就是基于SAN實(shí)現(xiàn)高性能文件存儲(chǔ)的，但是由于SAN系統(tǒng)的價(jià)格較高，且擴(kuò)展性較差，已不能滿(mǎn)足成千上萬(wàn)個(gè)CPU規(guī)模的系統(tǒng)。NAS存儲(chǔ)架構(gòu)，它采用NFS或CIFS命令集訪問(wèn)數(shù)據(jù)，以文件為傳輸協(xié)議，通過(guò)TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲(chǔ)，可擴(kuò)展行好、價(jià)格便宜、用戶(hù)易管理，如目前在集群計(jì)算中應(yīng)用較多的NFS文件系統(tǒng)，但由于NAS的西醫(yī)開(kāi)銷(xiāo)高、帶寬低、延遲大，不利于在高性能集群中使用。對(duì)象存儲(chǔ)架構(gòu)，核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對(duì)象存儲(chǔ)設(shè)備構(gòu)建存儲(chǔ)系統(tǒng)，每個(gè)對(duì)象存儲(chǔ)設(shè)備具有一定的只能，能夠自動(dòng)管理其上的數(shù)據(jù)分布。對(duì)象存儲(chǔ)結(jié)構(gòu)由對(duì)象、對(duì)象存儲(chǔ)設(shè)備、元數(shù)據(jù)服務(wù)器、對(duì)象存儲(chǔ)系統(tǒng)的客戶(hù)端四部分組成。5塊存儲(chǔ)塊存儲(chǔ)資源池由資源池管理系統(tǒng)和基礎(chǔ)設(shè)施組成。在資源池管理系統(tǒng)中每個(gè)Tier可以由多個(gè)來(lái)自不同廠家不同存儲(chǔ)設(shè)備的存儲(chǔ)池構(gòu)成，塊存儲(chǔ)Tier指定了可以創(chuàng)建哪種類(lèi)型的卷，管理員可以創(chuàng)建、刪除、修改塊存儲(chǔ)服務(wù)等級(jí)。資源池管理系統(tǒng)能夠?qū)崿F(xiàn)邏輯層面的塊存儲(chǔ)資源虛擬化。塊存儲(chǔ)資源虛擬化是通過(guò)將不同廠商、不同型號(hào)的存儲(chǔ)設(shè)備接入到系統(tǒng)中，對(duì)存儲(chǔ)設(shè)備上的存儲(chǔ)池按照一定規(guī)則（性能/保護(hù)能力等）進(jìn)行分組，組成不同的塊存儲(chǔ)資源池。進(jìn)行資源分配時(shí)，只需要在這些塊存儲(chǔ)資源池中申請(qǐng)塊存儲(chǔ)服務(wù)，不用再關(guān)注不同存儲(chǔ)設(shè)備的操作差異。在上圖中，可用分區(qū)（AvailabilityZone，簡(jiǎn)稱(chēng)AZ）定義了一個(gè)可用域，在這個(gè)域里面包含了主機(jī)，存儲(chǔ)設(shè)備等對(duì)象，AZ本身可以由存儲(chǔ)管理員設(shè)定，AZ內(nèi)包含的對(duì)象也由存儲(chǔ)管理員定義，但是所有對(duì)象需遵循一個(gè)原則，即域內(nèi)的所有存儲(chǔ)設(shè)備與所有物理主機(jī)都是物理可達(dá)的，使用的物理網(wǎng)絡(luò)就是域內(nèi)定義的光纖網(wǎng)絡(luò)（Fabric）。因此，AZ域?qū)嶋H上定義了一個(gè)全連通域，域內(nèi)的主機(jī)與存儲(chǔ)是可任意兩兩互聯(lián)的，不會(huì)出現(xiàn)由于物理連接的限制導(dǎo)致分配的存儲(chǔ)空間無(wú)法訪問(wèn)的問(wèn)題。實(shí)際配置過(guò)程中，存儲(chǔ)管理員可以合理的規(guī)劃AZ的范圍。由于物理連通性的要求，實(shí)際分配過(guò)程中AZ的范圍應(yīng)該是以FC網(wǎng)絡(luò)為基準(zhǔn)的。當(dāng)申請(qǐng)存儲(chǔ)卷創(chuàng)建服務(wù)的時(shí)候，系統(tǒng)會(huì)在指定的AZ范圍內(nèi)調(diào)度存儲(chǔ)空間的分配，使存儲(chǔ)只分配給同一AZ內(nèi)的主機(jī)使用。6負(fù)載均衡ELB（ElasticLoadBalance），即彈性負(fù)載均衡，是將訪問(wèn)流量根據(jù)轉(zhuǎn)發(fā)策略分發(fā)到后端多臺(tái)彈性云服務(wù)器的流量分發(fā)控制服務(wù)。彈性負(fù)載均衡可以通過(guò)流量分發(fā)擴(kuò)展應(yīng)用系統(tǒng)對(duì)外的服務(wù)能力，實(shí)現(xiàn)更高水平的應(yīng)用程序容錯(cuò)性能。彈性負(fù)載均衡可以消除單點(diǎn)故障，提高整個(gè)系統(tǒng)的可用性。場(chǎng)景1南北向ELB用戶(hù)通過(guò)internet訪問(wèn)ELB服務(wù)。公網(wǎng)負(fù)載均衡通過(guò)創(chuàng)建時(shí)分配或選擇的彈性IP對(duì)外提供服務(wù)。場(chǎng)景2東西向ELB內(nèi)網(wǎng)租戶(hù)在云網(wǎng)絡(luò)內(nèi)部訪問(wèn)ELB服務(wù)。私網(wǎng)負(fù)載均衡通過(guò)創(chuàng)建時(shí)分配或指定的私網(wǎng)IP地址對(duì)同一VPC下其他服務(wù)器提供服務(wù)。ELB服務(wù)具有以下功能：支持多監(jiān)聽(tīng)器能力，提供不同業(yè)務(wù)申請(qǐng)不同的監(jiān)聽(tīng)器提供服務(wù)訪問(wèn)；支持TCP、UDP、HTTP、HTTPS的負(fù)載均衡。支持HTTPSSSL證書(shū)卸載。支持證書(shū)管理。支持RR、源IP、最小連接的負(fù)載均衡算法。支持源IP、HTTP_Cookie、APP_Cookie的會(huì)話(huà)保持。支持TCP、HTTP的健康檢查。支持訪問(wèn)白名單控制。支持按域名、URL轉(zhuǎn)發(fā)。支持高級(jí)轉(zhuǎn)發(fā)策略。高級(jí)轉(zhuǎn)發(fā)策略開(kāi)啟后，ELB實(shí)例會(huì)根據(jù)用戶(hù)配置的高級(jí)轉(zhuǎn)發(fā)策略將不同的請(qǐng)求按照不同的方式處理支持的轉(zhuǎn)發(fā)規(guī)則有：域名、URL、多URL或者多域名的組合。支持的動(dòng)作類(lèi)型有：轉(zhuǎn)發(fā)至后端服務(wù)器組、重定向至監(jiān)聽(tīng)器、重定向至URL。支持IPv4和IPv6。支持實(shí)例限速：新建連接數(shù)，并發(fā)連接數(shù)，帶寬支持國(guó)密算法和證書(shū)：支持《GM/T0024-2014:SSLVPN技術(shù)規(guī)范》定義的ECDHE-SM4-SM3、ECC-SM4-SM3算法套件。支持國(guó)密證書(shū)（簽名證書(shū)、加密證書(shū)）支持混合負(fù)載均衡?；旌县?fù)載均衡的后端服務(wù)器組不僅支持添加云上VPC內(nèi)的服務(wù)器實(shí)例，還支持以TargetIP地址形式添加?？梢允潜綱PCIP、其他VPCIP、其他RegionIP、云下數(shù)據(jù)中心的服務(wù)器IP。幫助用戶(hù)根據(jù)業(yè)務(wù)訴求靈活配置，將流量請(qǐng)求轉(zhuǎn)發(fā)到云上、云間或云下的服務(wù)器上。7虛擬網(wǎng)絡(luò)服務(wù)VPC即虛擬私有云，是通過(guò)邏輯方式進(jìn)行網(wǎng)絡(luò)隔離，提供安全、隔離的網(wǎng)絡(luò)環(huán)境，提供與傳統(tǒng)網(wǎng)絡(luò)無(wú)差別的虛擬網(wǎng)絡(luò)。場(chǎng)景1多個(gè)子網(wǎng)的VPC首先按照網(wǎng)絡(luò)規(guī)劃創(chuàng)建VPC和subnet，并在虛擬私有云中創(chuàng)建云主機(jī)使用；VPC間隔離。場(chǎng)景2VPC互通首先規(guī)劃創(chuàng)建兩個(gè)VPC，互通VPC的子網(wǎng)地址不能重疊。場(chǎng)景3VPC通過(guò)SNAT訪問(wèn)公網(wǎng)多個(gè)子網(wǎng)的虛擬機(jī)通過(guò)SNAT共享EIP訪問(wèn)Internet網(wǎng)絡(luò)。如下圖，VPC1內(nèi)subnet1、subnet2子網(wǎng)內(nèi)的所有VM都共享EIP1訪問(wèn)外網(wǎng)。網(wǎng)絡(luò)服務(wù)整體架構(gòu)VPC網(wǎng)絡(luò)服務(wù)分為VPC云服務(wù)層、網(wǎng)絡(luò)控制層、基礎(chǔ)設(shè)施層。1、云服務(wù)層云服務(wù)層提供統(tǒng)一的云服務(wù)申請(qǐng)和自助操作服務(wù)控制臺(tái)。VPC服務(wù)提供VPC服務(wù)實(shí)例申請(qǐng)和自助操作維護(hù)控制臺(tái)。VPC服務(wù)分為VPCUI和VPCService兩部分，VPCUI提供面向用戶(hù)的控制臺(tái)VPCService提供服務(wù)管理功能。2、網(wǎng)絡(luò)控制&轉(zhuǎn)發(fā)層管理與控制能力由Openstack、PecadoSDN控制器、計(jì)算節(jié)點(diǎn)agent來(lái)提供；VPC網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)承載在OVS、VPCGW之上。3、基礎(chǔ)設(shè)施層服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等物理基礎(chǔ)設(shè)施，構(gòu)成數(shù)據(jù)中心資源池的基礎(chǔ)架構(gòu)。服務(wù)能力VPC服務(wù)通過(guò)web管理控制臺(tái)，讓用戶(hù)自主的完成服務(wù)的開(kāi)通與關(guān)閉，讓用戶(hù)靈活使用VPC服務(wù)，達(dá)到即開(kāi)即用，用完歸還的目標(biāo)。VPC服務(wù)具有以下功能：1、支持子網(wǎng)管理可以創(chuàng)建多個(gè)子網(wǎng)，指定子網(wǎng)申請(qǐng)?zhí)摂MIP，以及修改私有IP地址。支持IPv4，IPv6雙棧場(chǎng)景。2、項(xiàng)目級(jí)子網(wǎng)項(xiàng)目級(jí)子網(wǎng)是通過(guò)子網(wǎng)提供與其他網(wǎng)絡(luò)隔離的、可以獨(dú)享的網(wǎng)絡(luò)資源，僅加入到該子網(wǎng)的虛擬機(jī)才能訪問(wèn)該網(wǎng)絡(luò)上的資源。項(xiàng)目級(jí)子網(wǎng)僅有二層能力，無(wú)外部網(wǎng)絡(luò)出口。3、共享VPC通常同一個(gè)項(xiàng)目中計(jì)算ECS、網(wǎng)絡(luò)VPC、存儲(chǔ)EVS等由VDC業(yè)務(wù)員發(fā)放。為了實(shí)現(xiàn)網(wǎng)絡(luò)資源的統(tǒng)一管理，在一個(gè)項(xiàng)目中由網(wǎng)絡(luò)管理員統(tǒng)一發(fā)放VPC網(wǎng)絡(luò)資源，在其它項(xiàng)目使用這個(gè)VPC資源。4、路由管理配置VPC的默認(rèn)路由，把指定目的網(wǎng)段的報(bào)文發(fā)給指定下一跳。支持IPv4，IPv6雙棧場(chǎng)景。5、VPCPeering支持租戶(hù)使用私有業(yè)務(wù)IP地址在安全隔離的VPC之間實(shí)現(xiàn)三層路由互通。支持IPv4，IPv6雙棧場(chǎng)景。6、虛擬IP服務(wù)虛擬IP（即VIP）是一個(gè)未分配給真實(shí)彈性云服務(wù)器網(wǎng)卡的IP地址，可以同時(shí)綁定多個(gè)虛擬機(jī)網(wǎng)卡。主要用在彈性云服務(wù)器的主備切換，達(dá)到高可用性HA（HighAvailability）的目的。需要注意的是用戶(hù)綁定的多個(gè)彈性云服務(wù)器自身要能提供類(lèi)似keepalive的動(dòng)態(tài)配置虛擬ip的能力。7、VPC流日志可以記錄虛擬私有云中的流量信息，幫助用戶(hù)檢查和優(yōu)化安全組和網(wǎng)絡(luò)ACL控制規(guī)則、監(jiān)控網(wǎng)絡(luò)流量、進(jìn)行網(wǎng)絡(luò)攻擊分析等。支持VPC、子網(wǎng)、端口三種粒度的流日志設(shè)置。8、虛擬網(wǎng)卡限速可以基于虛擬網(wǎng)卡進(jìn)行出方向流量的帶寬上限限速，防止單個(gè)虛擬網(wǎng)卡流量對(duì)同主機(jī)其它虛擬網(wǎng)卡流量造成沖擊。9、支持路由表路由表由一系列路由規(guī)則組成，用于控制虛擬私有云內(nèi)子網(wǎng)的出流量走向。VPC中的每個(gè)子網(wǎng)都必須關(guān)聯(lián)一個(gè)路由表，一個(gè)子網(wǎng)一次只能關(guān)聯(lián)一個(gè)路由表，但一個(gè)路由表可以關(guān)聯(lián)多個(gè)子網(wǎng)。路由表分兩類(lèi)：默認(rèn)路由表和自定義路由表用戶(hù)創(chuàng)建虛擬私有云時(shí)，系統(tǒng)會(huì)自動(dòng)為其生成一個(gè)默認(rèn)路由表，創(chuàng)建子網(wǎng)后，子網(wǎng)會(huì)自動(dòng)關(guān)聯(lián)默認(rèn)路由表。用戶(hù)可以在默認(rèn)路由表中添加、刪除和修改路由規(guī)則，但不能刪除默認(rèn)路由表。創(chuàng)建VPN、云專(zhuān)線(xiàn)、云連接服務(wù)時(shí)，默認(rèn)路由表會(huì)自動(dòng)下發(fā)路由，云連接路由不能刪除和修改，用戶(hù)可以將子網(wǎng)關(guān)聯(lián)到自定義路由表或者復(fù)制該條路由到自定義路由表中，在自定義路由表中添加、修改和刪除路由。路由表管理支持的操作包括（1）創(chuàng)建、刪除、查詢(xún)自定義路由表（2）子網(wǎng)關(guān)聯(lián)路由表、更新關(guān)聯(lián)路由表（3）添加、修改、查詢(xún)路由。自定義路由表僅支持IPv4路由。路由的下一跳支持：服務(wù)器實(shí)例、擴(kuò)展網(wǎng)卡、虛擬IP、VPN網(wǎng)關(guān)、云專(zhuān)線(xiàn)網(wǎng)關(guān)、NAT網(wǎng)關(guān)、云連接、對(duì)等連接8云平臺(tái)運(yùn)營(yíng)管理運(yùn)營(yíng)服務(wù)中心是云管平臺(tái)的資源、服務(wù)管理中心，支持多租戶(hù)模式，租戶(hù)自助申請(qǐng)服務(wù)、管理資源，支持服務(wù)流程合規(guī)檢查，提升運(yùn)營(yíng)效率，包括：多云管理：支持對(duì)多個(gè)Region的云服務(wù)進(jìn)行統(tǒng)一運(yùn)營(yíng)管理，滿(mǎn)足大型企業(yè)或組織跨地域運(yùn)營(yíng)混合云的需求，支持多云管理，包括華為云、AWS、AZure、華為虛擬化、VMware等。政企組織結(jié)構(gòu)管理：匹配政企多級(jí)組織管理模型，滿(mǎn)足各級(jí)組織靈活使用云服務(wù)資源的需求，同時(shí)支持政企IT項(xiàng)目管理，把項(xiàng)目預(yù)算轉(zhuǎn)換成資源配額，管控各業(yè)務(wù)部門(mén)的云資源池使用量，使得各業(yè)務(wù)部門(mén)在預(yù)算范圍內(nèi)合理使用云資源。權(quán)限管理：提供不同的運(yùn)營(yíng)權(quán)限，包括預(yù)置權(quán)限和自定義策略，滿(mǎn)足政企不同用戶(hù)角色的權(quán)限控制需求。服務(wù)管理：提供開(kāi)箱即用的服務(wù)目錄，支持服務(wù)按租戶(hù)、按部門(mén)上架、下架，同時(shí)支持按需構(gòu)建服務(wù)，支持跨region、跨云的組合服務(wù)編排，支持重新編排云服務(wù)的申請(qǐng)頁(yè)面，服務(wù)申請(qǐng)客戶(hù)化，助力政企數(shù)字化轉(zhuǎn)型；資源管理：支持全局統(tǒng)一的資源中心，運(yùn)營(yíng)管理員、租戶(hù)可以在一張資源視圖內(nèi)管理所有region的云服務(wù)資源，支持對(duì)資源進(jìn)行監(jiān)控、執(zhí)行常用操作。應(yīng)用管理：提供應(yīng)用管理，政企的業(yè)務(wù)系統(tǒng)可以定義為應(yīng)用，支持應(yīng)用部署，以應(yīng)用為中心管理云資源，提升運(yùn)營(yíng)管理效率；服務(wù)流程管理：提供圖形化、按需定義的服務(wù)流程編排能力，可自定義服務(wù)流程（包括并行、串行處理）、流程節(jié)點(diǎn)、節(jié)點(diǎn)的表單定義，指定各節(jié)點(diǎn)的審批人，靈活適配各企業(yè)不同的業(yè)務(wù)審批訴求。運(yùn)營(yíng)管理：提供訂單管理、配額管理、計(jì)量計(jì)價(jià)、購(gòu)物車(chē)、回收站等運(yùn)營(yíng)能力，滿(mǎn)足租戶(hù)自助申請(qǐng)服務(wù)的訴求，提升運(yùn)營(yíng)效率。運(yùn)營(yíng)服務(wù)中心在匹配政企組織管理模型的基礎(chǔ)上，圍繞服務(wù)、資源、應(yīng)用的生命周期，結(jié)合統(tǒng)一服務(wù)流程進(jìn)行合規(guī)管理。運(yùn)營(yíng)服務(wù)邏輯架構(gòu)1、門(mén)戶(hù)層：統(tǒng)一門(mén)戶(hù)：提供政企統(tǒng)一訪問(wèn)門(mén)戶(hù)，門(mén)戶(hù)支持預(yù)集成服務(wù)、動(dòng)態(tài)構(gòu)建注冊(cè)的服務(wù)、ISV開(kāi)發(fā)的服務(wù)。2、運(yùn)營(yíng)能力層：組織管理：匹配政企組織結(jié)構(gòu)，提供企業(yè)、部門(mén)、項(xiàng)目不同層級(jí)的管理，通過(guò)部門(mén)配額控制各部門(mén)可使用的資源池資源數(shù)量，同時(shí)也可以通過(guò)項(xiàng)目預(yù)算為部門(mén)錄入資源配額，管控各部門(mén)可以使用的云資源數(shù)量。服務(wù)管理：支持服務(wù)按部門(mén)上架、下架，支持預(yù)集成服務(wù)、動(dòng)態(tài)構(gòu)建服務(wù)、ISV開(kāi)發(fā)的服務(wù)，支持多云服務(wù)的統(tǒng)一管理。資源管理：提供全局統(tǒng)一的資源管理中心，支持資源常用操作、資源監(jiān)控，提供一站式的資源中心。服務(wù)構(gòu)建：支持按需構(gòu)建服務(wù)，支持編排各原子服務(wù)API、服務(wù)申請(qǐng)頁(yè)面、申請(qǐng)流程，支持跨云服務(wù)編排，組合成用戶(hù)需要的云服務(wù)，發(fā)布到服務(wù)目錄，供租戶(hù)自助申請(qǐng)使用。應(yīng)用管理：提供以應(yīng)用為中心的資源管理，支持以應(yīng)用為粒度管理、監(jiān)控資源，支持在云主機(jī)上部署應(yīng)用軟件、應(yīng)用模塊進(jìn)程監(jiān)控，提供一站式的應(yīng)用管理。運(yùn)營(yíng)管理；提供多云統(tǒng)一訂單、配額管理、計(jì)量統(tǒng)計(jì)。多云管理：支持接入多種云資源池，包括華為云、華為虛擬化、VMware、AWS、AZure等云類(lèi)型的管理。3、統(tǒng)一服務(wù)流程：服務(wù)流程：提供服務(wù)申請(qǐng)、審批的統(tǒng)一流程，支持圖形化可靈活定義的流程編排，支持定義流程表單。4、統(tǒng)一服務(wù)接入框架：提供統(tǒng)一的服務(wù)接入框架，包括控制臺(tái)、鑒權(quán)認(rèn)證、計(jì)量、訂單、配額等。9云平臺(tái)運(yùn)維管理隨著企業(yè)數(shù)字化轉(zhuǎn)型的加速，企業(yè)業(yè)務(wù)上云的訴求越來(lái)越強(qiáng)烈，而云化數(shù)據(jù)中心相對(duì)于傳統(tǒng)的數(shù)據(jù)中心，運(yùn)維的復(fù)雜度成指數(shù)級(jí)增加，最典型的問(wèn)題如：運(yùn)維效率低，運(yùn)維難度大，系統(tǒng)穩(wěn)定性差等。從業(yè)界運(yùn)維的發(fā)展歷程看，一般是經(jīng)過(guò)大概幾個(gè)階段：第一階段：傳統(tǒng)的IT運(yùn)維，以ITIL為最佳實(shí)踐的流程化的運(yùn)維管理，核心在于流程管控第二階段：以提升效率為核心的自動(dòng)化運(yùn)維，以DevOps為最佳實(shí)踐，實(shí)現(xiàn)軟件發(fā)布、升級(jí)、變更、監(jiān)控、故障處理全流程自動(dòng)化的運(yùn)維管理；第三階段：無(wú)人值守的智能化運(yùn)維，以AIOps為核心，大量引入AI/ML技術(shù)，實(shí)現(xiàn)機(jī)器的故障預(yù)測(cè)和自主決策。實(shí)現(xiàn)監(jiān)控、故障、執(zhí)行自閉環(huán)的運(yùn)維管理，最終實(shí)現(xiàn)無(wú)人值守的運(yùn)維；云管平臺(tái)提供統(tǒng)一的運(yùn)維能力，解決云數(shù)據(jù)中心運(yùn)維的幾個(gè)核心問(wèn)題：效率、成本和質(zhì)量。主要面向?qū)I(yè)的運(yùn)維管理員，如一線(xiàn)駐場(chǎng)工程、云平臺(tái)運(yùn)維工程師，運(yùn)維安全工程師、網(wǎng)絡(luò)運(yùn)維工程師以及設(shè)備運(yùn)維工程師等。提供標(biāo)準(zhǔn)化、自動(dòng)化、智能化的運(yùn)維能力，方便運(yùn)維人員及時(shí)掌握系統(tǒng)運(yùn)行狀況，并提供故障診斷以及閉環(huán)的能力。實(shí)現(xiàn)了多云、多數(shù)據(jù)中心、多資源池、多種云服務(wù)的統(tǒng)一管理，提供包含資源管理、集中監(jiān)控、可視化、運(yùn)維分析、安裝部署等功能模塊，支撐日常運(yùn)維、系統(tǒng)變更、運(yùn)營(yíng)分析等運(yùn)維業(yè)務(wù)場(chǎng)景。運(yùn)維對(duì)象覆蓋基礎(chǔ)設(shè)施、云服務(wù)和應(yīng)用整個(gè)云環(huán)境的一體化的運(yùn)維能力。云運(yùn)維具備以下特點(diǎn)：架構(gòu)解耦：云運(yùn)維架構(gòu)采用微服務(wù)架構(gòu)，具備良好的敏捷交付和可擴(kuò)展性。能力開(kāi)放：對(duì)外開(kāi)放北向接口可對(duì)接第三方運(yùn)維平臺(tái)，第三方可自開(kāi)發(fā)驅(qū)動(dòng)通過(guò)南向接口接入集中運(yùn)維管理平臺(tái)。分布式架構(gòu)：每個(gè)數(shù)據(jù)中心部署本地云資源管理系統(tǒng)和物理設(shè)備運(yùn)維系統(tǒng)，負(fù)責(zé)本地的運(yùn)維操作、配置和監(jiān)控?cái)?shù)據(jù)采集。統(tǒng)一管理：華為云Stack提供了統(tǒng)一的運(yùn)維門(mén)戶(hù)，和靈活的南向?qū)幽芰?，基于從南向?qū)酉到y(tǒng)中抽取的資源對(duì)象的告警、性能、資源等信息，對(duì)資源進(jìn)行監(jiān)控、統(tǒng)計(jì)、分析與預(yù)測(cè)，從而實(shí)現(xiàn)云數(shù)據(jù)中心資源的統(tǒng)一運(yùn)維管理。智能分析：利用AI/ML技術(shù)，基于客戶(hù)實(shí)際應(yīng)用場(chǎng)景，構(gòu)建場(chǎng)景化智能運(yùn)維能力。10態(tài)勢(shì)感知態(tài)勢(shì)感知（SituationAwareness，SA）是華為云安全管理與態(tài)勢(shì)分析平臺(tái)。能夠檢測(cè)出8大類(lèi)的云上安全風(fēng)險(xiǎn)，包括DDoS攻擊、暴力破解、Web攻擊、后門(mén)木馬、僵尸主機(jī)、異常行為、漏洞攻擊、命令與控制等。利用大數(shù)據(jù)分析技術(shù)，態(tài)勢(shì)感知可以對(duì)攻擊事件、威脅告警和攻擊源頭進(jìn)行分類(lèi)統(tǒng)計(jì)和綜合分析，為用戶(hù)呈現(xiàn)出全局安全攻擊態(tài)勢(shì)。態(tài)勢(shì)感知通過(guò)采集全網(wǎng)流量數(shù)據(jù)和安全防護(hù)設(shè)備日志信息，并利用大數(shù)據(jù)安全分析平臺(tái)進(jìn)行處理和分析，態(tài)勢(shì)感知檢測(cè)出威脅告警，同時(shí)將企業(yè)主機(jī)安全、Web應(yīng)用防火墻和DDoS流量清洗等安全服務(wù)上報(bào)的告警數(shù)據(jù)進(jìn)行匯合，實(shí)時(shí)為用戶(hù)呈現(xiàn)完整的全網(wǎng)攻擊態(tài)勢(shì)，進(jìn)而為安全事件的處置決策提供依據(jù)。11云主機(jī)安全服務(wù)器主機(jī)是所有應(yīng)用服務(wù)的基石，服務(wù)器一旦出現(xiàn)故障，所有信息化服務(wù)將停止。系統(tǒng)主機(jī)安全主要從兩個(gè)方面考慮。1、建立雙主機(jī)系統(tǒng)，利用操作系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)或其它第三方系統(tǒng)，實(shí)現(xiàn)服務(wù)器主機(jī)、應(yīng)用服務(wù)雙機(jī)冗余備份，雙網(wǎng)鏈路接入網(wǎng)絡(luò)交換設(shè)備，從物理底層避免單點(diǎn)故障；視應(yīng)用系統(tǒng)軟件特性，對(duì)應(yīng)用系統(tǒng)進(jìn)行集群建設(shè)，使應(yīng)用系統(tǒng)在物理和應(yīng)用兩個(gè)層面上均實(shí)現(xiàn)雙機(jī)甚至多機(jī)系統(tǒng)，全面降低單點(diǎn)故障對(duì)整個(gè)信息系統(tǒng)的影響；2、服務(wù)器主機(jī)系統(tǒng)可考慮增加主機(jī)加固軟件系統(tǒng)，防止服務(wù)器數(shù)據(jù)被非法篡改，對(duì)于信息發(fā)布服務(wù)器，可以再增加主頁(yè)防篡改系統(tǒng)，以保障信息發(fā)布的安全性；針對(duì)數(shù)據(jù)庫(kù)主機(jī)服務(wù)器這樣的重點(diǎn)保護(hù)設(shè)備和數(shù)據(jù)資產(chǎn)，還可以增加HIPS（HostIPS）主機(jī)入侵防護(hù)系統(tǒng)，以保障數(shù)據(jù)的訪問(wèn)安全。3、系統(tǒng)設(shè)備在正式竣工移交時(shí)將完成主機(jī)安全加固操作，拆除或禁用不必要的軟驅(qū)、光驅(qū)，關(guān)閉不使用的端口；對(duì)操作系統(tǒng)和應(yīng)用軟件的各項(xiàng)配置按相關(guān)規(guī)定進(jìn)行配置到位；系統(tǒng)應(yīng)用、數(shù)據(jù)庫(kù)數(shù)據(jù)、各類(lèi)配置具備自動(dòng)備份和恢復(fù)功能。12云堡壘機(jī)服務(wù)云堡壘機(jī)（CloudBastionHost，CBH）是華為云的一款4A統(tǒng)一安全管控平臺(tái)，為企業(yè)提供集中的帳號(hào)（Account）、授權(quán)（Authorization）、認(rèn)證（Authentication）和審計(jì)（Audit）管理服務(wù)。云堡壘機(jī)提供云計(jì)算安全管控的系統(tǒng)和組件，包含部門(mén)、用戶(hù)、資源、策略、運(yùn)維、審計(jì)等功能模塊，集單點(diǎn)登錄、統(tǒng)一資產(chǎn)管理、多終端訪問(wèn)協(xié)議、文件傳輸、會(huì)話(huà)協(xié)同等功能于一體。通過(guò)統(tǒng)一運(yùn)維登錄入口，基于協(xié)議正向代理技術(shù)和遠(yuǎn)程訪問(wèn)隔離技術(shù)，實(shí)現(xiàn)對(duì)服務(wù)器、云主機(jī)、數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)等云上資源的集中管理和運(yùn)維審計(jì)。13數(shù)據(jù)庫(kù)審計(jì)服務(wù)數(shù)據(jù)庫(kù)安全服務(wù)（DatabaseSecurityService，DBSS）是一個(gè)智能的數(shù)據(jù)庫(kù)安全服務(wù)，基于機(jī)器學(xué)習(xí)機(jī)制和大數(shù)據(jù)分析技術(shù)，提供數(shù)據(jù)庫(kù)審計(jì)，SQL注入攻擊檢測(cè)，風(fēng)險(xiǎn)操作識(shí)別等功能，保障云上數(shù)據(jù)庫(kù)的安全。二、技術(shù)中臺(tái)建設(shè)1容器服務(wù)容器服務(wù)是基于iSulad和Kubernetes提供的云上一站式容器全棧能力平臺(tái)，包括生命周期管理、容器應(yīng)用Chart、應(yīng)用調(diào)度、監(jiān)控與運(yùn)維。其中，iSulad是一個(gè)輕量級(jí)的容器運(yùn)行守護(hù)進(jìn)程，專(zhuān)為IOT和Cloud基礎(chǔ)設(shè)施而設(shè)計(jì)，可進(jìn)行輕量化、快速的架構(gòu)應(yīng)用。容器服務(wù)的高效性。華為存儲(chǔ)系統(tǒng)支持便捷創(chuàng)建和升級(jí)Kubernetes容器集群，大幅簡(jiǎn)化了iSulad和Kubernetes集群的部署過(guò)程。并且高效地實(shí)現(xiàn)了模板的快速部署與后期管理，在存儲(chǔ)系統(tǒng)內(nèi)高效完成容器應(yīng)用的整個(gè)生命周期。iSulad容器應(yīng)用，是直接運(yùn)行于宿主內(nèi)核，無(wú)需啟動(dòng)全部的操作系統(tǒng)，相比傳統(tǒng)的虛擬機(jī)技術(shù)擁有更快的應(yīng)用執(zhí)行速度、更低的內(nèi)存損耗和更迅速的文件存儲(chǔ)速度。容器服務(wù)的高穩(wěn)定性。支持資源隔離，支持在一套物理存儲(chǔ)系統(tǒng)中劃分獨(dú)享的硬件資源，使容器服務(wù)靈活、部署成本低。支持故障接管，支持容器應(yīng)用在同一控制框中的控制器之間進(jìn)行自動(dòng)切換，當(dāng)控制器故障后，歸屬于該控制器上的容器應(yīng)用可以在正常運(yùn)行的節(jié)點(diǎn)自動(dòng)拉起，從而保障業(yè)務(wù)高穩(wěn)定。在本項(xiàng)目中，提供云容器引擎CCE和鏡像倉(cāng)庫(kù)SWR服務(wù)：云容器引擎CCE：提供高度可擴(kuò)展的、高性能的企業(yè)級(jí)Kubernetes集群，支持運(yùn)行Docker容器。借助云容器引擎，可以在云上輕松部署、管理和擴(kuò)展容器化應(yīng)用程序。鏡像倉(cāng)庫(kù)SWR：是一種支持容器鏡像全生命周期管理的服務(wù)，提供簡(jiǎn)單易用、安全可靠的鏡像管理功能，幫助用戶(hù)快速部署容器化服務(wù)。華為云容器引擎提供容器編排、調(diào)度、部署、彈性伸縮、升級(jí)、健康檢查、應(yīng)用模板管理等能力，支持純內(nèi)網(wǎng)環(huán)境自助式部署Kubernetes多集群環(huán)境，支持主機(jī)維護(hù)模式。支持混合集群，可以在虛擬機(jī)、裸金屬和虛擬機(jī)/裸金屬混合節(jié)點(diǎn)上部署集群。支持單機(jī)版master節(jié)點(diǎn)和集群版master節(jié)點(diǎn)。提供鏡像倉(cāng)庫(kù)，方便企業(yè)對(duì)通用軟件包以及業(yè)務(wù)應(yīng)用鏡像進(jìn)行本地化管理。并提供如下容器服務(wù)能力：集群資源管理，云容器與華為Stack和IaaS，支持集群監(jiān)控、部署和統(tǒng)計(jì)；工作負(fù)載管理，支持配置服務(wù)器訪問(wèn)外部域名，支持運(yùn)行環(huán)境變量配置；應(yīng)用調(diào)度管理，為容器運(yùn)行選擇最優(yōu)節(jié)點(diǎn)，支持使用Helm模板編排應(yīng)用目錄；以及應(yīng)用彈性和監(jiān)控管理。2微服務(wù)管理微服務(wù)管理能夠?qū)崿F(xiàn)全生命周期的微服務(wù)治理能力，支持不同技術(shù)堆棧之間的服務(wù)注冊(cè)與發(fā)現(xiàn)、智能路由、全局配置推送、熔斷等復(fù)雜功能的屏蔽，開(kāi)發(fā)者只需聚焦業(yè)務(wù)邏輯的開(kāi)發(fā)，無(wú)需關(guān)注分布式系統(tǒng)管理的復(fù)雜性，從而實(shí)現(xiàn)每個(gè)服務(wù)單元的獨(dú)立快速開(kāi)發(fā)和上線(xiàn)。平臺(tái)為基于微服務(wù)架構(gòu)開(kāi)發(fā)的應(yīng)用提供支撐環(huán)境，同時(shí)為XX發(fā)電公司原有的遺留應(yīng)用微服務(wù)化提供接入途徑。本項(xiàng)目采用微服務(wù)框架作為中間件服務(wù)平臺(tái)，提供一站式應(yīng)用生命周期管理，實(shí)現(xiàn)包括服務(wù)治理、基礎(chǔ)監(jiān)控、應(yīng)用監(jiān)控和應(yīng)用診斷在內(nèi)的一系列應(yīng)用管理服務(wù)，能利用彈性伸縮應(yīng)對(duì)流量高峰，以提升對(duì)大型分布式應(yīng)用的管理能力。主要能力包括：應(yīng)用管理：支持應(yīng)用生命周期管理、環(huán)境管理。微服務(wù)應(yīng)用接入：支持JavaChassis、GoChassis、SpringCloud、Dubbo微服務(wù)框架；支持Mesher服務(wù)網(wǎng)格。配合微服務(wù)引擎可實(shí)現(xiàn)服務(wù)注冊(cè)發(fā)現(xiàn)、配置管理和服務(wù)治理，請(qǐng)參考微服務(wù)開(kāi)發(fā)指南。應(yīng)用運(yùn)維：通過(guò)日志、監(jiān)控、告警支持應(yīng)用運(yùn)維管理。ROMAFactory是面向企業(yè)的一站式應(yīng)用管理與運(yùn)維平臺(tái)，為XX發(fā)電公司ISV開(kāi)發(fā)人員、測(cè)試人員、運(yùn)維人員或項(xiàng)目經(jīng)理等角色，提供應(yīng)用托管、監(jiān)控、告警和日志分析等能力，同時(shí)平臺(tái)極具開(kāi)放性，兼容業(yè)界主流應(yīng)用技術(shù)棧，包括：多種語(yǔ)言，多種微服務(wù)框架和多種運(yùn)行環(huán)境，能極大地提升傳統(tǒng)應(yīng)用、Web應(yīng)用、微服務(wù)應(yīng)用的管理與運(yùn)維效率，聚焦面向行業(yè)的應(yīng)用創(chuàng)新，從而提升應(yīng)用管理的質(zhì)量。通過(guò)應(yīng)用微服務(wù)化，XX發(fā)電公司可將一個(gè)臃腫的系統(tǒng)拆分成若干小的服務(wù)組件，組件之間的通訊采用輕量的協(xié)議完成，實(shí)現(xiàn)各組件生命周期管理的解耦。微服務(wù)框架可承載微服務(wù)應(yīng)用的全生命周期管理。支持Go、Java、Docker、Node.js、Tomcat等運(yùn)行環(huán)境，可無(wú)侵入托管ApacheServiceCombJavaChassis、SpringCloud、服務(wù)網(wǎng)格等微服務(wù)應(yīng)用，提供配置管理、監(jiān)控運(yùn)維和服務(wù)治理等更多功能，讓企業(yè)微服務(wù)應(yīng)用上云更簡(jiǎn)單。微服務(wù)框架主要能力如下：支持基于Swagger的API管理。支持多種語(yǔ)言，如JAVA、Go、Node.js等。支持原生ServiceComb、Dubbo、SpringCloud和ServiceMesh多種微服務(wù)框架，無(wú)需更改業(yè)務(wù)代碼直接托管上云。提供服務(wù)中心、配置中心、儀表盤(pán)等功能。提供限流、降級(jí)、熔斷、容錯(cuò)、錯(cuò)誤注入、黑白名單等微服務(wù)治理策略，提供界面化操作，極大提高了服務(wù)治理的可用性。實(shí)現(xiàn)SpringCloud、JavaChassis和GoChassis之間的互相發(fā)現(xiàn)。3分布式緩存本項(xiàng)目采用分布式緩存服務(wù)DCS，華為云Stack提供的一款內(nèi)存數(shù)據(jù)庫(kù)服務(wù)，兼容了Redis，為您提供即開(kāi)即用、安全可靠、彈性擴(kuò)容、便捷管理的在線(xiàn)分布式緩存能力，滿(mǎn)足用戶(hù)高并發(fā)及數(shù)據(jù)快速訪問(wèn)的業(yè)務(wù)訴求。性能原則：DCS實(shí)例在性能方面主要包含兩個(gè)指標(biāo)，一是吞吐量（Throughput），指系統(tǒng)在指定時(shí)間段內(nèi)執(zhí)行的工作量，在緩存中通常以O(shè)PS或者QPS進(jìn)行衡量，代表每秒能并發(fā)處理的業(yè)務(wù)量；二是單次請(qǐng)求的響應(yīng)時(shí)間，指單次緩存請(qǐng)求請(qǐng)求與響應(yīng)之間的平均延遲。DCS是一種內(nèi)存型的分布式緩存服務(wù)，并發(fā)量通常較大，對(duì)于在性能和數(shù)據(jù)可靠性方面通常需要進(jìn)行權(quán)衡，DCS服務(wù)默認(rèn)采用everysecond的aof持久化策略，在系統(tǒng)故障時(shí)容忍少量的數(shù)據(jù)失效（1s內(nèi)系統(tǒng)中未寫(xiě)入磁盤(pán)的數(shù)據(jù)）以確保磁盤(pán)不會(huì)成為系統(tǒng)中的性能瓶頸。實(shí)用性：DCS服務(wù)在Console界面提供方便的Redis實(shí)例參數(shù)調(diào)整、備份恢復(fù)、一鍵擴(kuò)容等功能，方便租戶(hù)能夠快捷高效的使用Redis實(shí)例，提升租戶(hù)的運(yùn)維和開(kāi)發(fā)效率?？蓴U(kuò)展性：DCS緩存實(shí)例在界面和API上均支持方便快捷的一鍵擴(kuò)容能力，支持從主備實(shí)例2GB-64GB，集群實(shí)例4GB-1024GB的方便擴(kuò)容。Redis4.0和Redis5.0主備實(shí)例支持使用哨兵模式（Sentinel）進(jìn)行管理，Sentinel會(huì)一直監(jiān)控主備節(jié)點(diǎn)是否正常運(yùn)行，當(dāng)主節(jié)點(diǎn)出現(xiàn)故障時(shí)，進(jìn)行主備倒換。Sentinel對(duì)用戶(hù)不可見(jiàn)，僅在服務(wù)內(nèi)部中使用。只讀節(jié)點(diǎn)和讀寫(xiě)節(jié)點(diǎn)規(guī)格一致，用戶(hù)創(chuàng)建主備實(shí)例時(shí)，默認(rèn)包含一個(gè)主節(jié)點(diǎn)和一個(gè)備節(jié)點(diǎn)。Redis4.0和Redis5.0主備支持跨可用區(qū)容災(zāi)。DCS服務(wù)的Redis4.0/5.0版本的讀寫(xiě)分離實(shí)例，讀寫(xiě)分離實(shí)例默認(rèn)為從服務(wù)端側(cè)實(shí)現(xiàn)的讀寫(xiě)分離，通過(guò)Proxy節(jié)點(diǎn)識(shí)別用戶(hù)讀寫(xiě)請(qǐng)求，如果是寫(xiě)請(qǐng)求，則轉(zhuǎn)發(fā)給主節(jié)點(diǎn)，如果是讀請(qǐng)求，則轉(zhuǎn)發(fā)給備節(jié)點(diǎn)。讀寫(xiě)分離主要適用于讀高并發(fā)、寫(xiě)請(qǐng)求較少的業(yè)務(wù)場(chǎng)景，解決高并發(fā)的性能問(wèn)題，節(jié)約運(yùn)維成本。Redis是一種支持Key-Value等多種數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)系統(tǒng)?？捎糜诰彺?、事件發(fā)布或訂閱、高速隊(duì)列等應(yīng)用場(chǎng)景。Redis使用ANSIC語(yǔ)言編寫(xiě)，提供字符串（String）、哈希（Hash）、列表（List）、集合結(jié)構(gòu)（Set、SortedSet）、流（Stream）等數(shù)據(jù)類(lèi)型的直接存取。數(shù)據(jù)讀寫(xiě)基于內(nèi)存，同時(shí)可持久化到磁盤(pán)。分布式緩存服務(wù)需要支持統(tǒng)一身份認(rèn)證、虛擬私有云、云監(jiān)控與云審計(jì)等安全管理服務(wù)；支持靈活的容災(zāi)策略，主備/集群實(shí)例從單AZ（可用區(qū)）內(nèi)部署，到支持跨AZ部署；提供對(duì)實(shí)例內(nèi)存規(guī)格的在線(xiàn)擴(kuò)容與縮容服務(wù)，實(shí)現(xiàn)基于實(shí)際業(yè)務(wù)量的成本控制，達(dá)到按需使用的目標(biāo)；提供可視化Web管理界面，在線(xiàn)完成實(shí)例重啟、參數(shù)修改、數(shù)據(jù)備份恢復(fù)等操作；提供可視化Web界面遷移功能，支持備份文件導(dǎo)入和在線(xiàn)遷移兩種方式，提高遷移效率。提供基于Restful的管理API，方便進(jìn)一步實(shí)現(xiàn)實(shí)例自動(dòng)化管理。4分布式消息隊(duì)列分布式消息隊(duì)列應(yīng)基于高可用分布式集群技術(shù)，兼容Kafka協(xié)議，使用統(tǒng)一的消息接入機(jī)制，為企業(yè)提供安全、標(biāo)準(zhǔn)化消息通道。分布式消息隊(duì)列除了支持客戶(hù)端連接后管理Topic和發(fā)布訂閱消息，還支持可視化操作，包括Topic創(chuàng)建和管理、用戶(hù)管理與權(quán)限設(shè)置、消息查詢(xún)等功能。本項(xiàng)目采用的MQS是一個(gè)擁有高吞吐、可持久化、可水平擴(kuò)展，支持流式數(shù)據(jù)處理等多種特性的分布式消息流處理中間件，采用分布式消息發(fā)布與訂閱機(jī)制，在日志收集、流式數(shù)據(jù)傳輸、在線(xiàn)/離線(xiàn)系統(tǒng)分析、實(shí)時(shí)監(jiān)控等領(lǐng)域有廣泛的應(yīng)用。MQS是一款基于高可用分布式集群技術(shù)，搭建了包括發(fā)布訂閱、消息軌跡、資源統(tǒng)計(jì)、監(jiān)控報(bào)警等一套完整的消息云服務(wù)。具備簡(jiǎn)單、易用、安全、可靠的特性。MQS提供了消息內(nèi)容查詢(xún)以及消息軌跡查詢(xún)功能，用戶(hù)可以對(duì)消息內(nèi)容和消息生產(chǎn)、同步以及消費(fèi)進(jìn)度進(jìn)行查看。消息內(nèi)容查詢(xún)功能提供了復(fù)合條件查詢(xún)消息內(nèi)容的能力，用戶(hù)可以實(shí)時(shí)查看消息內(nèi)容來(lái)驗(yàn)證消息的正確性。消息軌跡功能為用戶(hù)直觀展示了消息從生產(chǎn)和消費(fèi)端到端的全鏈路信息，能夠快速協(xié)助用戶(hù)定位生產(chǎn)和消費(fèi)過(guò)程中的問(wèn)題。運(yùn)維可視化包含消息消費(fèi)進(jìn)度可視化、連接查詢(xún)可視化、連接日志可視化、消息統(tǒng)計(jì)可視化等。通過(guò)可視化的運(yùn)維平臺(tái)，極大提高系統(tǒng)管理員的運(yùn)維效率，用戶(hù)可以配置自定義告警規(guī)則提早發(fā)現(xiàn)問(wèn)題隱患并解決，使得系統(tǒng)運(yùn)行更加穩(wěn)定可靠。容量閾值策略設(shè)置磁盤(pán)使用達(dá)到容量閾值后的消息處理方式。MQS提供了生產(chǎn)受限和自動(dòng)刪除兩種容量閾值策略，避免在超大數(shù)據(jù)量的極端場(chǎng)景下磁盤(pán)占滿(mǎn)的風(fēng)險(xiǎn)，保證用戶(hù)業(yè)務(wù)的可用性。用戶(hù)可以基于業(yè)務(wù)對(duì)數(shù)據(jù)和業(yè)務(wù)的可靠性來(lái)進(jìn)行選擇，若保證歷史數(shù)據(jù)不能丟失可以選擇生產(chǎn)受限策略，若保證業(yè)務(wù)不中斷則可以選擇自動(dòng)刪除策略。5API網(wǎng)關(guān)建設(shè)華為ROMAConnectAPIC提供企業(yè)級(jí)API網(wǎng)關(guān)是華為云的高性能、高可用、高安全的云原生網(wǎng)關(guān)服務(wù)，融合安全、負(fù)載均衡、流量入口治理、微服務(wù)流量治理、運(yùn)維等多項(xiàng)能力。建設(shè)支持將數(shù)據(jù)和后端服務(wù)以API形式開(kāi)放，簡(jiǎn)化分享數(shù)據(jù)或提供服務(wù)的過(guò)程，降低企業(yè)和業(yè)務(wù)系統(tǒng)之間對(duì)接的成本，實(shí)現(xiàn)API安全開(kāi)放、API高并發(fā)調(diào)用和入口流量、微服務(wù)流量精細(xì)化治理。API網(wǎng)關(guān)（APIGateway）提供高性能、高可用、高安全的API托管服務(wù)，能快速將企業(yè)服務(wù)能力包裝成標(biāo)準(zhǔn)API服務(wù)，輕松構(gòu)建、管理和部署任意規(guī)模的API。借助API網(wǎng)關(guān)，可以簡(jiǎn)單、快速、低成本、低風(fēng)險(xiǎn)地實(shí)現(xiàn)內(nèi)部系統(tǒng)集成、業(yè)務(wù)能力開(kāi)放及業(yè)務(wù)能力變現(xiàn)。API網(wǎng)關(guān)可變現(xiàn)服務(wù)能力的同時(shí)，降低企業(yè)研發(fā)投入，使企業(yè)專(zhuān)注于企業(yè)核心業(yè)務(wù)，提升運(yùn)營(yíng)效率。作為API提供者，可以將成熟的業(yè)務(wù)能力（如服務(wù)、數(shù)據(jù)等）作為后端服務(wù)，在API網(wǎng)關(guān)中開(kāi)放API，并通過(guò)線(xiàn)下方式提供給API調(diào)用者使用，或者發(fā)布到API市場(chǎng)，實(shí)現(xiàn)業(yè)務(wù)能力變現(xiàn)。API網(wǎng)關(guān)包含如下功能：API生命周期管理，API網(wǎng)關(guān)支持API的創(chuàng)建、發(fā)布、下線(xiàn)、回滾等日常管理。API調(diào)測(cè)，在完成API創(chuàng)建后，可以先對(duì)API進(jìn)行調(diào)試，確保API的功能正常。在調(diào)試頁(yè)面中，可自定義配置API的請(qǐng)求信息。API安全認(rèn)證，API網(wǎng)關(guān)具備多種安全認(rèn)證方式，在調(diào)用API前，需要向API提供方獲取API的請(qǐng)求信息，包括訪問(wèn)域名、請(qǐng)求協(xié)議、請(qǐng)求方法、請(qǐng)求路徑以及請(qǐng)求參數(shù)。API流量控制，流量控制可限制單位時(shí)間內(nèi)API的被調(diào)用次數(shù)，保護(hù)后端服務(wù)。為了提供持續(xù)穩(wěn)定的服務(wù)，可以創(chuàng)建流控策略，對(duì)綁定策略的API進(jìn)行流量控制。流量控制策略和API本身是相互獨(dú)立的，只有將API綁定流量控制策略后，流量控制策略才對(duì)API生效。API策略路由控制，API網(wǎng)關(guān)可配置策略路由，包括訪問(wèn)控制策略、客戶(hù)端配額策略、客戶(hù)端訪問(wèn)控制策略等內(nèi)容。API權(quán)限控制，API網(wǎng)關(guān)對(duì)用戶(hù)資源實(shí)現(xiàn)了嚴(yán)格的權(quán)限管理，在同一實(shí)例內(nèi)，IAM用戶(hù)只能查看和管理自己創(chuàng)建的API資源，默認(rèn)不能查看其他IAM用戶(hù)創(chuàng)建的API資源。API網(wǎng)關(guān)支持精細(xì)化權(quán)限管理。API二次開(kāi)發(fā)，API開(kāi)發(fā)包含數(shù)據(jù)API開(kāi)發(fā)，函數(shù)API開(kāi)發(fā)。數(shù)據(jù)API開(kāi)發(fā)是指通過(guò)編寫(xiě)SQL腳本的方式，將數(shù)據(jù)庫(kù)提供的數(shù)據(jù)服務(wù)轉(zhuǎn)換為RESTAPI的能力。函數(shù)API開(kāi)發(fā)是指通過(guò)編寫(xiě)JS代碼的方式，對(duì)多個(gè)BackendAPI進(jìn)行編排和適配，封裝為一個(gè)新的API。6關(guān)系型數(shù)據(jù)庫(kù)在本項(xiàng)目中提供的關(guān)系型云數(shù)據(jù)庫(kù)RDS（RelationalDatabaseService，簡(jiǎn)稱(chēng)RDS）是一種基于云計(jì)算平臺(tái)的穩(wěn)定可靠、彈性伸縮、便捷管理的在線(xiàn)云數(shù)據(jù)庫(kù)服務(wù)。支持MySQL、PostgreSQL、SQLserver三種數(shù)據(jù)庫(kù)引擎：其中，云數(shù)據(jù)庫(kù)RDSforMySQL架構(gòu)成熟穩(wěn)定，支持流行應(yīng)用程序；支持各種WEB應(yīng)用；管理控制臺(tái)提供全面的監(jiān)控信息，簡(jiǎn)單易用，靈活管理，可視又可控；能夠提供穩(wěn)定可靠、可彈性伸縮的數(shù)據(jù)庫(kù)服務(wù)。RDSforPostgreSQL支持NoSQL數(shù)據(jù)類(lèi)型（JSON/XML/hstore），支持GIS地理信息處理。RDSforSQLServer擁有高可用架構(gòu)、數(shù)據(jù)安全保障和故障秒級(jí)恢復(fù)功能。RDS具有多重安全防護(hù)措施和完善的性能監(jiān)控體系，并提供專(zhuān)業(yè)的數(shù)據(jù)庫(kù)備份、恢復(fù)及優(yōu)化方案。有良好的兼容性，支持主流的數(shù)據(jù)庫(kù)引擎，并提供完善的OpenAPI供外部調(diào)用。數(shù)據(jù)庫(kù)架構(gòu)和功能數(shù)據(jù)的高可用性對(duì)系統(tǒng)持續(xù)服務(wù)能力極其重要，數(shù)據(jù)庫(kù)服務(wù)器是企業(yè)存放數(shù)據(jù)的重要設(shè)備，如果數(shù)據(jù)庫(kù)服務(wù)器故障，就會(huì)造成業(yè)務(wù)停頓，導(dǎo)致不可挽回的損失。RDSforMySQL提供主、備高可用方案，主機(jī)提供讀寫(xiě)操作，備機(jī)提供只讀操作，通過(guò)主機(jī)向備機(jī)發(fā)送日志，備機(jī)回放接收到的日志的方式，實(shí)現(xiàn)主備機(jī)數(shù)據(jù)同步。當(dāng)主機(jī)出現(xiàn)故障，備機(jī)回放完所有接收到的日志后升為主機(jī)，提供數(shù)據(jù)庫(kù)服務(wù)，保證系統(tǒng)持續(xù)對(duì)外提供服務(wù)。通過(guò)全量數(shù)據(jù)備份和周期性邏輯日志備份，當(dāng)發(fā)生故障時(shí)可以保證能夠回退到歷史的任何版本。物理數(shù)據(jù)備份：定期做全量數(shù)據(jù)備份，存放在OBS上。邏輯日志備份：每5分鐘進(jìn)行一次binlog日志。云數(shù)據(jù)庫(kù)需要支持可彈性伸縮的在線(xiàn)數(shù)據(jù)庫(kù)服務(wù)，。支持在線(xiàn)平滑升降級(jí)，計(jì)算能力、存儲(chǔ)容量和總IOPS同步線(xiàn)性擴(kuò)容。統(tǒng)一賬戶(hù)、統(tǒng)一認(rèn)證，確保用戶(hù)信息的安全，避免用7時(shí)序數(shù)據(jù)庫(kù)時(shí)序數(shù)據(jù)庫(kù)是一種專(zhuān)門(mén)用于存儲(chǔ)和處理時(shí)間序列數(shù)據(jù)的數(shù)據(jù)庫(kù)，它可以應(yīng)用于以下場(chǎng)景：1.物聯(lián)網(wǎng)（IoT）：時(shí)序數(shù)據(jù)庫(kù)可以用于存儲(chǔ)和處理傳感器數(shù)據(jù)、設(shè)備數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)等，例如溫度、濕度、壓力、電流、電壓等數(shù)據(jù)。2.金融領(lǐng)域：時(shí)序數(shù)據(jù)庫(kù)可以用于存儲(chǔ)和處理股票、期貨、外匯等金融數(shù)據(jù)，例如股票價(jià)格、交易量、交易時(shí)間等數(shù)據(jù)。3.日志分析：時(shí)序數(shù)據(jù)庫(kù)可以用于存儲(chǔ)和處理日志數(shù)據(jù)，例如服務(wù)器日志、應(yīng)用程序日志、網(wǎng)絡(luò)日志等數(shù)據(jù)。4.運(yùn)維監(jiān)控：時(shí)序數(shù)據(jù)庫(kù)可以用于存儲(chǔ)和處理服務(wù)器、網(wǎng)絡(luò)、應(yīng)用程序等監(jiān)控?cái)?shù)據(jù)，例如CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬、請(qǐng)求響應(yīng)時(shí)間等數(shù)據(jù)5.工業(yè)控制：時(shí)序數(shù)據(jù)庫(kù)可以用于存儲(chǔ)和處理工業(yè)控制數(shù)據(jù)，例如生產(chǎn)線(xiàn)數(shù)據(jù)、機(jī)器數(shù)據(jù)、傳感器數(shù)據(jù)等?？傊?，時(shí)序數(shù)據(jù)庫(kù)適用于需要存儲(chǔ)和處理時(shí)間序列數(shù)據(jù)的各種場(chǎng)景，可以幫助用戶(hù)更高效地管理和分析數(shù)據(jù)，提高數(shù)據(jù)價(jià)值。本項(xiàng)目中有大量時(shí)間序列數(shù)據(jù)，時(shí)序數(shù)據(jù)庫(kù)主要用于處理帶時(shí)間標(biāo)簽的數(shù)據(jù)，應(yīng)用在具有時(shí)間序列化的應(yīng)用場(chǎng)景中。擁有時(shí)序數(shù)據(jù)常用的計(jì)算函數(shù)，包括min、max、avg、count、sum等常用函數(shù)，同時(shí)提供多種時(shí)序相關(guān)的計(jì)算能力，包括線(xiàn)性插值計(jì)算、降精度計(jì)算、時(shí)間經(jīng)緯度混合計(jì)算等。在華為云技術(shù)棧中，主要通過(guò)表格存儲(chǔ)服務(wù)（CloudTableService，簡(jiǎn)稱(chēng)CloudTable）為用戶(hù)提供專(zhuān)屬集群，即開(kāi)即用，適合業(yè)務(wù)吞吐量大，時(shí)延要求低的用戶(hù)。CloudTable提供基于HBase全托管的NoSQL服務(wù)，提供毫秒級(jí)隨機(jī)讀寫(xiě)能力，適用于海量(半)結(jié)構(gòu)化、時(shí)空、時(shí)序數(shù)據(jù)存儲(chǔ)；提供基于Doris全托管的實(shí)時(shí)數(shù)倉(cāng)服務(wù)，僅需亞秒級(jí)響應(yīng)時(shí)間即可返回海量數(shù)據(jù)下的查詢(xún)結(jié)果，不僅可以支持高并發(fā)的點(diǎn)查詢(xún)場(chǎng)景，也可以支持高吞吐的復(fù)雜分析場(chǎng)景。因此，Doris能夠較好的滿(mǎn)足報(bào)表分析、即席查詢(xún)、統(tǒng)一數(shù)倉(cāng)構(gòu)建、數(shù)據(jù)湖聯(lián)邦查詢(xún)加速等使用場(chǎng)景，用戶(hù)可以在此之上構(gòu)建用戶(hù)行為分析、AB實(shí)驗(yàn)平臺(tái)、日志檢索分析、用戶(hù)畫(huà)像分析、訂單分析等應(yīng)用。8文檔數(shù)據(jù)庫(kù)本項(xiàng)目采用文檔數(shù)據(jù)庫(kù)服務(wù)（DocumentDatabaseService，簡(jiǎn)稱(chēng)DDS），兼容MongoDB協(xié)議，提供安全、高可用、高可靠、彈性伸縮和易用的數(shù)據(jù)庫(kù)服務(wù)，同時(shí)提供一鍵部署、彈性擴(kuò)容、容災(zāi)、備份、恢復(fù)、監(jiān)控和告警等功能。其中，MongoDB作為文檔數(shù)據(jù)庫(kù)的云版本，主要服務(wù)于以json格式為載體的文檔型數(shù)據(jù)，兼容高可用、高可靠、高可擴(kuò)展特點(diǎn)，提供穩(wěn)定的數(shù)據(jù)庫(kù)服務(wù)。云數(shù)據(jù)庫(kù)MongoDB具備靈活部署的架構(gòu)模式，根據(jù)不同場(chǎng)景應(yīng)用不同的架構(gòu)，主要包括單節(jié)點(diǎn)、副本集、分片集群、Serverless架構(gòu)。支持集群角色主備自動(dòng)和手動(dòng)切換。其關(guān)鍵功能特性：功能特性說(shuō)明靈活應(yīng)用您可以通過(guò)控制臺(tái)實(shí)時(shí)創(chuàng)建目標(biāo)實(shí)例，配合彈性云服務(wù)器一起使用，通過(guò)彈性云服務(wù)器內(nèi)網(wǎng)連接文檔數(shù)據(jù)庫(kù)，有效地降低應(yīng)用響應(yīng)時(shí)間、節(jié)省公網(wǎng)流量費(fèi)用。通過(guò)本地設(shè)備訪問(wèn)實(shí)例時(shí)，可以為其綁定彈性公網(wǎng)IP，通過(guò)彈性公網(wǎng)IP連接文檔數(shù)據(jù)庫(kù)。完全兼容文檔數(shù)據(jù)庫(kù)服務(wù)是面向文檔型的NoSQL數(shù)據(jù)庫(kù)，完全兼容MongoDB協(xié)議?？梢暬\(yùn)維控制臺(tái)提供可視化實(shí)例管理平臺(tái)，對(duì)實(shí)例重啟、備份、數(shù)據(jù)恢復(fù)等高頻需求實(shí)現(xiàn)一鍵式便捷操作。數(shù)據(jù)安全通過(guò)虛擬私有云、子網(wǎng)、安全組、存儲(chǔ)加密、DDoS防護(hù)以及SSL安全訪問(wèn)等多層安全防護(hù)體系，有力地抗擊各種惡意攻擊，保證數(shù)據(jù)安全。提供審計(jì)日志功能，審計(jì)日志最長(zhǎng)支持保存兩年。支持細(xì)粒度權(quán)限控制。高可用集群和副本集支持高可用，一旦Primary節(jié)點(diǎn)發(fā)生故障導(dǎo)致節(jié)點(diǎn)不可用，即可在很短時(shí)間內(nèi)切換到Secondary節(jié)點(diǎn)上，切換過(guò)程對(duì)應(yīng)用透明。指標(biāo)監(jiān)控實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)庫(kù)實(shí)例及引擎的關(guān)鍵性能指標(biāo)，包括CPU、內(nèi)存使用率，磁盤(pán)利用率，command、delete、insert語(yǔ)句執(zhí)行頻率，活躍連接數(shù)等指標(biāo)。備份與恢復(fù)支持設(shè)置自動(dòng)備份策略和實(shí)時(shí)手動(dòng)備份。其中，自動(dòng)備份保留時(shí)長(zhǎng)最多達(dá)到732天，實(shí)時(shí)手動(dòng)備份長(zhǎng)期保留。支持通過(guò)備份文件進(jìn)行數(shù)據(jù)恢復(fù)。其中，副本集支持實(shí)例級(jí)時(shí)間點(diǎn)恢復(fù)和庫(kù)表級(jí)時(shí)間點(diǎn)恢復(fù)。日志管理支持查詢(xún)和下載數(shù)據(jù)庫(kù)錯(cuò)誤日志和慢日志。參數(shù)配置控制臺(tái)支持在線(xiàn)修改并生效配置參數(shù)，以及參數(shù)組配置管理功能。提供高可用連接：通過(guò)配置多IP連接串來(lái)實(shí)現(xiàn)高可用連接，支持集群、副本集、單節(jié)點(diǎn)。針對(duì)安全和賬號(hào)管理，用戶(hù)訪問(wèn)DDS時(shí)支持對(duì)數(shù)據(jù)庫(kù)用戶(hù)進(jìn)行身份驗(yàn)證，包含密碼驗(yàn)證和IAM驗(yàn)證兩種方式；使用IAM為企業(yè)中的員工設(shè)置不同的訪問(wèn)權(quán)限，以達(dá)到不同員工之間的權(quán)限隔離，通過(guò)IAM進(jìn)行精細(xì)的權(quán)限管理。用戶(hù)自主配置和管理的虛擬網(wǎng)絡(luò)環(huán)境，提升用戶(hù)云上資源的安全性，簡(jiǎn)化用戶(hù)的網(wǎng)絡(luò)部署。9大數(shù)據(jù)計(jì)算存儲(chǔ)在本期平臺(tái)建設(shè)、設(shè)計(jì)和系統(tǒng)實(shí)現(xiàn)過(guò)程中，應(yīng)遵循如下原則：集約性原則：數(shù)據(jù)湖平臺(tái)應(yīng)建設(shè)為一個(gè)統(tǒng)一的數(shù)據(jù)湖平臺(tái)，數(shù)據(jù)集中融合處理，避免數(shù)據(jù)孤島。開(kāi)放性原則：數(shù)據(jù)湖平臺(tái)采用開(kāi)放架構(gòu)，100%兼容開(kāi)源接口，兼容主流開(kāi)源生態(tài)系統(tǒng)，確保數(shù)據(jù)湖平臺(tái)具備持續(xù)的系統(tǒng)集成和擴(kuò)展能力。安全性原則：數(shù)據(jù)湖平臺(tái)針對(duì)系統(tǒng)級(jí)、應(yīng)用級(jí)、網(wǎng)絡(luò)級(jí)，均提供合理的安全手段和措施，為平臺(tái)提供全方位、立體化的安全實(shí)施方案，確保企業(yè)內(nèi)部信息的安全。可靠性原則：數(shù)據(jù)平臺(tái)采用高可靠部署架構(gòu)，系統(tǒng)依賴(lài)的所有組件沒(méi)有單點(diǎn)故障，提供必要的備份容災(zāi)能力，保證數(shù)據(jù)湖平臺(tái)的持續(xù)穩(wěn)定運(yùn)行。可持續(xù)原則：數(shù)據(jù)湖平臺(tái)應(yīng)采用分布式部署架構(gòu)，支持在線(xiàn)擴(kuò)縮容；平臺(tái)具備持續(xù)在線(xiàn)升級(jí)能力，具備持續(xù)解決系統(tǒng)短板問(wèn)題和集成最新業(yè)界技術(shù)的能力。（一）設(shè)計(jì)架構(gòu)：數(shù)據(jù)湖從各種數(shù)據(jù)源，以批量和實(shí)時(shí)的方式將全量業(yè)務(wù)數(shù)據(jù)匯聚到數(shù)據(jù)湖平臺(tái)中存儲(chǔ)。并利用數(shù)據(jù)湖內(nèi)豐富的計(jì)算引擎對(duì)數(shù)據(jù)進(jìn)行加工，根據(jù)業(yè)務(wù)需要形成面向業(yè)務(wù)的專(zhuān)題集市。數(shù)據(jù)湖需要具有批流一體的數(shù)據(jù)加工能力，加快湖內(nèi)數(shù)據(jù)的流轉(zhuǎn)，更快的呈現(xiàn)數(shù)據(jù)價(jià)值，同時(shí)也完全支持傳統(tǒng)批量加工業(yè)務(wù)?，F(xiàn)在數(shù)據(jù)湖的特點(diǎn)體現(xiàn)在以下幾個(gè)方面：1.數(shù)據(jù)入湖：通過(guò)批量集成、批量導(dǎo)入等工具，以定時(shí)加載或?qū)崟r(shí)處理的方式，將常見(jiàn)的數(shù)據(jù)源（如業(yè)務(wù)數(shù)據(jù)庫(kù)、FTP文件系統(tǒng)、消息日志、IoT設(shè)備等）的數(shù)據(jù)，批量接入到數(shù)據(jù)湖中進(jìn)行批量加工分析。同時(shí)支持?jǐn)?shù)據(jù)以實(shí)時(shí)追加或更新的方式進(jìn)行入湖，利用批流一體的計(jì)算引擎進(jìn)行數(shù)據(jù)的實(shí)時(shí)加工。2.數(shù)據(jù)存儲(chǔ)：分布式存儲(chǔ)系統(tǒng)，可線(xiàn)性擴(kuò)展，支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等各種形式數(shù)據(jù)存儲(chǔ)。支持實(shí)時(shí)數(shù)據(jù)存儲(chǔ)，支持ACID模式，支持存量數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)更新和刪除。3.批流一體數(shù)據(jù)加工：支持批流一體數(shù)據(jù)加工模式，數(shù)據(jù)端到端加工延遲可以低至分鐘級(jí)別。支持分布式計(jì)算架構(gòu)，豐富的計(jì)算引擎支持，按照業(yè)務(wù)場(chǎng)景，支撐海量業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)和批量ETL（抽取Extract,轉(zhuǎn)換Transform,加載Load）、邏輯程序處理、靈活查詢(xún)等等多個(gè)場(chǎng)景所需的數(shù)據(jù)加工引擎。支持?jǐn)?shù)據(jù)湖內(nèi)的實(shí)時(shí)數(shù)據(jù)倉(cāng)建設(shè)，采用批流一體加工引擎，結(jié)合ACID加工模式，及交互式查詢(xún)引擎，數(shù)據(jù)入湖、加工、查詢(xún)，分鐘級(jí)完成端到端數(shù)據(jù)加工，并可以對(duì)加工結(jié)果進(jìn)行即席查詢(xún)。4.多樣性數(shù)據(jù)集市：提供多種集市系統(tǒng)，滿(mǎn)足不同業(yè)務(wù)系統(tǒng)的高效用數(shù)據(jù)需求。集市類(lèi)型包含鍵值查詢(xún)、全文檢索、內(nèi)存緩存、寬表查詢(xún)、實(shí)時(shí)OLAP、時(shí)序數(shù)據(jù)處理、圖數(shù)據(jù)處理等。集市類(lèi)型可靈活組合，按需使用。（二）數(shù)據(jù)湖架構(gòu)本次項(xiàng)目將建設(shè)數(shù)據(jù)湖作為企業(yè)內(nèi)的數(shù)據(jù)基座。企業(yè)內(nèi)的全量數(shù)據(jù)，包括實(shí)時(shí)數(shù)據(jù)、離線(xiàn)數(shù)據(jù)、半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)等，可以以實(shí)時(shí)或者批量的方式加載到數(shù)據(jù)湖中。數(shù)據(jù)在數(shù)據(jù)湖湖中進(jìn)行統(tǒng)一存儲(chǔ)和加工，并進(jìn)行數(shù)據(jù)治理和主題建模。再根據(jù)業(yè)務(wù)需求將數(shù)據(jù)加載進(jìn)不同的數(shù)據(jù)集市中，通過(guò)數(shù)據(jù)服務(wù)的統(tǒng)一接口服務(wù)對(duì)外開(kāi)放數(shù)據(jù)。數(shù)據(jù)加載分為實(shí)時(shí)數(shù)據(jù)的加載和離線(xiàn)數(shù)據(jù)的加載。OT類(lèi)實(shí)時(shí)數(shù)據(jù)通過(guò)消息管道統(tǒng)一收集，IT類(lèi)實(shí)時(shí)數(shù)據(jù)需要配套數(shù)據(jù)庫(kù)廠家提的CDC工具進(jìn)行收集，收集后送入消息管道中。IT實(shí)時(shí)數(shù)據(jù)入湖可以通過(guò)實(shí)時(shí)入湖工具進(jìn)行數(shù)據(jù)同步入湖，OT類(lèi)數(shù)據(jù)可以使用實(shí)時(shí)流處理引擎進(jìn)行數(shù)據(jù)的實(shí)時(shí)入湖。離線(xiàn)數(shù)據(jù)，包括離線(xiàn)IT數(shù)據(jù)和半結(jié)構(gòu)化/非結(jié)構(gòu)化文件數(shù)據(jù)，使用批量數(shù)據(jù)加載工具將數(shù)據(jù)加載到數(shù)據(jù)湖中。數(shù)據(jù)湖采用分布式統(tǒng)一存儲(chǔ)組件進(jìn)行各種類(lèi)型數(shù)據(jù)的統(tǒng)一存儲(chǔ)，并對(duì)結(jié)構(gòu)化數(shù)據(jù)支持ACID操作，滿(mǎn)足在數(shù)據(jù)湖內(nèi)建倉(cāng)建模的需求。數(shù)據(jù)湖存儲(chǔ)采用開(kāi)放存儲(chǔ)格式，可以對(duì)接多種主流數(shù)據(jù)加工引擎，可以在數(shù)據(jù)湖之上利用多種計(jì)算引擎對(duì)數(shù)據(jù)進(jìn)行處理，如Hive、Spark、HetuEngine等，且可以擴(kuò)展對(duì)接數(shù)據(jù)挖掘和深度學(xué)習(xí)工具對(duì)數(shù)據(jù)湖之上的數(shù)據(jù)進(jìn)行AI處理。數(shù)據(jù)湖適用于數(shù)據(jù)的統(tǒng)一加工和治理，數(shù)據(jù)湖加工后的數(shù)據(jù)可以根據(jù)業(yè)務(wù)性能要求和查詢(xún)模式要求將數(shù)據(jù)導(dǎo)入數(shù)據(jù)集市組件。數(shù)據(jù)集市組件可以在特定查詢(xún)場(chǎng)景下提供極致的查詢(xún)性能，可以更好的滿(mǎn)足業(yè)務(wù)端數(shù)據(jù)快速呈現(xiàn)的需求。數(shù)據(jù)湖中的數(shù)據(jù)是共享的，全局唯一的。數(shù)據(jù)集市中的數(shù)據(jù)不同業(yè)務(wù)按需從數(shù)據(jù)湖中加載，通常是非共享的，不同業(yè)務(wù)的數(shù)據(jù)可能是重復(fù)的。數(shù)據(jù)湖平臺(tái)中提供的數(shù)據(jù)集市組件包括：實(shí)時(shí)OLAP分析引擎、實(shí)時(shí)精確檢索數(shù)據(jù)庫(kù)，實(shí)時(shí)綜合搜索數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)等。實(shí)時(shí)數(shù)據(jù)湖可以提供分鐘級(jí)延遲的數(shù)據(jù)入湖加工能力，可滿(mǎn)足準(zhǔn)實(shí)時(shí)業(yè)務(wù)的需求。作為實(shí)時(shí)數(shù)據(jù)湖的補(bǔ)充，實(shí)時(shí)數(shù)據(jù)也可以直接通過(guò)流處理系統(tǒng)加工后直接送入到數(shù)據(jù)集市組件中，供前端業(yè)務(wù)開(kāi)展實(shí)時(shí)應(yīng)用。此時(shí)數(shù)據(jù)不經(jīng)過(guò)數(shù)據(jù)湖的統(tǒng)一加工處理過(guò)程，數(shù)據(jù)延遲可以低至毫米級(jí)，適用于需要訪問(wèn)原始數(shù)據(jù)，延遲要求苛刻的實(shí)時(shí)業(yè)務(wù)場(chǎng)景。數(shù)據(jù)智能組件結(jié)合AI能力，可以在實(shí)時(shí)決策和智慧搜索等領(lǐng)域提供更好的業(yè)務(wù)支持，加強(qiáng)數(shù)據(jù)價(jià)值的釋放和特色應(yīng)用的建設(shè)能力。數(shù)據(jù)湖平臺(tái)作為企業(yè)內(nèi)的數(shù)據(jù)基座，除了提供核心的存儲(chǔ)能力，還需要具備完善的管理運(yùn)維能力。本次建設(shè)的數(shù)據(jù)湖平臺(tái)提供統(tǒng)一的前端可視化管理界面，可以對(duì)數(shù)據(jù)湖平臺(tái)進(jìn)行統(tǒng)一運(yùn)維管理操作。數(shù)據(jù)湖平臺(tái)提供完善的安全管控能力，保障數(shù)據(jù)湖內(nèi)的數(shù)據(jù)安全可靠。本次建設(shè)的數(shù)據(jù)湖采用分布式部署架構(gòu)，不存在單點(diǎn)故障，任意節(jié)點(diǎn)的故障不影響整體平臺(tái)功能可用性。數(shù)據(jù)湖平臺(tái)具備良好的擴(kuò)展能力，可在線(xiàn)線(xiàn)性擴(kuò)容，可滿(mǎn)足業(yè)務(wù)長(zhǎng)期增長(zhǎng)的需求。最后，數(shù)據(jù)湖平臺(tái)提供完整的多租戶(hù)管理能力，企業(yè)內(nèi)的多個(gè)業(yè)務(wù)系統(tǒng)可在數(shù)據(jù)湖之上進(jìn)行資源共享、權(quán)限隔離，在保證數(shù)據(jù)安全的前提下，實(shí)現(xiàn)數(shù)據(jù)湖資源的充分利用。（三）大數(shù)據(jù)服務(wù)本項(xiàng)目采用MRS云原生數(shù)據(jù)湖服務(wù)，提供租戶(hù)完全可控的一站式企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，完全兼容開(kāi)源接口，結(jié)合華為云計(jì)算、存儲(chǔ)優(yōu)勢(shì)及大數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，為客戶(hù)提供高性能、低成本、靈活易用的數(shù)據(jù)湖服務(wù)。MRS云原生數(shù)據(jù)湖服務(wù)支持構(gòu)筑企業(yè)的云原生數(shù)據(jù)湖，匯聚和存儲(chǔ)企業(yè)或組織內(nèi)全量的結(jié)構(gòu)化/半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)。實(shí)現(xiàn)Lakehouse架構(gòu)，湖內(nèi)建倉(cāng)，提供實(shí)時(shí)OLAP能力，實(shí)現(xiàn)數(shù)據(jù)不出湖，縮短數(shù)據(jù)分析鏈路，直接對(duì)接BI報(bào)表、交互式查詢(xún)等業(yè)務(wù)，解決數(shù)據(jù)孤島的問(wèn)題。MRS云原生數(shù)據(jù)湖服務(wù)提供Hadoop、Hive、Spark、HBase、Kafka、Flink、Elasticsearch、HetuEngine、Hudi、ClickHouse、Doris、GES、RTD等組件，具備T+0數(shù)據(jù)實(shí)時(shí)入湖、批量加工、實(shí)時(shí)流處理、流批一體、實(shí)時(shí)檢索、交互式查詢(xún)等能力，滿(mǎn)足企業(yè)的全場(chǎng)景業(yè)務(wù)需求。（四）產(chǎn)品架構(gòu)MRS云原生數(shù)據(jù)湖對(duì)開(kāi)源組件進(jìn)行封裝和增強(qiáng)，對(duì)外提供穩(wěn)定的大容量的數(shù)據(jù)存儲(chǔ)、查詢(xún)和分析能力，實(shí)現(xiàn)Lakehouse架構(gòu)，并提供集群管理、節(jié)點(diǎn)大集群、日志檢索等功能。10數(shù)據(jù)倉(cāng)庫(kù)本項(xiàng)目采用數(shù)據(jù)倉(cāng)庫(kù)GaussDB(DWS)，它是基于Shared-nothing分布式架構(gòu)，具備MPP(MassivelyParallelProcessing)大規(guī)模并行處理引擎，由眾多擁有獨(dú)立且互不共享的CPU、內(nèi)存、存儲(chǔ)等系統(tǒng)資源的邏輯節(jié)點(diǎn)組成。在系統(tǒng)架構(gòu)中，業(yè)務(wù)數(shù)據(jù)被分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，數(shù)據(jù)分析任務(wù)被推送到數(shù)據(jù)所在位置就近執(zhí)行，并行地完成大規(guī)模的數(shù)據(jù)處理工作，實(shí)現(xiàn)對(duì)數(shù)據(jù)處理的快速響應(yīng)。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)（GaussDB(DWS)，簡(jiǎn)稱(chēng)DWS）是一種在線(xiàn)數(shù)據(jù)處理數(shù)據(jù)庫(kù)，提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)?？蓮V泛應(yīng)用于金融、車(chē)聯(lián)網(wǎng)、政企、電商、能源、電信等多個(gè)領(lǐng)域，已連續(xù)兩年入選Gartner發(fā)布的數(shù)據(jù)管理解決方案魔力象限，相比傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)，性?xún)r(jià)比提升數(shù)倍，具備大規(guī)模擴(kuò)展能力和企業(yè)級(jí)可靠性。華為并行數(shù)據(jù)庫(kù)基于Shared-nothing/MPP架構(gòu)，面向開(kāi)放x86平臺(tái)，數(shù)據(jù)跨所有節(jié)點(diǎn)均勻分布，所有節(jié)點(diǎn)以并行方式工作，提供標(biāo)準(zhǔn)SQL接口，支持SQL92,99,2003標(biāo)準(zhǔn)，支持JDBC/ODBC標(biāo)準(zhǔn)接口，提供多達(dá)256個(gè)物理節(jié)點(diǎn)PB級(jí)數(shù)據(jù)存儲(chǔ)分析的擴(kuò)展能力。主要包含以下幾個(gè)組件：CN（Coordinator）：協(xié)調(diào)節(jié)點(diǎn)組件，獨(dú)立進(jìn)程，SQL的統(tǒng)一入口，對(duì)外接收客戶(hù)端SQL語(yǔ)句，生成分布式執(zhí)行計(jì)劃，下發(fā)計(jì)劃片段到各執(zhí)行節(jié)點(diǎn)，各執(zhí)行節(jié)點(diǎn)返回執(zhí)行結(jié)果到Coordinator，返回給客戶(hù)端。主要職責(zé)是接收SQL請(qǐng)求，生成執(zhí)行計(jì)劃，匯聚最終結(jié)果。DN(DataNode)：執(zhí)行節(jié)點(diǎn)組件，也稱(chēng)之為數(shù)據(jù)節(jié)點(diǎn)，獨(dú)立進(jìn)程，SQL執(zhí)行計(jì)劃的執(zhí)行主體，并存放數(shù)據(jù)。GTM（GlobalTransactionManager）：全局事務(wù)管理器，獨(dú)立進(jìn)程，主要是用于維護(hù)分布式系統(tǒng)中全局事務(wù)一致性。WLM（WorkloadManager）：負(fù)載管理組件，內(nèi)置功能組件，控制SQL語(yǔ)句的資源消耗，保證任務(wù)優(yōu)先級(jí)。CM（ClusterManager）:集群管理組件，由兩部分組成，一個(gè)是CMServer，一個(gè)是CMAgent，每個(gè)主機(jī)節(jié)點(diǎn)部署一個(gè)CMAgent，CMServer和CMAgent均為獨(dú)立進(jìn)程，每個(gè)主機(jī)節(jié)點(diǎn)上部署一個(gè)CMAgent，CMAgent監(jiān)控這個(gè)節(jié)點(diǎn)上的所有資源，包括監(jiān)控網(wǎng)絡(luò)狀態(tài)，磁盤(pán)狀態(tài)等硬件設(shè)備，以及CN節(jié)點(diǎn)，DN節(jié)點(diǎn)，GTM節(jié)點(diǎn)等軟件設(shè)備的狀態(tài)，CMAgent進(jìn)程每隔一定時(shí)間向CMServer匯報(bào)集群各組件狀態(tài)信息，CMServer根據(jù)CMAgent上報(bào)的狀態(tài)信息判斷集群資源是否發(fā)生故障，在集群發(fā)生故障時(shí)，能夠根據(jù)故障類(lèi)型做出相應(yīng)的故障處理指令，保證集群自恢復(fù)。OM（OperationManager）：安裝部署運(yùn)維，配置管理接口工具，獨(dú)立進(jìn)程。系統(tǒng)業(yè)務(wù)處理流程：SQL語(yǔ)句業(yè)務(wù)處理流程：客戶(hù)端發(fā)起SQL，CN節(jié)點(diǎn)接受SQL，生成分布式執(zhí)行計(jì)劃，CN節(jié)點(diǎn)向涉及DN節(jié)點(diǎn)下發(fā)分布式執(zhí)行計(jì)劃，DN節(jié)點(diǎn)執(zhí)行分片執(zhí)行計(jì)劃，向CN節(jié)點(diǎn)返回執(zhí)行結(jié)果，CN匯聚最終結(jié)果，返回給客戶(hù)端。集群?jiǎn)⑼I(yè)務(wù)處理邏輯：cm_ctl客戶(hù)端工具發(fā)起集群?jiǎn)⑼Ｃ睿珻MServer接受客戶(hù)端工具發(fā)起的命令，將命令下發(fā)給各節(jié)點(diǎn)，執(zhí)行啟停命令。集群狀態(tài)查詢(xún)業(yè)務(wù)處理邏輯：cm_ctl客戶(hù)端工具發(fā)起集群狀態(tài)查詢(xún)命令，CMServer返回給客戶(hù)端工具各節(jié)點(diǎn)狀態(tài)信息。數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用場(chǎng)景主要體現(xiàn)在四個(gè)方面：數(shù)據(jù)倉(cāng)庫(kù)遷移、大數(shù)據(jù)融合分析、增強(qiáng)型ETL和實(shí)時(shí)BI分析、實(shí)時(shí)數(shù)據(jù)分析。DWS提供配套的遷移工具，可支持TeraData、Oracle、MySQL、SQLServer、PostgreSQL、Greenplum、Impala等常用數(shù)據(jù)分析系統(tǒng)的平滑遷移。兼容主流標(biāo)準(zhǔn)和語(yǔ)法結(jié)構(gòu)，支持?jǐn)?shù)據(jù)加密和增量備份。11流計(jì)算本項(xiàng)目中采用Flink是一個(gè)批處理和流處理結(jié)合的統(tǒng)一計(jì)算框架，其核心是一個(gè)提供了數(shù)據(jù)分發(fā)以及并行化計(jì)算的流數(shù)據(jù)處理引擎。它的最大亮點(diǎn)是流處理，是業(yè)界最頂級(jí)的開(kāi)源流處理引擎。Flink最適合的應(yīng)用場(chǎng)景是低時(shí)延的數(shù)據(jù)處理（DataProcessing）場(chǎng)景：高并發(fā)pipeline處理數(shù)據(jù)，時(shí)延毫秒級(jí)，且兼具可靠性。實(shí)時(shí)計(jì)算(流計(jì)算)提供可以恢復(fù)數(shù)據(jù)流應(yīng)用到一致?tīng)顟B(tài)的容錯(cuò)機(jī)制（CheckPoint），容錯(cuò)機(jī)制的核心就是持續(xù)創(chuàng)建分布式數(shù)據(jù)流及其狀態(tài)的一致快照。這些快照在系統(tǒng)遇到故障時(shí)，充當(dāng)可以回退的一致性檢查點(diǎn)（checkpoint）。實(shí)時(shí)計(jì)算模塊是基于ApacheFlink構(gòu)建的一站式、高性能實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)，廣泛適用于流式數(shù)據(jù)處理、離線(xiàn)數(shù)據(jù)處理等多種場(chǎng)景。該實(shí)時(shí)計(jì)算模塊屬于完全托管的流計(jì)算引擎，可針對(duì)流數(shù)據(jù)運(yùn)行查詢(xún)，無(wú)需預(yù)置或管理任何基礎(chǔ)設(shè)施，實(shí)時(shí)計(jì)算提供完全租戶(hù)隔離的托管運(yùn)行服務(wù)。從最上層工作空間，到最底層執(zhí)行機(jī)器，提供高度有效的隔離和全面防護(hù)。實(shí)時(shí)計(jì)算模塊提供大量?jī)?yōu)化的SQL執(zhí)行引擎，具備實(shí)時(shí)計(jì)算獨(dú)特的Exactly-OnceProcessing語(yǔ)義保證，能夠保證各種Failover場(chǎng)景的數(shù)據(jù)準(zhǔn)確性；實(shí)時(shí)計(jì)算集成SQL優(yōu)化邏輯，將SQL翻譯為最底層的執(zhí)行代碼的普通人員編寫(xiě)的Storm代碼，提高編寫(xiě)SQL代碼的效率；支持自定義函數(shù)UFD的擴(kuò)展功能，對(duì)于SQL無(wú)法表達(dá)的、或者業(yè)務(wù)定制化邏輯，實(shí)時(shí)計(jì)算通過(guò)自定義UFD進(jìn)行功能擴(kuò)展；在保證任務(wù)和系統(tǒng)穩(wěn)定性同時(shí)，在數(shù)據(jù)突增場(chǎng)景下可以進(jìn)行彈性擴(kuò)容。FlinkSQL支持基于無(wú)限大窗口的聚合，以及對(duì)一個(gè)特定的窗口的聚合，并基于EventTime、ProcessingTime這兩種時(shí)間屬性對(duì)數(shù)據(jù)進(jìn)行窗口聚合。12大數(shù)據(jù)開(kāi)發(fā)和治理本項(xiàng)目開(kāi)發(fā)采用華為云Stack數(shù)據(jù)治理中心DataArtsStudio一站式大數(shù)據(jù)開(kāi)發(fā)和治理平臺(tái)，針對(duì)企業(yè)數(shù)字化運(yùn)營(yíng)訴求提供的具有數(shù)據(jù)全生命周期管理和智能數(shù)據(jù)管理能力的一站式治理運(yùn)營(yíng)平臺(tái)，包含數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全等功能，支持行業(yè)知識(shí)庫(kù)智能化建設(shè)，支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座，幫助企業(yè)快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng)，消除數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，加快數(shù)據(jù)變現(xiàn)，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。DataArtsStudio開(kāi)放架構(gòu)。DataArtsStudio治理方案圖。數(shù)據(jù)治理方法論。實(shí)施步驟：數(shù)據(jù)調(diào)研基于現(xiàn)有業(yè)務(wù)數(shù)據(jù)、行業(yè)現(xiàn)狀進(jìn)行數(shù)據(jù)調(diào)查、需求梳理、業(yè)務(wù)調(diào)研，輸出企業(yè)業(yè)務(wù)流程以及數(shù)據(jù)主題劃分。數(shù)據(jù)集成整庫(kù)遷移或表/文件遷移。數(shù)據(jù)目錄采集采集元數(shù)據(jù)和數(shù)據(jù)血緣信息。數(shù)據(jù)架構(gòu)主題設(shè)計(jì)和流程設(shè)計(jì)：主題設(shè)計(jì)通過(guò)分層架構(gòu)表達(dá)對(duì)數(shù)據(jù)的分類(lèi)和定義，明確業(yè)務(wù)領(lǐng)域和業(yè)務(wù)對(duì)象的關(guān)聯(lián)關(guān)系；流程設(shè)計(jì)描述企業(yè)流程的分類(lèi)、層級(jí)以及邊界、范圍和輸入/輸出關(guān)系等標(biāo)準(zhǔn)設(shè)計(jì)：數(shù)據(jù)標(biāo)準(zhǔn)描述公司層面需要遵守的屬性層數(shù)據(jù)含義和業(yè)務(wù)規(guī)則；碼表管理定義包含一系列允許的值和附加文本描述模型設(shè)計(jì)：設(shè)計(jì)數(shù)據(jù)分析模型，對(duì)數(shù)據(jù)進(jìn)行探索、分析，從中發(fā)現(xiàn)因果/相關(guān)關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律等指標(biāo)設(shè)計(jì)：設(shè)計(jì)并應(yīng)用原子指標(biāo)、衍生指標(biāo)和復(fù)合指標(biāo)數(shù)據(jù)開(kāi)發(fā)使用數(shù)據(jù)開(kāi)發(fā)進(jìn)行數(shù)據(jù)管理、數(shù)據(jù)集成、腳本開(kāi)發(fā)、作業(yè)開(kāi)發(fā)、作業(yè)調(diào)度、運(yùn)維監(jiān)控等操作，完成數(shù)據(jù)的分析處理。數(shù)據(jù)質(zhì)量監(jiān)控從完整性、有效性、及時(shí)性、一致性、準(zhǔn)確性、唯一性六個(gè)維度進(jìn)行單列、跨列、跨行和跨表的分析。支持?jǐn)?shù)據(jù)的清洗和標(biāo)準(zhǔn)化，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)生成清洗和標(biāo)準(zhǔn)化的質(zhì)量規(guī)則。支持周期性的監(jiān)控和清洗。數(shù)據(jù)目錄管理管理業(yè)務(wù)資產(chǎn)和技術(shù)資產(chǎn)，查看資產(chǎn)詳情和數(shù)據(jù)血緣信息。數(shù)據(jù)服務(wù)API開(kāi)發(fā)搭建起統(tǒng)一的數(shù)據(jù)服務(wù)總線(xiàn)，幫助企業(yè)統(tǒng)一管理對(duì)內(nèi)對(duì)外的API。提供快速將數(shù)據(jù)表生成數(shù)據(jù)API的能力，也支持將已有API快速注冊(cè)到數(shù)據(jù)服務(wù)以統(tǒng)一管理和發(fā)布。數(shù)據(jù)治理中心提供數(shù)據(jù)集成、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)管理、數(shù)據(jù)治理等服務(wù)：數(shù)據(jù)集成。數(shù)據(jù)整合具備通過(guò)數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)各信息化系統(tǒng)數(shù)據(jù)的快速接入，構(gòu)建分布式數(shù)據(jù)整合功能，具備定時(shí)/實(shí)時(shí)數(shù)據(jù)的采集處理能力，實(shí)現(xiàn)從數(shù)據(jù)源到平臺(tái)存儲(chǔ)的配置開(kāi)發(fā)、過(guò)程，支持拖拽式方式設(shè)計(jì)流程，通過(guò)可視化操作界面生成滿(mǎn)足業(yè)務(wù)需要的交換任務(wù)，全面的運(yùn)行監(jiān)控和系統(tǒng)監(jiān)控，完整的日志追蹤，保障系統(tǒng)穩(wěn)定，交換過(guò)程可監(jiān)管。支持關(guān)系庫(kù)Oracle、mysql、PostgreSql、達(dá)夢(mèng)等各種主流數(shù)據(jù)庫(kù)的適配，支持?jǐn)?shù)據(jù)源的增刪改查、連接測(cè)試功能。支持hbase、kafka、redis存儲(chǔ)文件、HDFS文件、FTP資源的TXT、CSV等多格式的數(shù)據(jù)類(lèi)型。數(shù)據(jù)開(kāi)發(fā)。采用DataStudio模塊進(jìn)行調(diào)度任務(wù)的開(kāi)發(fā)和屬性定義，與運(yùn)維中心配合使用，為其他引擎如MaxCompute/Hologres/EMR提供可視化開(kāi)發(fā)主界面，支持智能代碼開(kāi)發(fā)、多引擎混編工作流、規(guī)范化任務(wù)發(fā)布等能力，滿(mǎn)足離線(xiàn)數(shù)倉(cāng)、實(shí)時(shí)數(shù)倉(cāng)和即席查詢(xún)及其他高效、穩(wěn)定的數(shù)據(jù)生產(chǎn)。支持通過(guò)圖形化所見(jiàn)即所得的ETL編輯器實(shí)現(xiàn)ETL能力，支持?jǐn)?shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載。本項(xiàng)目采用的DataArtsStudio數(shù)據(jù)開(kāi)發(fā)是一個(gè)一站式敏捷大數(shù)據(jù)開(kāi)發(fā)平臺(tái)，提供可視化的圖形開(kāi)發(fā)界面、豐富的數(shù)據(jù)開(kāi)發(fā)類(lèi)型（腳本開(kāi)發(fā)和作業(yè)開(kāi)發(fā)）、全托管的作業(yè)調(diào)度和運(yùn)維監(jiān)控能力，內(nèi)置行業(yè)數(shù)據(jù)處理pipeline，一鍵式開(kāi)發(fā)，全流程可視化，支持多人在線(xiàn)協(xié)同開(kāi)發(fā)，支持管理多種大數(shù)據(jù)云服務(wù)，極大地降低了用戶(hù)使用大數(shù)據(jù)的門(mén)檻，幫助用戶(hù)快速構(gòu)建大數(shù)據(jù)處理中心。數(shù)據(jù)開(kāi)發(fā)支持?jǐn)?shù)據(jù)管理、數(shù)據(jù)集成、腳本開(kāi)發(fā)、作業(yè)開(kāi)發(fā)、資源管理、作業(yè)調(diào)度、運(yùn)維監(jiān)控等操作，幫助用戶(hù)輕松完成整個(gè)數(shù)據(jù)的處理分析流程。數(shù)據(jù)管理。根據(jù)數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)，整理梳理統(tǒng)一數(shù)據(jù)模型，包括元數(shù)據(jù)、字典、公共數(shù)據(jù)模型、發(fā)電設(shè)備模型、量測(cè)數(shù)據(jù)模型等。提供元數(shù)據(jù)采集、元數(shù)據(jù)管理、血緣關(guān)系及模型變更功能實(shí)現(xiàn)對(duì)數(shù)據(jù)模型的統(tǒng)一管理。數(shù)據(jù)質(zhì)量。該模塊支持對(duì)業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗(yàn)，幫助用戶(hù)及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題。業(yè)務(wù)指標(biāo)監(jiān)控是對(duì)業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)場(chǎng)景，實(shí)時(shí)、周期性進(jìn)行調(diào)度，滿(mǎn)足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求；數(shù)據(jù)質(zhì)量監(jiān)控是對(duì)數(shù)據(jù)庫(kù)里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具，您可以配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線(xiàn)監(jiān)控?cái)?shù)據(jù)準(zhǔn)確性。數(shù)據(jù)治理。數(shù)據(jù)治理具備根據(jù)云數(shù)據(jù)中心數(shù)據(jù)對(duì)質(zhì)量規(guī)則的配置和根據(jù)規(guī)則進(jìn)行數(shù)據(jù)的校驗(yàn)，通過(guò)校驗(yàn)規(guī)則配置，調(diào)試、調(diào)度等操作，能夠產(chǎn)生問(wèn)題數(shù)據(jù)，幫助用戶(hù)快速定位問(wèn)題，處理問(wèn)題，提供升數(shù)據(jù)質(zhì)量，具備數(shù)據(jù)質(zhì)量管理過(guò)程，包括規(guī)則庫(kù)管理、規(guī)則配置、規(guī)則執(zhí)行、質(zhì)量報(bào)告功能。規(guī)則庫(kù)管理提供豐富的質(zhì)量校驗(yàn)規(guī)則，從數(shù)據(jù)的完整性、唯一性、合理性三個(gè)質(zhì)量維度對(duì)元數(shù)據(jù)進(jìn)行規(guī)則配置。數(shù)據(jù)資產(chǎn)。依據(jù)人資域、財(cái)務(wù)域、物資域、項(xiàng)目域、生產(chǎn)域、市場(chǎng)域、安全域、綜合域等主題域數(shù)據(jù)模型標(biāo)準(zhǔn)規(guī)劃數(shù)據(jù)資產(chǎn)目錄，支持多級(jí)表類(lèi)目管理，實(shí)現(xiàn)最快時(shí)間找到最需要的數(shù)據(jù)。實(shí)現(xiàn)對(duì)數(shù)據(jù)資產(chǎn)盤(pán)點(diǎn)成果中所涉及的據(jù)目錄的統(tǒng)計(jì)查詢(xún)功能。各層級(jí)按不同的模型區(qū)分展示，目錄均可穿透到數(shù)據(jù)表級(jí)別，展示系統(tǒng)表的詳細(xì)信息，如中英文表名、表類(lèi)型、負(fù)責(zé)部門(mén)、負(fù)責(zé)人等。數(shù)據(jù)血緣地圖該數(shù)據(jù)地圖圍繞數(shù)據(jù)搜索，服務(wù)于數(shù)據(jù)分析、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘、數(shù)據(jù)運(yùn)營(yíng)等數(shù)據(jù)表的使用者和擁有者，提供方便快捷的數(shù)據(jù)搜索服務(wù)，擁有功能強(qiáng)大的血緣信息及影響分析。在數(shù)據(jù)地圖中，可通過(guò)關(guān)鍵詞搜索數(shù)據(jù)目錄，支持模糊搜索，快速檢索，定位數(shù)據(jù)。數(shù)據(jù)安全。網(wǎng)絡(luò)安全，基于網(wǎng)絡(luò)隔離、安全組規(guī)則以及一系列安全加固項(xiàng)，實(shí)現(xiàn)租戶(hù)隔離和訪問(wèn)權(quán)限控制，保護(hù)系統(tǒng)和用戶(hù)的隱私及數(shù)據(jù)安全。用戶(hù)權(quán)限策略，基于角色的訪問(wèn)控制，用戶(hù)通過(guò)角色與權(quán)限進(jìn)行關(guān)聯(lián)，并支持細(xì)粒度權(quán)限策略，可滿(mǎn)足不同的授權(quán)需求。針對(duì)不同的用戶(hù)，DataArtsStudio提供了管理者、開(kāi)發(fā)者、運(yùn)維者、訪問(wèn)者四種不同的角色，各個(gè)角色擁有不同的權(quán)限。數(shù)據(jù)安全，針對(duì)數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)等關(guān)鍵流程，DataArtsStudio提供了審核流程。數(shù)據(jù)的分級(jí)分類(lèi)管理，數(shù)據(jù)的全生命周期管理，保證數(shù)據(jù)的隱私合規(guī)、可審計(jì)、可回溯。三、數(shù)據(jù)中臺(tái)總體規(guī)劃項(xiàng)目組將采用業(yè)內(nèi)主流的數(shù)據(jù)中臺(tái)建設(shè)方法，按需實(shí)施建設(shè)數(shù)據(jù)中臺(tái)的各個(gè)組件。數(shù)據(jù)中臺(tái)不是簡(jiǎn)單的一套軟件系統(tǒng)或者標(biāo)準(zhǔn)化產(chǎn)品，更多的是一種強(qiáng)調(diào)資源整合、集中配置、能力沉淀、分步執(zhí)行的運(yùn)作機(jī)制，是一系列數(shù)據(jù)組件或模塊的集合，為企業(yè)數(shù)據(jù)治理效率的提升、業(yè)務(wù)流程與組織架構(gòu)的升級(jí)、運(yùn)營(yíng)與決策的精細(xì)化賦能。通過(guò)數(shù)據(jù)中臺(tái)建設(shè)，實(shí)現(xiàn)XX發(fā)電公司的數(shù)據(jù)資產(chǎn)化、資產(chǎn)價(jià)值化的過(guò)程，數(shù)據(jù)中臺(tái)首先采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)計(jì)算與處理，通過(guò)數(shù)據(jù)指標(biāo)結(jié)構(gòu)化、規(guī)范化的方式實(shí)現(xiàn)指標(biāo)口徑的統(tǒng)一，存儲(chǔ)到各類(lèi)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖中，以實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化管理。之后，基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖中的數(shù)據(jù)資產(chǎn)，向上提供各類(lèi)數(shù)據(jù)服務(wù)，面向業(yè)務(wù)構(gòu)建統(tǒng)一的數(shù)據(jù)服務(wù)接口與數(shù)據(jù)查詢(xún)邏輯，提供數(shù)據(jù)的分析與展示，形成以業(yè)務(wù)核心對(duì)象為中心的連接和標(biāo)簽體系，深度萃取數(shù)據(jù)價(jià)值，實(shí)現(xiàn)資產(chǎn)價(jià)值化，賦能公司數(shù)字化轉(zhuǎn)型工作如上圖所示，整個(gè)數(shù)據(jù)中臺(tái)建設(shè)分為以下幾大部分：1. 數(shù)據(jù)治理標(biāo)準(zhǔn)體系建設(shè)：建立整個(gè)數(shù)據(jù)中臺(tái)的數(shù)據(jù)建設(shè)、治理、服務(wù)的規(guī)范、流程和標(biāo)準(zhǔn)，保障數(shù)據(jù)中臺(tái)各個(gè)部分建設(shè)的規(guī)范性、質(zhì)量和效率。2. 數(shù)據(jù)采集接入建設(shè)：將風(fēng)光水火以及企業(yè)經(jīng)營(yíng)管理方面的實(shí)時(shí)數(shù)據(jù)、離線(xiàn)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一接入到數(shù)據(jù)中臺(tái)，存放在數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖的近源層中。3. 數(shù)據(jù)倉(cāng)庫(kù)建設(shè)：按需對(duì)已接入到數(shù)據(jù)中臺(tái)的全業(yè)務(wù)數(shù)據(jù)，依據(jù)分層架構(gòu)進(jìn)行數(shù)據(jù)模型設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、部署和運(yùn)維，完成數(shù)據(jù)的標(biāo)準(zhǔn)化、清洗、整合和加工計(jì)算，形成高質(zhì)量、高一致性、高完整性、高價(jià)值的數(shù)據(jù)模型，并掛接到企業(yè)的數(shù)據(jù)資產(chǎn)目錄中，供數(shù)據(jù)需求側(cè)使用。4. 數(shù)據(jù)治理建設(shè)：依據(jù)《數(shù)據(jù)管理能力成熟度評(píng)估模型（GB/T36073-2018）》、DAMA數(shù)據(jù)管理知識(shí)體系（國(guó)際數(shù)據(jù)管理協(xié)會(huì)）為理論依據(jù)，結(jié)合對(duì)XX發(fā)電公司數(shù)據(jù)管理現(xiàn)狀和需求，開(kāi)展體系化的數(shù)據(jù)治理實(shí)施工作，包括但不限于元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)開(kāi)發(fā)管理等。5. 數(shù)據(jù)服務(wù)建設(shè)：將數(shù)據(jù)封裝成簡(jiǎn)單、易用的數(shù)據(jù)服務(wù)接口，提供給數(shù)據(jù)消費(fèi)側(cè)使用，大幅降低數(shù)據(jù)使用門(mén)檻，提升數(shù)據(jù)使用效率，加速數(shù)據(jù)應(yīng)用建設(shè)。數(shù)據(jù)服務(wù)的形式包括API服務(wù)接口、可視化報(bào)表、多維分析報(bào)表等形式。四、數(shù)據(jù)接入建設(shè)根據(jù)項(xiàng)目招標(biāo)文件要求，圍繞風(fēng)電數(shù)據(jù)、光電數(shù)據(jù)、水電數(shù)據(jù)、火電數(shù)據(jù)以及企業(yè)管理、生產(chǎn)經(jīng)營(yíng)等各類(lèi)業(yè)務(wù)系統(tǒng)，通過(guò)大數(shù)據(jù)平臺(tái)數(shù)據(jù)采集工具，實(shí)現(xiàn)各電力生產(chǎn)經(jīng)營(yíng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的快速接入，以及定時(shí)/實(shí)時(shí)數(shù)據(jù)的采集處理，構(gòu)建“可配置、可控制、可監(jiān)視”的數(shù)據(jù)接入能力，滿(mǎn)足XX發(fā)電公司大數(shù)據(jù)應(yīng)用建設(shè)對(duì)數(shù)據(jù)的需求，至少覆蓋以下數(shù)據(jù)內(nèi)容：依據(jù)既定的數(shù)據(jù)采集接入標(biāo)準(zhǔn)，開(kāi)展規(guī)范化的數(shù)據(jù)采集工作，并明確每一項(xiàng)已接入數(shù)據(jù)的關(guān)鍵信息，包括數(shù)據(jù)所有者、完整元數(shù)據(jù)信息、關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)密級(jí)、權(quán)威數(shù)據(jù)源、關(guān)聯(lián)數(shù)據(jù)質(zhì)量規(guī)則等。通過(guò)關(guān)鍵信息的確認(rèn)，保證所有采集的數(shù)據(jù)都有明確的業(yè)務(wù)責(zé)任人，各項(xiàng)數(shù)據(jù)都可理解，同時(shí)都能在相應(yīng)的信息安全保障下進(jìn)行消費(fèi)。采集實(shí)施過(guò)程中針對(duì)不同的數(shù)據(jù)類(lèi)型采用差異化的數(shù)據(jù)匯聚策略：1.時(shí)序數(shù)據(jù)和實(shí)時(shí)關(guān)系庫(kù)數(shù)據(jù)，主要采用流集成和數(shù)據(jù)復(fù)制同步技術(shù)，滿(mǎn)足數(shù)據(jù)實(shí)時(shí)集成需求，處理每秒數(shù)萬(wàn)甚至數(shù)十萬(wàn)個(gè)事件流；數(shù)據(jù)復(fù)制同步使用基于日