版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)目錄深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)01傳統(tǒng) IT 架構(gòu)的問(wèn)題31.1 業(yè)務(wù)與架構(gòu)緊耦合31.2 傳統(tǒng)架構(gòu)制約東西向流量41.3 網(wǎng)絡(luò)的硬件規(guī)格限制業(yè)務(wù)系統(tǒng)規(guī)模41.4 不能適應(yīng)大規(guī)模租戶(hù)部署51.5 傳統(tǒng)安全部署模式的限制5項(xiàng)目概述62.1 建設(shè)意義62.2 建設(shè)原則62.3 建設(shè)關(guān)鍵需求72.4 建設(shè)組件及建設(shè)模式82深信服超融合架構(gòu)解決方案概述103.1 超融合架構(gòu)層113.1.1 服務(wù)器虛擬化(aSV)133.1.2 網(wǎng)絡(luò)虛擬化(aNET)173虛擬化(aSAN)223.1.33.1.4 網(wǎng)絡(luò)功能虛擬化(NFV)263.2 多業(yè)務(wù)模板層343.3 虛
2、擬化管理平臺(tái)353.3.1 服務(wù)器虛擬化管理模塊363.3.2 網(wǎng)絡(luò)虛擬化管理模塊37虛擬化管理模塊403.3.33.4 深信服超融合架構(gòu)方案價(jià)值和優(yōu)勢(shì)總結(jié)421深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)3.4.1 深信服超融合架構(gòu)價(jià)值423.4.2 深信服超融合架構(gòu)的優(yōu)勢(shì)434 深信服超融合架構(gòu)解決方案配置實(shí)例454.1 深信服超融合一體機(jī)配置4.2 深信服超融合操作系統(tǒng)配置4.3 深信服超融合 NFV 組件配置.45.47.474.4 深信服超融合服務(wù)配置.482深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)隨著業(yè)務(wù)系統(tǒng)的高速發(fā)展,IT 架構(gòu)做為承載業(yè)務(wù)系統(tǒng)的基礎(chǔ)設(shè)施,快速部署、減少投入和靈活擴(kuò)展顯得越來(lái)越重
3、要。算可以提供可用的、便捷的、按需的資源提供,成為當(dāng)前 IT 架構(gòu)建設(shè)的主流形態(tài),很多新都是使用云模式進(jìn)行構(gòu)建,同時(shí)還有大量的現(xiàn)有業(yè)務(wù)系統(tǒng),再向算環(huán)境進(jìn)行遷移。而在算環(huán)境中,大量采用和部署的虛擬化幾乎成為一個(gè)基本的技術(shù)模式。服務(wù)器虛擬化就是首當(dāng)其沖的,部署虛擬機(jī)需要在網(wǎng)絡(luò)中地遷移到目的物理位置,虛機(jī)增長(zhǎng)的快速性以及虛機(jī)遷移也成為一個(gè)常態(tài)性的業(yè)務(wù)。服務(wù)器虛擬化在經(jīng)過(guò)多年的高速發(fā)展后已經(jīng)越來(lái)越成熟,被接受和應(yīng)用的領(lǐng)域也越來(lái)越廣泛。它有效降低了硬件采購(gòu)成本,提高了資源利用率和可用性,同時(shí)大幅提升了運(yùn)維效率,緩解了 IT 建設(shè)的諸多。雖然服務(wù)器虛擬化的普及徹底改變了應(yīng)用的調(diào)配和管理,但是,所有動(dòng)態(tài)負(fù)載
4、的虛擬機(jī)所連接的網(wǎng)絡(luò)和卻遠(yuǎn)遠(yuǎn)滯后:Ø 網(wǎng)絡(luò)調(diào)配仍然極其緩慢,甚至一個(gè)簡(jiǎn)單的拓?fù)渥兏残枰獢?shù)天或數(shù)周時(shí)間;搭建依舊極其復(fù)雜,卷管理麻煩到管理員需要重新學(xué)習(xí)相關(guān)技術(shù)。Ø這樣的 IT 架構(gòu),實(shí)現(xiàn)了服務(wù)器虛擬化的架構(gòu),都已不能很好滿(mǎn)足邁向云的各種需求,著如下:1.1業(yè)務(wù)與架構(gòu)緊耦合傳統(tǒng)數(shù)據(jù)中心業(yè)務(wù)是通過(guò)分區(qū)分域的方式進(jìn)行建設(shè)的,會(huì)以 POD(數(shù)據(jù)中心標(biāo)準(zhǔn)化接入單元)為來(lái)實(shí)現(xiàn) IP 地址網(wǎng)段的劃分:一個(gè) POD 內(nèi)為一個(gè)網(wǎng)段,規(guī)劃和部署同一種業(yè)務(wù)。分區(qū)分域的方式規(guī)劃清晰,維護(hù)簡(jiǎn)單,但是不足之處就是業(yè)務(wù)擴(kuò)容受限,例如:業(yè)務(wù) A 部署在 POD A 內(nèi),如果 POD A 內(nèi)以沒(méi)有剩余空間
5、,無(wú)法實(shí)現(xiàn)擴(kuò)容的時(shí)候,則需要把業(yè)務(wù) A 部署在其他的機(jī)架上。此時(shí)則要求 POD A 需要與其他31 傳統(tǒng) IT 架構(gòu)的問(wèn)題深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)機(jī)架的 TOR 交換機(jī)實(shí)現(xiàn)二層 Trunk 互通,帶來(lái)的問(wèn)題就是需要對(duì)網(wǎng)絡(luò)做出大量的配置更改。所以業(yè)務(wù)和架構(gòu)緊耦合,一旦業(yè)務(wù)發(fā)生變化,物理架構(gòu)就要隨之需要作出調(diào)整。1.2傳統(tǒng)架構(gòu)制約東西向流量傳統(tǒng)架構(gòu)以交換機(jī)為臨界點(diǎn),成為二、三層網(wǎng)絡(luò)的邊界:交換機(jī)以上為三層環(huán)境,主要是以南北數(shù)據(jù)流量為主。而交換機(jī)以下,由于虛擬機(jī)的大規(guī)模使用,虛擬機(jī)遷移的特點(diǎn)主要以東西流量為主。同時(shí)在虛擬機(jī)遷移之后,還需要其IP 地址、MAC 地址等參數(shù)保持不變,則必須通過(guò)
6、二層環(huán)境實(shí)現(xiàn)。羅列一下現(xiàn)有的二層技術(shù),或多或少均一些問(wèn)題:生成樹(shù)類(lèi)的相關(guān)技術(shù)(STP/RSTP/PVST/PVST+/MST 等):部署和維護(hù)繁瑣,Ø網(wǎng)絡(luò)規(guī)模不宜過(guò)大,網(wǎng)絡(luò)收斂時(shí)間較長(zhǎng),限制網(wǎng)絡(luò)的擴(kuò)展。網(wǎng)絡(luò)虛擬化技術(shù)(各廠家私有的 VPC/IRF/CSS/VSU 等):雖然可以簡(jiǎn)化部署、Ø同時(shí)具備靠用,但是該類(lèi)技術(shù)對(duì)拓?fù)浼軜?gòu)有嚴(yán)格要求,由于私有特性,各廠家之間無(wú)法互通,只適合數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)使用。大規(guī)模二層網(wǎng)絡(luò)技術(shù)(TRILL/SPB/FabricPath/OTV/EVB 等):雖然能夠支持二Ø層網(wǎng)絡(luò)的良好擴(kuò)展,解決了生成樹(shù)網(wǎng)絡(luò)規(guī)模不大的問(wèn)題,但該類(lèi)大二層技術(shù)對(duì)網(wǎng)
7、絡(luò)均有特殊要求,需要通過(guò)升級(jí)軟、硬件的方式才能支持此類(lèi)新技術(shù),部署成本提升。網(wǎng)絡(luò)的硬件規(guī)格限制業(yè)務(wù)系統(tǒng)規(guī)模1.3在虛擬化環(huán)境下,虛擬機(jī)的大規(guī)模部署,使得物理交換機(jī)上 MAC 地址表項(xiàng)的大?。▊鹘y(tǒng)的接入交換機(jī) MAC 地址表為:8K/16K,交換機(jī)單槽位為:4深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)128K/250K)限制了虛擬機(jī)的規(guī)模,特別是對(duì)于接入交換機(jī)而言,較小的 MAC 地址表項(xiàng)規(guī)格,嚴(yán)重的限制了整個(gè)大二層環(huán)境下數(shù)據(jù)中心的業(yè)務(wù)規(guī)模。1.4不能適應(yīng)大規(guī)模租戶(hù)部署當(dāng)網(wǎng)絡(luò)中出現(xiàn)大量租戶(hù)或者大量業(yè)務(wù)的時(shí)候,網(wǎng)絡(luò)就顯得異常重要,當(dāng)前的主流二層網(wǎng)絡(luò)技術(shù)為 VLAN,但是在大量租戶(hù)或大量業(yè)務(wù)部署時(shí)會(huì)有幾個(gè)限
8、制:Ø VLAN 可用的數(shù)量為 4K 左右,遠(yuǎn)遠(yuǎn)不能滿(mǎn)足算環(huán)境下的部署需求;Ø 如果在大規(guī)模數(shù)據(jù)中心部署 VLAN,會(huì)使得所有 VLAN 在數(shù)據(jù)中心都被通過(guò),會(huì)導(dǎo)致任何一個(gè) VLAN 的廣播數(shù)據(jù)會(huì)在整個(gè)數(shù)據(jù)中心內(nèi)泛濫,大量消耗網(wǎng)絡(luò)帶寬,同時(shí)帶來(lái)維護(hù)的。當(dāng)二層環(huán)境下的 VLAN 無(wú)法實(shí)現(xiàn)有效的時(shí)候,還可以利用 MPLS做到三層的,但是由于 MPLS自身的封裝和協(xié)議本身的交互,導(dǎo)致后的業(yè)務(wù)交付效率低下。1.5傳統(tǒng)安全部署模式的限制傳統(tǒng)架構(gòu)下業(yè)務(wù)系統(tǒng)的安全部署都是基于路徑、基于拓?fù)涞牟呗圆渴?,安全部署需要根?jù)業(yè)務(wù)的要求手工配置 VLAN、IP、策略,如果業(yè)務(wù)發(fā)生變更,安全策略的配
9、置也必須跟著重新配置。另外,傳統(tǒng)安全策略都是基于物理硬件進(jìn)行部署的,大部分部署均為打補(bǔ)丁的方式實(shí)現(xiàn)。導(dǎo)致在業(yè)初期由于業(yè)務(wù)量小使利用率很低造成資源浪費(fèi),而且業(yè)務(wù)后期隨著業(yè)務(wù)量的增量可能又會(huì)出現(xiàn)性能不夠用的情況,的性能無(wú)法根據(jù)業(yè)務(wù)的要求而動(dòng)態(tài)的擴(kuò)展性能或者資源。5深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)傳統(tǒng)架構(gòu)下的數(shù)據(jù)中心解決方案已經(jīng)不能夠滿(mǎn)足云環(huán)境下客戶(hù)業(yè)務(wù)高速發(fā)展的要求,所以本次方案規(guī)劃設(shè)計(jì),需要通過(guò)更有價(jià)值的新架構(gòu)來(lái)解決傳統(tǒng)架構(gòu)的問(wèn)題。2.1建設(shè)意義【根據(jù)項(xiàng)目的具體情況,進(jìn)行項(xiàng)目背景的描述和】2.2建設(shè)原則本次項(xiàng)目的總體建設(shè)原則如下:1、統(tǒng)一規(guī)范由于業(yè)務(wù)系統(tǒng)的復(fù)雜性,所以應(yīng)該在統(tǒng)一的框架體系下,參
10、考國(guó)際國(guó)內(nèi)各方面的標(biāo)準(zhǔn)與規(guī)范,嚴(yán)格遵從各項(xiàng)技術(shù)規(guī)定,做的標(biāo)準(zhǔn)化設(shè)計(jì)與施工。2、成熟由于算的發(fā)展變化很快,而本項(xiàng)目建設(shè)時(shí)間緊,涉及面廣,應(yīng)用性強(qiáng),在設(shè)計(jì)過(guò)程中,成熟的技術(shù)和,確保建成的 IT 架構(gòu)能夠適應(yīng)各方的需求,同時(shí)節(jié)約項(xiàng)目施工時(shí)間。3、實(shí)用先進(jìn)為避免投資浪費(fèi),IT 架構(gòu)的設(shè)計(jì)不僅要求能夠滿(mǎn)足目前業(yè)務(wù)使用的需求,還必須具備一定的先進(jìn)性和發(fā)展?jié)摿?,使系統(tǒng)具有容量的擴(kuò)充與升級(jí)換代的可能,以便該項(xiàng)目在盡可能的時(shí)間內(nèi)與業(yè)務(wù)發(fā)展和進(jìn)步相適應(yīng)。4、開(kāi)放適用62 項(xiàng)目概述深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)由于 IT 架構(gòu)是為各業(yè)務(wù)系統(tǒng)提供支撐,所以必須充分考慮架構(gòu)的開(kāi)放性,提供開(kāi)放標(biāo)準(zhǔn)接口,供開(kāi)發(fā)者及用戶(hù)
11、使用。5、安全可靠本項(xiàng)目涉及用戶(hù)范圍廣,數(shù)量大,實(shí)時(shí)性強(qiáng),設(shè)計(jì)時(shí)應(yīng)加強(qiáng)系統(tǒng)安全防護(hù)能力,確保系統(tǒng)運(yùn)行可靠,業(yè)務(wù)不中斷,數(shù)據(jù)不丟失。2.3建設(shè)關(guān)鍵需求上述提及的建設(shè)原則,建議 IT 架構(gòu)需要滿(mǎn)足如下要求:1、IT 資源全面伴隨著數(shù)據(jù)與業(yè)務(wù)的集中,傳統(tǒng)數(shù)據(jù)中心的硬件架構(gòu)已經(jīng)業(yè)務(wù)的快速上線(xiàn)和靈活的業(yè)務(wù)部署,新架構(gòu)需要通過(guò)定義的方式實(shí)現(xiàn)全新的 IT 基礎(chǔ)架構(gòu),也就是通過(guò)服務(wù)器虛擬化將所有 X86 的計(jì)算資源、通過(guò)網(wǎng)絡(luò)虛擬化構(gòu)建出適合虛擬機(jī)遷移的大二層環(huán)境、最后通過(guò)虛擬化實(shí)現(xiàn)空間的融合。對(duì)于定義的數(shù)據(jù)中心,需要充分保障物理資源層、資源抽象與層和云服務(wù)層性與安全性,并提供異地容災(zāi)備份服務(wù)。2、安全優(yōu)化如影
12、隨形隨著業(yè)務(wù)的不斷擴(kuò)展,4-7 層的安全、優(yōu)化架構(gòu)也需要緊密跟隨。傳統(tǒng)的煙囪式建設(shè)方式會(huì)讓數(shù)據(jù)中心里出現(xiàn)大量的安全、優(yōu)化,同時(shí)也會(huì)讓安全管理變得復(fù)雜。Ø 從業(yè)務(wù)的角度上分析,新的 IT 架構(gòu)必須能夠?qū)εf系統(tǒng)、舊應(yīng)用進(jìn)行平滑遷移,4-7 層的安全、優(yōu)化特性按需部署,資源靈活調(diào)度;7深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)Ø 從管理的角度上分析,平臺(tái)的建設(shè)需要將所有 4-7 層的安全、優(yōu)化機(jī)制下沉至虛擬機(jī),通過(guò)統(tǒng)一的管理平臺(tái)對(duì)虛擬機(jī)的整個(gè)生命周期進(jìn)行管理,同時(shí)精細(xì)的管理到虛擬機(jī)中的安全、優(yōu)化應(yīng)用。所以需要充分保障整個(gè)數(shù)據(jù)中心中各類(lèi)業(yè)務(wù)的安全可靠,并提供新、舊業(yè)務(wù)的平滑遷移。3、自助統(tǒng)
13、一的業(yè)務(wù)交付建造新一代的數(shù)據(jù)中心,最終目標(biāo)是要實(shí)現(xiàn)系統(tǒng)的按需運(yùn)營(yíng),多種服務(wù)的開(kāi)通,而這依賴(lài)于對(duì)計(jì)算、網(wǎng)絡(luò)資源的調(diào)度和分配,同時(shí)提供用戶(hù)管理、組織管理、工作流管理、自助 Portal 界面等。從用戶(hù)資源的申請(qǐng)、審批到分配部署的智能化。管理系統(tǒng)不僅要實(shí)現(xiàn)對(duì)傳統(tǒng)的物理資源和新的虛擬資源進(jìn)行管理,還要從全局而非割裂地管理資源,因此統(tǒng)一管理平臺(tái)與自動(dòng)化服務(wù)交付是提升服務(wù)效率的重要因素。2.4建設(shè)組件及建設(shè)模式為了實(shí)現(xiàn)上述建設(shè)的關(guān)鍵需求,通過(guò) IT 架構(gòu)的優(yōu)勢(shì),將業(yè)務(wù)系統(tǒng)效率發(fā)揮至極致。深信服通過(guò)“超融合架構(gòu)”實(shí)現(xiàn)了資源、業(yè)務(wù)、數(shù)據(jù)的集中承載和統(tǒng)一調(diào)度,超融合架構(gòu)包含的組件如下:Ø aSV 計(jì)算
14、虛擬化解決方案:通過(guò)基于 KVM 的開(kāi)源虛擬化技術(shù)提供更加便捷、靈活和開(kāi)放的虛擬機(jī)生命周期管理;Ø aNET 網(wǎng)絡(luò)虛擬化解決方案:通過(guò)引入 VxLAN 技術(shù),能夠提升算中心的整體擴(kuò)展性,同時(shí)實(shí)現(xiàn)多租戶(hù)環(huán)境下的安全;Ø aSAN虛擬化解決方案:充分利用現(xiàn)有服務(wù)器的硬盤(pán)資源,對(duì)其進(jìn)行高密整合,互聯(lián)所有 X86 架構(gòu)服務(wù)器的硬盤(pán)總線(xiàn),實(shí)現(xiàn)空間的融合;8深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)Ø NFV 網(wǎng)絡(luò)功能虛擬化解決方案:通過(guò)使用虛擬機(jī)鏡像的方式運(yùn)行 vAD(應(yīng)用交付)、vAF(下一代)等 2-7 層的安全優(yōu)化組件,解決東西向的安全優(yōu)化特性;Ø VMP 虛擬化管
15、理平臺(tái):不僅可以實(shí)現(xiàn) Sangfor架構(gòu)的統(tǒng)一管理及統(tǒng)一調(diào)度,還能夠通過(guò) OpenStack 北向接口與第云管理平臺(tái)實(shí)現(xiàn)互通,從而將資源的調(diào)度管理更加集約化、易用化。深信服超融合架構(gòu)則通過(guò):超融合一體機(jī) 或 超融合操作系統(tǒng) 兩種模式建設(shè)。1、超融合一體機(jī):(除了 NFV 可選以外所有組件均已預(yù)集成在硬件中)超融合一體機(jī)模式,即:通過(guò)定制的 x86 平臺(tái),預(yù)裝好 Sangfor架構(gòu),包含了 Sangfor 虛擬化平臺(tái)、Sangfor 虛擬化應(yīng)用套件和 Sangfor 虛擬化管理平臺(tái)。實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、的高度融合,將計(jì)算資源、網(wǎng)絡(luò)資源和資源,為上層應(yīng)用提供全面的服務(wù),實(shí)現(xiàn)真正意義上的開(kāi)機(jī)即用。2、超
16、融合操作系統(tǒng):(aSV+aNET 或 aSV+aSAN 或組件全選,NFV 可選)超融合操作系統(tǒng)模式,即:通過(guò)利舊或者自有的第x86 平臺(tái),安裝 Sangfor超融合操作系統(tǒng),從而實(shí)現(xiàn)和一體機(jī)一致的功能和類(lèi)似的性能, 不同的地方在于:Ø 一體機(jī)是預(yù)裝所有組件,對(duì)硬件做過(guò)調(diào)優(yōu),性能最佳;Ø 一體機(jī)的價(jià)格比單獨(dú)購(gòu)買(mǎi)操作系統(tǒng)的價(jià)格更有優(yōu)勢(shì);Ø 在有空閑服務(wù)器或者利舊服務(wù)器時(shí),操作系統(tǒng)更加節(jié)約投資;Ø 操作系統(tǒng)的部署較靈活,可以根據(jù)具體的需要選擇性部署Ø 一體機(jī)開(kāi)機(jī)即用,操作系統(tǒng)需要有安裝調(diào)試的過(guò)程。9深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)深信服超融合架構(gòu)
17、解決方案,融合了:計(jì)算、網(wǎng)絡(luò)、和安全四大模塊,通過(guò)全虛擬化的方式構(gòu)建 IT 架構(gòu)資源池。所有的模塊資源均可以按需部署,靈活調(diào)度,動(dòng)態(tài)擴(kuò)展。通過(guò)超融合一體機(jī)或者超融合操作系統(tǒng)能夠在最短的時(shí)間內(nèi),充分利舊現(xiàn)有硬件基礎(chǔ)架構(gòu),將業(yè)務(wù)系統(tǒng)安全、高效的遷移到超融合平臺(tái)中,并且為后期邁向私有云平臺(tái)奠定基礎(chǔ),從而能夠?qū)崿F(xiàn)多租戶(hù)的管理及計(jì)費(fèi)審計(jì)等功能。深信服的超融合架構(gòu)解決方案架構(gòu)主要包含三大組件(服務(wù)器虛擬化 aSV、網(wǎng)絡(luò)虛擬化 aNet、虛擬化 aSAN)和一個(gè)管理平臺(tái)(虛擬化管理平臺(tái) VMP)。硬件架構(gòu)上,可以通過(guò)一體機(jī)的方式實(shí)現(xiàn)開(kāi)機(jī)即用,也可以采用通用 X86 服務(wù)器實(shí)現(xiàn)基礎(chǔ)架構(gòu)的承載。配合傳統(tǒng)的園區(qū)網(wǎng)
18、交換機(jī)(背板帶寬和交換容量夠用即可)即可完成整個(gè)平臺(tái)的搭建,無(wú)需各種功能復(fù)雜、價(jià)格昂貴的數(shù)據(jù)中心級(jí)交換機(jī)。圖示:深信服超融合架構(gòu)全景圖103 深信服超融合架構(gòu)解決方案概述深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)3.1超融合架構(gòu)層超融合架構(gòu)層以服務(wù)器虛擬化為底層架構(gòu),擴(kuò)展出網(wǎng)絡(luò)虛擬化和虛擬化,通過(guò)所畫(huà)即所得的方式能夠快速的構(gòu)建出業(yè)務(wù)邏輯,實(shí)現(xiàn)虛擬資源的動(dòng)態(tài)調(diào)度和靈活擴(kuò)展,同時(shí)全網(wǎng)流量可視,配置簡(jiǎn)易直觀,運(yùn)維靈活便捷圖示:所畫(huà)即所得的業(yè)務(wù)邏輯圖示:全網(wǎng)流量可視視圖11深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)圖示:簡(jiǎn)易直觀的配置界面圖示:靈活便捷的運(yùn)維操作12深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)3.1.1服務(wù)器虛
19、擬化(aSV)方案概述深信服 aSV 虛擬化平臺(tái)作為介于硬件和操作系統(tǒng)之間的層,采用金屬架構(gòu)的 X86 虛擬化技術(shù),實(shí)現(xiàn)對(duì)服務(wù)器物理資源的抽象,將 CPU、內(nèi)存、I/O 等服務(wù)器物理資源轉(zhuǎn)化為一組可統(tǒng)一管理、調(diào)度和分配的邏輯資源,并基于這些邏輯資源在單個(gè)物理服務(wù)器上構(gòu)建多個(gè)同時(shí)運(yùn)行、相互的虛擬機(jī)執(zhí)行環(huán)境,實(shí)現(xiàn)更高的資源利用率,同時(shí)滿(mǎn)足應(yīng)用更加靈活的資源動(dòng)態(tài)分配需求,譬如提供熱遷移、HA 等用特性,實(shí)現(xiàn)更低的運(yùn)營(yíng)成本、更高的靈活性和更快速的業(yè)務(wù)響應(yīng)速度。方案優(yōu)勢(shì)1、用為了提升服務(wù)器虛擬化系統(tǒng)的用性,深信服從如下度提供了用技術(shù),保障業(yè)務(wù)的性。Ø 故障遷移(HA):深信服 aSV 虛擬化平
20、臺(tái)提供虛擬機(jī)熱遷移和虛擬機(jī)熱備份技術(shù),降低宕機(jī)帶來(lái)的風(fēng)險(xiǎn)、減少業(yè)務(wù)中斷的時(shí)間。深信服 aSV 虛擬化平臺(tái)提供 Guest OS 故障檢測(cè)功能, 當(dāng)客戶(hù)機(jī)發(fā)生嚴(yán)重故障時(shí) (例如 Windows 系統(tǒng)藍(lán)屏) ,虛擬機(jī)管理程序會(huì)13深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)到客戶(hù)機(jī)故障。虛擬機(jī)管理程序可以重啟或關(guān)閉客戶(hù)機(jī),從而避免有故障的客戶(hù)機(jī)持續(xù)占用計(jì)算資源。Ø 熱遷移(Motion):通過(guò)熱遷移可以實(shí)現(xiàn)虛擬機(jī)的在線(xiàn)動(dòng)態(tài)遷移, 保證業(yè)務(wù)連續(xù)性;零宕機(jī)時(shí)間: 進(jìn)行計(jì)劃內(nèi)硬件維護(hù)和升級(jí)遷移工作負(fù)載,業(yè)務(wù)不中斷;實(shí)現(xiàn)整體數(shù)據(jù)中心業(yè)務(wù)用,無(wú)需使用昂貴、復(fù)雜的傳統(tǒng)集群解決方案;最大限度地減少硬件、故障造成
21、的業(yè)務(wù)中斷時(shí)間;提高整個(gè)基礎(chǔ)架構(gòu)范圍內(nèi)的保護(hù)力度。Ø 跨熱遷移:通借熱遷移 技術(shù),可以在不中斷服務(wù)的情況下在跨實(shí)時(shí)遷移虛擬機(jī)磁盤(pán)文件。將虛擬機(jī)磁盤(pán)文件無(wú)中斷地遷移到不同種類(lèi)的執(zhí)行熱遷移造成停機(jī),并可全面保證業(yè)務(wù)不中斷??蛇w移在任何受支持服務(wù)器硬件上運(yùn)行任何受支持操作系統(tǒng)的虛擬機(jī)磁盤(pán)文件。可支持任何光纖通道、iSCSI、本地硬盤(pán)等系統(tǒng)實(shí)時(shí)遷移的虛擬機(jī)磁盤(pán)文件。2、極速備份深信服 VMP 虛擬化平臺(tái),將備份系統(tǒng)融合在整體 VMP 平臺(tái),實(shí)現(xiàn)簡(jiǎn)單易用的備份系統(tǒng),由客戶(hù)設(shè)置自動(dòng)備份計(jì)劃,系統(tǒng)管理根據(jù)這些設(shè)置定期進(jìn)行自動(dòng)備份處理,14深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)以增強(qiáng)系統(tǒng)數(shù)據(jù)的安全性,同
22、時(shí)增強(qiáng)自動(dòng)處理事務(wù)能力,可以在不處理日常業(yè)務(wù)的時(shí)間里進(jìn)行此項(xiàng)工作。Ø 精確備份時(shí)間策略:可精確到小時(shí)級(jí)的備份計(jì)劃,讓備份數(shù)據(jù)更精準(zhǔn)完善。Ø 智能備份路徑選擇:可智能選擇備份路徑,根據(jù)空間的使用情況來(lái)智能選擇備份位置,且與原位置不同,保證原主機(jī)或故障后,能從其它備份位置恢復(fù)。也可選擇客戶(hù)簡(jiǎn)單易用的 Windows 共享目錄實(shí)現(xiàn)快速易用的備份。3、高效 P2V 遷移通過(guò)深信服 VMP Convert 實(shí)現(xiàn)快速的物理機(jī)遷移虛擬機(jī),跨平臺(tái)的虛擬機(jī)遷移虛擬機(jī)。而整個(gè)虛擬化遷移過(guò)程不超過(guò) 5 分鐘,業(yè)務(wù)中斷在 2 分鐘以?xún)?nèi)。也可實(shí)現(xiàn)快速虛擬機(jī)平臺(tái)還原回物理機(jī)的,保證業(yè)務(wù)數(shù)據(jù)不丟失。15
23、深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)4、虛擬化運(yùn)維工作更簡(jiǎn)單Ø 免插件臺(tái):免插件的臺(tái)VM,提升用戶(hù)體驗(yàn)Ø 一鍵新增虛擬機(jī):通過(guò)簡(jiǎn)單設(shè)置,快速創(chuàng)建虛擬機(jī)Ø 自動(dòng)故障處理:系統(tǒng)故障時(shí)提出解決方案,快速恢復(fù)系統(tǒng)及應(yīng)用Ø 批量新增虛擬機(jī):為經(jīng)常重復(fù)的工作內(nèi)容提供自動(dòng)化操作平臺(tái)5、高安全性虛擬化平臺(tái)保障Ø 虛擬化文件系統(tǒng)加密通過(guò)高強(qiáng)度加密的 Sangfor 虛擬化文件系統(tǒng),保證數(shù)據(jù)安全。通過(guò)添加每用戶(hù)的密鑰實(shí)現(xiàn)加密功能提高安全性。即使盜走保存有數(shù)據(jù)的硬盤(pán)或者虛擬機(jī)虛擬硬盤(pán)文件,也能夠防止其數(shù)據(jù)被其他用戶(hù)或外部者授權(quán)的。Ø 底層防合入深信服 NGA
24、F 多年的安全積累的防模塊,保障底層 Hypervisor 更安全,最大限度的網(wǎng)絡(luò)系統(tǒng),加強(qiáng)邊界權(quán)限的建立,降低安全風(fēng)險(xiǎn),消除網(wǎng)絡(luò)系統(tǒng)、操作系統(tǒng)、本身的大量弱點(diǎn)漏洞和認(rèn)為操作或配置產(chǎn)生的16深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)與安全策略相違背的系統(tǒng)配置,減少者的可能;加強(qiáng)網(wǎng)絡(luò)系統(tǒng)入侵行為的檢測(cè)和防御能力,有效阻止來(lái)自外部的行為,同時(shí)也防止來(lái)自?xún)?nèi)部的操作行過(guò)加固切實(shí)提高操作系統(tǒng)的安全級(jí)別,保證系統(tǒng)安全。6、智能虛擬系統(tǒng)可用性Ø 系統(tǒng)故障恢復(fù):虛擬機(jī)系統(tǒng)故障檢測(cè),虛擬機(jī)內(nèi)部系統(tǒng)藍(lán)屏,或者 CPU 利用率 100%卡死虛擬機(jī)操作系統(tǒng)時(shí),Sangfor VMP HA 可偵測(cè)病重啟該虛擬機(jī)
25、16; 源保障及:通過(guò)調(diào)整不同業(yè)務(wù)虛擬機(jī)的 CPU,內(nèi)存等計(jì)算資源的優(yōu)先級(jí),保障關(guān)鍵應(yīng)用計(jì)算資源需求,提升高優(yōu)先級(jí)系統(tǒng)的可用性7、高性能虛擬化平臺(tái)Ø 塊數(shù)據(jù)緩存:實(shí)現(xiàn)文件系統(tǒng)的塊數(shù)據(jù)緩存,通過(guò)提升大文件速度,優(yōu)化用戶(hù)體驗(yàn)Ø 歷史數(shù)據(jù)預(yù)取:精準(zhǔn)虛擬機(jī)歷史塊數(shù)據(jù),加快系統(tǒng)開(kāi)機(jī)速度Ø SCSI 虛擬化硬盤(pán):通過(guò)優(yōu)化 SCSI 磁盤(pán)驅(qū)動(dòng),整體提升磁盤(pán) I/O 性能。3.1.2網(wǎng)絡(luò)虛擬化(aNET)方案概述深信服網(wǎng)絡(luò)虛擬化 aNet,通過(guò)提供全新的網(wǎng)絡(luò)運(yùn)營(yíng)方式,解決了傳統(tǒng)硬件網(wǎng)絡(luò)的眾多管理和運(yùn)維難題,并且?guī)椭鷶?shù)據(jù)中心操作員將敏捷性和性提高若干數(shù)量級(jí)。深信服網(wǎng)絡(luò)虛擬化 aNe
26、t 方案通過(guò)和服務(wù)器虛擬化 aSV 相結(jié)合,在虛擬機(jī)和物理網(wǎng)絡(luò)之間,提供了一整套完整的邏輯網(wǎng)絡(luò)、連接和服務(wù),分布式虛擬交換機(jī)aSwitch、虛擬路由器 aRouter、虛擬下一代vNGAF、虛擬應(yīng)用交付 vAD、虛擬 vSSL、虛擬廣域網(wǎng)優(yōu)化 vWOC 等虛擬網(wǎng)絡(luò)、;然后,還可以支持17深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)VXLAN 等增強(qiáng)網(wǎng)絡(luò)協(xié)議,實(shí)現(xiàn)和物理網(wǎng)絡(luò)的無(wú)縫對(duì)接,簡(jiǎn)化網(wǎng)絡(luò)的配置管理;此外,還可以通過(guò)虛擬化管理平臺(tái),實(shí)現(xiàn)網(wǎng)絡(luò)拓?fù)洳渴?、網(wǎng)絡(luò)故障探測(cè)等網(wǎng)絡(luò)管理功能。從而,aNet 虛擬網(wǎng)絡(luò)可以快速完成不同應(yīng)用系統(tǒng)的網(wǎng)絡(luò)部署,網(wǎng)絡(luò)配置的自動(dòng)化調(diào)整,網(wǎng)絡(luò)故障排查等工作,提升網(wǎng)絡(luò)的管理運(yùn)維效率,
27、提升網(wǎng)絡(luò)就緒、擴(kuò)展速度,降低數(shù)據(jù)中心物理網(wǎng)絡(luò)的建設(shè)成本。方案優(yōu)勢(shì)1、簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),節(jié)省硬件網(wǎng)絡(luò)投資在部署了深信服的網(wǎng)絡(luò)虛擬化 aNet 之后,過(guò)去傳統(tǒng)的接入交換、路由器、負(fù)載均衡、等傳統(tǒng)網(wǎng)絡(luò)、安全硬件,通通變成虛擬化的方式運(yùn)行在服務(wù)器里。以前。串糖葫蘆式的網(wǎng)絡(luò)結(jié)構(gòu)也會(huì)變得非常的扁平,服務(wù)器全部接入到一個(gè)大二層的網(wǎng)絡(luò),極大的簡(jiǎn)化物理連線(xiàn)。18深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)此外,硬件交換機(jī)不再需要支持類(lèi)似 TRILL/SPB/FabricPath/VPLS(為了解決服務(wù)器虛擬化部署后的問(wèn)題,新推出的交換機(jī)特性)等一些列不必要的過(guò)渡性網(wǎng)絡(luò)功能,從而只需要普通的交換機(jī)就可以滿(mǎn)足算網(wǎng)絡(luò)的建設(shè),降低了
28、不必要的網(wǎng)絡(luò)建設(shè)成本。2、簡(jiǎn)化網(wǎng)絡(luò)配置,實(shí)現(xiàn)業(yè)務(wù)自動(dòng)化調(diào)整部署了虛擬網(wǎng)絡(luò) aNet 后,對(duì)于物理交換機(jī)來(lái)說(shuō)虛擬化環(huán)境中的虛擬機(jī)網(wǎng)絡(luò)流量將會(huì)變得透明,物理交換機(jī)不再需要配置復(fù)雜的網(wǎng)絡(luò)策略,提供簡(jiǎn)單的大二層轉(zhuǎn)發(fā)即可。因?yàn)椋刑摂M機(jī)的 VLAN、QoS、ACL 等網(wǎng)絡(luò)配置策略,將會(huì)部署 aSwitch上。而 aSwitch 將會(huì)自動(dòng)根據(jù)每臺(tái)虛擬機(jī)遷移、刪除等過(guò)程,實(shí)現(xiàn)網(wǎng)絡(luò)策略的自動(dòng)跟隨,實(shí)現(xiàn)網(wǎng)絡(luò)配置的自動(dòng)化調(diào)整,極大的簡(jiǎn)化了虛擬機(jī)遷移所帶來(lái)復(fù)雜的網(wǎng)絡(luò)運(yùn)維工作。19深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)3、靠&高性能過(guò)去傳統(tǒng)物理網(wǎng)絡(luò)容易因?yàn)榫W(wǎng)絡(luò)的故障而產(chǎn)生問(wèn)題,解決起來(lái)也非常,時(shí)間都是以小時(shí)為的
29、。所以,深信服的網(wǎng)絡(luò)虛擬化,在可靠性方面做了很多的改進(jìn),首先通過(guò)應(yīng)用層協(xié)議棧技術(shù),我們把數(shù)據(jù)轉(zhuǎn)發(fā)放到了應(yīng)用層,能夠讓永不宕機(jī),而分布式設(shè)計(jì)的虛擬路由和虛擬交換機(jī),出現(xiàn)故障的時(shí)候能夠?qū)崿F(xiàn)秒級(jí)切換,從而避免虛擬的單點(diǎn)故障,物理和鏈路我們?cè)O(shè)計(jì)了集群部署和鏈路聚合,能夠避免物理環(huán)境的單點(diǎn)故障;這樣,我們就實(shí)現(xiàn)了整個(gè)虛擬網(wǎng)絡(luò)環(huán)境的靠保障,任意環(huán)節(jié)出現(xiàn)故障,被自動(dòng)檢測(cè)出來(lái),并快速恢復(fù)業(yè)務(wù)。此外,對(duì)于虛擬化網(wǎng)絡(luò)的性能問(wèn)題,深信服研發(fā)了高性能網(wǎng)絡(luò)轉(zhuǎn)發(fā)引擎,結(jié)合 intel 最新的 DPDK 技術(shù)和 SR-IOV 技術(shù),aSwitch 虛擬可以達(dá)到雙向 10G 的數(shù)據(jù)轉(zhuǎn)發(fā),讓虛擬化網(wǎng)絡(luò)能夠以非常低廉的成本擁有和
30、物理網(wǎng)絡(luò)一樣強(qiáng)勁的性能。4、完整專(zhuān)業(yè)的 L4-L7 網(wǎng)絡(luò)服務(wù),確保架構(gòu)平滑遷移只把交換機(jī)和路由器虛擬化是不夠的,復(fù)雜的業(yè)務(wù)環(huán)境是必須要配置負(fù)載均衡、這樣的 L4-L7 安全、優(yōu)化功能。所以,深信服將在硬件領(lǐng)域非常具有優(yōu)勢(shì)的 NGAF、AD、WOC、SSL等也虛擬化了,從而可以幫助用戶(hù)將應(yīng)用系統(tǒng)平滑的從物理環(huán)境遷移到虛擬化環(huán)境中,并滿(mǎn)足安全合規(guī)要求。20深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)vNGAF、vAD、vWOC、vSSL等虛擬化,保持了和硬件一致的功能特性,并且具備齊全的各種資質(zhì),如安全銷(xiāo)售。用戶(hù)只需要根據(jù)不同應(yīng)用系統(tǒng)的性能要求,分配 1、2、4、8 核不同檔次的 CPU 資源,各種虛擬化就
31、可以提供從百兆到千兆的性能。5、多層次安全策略,無(wú)縫安全防護(hù)為了從不同維度提升虛擬化平臺(tái)的安全性,通過(guò)的分布式交換機(jī)、ACL、NGAF 的 L2-L7 安全防護(hù)技術(shù)、SSL完整的安全接入技術(shù)等方式,可以加固虛擬機(jī)、業(yè)務(wù)系統(tǒng)等不同虛擬化環(huán)境邊界的安全性。尤其是 NGAF 可以提供:狀態(tài)檢測(cè)、應(yīng)用、漏洞防護(hù)、Web保護(hù)、防敏感泄露、漏洞風(fēng)險(xiǎn)掃描、安全策略聯(lián)動(dòng)、防木馬等完整的 L2-L7 安全功能,可以幫助用戶(hù)簡(jiǎn)化安全部署,并滿(mǎn)足合規(guī)要求。21深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)虛擬化(aSAN)3.1.3方案概述深信服虛擬化 aSAN,基于集群設(shè)計(jì),將服務(wù)器上的硬盤(pán)空間組織起來(lái)形成一個(gè)統(tǒng)一的虛擬共享
32、資源池,即 ServerSAN 分布式系統(tǒng),進(jìn)行數(shù)據(jù)的高可靠、高性能。分布式系統(tǒng)在功能上與共享完全一致;一份數(shù)據(jù)會(huì)同時(shí)在多個(gè)不同的物理服務(wù)器硬盤(pán)上,提升數(shù)據(jù)可靠性;此外,再通過(guò) SSD 緩存,可以大幅提升服務(wù)器硬盤(pán)的 IO 性能,實(shí)現(xiàn)高性能。同時(shí),由于與計(jì)算完全融合在一個(gè)硬件平臺(tái)上,用戶(hù)無(wú)需像以往那樣購(gòu)買(mǎi)連接計(jì)算服務(wù)器和的SAN 網(wǎng)絡(luò)(FC SAN 或者 iSCSI SAN)。22深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)方案優(yōu)勢(shì)1、橫向、縱向線(xiàn)性按需擴(kuò)展aSAN虛擬化方案可以支持橫向(增加服務(wù)器數(shù)量)、縱向(增加服務(wù)器的硬盤(pán)數(shù)量)等擴(kuò)展方式,擴(kuò)展起來(lái)非常簡(jiǎn)單,只需要將新的服務(wù)器加入原來(lái)的集群就可以實(shí)
33、現(xiàn)擴(kuò)展,擴(kuò)展后可以實(shí)現(xiàn)容量和性能的同步擴(kuò)展,目前最大支持 64 臺(tái)服務(wù)器組件一個(gè)集群。此外,添加新的服務(wù)器到集群后,不僅空間得到擴(kuò)展,性能也會(huì)得到同步的擴(kuò)展,例如 2 臺(tái)服務(wù)器擴(kuò)展到 4 臺(tái)服務(wù)器后,不僅空間得到擴(kuò)展,整體性能也會(huì)擴(kuò)展為原來(lái)的 2 倍。所以,aSAN 可以幫助客戶(hù)不需要過(guò)多地考的擴(kuò)展,只需要滿(mǎn)足未來(lái) 36的需求就足夠了,極大降低了初期的投資成本,并避免了傳統(tǒng) FC由于無(wú)法平滑擴(kuò)展性能,而需要遷移數(shù)據(jù)所帶的高風(fēng)險(xiǎn)。23深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)2、數(shù)據(jù)保護(hù)用性在可靠性方面,虛擬化aSAN 沒(méi)有采用傳統(tǒng) FC的 raid 方式,而是把每份數(shù)據(jù) copy 成多份副本進(jìn)行多副本
34、,服務(wù)器只需要以常規(guī)掛載硬盤(pán),虛擬化平臺(tái)會(huì)把數(shù)據(jù)、在不同的物理服務(wù)器硬盤(pán)里創(chuàng)建 2 個(gè)到 3 個(gè)一樣的副本。而且,每一次數(shù)據(jù)的變化,都會(huì)通過(guò)網(wǎng)絡(luò),同時(shí)在 aSAN 中的所有副本里進(jìn)行同步,從而確保數(shù)據(jù)的一致性。這樣做的好處非常明顯,首先,由于不需要使用 raid,服務(wù)器的磁盤(pán)利用率會(huì)非常高,多副本的同步方式、又能夠在最大程度上確保數(shù)據(jù)的互備效果,從而低成本的實(shí)現(xiàn)的靠。24深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)由于 aSAN虛擬化采用副本方式保存數(shù)據(jù),支持 2-3 份副本。當(dāng)物理硬盤(pán)出現(xiàn)故障的時(shí)候,則會(huì)被重新指向另外一個(gè)健康的副本,整個(gè)過(guò)程是毫秒級(jí)的切換,對(duì)用戶(hù)來(lái)講基本是無(wú)感知的。如果不幸遇上了物理
35、主機(jī)或者是網(wǎng)絡(luò)故障,整個(gè)虛擬化平臺(tái)可以完成分鐘級(jí)的切換,業(yè)務(wù)系統(tǒng)或者網(wǎng)絡(luò)的虛機(jī)可以快速切換到另一臺(tái)服務(wù)器拉起,幾分鐘就能恢復(fù)正常,而的指向仍然保持了同步,這樣就比傳統(tǒng)方式的業(yè)務(wù)恢復(fù)速度快了很多。3、高性能 SSD 緩存技術(shù):由于傳統(tǒng)的 sas 盤(pán)、sata 盤(pán)的性能只有 7200 轉(zhuǎn),iops 達(dá)不到眾多應(yīng)用系統(tǒng)的相關(guān)性能要求。所以,深信服的虛擬化 aSAN 在硬件架構(gòu)上會(huì)要求采用 SSD 雙緩存方式,讀和寫(xiě)都使用的 SSD 硬盤(pán)來(lái)實(shí)現(xiàn),借助于 SSD 的高效緩存技術(shù),可以讓用戶(hù)以較低的成本獲得非常高的 IO 性能。此外,通過(guò)我們的算法優(yōu)化,業(yè)務(wù)系統(tǒng)所請(qǐng)求的數(shù)據(jù)、絕大部分情況下都會(huì)直接到本地磁
36、25深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)盤(pán)上的副本,從而使得的響應(yīng)速度大幅提升,明顯提升整體的IOPS 性能。3.1.4網(wǎng)絡(luò)功能虛擬化(NFV)方案概述當(dāng)前定義網(wǎng)絡(luò)成為了技術(shù)發(fā)展的趨勢(shì),深信服也率先在國(guó)內(nèi)推出列的數(shù)據(jù)中心安全、優(yōu)化(NGAF 下一代、SSL、AD 應(yīng)用交付、WOC 廣域網(wǎng)優(yōu)化)虛擬化解決方案。這些過(guò)去需要以硬件署的,不再需要依賴(lài)的硬件,可以以鏡像的方式,完美支持在Vmware、KVM、XEN 等服務(wù)器虛擬化環(huán)境下的部署。從而極大的簡(jiǎn)化政務(wù)云數(shù)據(jù)中心網(wǎng)絡(luò)的架構(gòu),為各個(gè)租戶(hù)的虛擬應(yīng)用按需、靈活的虛擬擴(kuò)展出各種安優(yōu)化方案,同時(shí)還便于劃分清楚各方的運(yùn)維職責(zé)。26深信服超融合架構(gòu)解決方案技
37、術(shù)建議書(shū)性能與功能虛擬化版本直接以虛擬機(jī)的方式運(yùn)行,只需要分配好相應(yīng)的 CPU、內(nèi)存、硬盤(pán)等資源大小,就可以獲得對(duì)應(yīng)性能的安全、優(yōu)化。會(huì)分為1 核、2 核、4 核、8 核 CPU 等檔次,性能從百兆到千兆。功能方面,由于是將現(xiàn)有硬件的版本直接平移,所以版的功能與硬件保持一致,可以為用戶(hù)提供最專(zhuān)業(yè)的網(wǎng)絡(luò)安全、網(wǎng)絡(luò)優(yōu)化解決方案。27深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)部署模式vAD、vAF、vSSL、vWOC 等虛擬化支持路由、單臂等部署方式,不同租戶(hù)開(kāi)啟一個(gè)對(duì)應(yīng)的虛機(jī)鏡像,通過(guò)集中管理平臺(tái)開(kāi)通虛擬設(shè)備,然后配置 vSwitch 連通網(wǎng)絡(luò),只需數(shù)分鐘即可為不同租戶(hù)提供各種增值網(wǎng)絡(luò)服務(wù)。Ø
38、路由部署: vAF、vWOCØ 單臂旁?huà)欤?vAD、vSSL28深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)管理特點(diǎn)1、簡(jiǎn)單 5 步,快速部署上線(xiàn):Ø 購(gòu)買(mǎi):信服購(gòu)買(mǎi)Ø 導(dǎo)入鏡像:將鏡像拷貝進(jìn)入虛擬化環(huán)境開(kāi)通:在服務(wù)器上開(kāi)通ØØ 策略配置:配置 AD、AF、SSL 等虛擬的相關(guān)策略Ø vSwitch 配置:配置虛擬交換機(jī)實(shí)現(xiàn)業(yè)務(wù)的互通2、面向 OpenStack 的統(tǒng)一管理深信服的 vAD、vAF、vSSL、vWOC 等功能模塊不僅可以通過(guò)Sangfor 虛擬化管理模塊實(shí)現(xiàn)統(tǒng)一的超融合管理,所有模塊均開(kāi)放了北向的OpenStack 接口,通過(guò)開(kāi)
39、放的統(tǒng)一接口,能夠更實(shí)現(xiàn)和第平臺(tái)的融合,并實(shí)現(xiàn)功能服務(wù)的創(chuàng)建及關(guān)閉、功能模塊的策略配置。29深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)下面以 vAD 為例,通過(guò)界面截圖,了解面向 OpenStack 的統(tǒng)一管理。30深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)方案優(yōu)勢(shì)1、專(zhuān)業(yè)完整:vAD、vAF、vSSL、vWOC 保持了與硬件一致的專(zhuān)業(yè)功能,還具備各種的合規(guī)資質(zhì);而且類(lèi)別完整,不需多廠家拼湊,就可以滿(mǎn)足用戶(hù)將應(yīng)用遷移到云環(huán)境中的各種傳統(tǒng)業(yè)務(wù)安全、優(yōu)化需求。2、簡(jiǎn)單易用:簡(jiǎn)單 4 步,快速部署上線(xiàn),無(wú)需機(jī)房連線(xiàn)操作,的配置界面保持了與硬件一致的風(fēng)格,讓云中心/租戶(hù)管理員只需要數(shù)分鐘時(shí)間,就可以快速完成業(yè)務(wù)的上線(xiàn)
40、部署。3、隨需擴(kuò)展:云中心管理員可以根據(jù)租戶(hù)的業(yè)務(wù)發(fā)展,增加虛機(jī)資源,按需擴(kuò)展虛擬設(shè)備功能、性能。不用擔(dān)心過(guò)去由于租戶(hù)增多,硬件性能不足,而要淘汰、更換的情況,保護(hù)投資。4、總成本低:虛擬化比同等性能的硬件更具有價(jià)格優(yōu)勢(shì),而且不用擔(dān)心設(shè)備淘汰帶來(lái)的投資浪費(fèi)。簡(jiǎn)單易用的部署方式,也大大減低了方案運(yùn)維成本。同時(shí),分權(quán)的管理模式,運(yùn)維職責(zé)劃分更加明確,可以降低出現(xiàn)故障時(shí)的責(zé)任風(fēng)險(xiǎn)。提供的增值業(yè)務(wù)服務(wù)1、安全類(lèi)服務(wù):31深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)檢測(cè)和防御服務(wù)Ø通過(guò)收集和分析網(wǎng)絡(luò)行為、安全日志、審計(jì)數(shù)據(jù)、其它網(wǎng)絡(luò)上可以獲得的以及計(jì)算機(jī)系統(tǒng)中若干關(guān)鍵點(diǎn)的,檢查網(wǎng)絡(luò)或系統(tǒng)中是否安全策略的
41、行為和被的跡象。提供主動(dòng)式防御功能,能夠阻止蠕蟲(chóng)、木馬、拒絕服務(wù)、的。每月一份報(bào)告,每個(gè)租戶(hù)一套 NGAF 開(kāi)啟 FW+IPS 功能模塊。WEB 業(yè)務(wù)在線(xiàn)防護(hù) WAFØ在前端架設(shè)在線(xiàn)WAF 防護(hù)系統(tǒng),保證用戶(hù)對(duì)各種 SQL 注入、XSS 跨站、掛面、敏感泄密、網(wǎng)頁(yè)篡改等進(jìn)行防護(hù),每月一份防護(hù),每個(gè)租戶(hù)一套 NGAF 開(kāi)啟 WAF 功能模塊。業(yè)務(wù)系統(tǒng)安全風(fēng)險(xiǎn)分析服務(wù)Ø提供系統(tǒng)級(jí)的安全隱患分析服務(wù),外部、等匯總。提供系統(tǒng)安全分析,可疑、安全試探、異常數(shù)據(jù)等安全隱患的預(yù)警性分析,建議每月一次,每個(gè)租戶(hù)一套NGAF 開(kāi)啟漏洞掃描和分析功能模塊SSL接入服務(wù)Ø采用 SSL
42、技術(shù)提供虛擬網(wǎng)絡(luò)接入服務(wù),可以面向 PC、移動(dòng)終端等提供安全接入方式,幫助租戶(hù)實(shí)現(xiàn)內(nèi)部用戶(hù)、第用戶(hù)的安全接入。每月按用戶(hù)數(shù)量靈活收費(fèi),每個(gè)租戶(hù)一套 SSL32深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)Ø 移動(dòng) APP 安全加固服務(wù)租戶(hù)的移動(dòng) APP 提供自動(dòng)化的安全加固服務(wù),讓 APP 可以直接和網(wǎng)關(guān)加密傳輸,并在移動(dòng)終端上加密數(shù)據(jù),提供端到端的數(shù)據(jù)防泄密功能。每月按用戶(hù)數(shù)量靈活收費(fèi),每個(gè)租戶(hù)一套 SSL+EasyAPP 功能模塊。Ø 政務(wù)移動(dòng)門(mén)戶(hù)和管理為每個(gè)租戶(hù)提供一個(gè)統(tǒng)一的移動(dòng)業(yè)務(wù)門(mén)戶(hù),移動(dòng)管理、政務(wù)移動(dòng)應(yīng)用商店、移動(dòng)安全、數(shù)據(jù)擦除功能。每月按用戶(hù)數(shù)量靈活收費(fèi),每個(gè)租戶(hù)一套 S
43、SL+EMM 功能模塊。2、業(yè)務(wù)優(yōu)化類(lèi)服務(wù):Ø 服務(wù)器負(fù)載均衡服務(wù):租戶(hù)的各種應(yīng)用系統(tǒng),如果需要多臺(tái)虛擬服務(wù)器實(shí)現(xiàn)靠解決方案時(shí),服務(wù)器負(fù)載均衡是必要組件,通過(guò)部署版應(yīng)用交付,可以為租戶(hù)提供 L4-7 服務(wù)器負(fù)載均衡、健康探測(cè)、溫暖重啟、VMware聯(lián)動(dòng)等功能,保障業(yè)務(wù)性。每月按一套收費(fèi),每個(gè)租戶(hù)一套AD 應(yīng)用交付。服務(wù):Ø對(duì)進(jìn)行整體與實(shí)時(shí)優(yōu)化,通過(guò)應(yīng)用交付 AD 的單邊、SSL33深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)卸載、TCP 優(yōu)化、圖片轉(zhuǎn)碼等功能,避開(kāi)網(wǎng)絡(luò)擁塞,加快在互聯(lián)網(wǎng)上的速度,按數(shù)量收費(fèi),每個(gè)租戶(hù)一套 AD 應(yīng)用交付+應(yīng)用功能模塊。全局智能 DNS 服務(wù):Ø
44、;自動(dòng)者的 IP 地址,智能域名,指向相對(duì)者來(lái)說(shuō)網(wǎng)絡(luò)速度最快的服務(wù)器,可按照需要的 IP 數(shù)量計(jì)費(fèi),需要在政務(wù)云出口部署硬件鏈路負(fù)載均衡實(shí)現(xiàn)。廣域網(wǎng)優(yōu)化接入:Ø當(dāng)租戶(hù)搭建的業(yè)務(wù)系統(tǒng)需要通過(guò)專(zhuān)網(wǎng)、政務(wù),讓下屬分支機(jī)構(gòu)、橫向時(shí),為了避免廣域網(wǎng)高丟包、高延遲造成應(yīng)用慢,解決帶寬不足,以及傳輸鏈文傳輸?shù)劝踩珕?wèn)題,可以部署廣域網(wǎng)優(yōu)化WOC,通過(guò)的應(yīng)用優(yōu)化、傳輸優(yōu)化、功能,幫助租戶(hù)建立一套快速、安全的廣域網(wǎng)傳輸機(jī)制。政務(wù)云中心一套版WOC,按月收費(fèi);各個(gè)分支機(jī)構(gòu)部署硬件WOC,采購(gòu)或者租用。3.2多業(yè)務(wù)模板層通過(guò)多業(yè)務(wù)模板,能夠在超融合架構(gòu)中創(chuàng)建出基于各種模塊的 Profile 文件,例如:端口
45、的策略模板、網(wǎng)絡(luò)協(xié)議模板、安全功能模板、虛機(jī)模板、用戶(hù)文件、34深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)配置模板等。圖示:多業(yè)務(wù)模板層利用模板下發(fā)的方式實(shí)現(xiàn)整個(gè)業(yè)務(wù)邏輯架構(gòu)的快速創(chuàng)建和故障拓?fù)涞目焖?。同時(shí)可以通過(guò)模板上傳的方式搭建一個(gè)模板庫(kù),多租戶(hù)共享同一個(gè)模板庫(kù),從而能夠根據(jù)的需要,相應(yīng)的模板,實(shí)現(xiàn)業(yè)務(wù)的快速上線(xiàn)。3.3虛擬化管理平臺(tái)深信服虛擬化管理平臺(tái) VMP 是一個(gè)超融合架構(gòu)進(jìn)行 IT 資源進(jìn)行全面管理、調(diào)度的管理系統(tǒng)。可以物理主機(jī)、服務(wù)器虛擬化、網(wǎng)絡(luò)虛擬化、存儲(chǔ)虛擬化等和組件進(jìn)行資源負(fù)載、虛擬資源配置和調(diào)度、網(wǎng)絡(luò)拓?fù)洳渴稹⒕W(wǎng)絡(luò)策略配置、網(wǎng)絡(luò)故障排查、資源管理、數(shù)據(jù)備份。尤其是網(wǎng)絡(luò)拓?fù)洳渴鸸δ?/p>
46、,管理員只需要在界面上畫(huà)出所需要的網(wǎng)絡(luò)、安全、虛機(jī)的組網(wǎng)拓?fù)洌恍钄?shù)分鐘就可以實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的就緒,做到“所畫(huà)即所得”。此外,還可以管理員進(jìn)行權(quán)限的管理和劃分,后續(xù)通過(guò)升級(jí)可以支持多租戶(hù)業(yè)務(wù)場(chǎng)景的管理。從而,只需要一個(gè)管理界面,就可以幫助運(yùn)維高效、簡(jiǎn)便的實(shí)現(xiàn)算中心 IT 資源的部署、運(yùn)維、排障。35深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)3.3.1服務(wù)器虛擬化管理模塊服務(wù)器虛擬化管理模塊可以物理主機(jī)、虛擬機(jī)、內(nèi)置/外置進(jìn)行全面的系統(tǒng)管理。比如,可以物理主機(jī)增加/刪除、物理主機(jī)性能、應(yīng)用系統(tǒng)P2V 遷移、虛擬機(jī)創(chuàng)建/克隆/遷移/、資源管理、數(shù)據(jù)備份和恢復(fù)等等。1、服務(wù)器虛擬化性能功能:2、虛擬機(jī)創(chuàng)建、遷
47、移管理功能:3、數(shù)據(jù)備份和恢復(fù)功能:36深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)3.3.2網(wǎng)絡(luò)虛擬化管理模塊網(wǎng)絡(luò)虛擬化管理模塊可以虛擬化環(huán)境下的虛擬交換機(jī)、虛擬路由器、虛擬下一代、虛擬應(yīng)用交付、虛擬、虛擬廣域網(wǎng)優(yōu)化、物理網(wǎng)絡(luò)邊界等進(jìn)行全面的管理,并進(jìn)行網(wǎng)絡(luò)拓?fù)洳渴稹⒐收献詣?dòng)排查等功能。從而可以讓過(guò)去以天為計(jì)算的網(wǎng)絡(luò)部署周期縮短為分鐘級(jí),讓網(wǎng)絡(luò)故障的排查更加自動(dòng)化,減少人為故障的可能。1、網(wǎng)絡(luò)拓?fù)涔芾砗筒渴穑和ㄟ^(guò)拖動(dòng)管理界面左側(cè)中的各種網(wǎng)絡(luò)、圖標(biāo)到畫(huà)布中,并完成網(wǎng)絡(luò)連線(xiàn),畫(huà)出實(shí)際應(yīng)用系統(tǒng)所需要的網(wǎng)絡(luò)架構(gòu),整個(gè)業(yè)務(wù)系統(tǒng)就可以快速完成部署。如下圖所示,就是搭建一個(gè) Web 應(yīng)用所需要的 Web 服務(wù)器區(qū)、
48、APP 服務(wù)器區(qū)、DB 服務(wù)器區(qū)所需要網(wǎng)絡(luò)架構(gòu),每個(gè)區(qū)域都可以部署虛擬應(yīng)用交付進(jìn)行服務(wù)器負(fù)載均衡,在區(qū)域之間部署虛擬實(shí)現(xiàn)的和,在應(yīng)用37深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)的邊界還可以部署具備 WAF/IPS 功能的虛擬,防止來(lái)自外部的應(yīng)用層攻擊。2、網(wǎng)絡(luò)、安全、優(yōu)化策略配置管理如果需要不同的網(wǎng)絡(luò)、安全、優(yōu)化進(jìn)行配置管理,只需要點(diǎn)擊對(duì)應(yīng)的圖標(biāo),就可以進(jìn)入其 Web 化的管理界面進(jìn)行路由協(xié)議、網(wǎng)口 IP 地址配置、ACL、VLAN、DHCP、安全防護(hù)策略、負(fù)載均衡策略的管理。Ø 路由器配置界面:38深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)網(wǎng)絡(luò)配置界面:ØØ 網(wǎng)絡(luò)、安全、優(yōu)化
49、性能管理界面:Ø 網(wǎng)絡(luò)故障排查管理界面:只需要輸入目的和源地址,就可以快速定位出整個(gè)路徑上出現(xiàn)網(wǎng)絡(luò)中斷的,比如 ACL 拒絕、故障、連線(xiàn)中斷等等。39深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)虛擬化管理模塊3.3.3虛擬化管理模塊可以aSAN 資源池中各個(gè)物理服務(wù)器的硬盤(pán)、緩存盤(pán)、數(shù)據(jù)用策略、性能等進(jìn)行全面的管理。從而極大程度的提升。管理界面簡(jiǎn)單明了,不需要學(xué)習(xí)復(fù)雜的 LUN、RAID 等基礎(chǔ)知識(shí),就可以讓管理員快速上手,快速完成靠、高性能、彈性的資源管理。1、集群內(nèi)資源性能:可以整個(gè)資源池的 IO次數(shù)、IO 吞吐、使用量、緩存命中率等各項(xiàng)性能指標(biāo)。40深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)2、
50、用等策略管理:可以配置整個(gè)集群的副本容量策略、故障恢復(fù)策略、數(shù)據(jù)平衡策略等用功能,從而極大的提升 aSAN 的靠性。3、物理服務(wù)器硬盤(pán)資源管理:41深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)可以實(shí)時(shí)查看物理服務(wù)器上各種硬盤(pán)資源狀態(tài),并設(shè)置硬盤(pán)使用類(lèi)型,如熱、數(shù)據(jù)盤(pán)、緩存盤(pán)等等,從而做好資源池靠、高性能的干禮策略。深信服超融合架構(gòu)方案價(jià)值和優(yōu)勢(shì)總結(jié)3.4深信服超融合架構(gòu)價(jià)值3.4.1深信服超融合架構(gòu)解決方案的主要價(jià)值體現(xiàn)在下面三個(gè)方面。1、使用定義的網(wǎng)絡(luò)、安全、獲得效率和敏捷性擺脫極不靈活的網(wǎng)絡(luò)和安全、體系結(jié)構(gòu),這種體系結(jié)構(gòu)基于手動(dòng)調(diào)配的 VLAN 并使用分立管理界面的,需要復(fù)雜的 LUN、RAID 等
51、管理。使用主導(dǎo)型網(wǎng)絡(luò)和安全、虛擬化服務(wù),獲得算基礎(chǔ)架構(gòu)的全面敏捷性。通過(guò)創(chuàng)建能夠適應(yīng)工作負(fù)載并隨工作負(fù)載移動(dòng)的網(wǎng)絡(luò)和安全、結(jié)構(gòu),根據(jù)業(yè)務(wù)需要快速部署、移動(dòng)、擴(kuò)展和保護(hù)應(yīng)用及數(shù)據(jù)。深信服超融合架構(gòu)可使主導(dǎo)型網(wǎng)絡(luò)和安全、與緊密集成到虛擬數(shù)據(jù)中心管理中的基42深信服超融合架構(gòu)解決方案技術(shù)建議書(shū)于策略的調(diào)配機(jī)制結(jié)合在一起。2、通過(guò)提高效率和利用率降低運(yùn)營(yíng)、采購(gòu)成本,實(shí)現(xiàn)資源的按需供給深信服超融合架構(gòu)無(wú)需重新配置物理網(wǎng)絡(luò)、外置,即可跨集群和單元彈性分配計(jì)算資源,用戶(hù)可以在初始階段,僅投入項(xiàng)目所必需的最少資源,在后續(xù)的生產(chǎn)實(shí)踐中,根據(jù)實(shí)際需要,可以再追加擴(kuò)容物理服務(wù)器的計(jì)算、資源,從而實(shí)現(xiàn)真正的隨需應(yīng)變與
52、資源動(dòng)態(tài)供給,并最終提高資源利用率。此外,深信服超融合架構(gòu)提供了高度可擴(kuò)展的虛擬網(wǎng)絡(luò),可簡(jiǎn)化調(diào)配,降低運(yùn)營(yíng)成本,同時(shí)減少對(duì)的需求。3、利用虛擬工作負(fù)載的敏捷性,適應(yīng)動(dòng)態(tài)業(yè)務(wù)需求可創(chuàng)建隨應(yīng)用擴(kuò)展的網(wǎng)絡(luò)并在需要的位置應(yīng)用安全服務(wù),而無(wú)需升級(jí)硬件。深信服超融合架構(gòu)可提高應(yīng)用可用性并增強(qiáng)網(wǎng)絡(luò)性能和容量。Ø 無(wú)需重新配置物理網(wǎng)絡(luò),即可部署、移動(dòng)或擴(kuò)展虛擬工作負(fù)載Ø 可自動(dòng)調(diào)配和橫向擴(kuò)展網(wǎng)絡(luò)連接和安全服務(wù)Ø 能夠更全面地了解虛擬通信流量Ø 線(xiàn)性擴(kuò)展容量和性能3.4.2深信服超融合架構(gòu)的優(yōu)勢(shì)1、提供更加完整的 IT 基礎(chǔ)架構(gòu)虛擬化方案,涵蓋網(wǎng)絡(luò)、安全、計(jì)算2、管理運(yùn)維更加便捷、簡(jiǎn)單,零學(xué)習(xí)成本,讓 IT 架構(gòu)所畫(huà)即所得3、整體擁有成本更低,無(wú)需特殊、的網(wǎng)絡(luò)、服務(wù)器即可實(shí)現(xiàn)4、,提供多樣、豐富的 L2-L7 安優(yōu)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五版農(nóng)業(yè)科技園土地承包經(jīng)營(yíng)合同3篇
- 二零二五年度門(mén)窗廢品回收合同2篇
- 二零二五版跨境電商代理傭金結(jié)算及支付時(shí)間合同示范3篇
- 二零二五年度藝人經(jīng)紀(jì)合同解析3篇
- 二零二五版紅酒年份酒預(yù)購(gòu)會(huì)合作銷(xiāo)售合同3篇
- 2025版洗煤廠煤場(chǎng)租賃與智能化物流服務(wù)合同4篇
- 二零二五年度跨境煤炭進(jìn)口貿(mào)易合同4篇
- 二零二四寧波事業(yè)單位醫(yī)療衛(wèi)生項(xiàng)目聘用合同2篇
- 2025年度智能家電產(chǎn)品獨(dú)家授權(quán)銷(xiāo)售合同書(shū)4篇
- 2025年度專(zhuān)業(yè)物流公司聘用司機(jī)勞動(dòng)合同
- 2025年部編版一年級(jí)語(yǔ)文上冊(cè)期末復(fù)習(xí)計(jì)劃
- 2024年新高考II卷數(shù)學(xué)高考試卷(原卷+答案)
- 儲(chǔ)罐維護(hù)檢修施工方案
- 地理2024-2025學(xué)年人教版七年級(jí)上冊(cè)地理知識(shí)點(diǎn)
- 2024 消化內(nèi)科專(zhuān)業(yè) 藥物臨床試驗(yàn)GCP管理制度操作規(guī)程設(shè)計(jì)規(guī)范應(yīng)急預(yù)案
- 2024-2030年中國(guó)電子郵箱行業(yè)市場(chǎng)運(yùn)營(yíng)模式及投資前景預(yù)測(cè)報(bào)告
- 基礎(chǔ)設(shè)施零星維修 投標(biāo)方案(技術(shù)方案)
- 人力資源 -人效評(píng)估指導(dǎo)手冊(cè)
- 大疆80分鐘在線(xiàn)測(cè)評(píng)題
- 2024屆廣東省廣州市高三上學(xué)期調(diào)研測(cè)試英語(yǔ)試題及答案
- 中煤平朔集團(tuán)有限公司招聘筆試題庫(kù)2024
評(píng)論
0/150
提交評(píng)論