新一代數(shù)據(jù)存儲架構(gòu)的設(shè)計與實現(xiàn)

【摘要】面向教育信息化2.0時代，教育信息化系統(tǒng)建設(shè)過程中迫切需要解決一系列數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建問題。本文以北京市西城區(qū)教育數(shù)據(jù)中心為例，在分析當(dāng)前教育數(shù)據(jù)存儲系統(tǒng)面臨的問題基礎(chǔ)上，研究探討新一代區(qū)域數(shù)據(jù)存儲架構(gòu)的設(shè)計與實施方案，以期更好地為教育信息化2.0服務(wù)?！娟P(guān)鍵詞】軟件定義存儲;數(shù)據(jù)中心;教育信息化當(dāng)前，隨著教育信息化發(fā)展的不斷深入，儲存教育數(shù)據(jù)的信息基礎(chǔ)設(shè)施已被視為重要的教育資源，面臨著數(shù)據(jù)存儲能力和數(shù)據(jù)安全管理能力雙重考驗。一方面，新技術(shù)新應(yīng)用融合教育教學(xué)發(fā)展迅猛，結(jié)合Web應(yīng)用的崛起，學(xué)校上傳大量的文檔、課件、照片和音視頻等非結(jié)構(gòu)化數(shù)據(jù)，加快了數(shù)據(jù)量的增長;另一方面，由于新冠肺炎疫情肆虐，刺激了在線學(xué)習(xí)應(yīng)用的發(fā)展，學(xué)校教科研和繼續(xù)教育活動多采用在線直播會議和錄播課的形式，進(jìn)一步促進(jìn)了數(shù)據(jù)量的爆炸式增長。面對這兩大趨勢，受傳統(tǒng)的存儲技術(shù)和架構(gòu)的限制，無法進(jìn)行有效應(yīng)對，而構(gòu)建一套部署靈活、易擴(kuò)展的分布式存儲架構(gòu)已成為新形勢下承載教育數(shù)據(jù)爆發(fā)增長的迫切需要。以北京市西城區(qū)教育數(shù)據(jù)中心為例，在教育信息化建設(shè)上擁有較完善的基礎(chǔ)設(shè)施。近兩年以虛擬化技術(shù)搭建西城教育云計算和存儲集群，分布于南區(qū)、北區(qū)兩個數(shù)據(jù)中心，為西城區(qū)中小學(xué)、幼兒園及教育直屬單位提供計算資源和數(shù)據(jù)存儲空間。目前，在集群中運(yùn)行了700余臺虛擬服務(wù)器，產(chǎn)生的教育數(shù)據(jù)約占400TB存儲空間;囊括了西城區(qū)教育單位絕大部分信息化應(yīng)用，涉及學(xué)籍系統(tǒng)、門戶網(wǎng)站、辦公應(yīng)用和數(shù)字校園等眾多系統(tǒng)，特別是“幼升小”和“小升初”入學(xué)排位查詢系統(tǒng)、領(lǐng)導(dǎo)干部評測系統(tǒng)、學(xué)生體檢數(shù)據(jù)采集系統(tǒng)、成績分析系統(tǒng)等重要系統(tǒng)也運(yùn)行于其中。隨著教育教學(xué)應(yīng)用系統(tǒng)的數(shù)量不斷增加，現(xiàn)有存儲設(shè)施已不能滿足不斷增長的數(shù)據(jù)量。西城教育數(shù)據(jù)存儲系統(tǒng)面臨的問題數(shù)據(jù)中心現(xiàn)有的存儲設(shè)施逐漸老舊，面臨存儲容量不足、硬件維護(hù)難度加大，軟硬件之間的緊耦合關(guān)系導(dǎo)致資源利用率和效率降低。突出表現(xiàn)在以下三個方面。（1）存儲速度不足，現(xiàn)有存儲均為4GB光纖連接至虛擬化服務(wù)器主機(jī)，由于虛擬機(jī)數(shù)量的增加，音視頻業(yè)務(wù)的增多，需要升級至16GB光纖連接。（2）現(xiàn)有存儲設(shè)備種類眾多，不同存儲設(shè)備對接不同應(yīng)用集群;傳統(tǒng)存儲邏輯卷分配復(fù)雜，擴(kuò)容困難，RAID發(fā)生故障后恢復(fù)慢，已不能滿足現(xiàn)存儲容量的規(guī)劃。（3）缺乏對數(shù)據(jù)安全的保護(hù)，數(shù)據(jù)無可用副本和備份等措施，難以保證數(shù)據(jù)的安全性，一旦存儲出現(xiàn)邏輯錯誤或者物理故障，整個業(yè)務(wù)癱瘓，數(shù)據(jù)易丟失。利用分布式架構(gòu)擴(kuò)容西城教育數(shù)據(jù)存儲資源池軟件定義存儲（SDS）是一種能將存儲軟件與硬件分隔開的分布式存儲架構(gòu)，把服務(wù)器、存儲等資源利用軟件進(jìn)行定義，可實現(xiàn)按需自動分配存儲資源。分布式存儲架構(gòu)不但能夠提供ISCSI、FC、NFS、CIFS和S3等多種存儲接口協(xié)議，支持FC虛擬化集群的利舊，還能夠滿足高性能低延時要求的業(yè)務(wù)場景。由于破解了存儲軟件對單一硬件廠商的依賴性，因此構(gòu)建SDS分布式存儲資源池可以不被綁定任何一家傳統(tǒng)存儲廠商，同時從底層的硬件設(shè)備（x86服務(wù)器），到上層的虛擬化/云平臺軟件、數(shù)據(jù)庫/應(yīng)用軟件都能無縫對接，大幅提高部署的靈活性。根據(jù)需求橫向擴(kuò)展存儲架構(gòu)，滿足不斷增加的容量需求;同時為保障數(shù)據(jù)安全，提供豐富的數(shù)據(jù)安全保護(hù)策略，有效避免數(shù)據(jù)受到侵害。總體設(shè)計方案及實施過程目前，西城南北數(shù)據(jù)中心分別規(guī)劃了兩個數(shù)據(jù)池，由12臺x86物理服務(wù)器連接組成，單池裸容量600TB，總存儲容量1.2PB，用以滿足目前存儲需求。同時對接虛擬化云平臺，提供南北各100TB備份一體機(jī)，實現(xiàn)關(guān)鍵數(shù)據(jù)信息的備份，如果出現(xiàn)數(shù)據(jù)損壞問題可以快速恢復(fù)原有數(shù)據(jù)。1.SDS分布式存儲集群架構(gòu)設(shè)計按照西城教育數(shù)據(jù)存儲資源池設(shè)計要求，采用X86架構(gòu)服務(wù)器構(gòu)建統(tǒng)一的分布式存儲資源池，滿足了按需提供塊、文件和對象等全融合存儲服務(wù)能力，結(jié)合西城教育虛擬化平臺和數(shù)據(jù)庫應(yīng)用，提供高性能、高擴(kuò)展能力，可作為未來云計算的基礎(chǔ)設(shè)施。如圖1所示，一方面提供了標(biāo)準(zhǔn)NFS和CIFS接口，為Windows、Linux物理服務(wù)器環(huán)境下的數(shù)據(jù)庫或業(yè)務(wù)應(yīng)用系統(tǒng)提供文件存儲服務(wù)。另一方面提供了兼容AmazonS3接口，應(yīng)用于海量音視頻等非結(jié)構(gòu)化數(shù)據(jù)、備份歸檔等場景的對象存儲功能，可以無縫對接云計算生態(tài)，滿足西城教育云平臺、西城在線學(xué)習(xí)平臺及在線直播平臺場景需求。2.SDS分布式存儲副本策略的設(shè)計采用X86架構(gòu)構(gòu)建的資源池為保障數(shù)據(jù)的安全性，支持系統(tǒng)管理員按照設(shè)定的兩副本、三副本進(jìn)行冗余存儲。以存儲數(shù)據(jù)為三副本的簡單模型為例，任意1個節(jié)點上的主副本數(shù)據(jù)損壞，其備副本數(shù)據(jù)會均勻分布在其他節(jié)點上，單點故障系統(tǒng)不會丟失數(shù)據(jù)。對于副本策略需采用強(qiáng)一致性復(fù)制協(xié)議來保證數(shù)據(jù)的一致性，即只有當(dāng)所有副本都寫成功，才返回寫入磁盤成功。正常情況下需要保證每個副本上的數(shù)據(jù)都完全一致，從任一副本讀到的數(shù)據(jù)都是相同的。如果某個副本中的某個磁盤短暫故障，SDS分布式存儲會暫時不寫這個副本，等恢復(fù)后再恢復(fù)該副本上的數(shù)據(jù);如果磁盤長時間或者永久故障，存儲集群會把這個磁盤從群集中移除掉，并為副本尋找新的副本磁盤，再通過重建機(jī)制使得數(shù)據(jù)在各個磁盤上分布均勻。這樣可以達(dá)到設(shè)備的冗余設(shè)計，既使某塊硬盤出現(xiàn)故障或者某個節(jié)點服務(wù)器出現(xiàn)宕機(jī)，也可以安全保障數(shù)據(jù)不被損壞和丟失。這就是分布式存儲的優(yōu)勢，節(jié)點越多，可靠性和可用性越突出。3.SDS分布式存儲支持雙活數(shù)據(jù)中心該方案還具有一大優(yōu)勢，它支持?jǐn)?shù)據(jù)中心雙活，實現(xiàn)數(shù)據(jù)中心級故障域;支持跨集群卷同步復(fù)制，存儲多副本數(shù)據(jù)鏡像在兩個數(shù)據(jù)中心，可保證任何一個數(shù)據(jù)中心內(nèi)所有存儲節(jié)點故障，業(yè)務(wù)零切換、數(shù)據(jù)零丟失。西城教育南區(qū)和北區(qū)兩個數(shù)據(jù)中心相距較近，又通過裸光纖直連，保障5ms延遲內(nèi)，可做卷同步復(fù)制，達(dá)到RPO=0，亦可手動切換，實現(xiàn)同城災(zāi)備。關(guān)鍵數(shù)據(jù)備份方案設(shè)計這幾年，隨著勒索病毒的肆虐，對數(shù)據(jù)安全構(gòu)成嚴(yán)重的威脅。為了最大限度保護(hù)關(guān)鍵數(shù)據(jù)，同時按照《網(wǎng)絡(luò)安全等級保護(hù)基本要求》指導(dǎo)建議，西城教育數(shù)據(jù)中心的災(zāi)備中心設(shè)計采用兩套數(shù)據(jù)備份一體機(jī)，分別部署在南區(qū)數(shù)據(jù)中心和北區(qū)數(shù)據(jù)中心，實現(xiàn)南北數(shù)據(jù)中心重要應(yīng)用數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)級災(zāi)備。方案中關(guān)鍵數(shù)據(jù)備份與容災(zāi)系統(tǒng)采用萬兆光纖網(wǎng)絡(luò)設(shè)計，實現(xiàn)核心業(yè)務(wù)數(shù)據(jù)穩(wěn)定可靠的快速備份與恢復(fù)。通過靈活定制自動備份恢復(fù)策略（根據(jù)不用業(yè)務(wù)等級，可按照月、周、天、小時、分鐘或周期性備份等策略設(shè)定），有效減少運(yùn)維管理工作量，并大幅提升重建系統(tǒng)的時效性。支持重復(fù)數(shù)據(jù)刪除技術(shù)，大幅減少備份數(shù)據(jù)量，有效提升備份存儲空間利用率。誠然，以軟件定義存儲（SDS）為基礎(chǔ)設(shè)計的分布式存儲解決方案，是當(dāng)代數(shù)據(jù)中心技術(shù)演進(jìn)的主要趨勢之一，作為“新基建”信息化基礎(chǔ)設(shè)施的核心組件，其具備良好的性能和可觀的經(jīng)濟(jì)效益，并且具有敏捷高效、按需部署、穩(wěn)定可靠等特點。新的存儲架構(gòu)不但有效解決了之前遇到的數(shù)據(jù)存儲痛點，還增加了傳統(tǒng)“集中式”存儲難以具備的優(yōu)勢和收益，主要包括：（1）軟硬解耦，實現(xiàn)存儲軟件化和硬件標(biāo)準(zhǔn)化，不被硬件廠商所綁定。（2）采用Scale-Out/橫向擴(kuò)展，實現(xiàn)按需部署，后續(xù)擴(kuò)容存儲性能和容量同步增加。（3）計算存儲分離，存儲系統(tǒng)更穩(wěn)定，適用于多種虛擬化及物理服務(wù)器環(huán)境下的生產(chǎn)系統(tǒng)。西城教育數(shù)據(jù)中