超融合在大型現(xiàn)代制造業(yè)的應(yīng)用研究

1、    超融合在大型現(xiàn)代制造業(yè)的應(yīng)用研究    湯亞宇摘要：超融合解決了計算、存儲、網(wǎng)絡(luò)的融合問題，將虛擬化計算、網(wǎng)絡(luò)、存儲整合到同一個系統(tǒng)平臺。超融合架構(gòu)極大地提升了計算能力、提高了網(wǎng)絡(luò)吞吐能力、減小了網(wǎng)絡(luò)延時，依靠底層分布式存儲及其多副本和數(shù)據(jù)熱冷分層能力，大幅提升存儲性能和數(shù)據(jù)容災(zāi)能力，解決了計算、存儲容量、存儲性能、網(wǎng)絡(luò)資源的按需擴展的問題，為現(xiàn)代制造業(yè)企業(yè)提供了高性能、高可靠和可擴展的企業(yè)私有云基礎(chǔ)架構(gòu)，成為大型現(xiàn)代制造業(yè)企業(yè)的erp、mes、大數(shù)據(jù)、hpc和3d桌面虛擬化等應(yīng)用的理想承載平臺。關(guān)鍵詞：超融合；軟件定義存儲；云數(shù)據(jù)中心；企業(yè)私有

2、云：tp39 ：a ：1009-3044（2018）20-0230-03application study of hyper-convergence in large-scale modern manufacturingtang ya-yu（crrc zhuzhou electric co.， ltd.， zhuzhou 412001， china）abstract： hyper-convergence solves the problem of integration of computing， storage and networking， and integrates virtualiz

3、ed computing， networking and storage into the same system platform. hyper-converged architecture greatly enhances computing capacity， improves network throughput， and reduces network latency. it also relies on the underlying distributed storage and its multiple copies and data hot and cold tiering c

4、apabilities to significantly improve storage performance and data disaster recovery. it solves the problem of calculation， storage capacity， storage performance and on-demand expansion of network resources， and provides modern manufacturing companies with high-performance， highly reliable， and scala

5、ble enterprise private cloud infrastructure. it becomes an ideal carrier platform for applications of a large-scale modern manufacturing enterprise， such as erp， mes， big data， hpc and 3d desktop virtualization.key words： hyper-convergence；software-defined storage； cloud data center；enterprise priva

6、te cloud1 引言超融合架構(gòu)是為下一代云數(shù)據(jù)中心設(shè)計的橫向擴展的軟件定義架構(gòu)，以軟件定義一切（包括計算、存儲、網(wǎng)絡(luò)、安全和管理）1。計算、存儲和網(wǎng)絡(luò)資源高度融合；服務(wù)器端閃存和數(shù)據(jù)熱冷分層為核心。超融合數(shù)據(jù)中心基礎(chǔ)架構(gòu)構(gòu)建在通用硬件上，不需要單獨的存儲設(shè)備（如nas、san等），在超融合群集中每個節(jié)點不僅僅具備計算、網(wǎng)絡(luò)、存儲和服務(wù)器虛擬化等資源和技術(shù)，而且包括管理監(jiān)控、備份恢復(fù)、數(shù)據(jù)快照技術(shù)、數(shù)據(jù)除重、數(shù)據(jù)壓縮等功能，多個節(jié)點可以通過網(wǎng)絡(luò)聚合起來，實現(xiàn)模塊化的無縫橫向擴展（scaleout），從而形成統(tǒng)一的資源池2。隨著硬件數(shù)增加，計算能力、網(wǎng)絡(luò)能力、存儲能力（包含容量和iops）能夠

7、接近于線性的提升，這些需求在計算設(shè)備和存儲設(shè)備分離的傳統(tǒng)san架構(gòu)無法滿足，同時基于傳統(tǒng)架構(gòu)封裝的整合一體機架也不能滿足。而使用通用x86服務(wù)器硬件，并且所有節(jié)點既是計算節(jié)點也是存儲節(jié)點才能適應(yīng)云計算中心按需快速大規(guī)模擴展、高密度且廉價的每計算和存儲節(jié)點、優(yōu)異的計算和存儲性能、分布式計算和存儲的多副本和高可用性的要求3。超融合架構(gòu)可以充分滿足大型現(xiàn)代制造業(yè)各種大型、關(guān)鍵業(yè)務(wù)應(yīng)用的苛刻要求，幫助其優(yōu)化it系統(tǒng)性能、提升效率、節(jié)約建設(shè)和管理成本。本文主要研究超融合架構(gòu)及應(yīng)用問題分析，為現(xiàn)代制造業(yè)it遷移到超融合架構(gòu)的分析和應(yīng)用提供理論與實踐依據(jù)。2 超融合架構(gòu)傳統(tǒng)的san存儲架構(gòu)中，每臺服務(wù)器上運

8、行的大量虛擬機均在集中的存儲設(shè)備上讀、寫大量的數(shù)據(jù)，虛擬機運行的應(yīng)用的性能瓶頸在于集中的存儲設(shè)備的磁盤io過慢，系統(tǒng)的大部分時間在等待數(shù)據(jù)在存儲上完成讀寫，存儲不能滿足大量數(shù)據(jù)交互的需求，從而導(dǎo)致cpu的大部分計算能力都無法有效利用4。相比服務(wù)器上虛擬機的可快速擴張的cpu計算能力，傳統(tǒng)存儲的容量和性能存在嚴重的不協(xié)調(diào)和不適應(yīng)，成為整個數(shù)據(jù)中心基礎(chǔ)架構(gòu)的瓶頸，嚴重影響到大型、關(guān)鍵業(yè)務(wù)應(yīng)用的使用和推廣5。超融合架構(gòu)通過拋棄傳統(tǒng)存儲架構(gòu)，使用計算、網(wǎng)絡(luò)和存儲融合的方式，利用分布式存儲池提供幾乎無上限的性能和容量，配合使用閃存加速、熱冷數(shù)據(jù)分層算法、基于roce的10g/40g網(wǎng)絡(luò)、存儲qos策略、

9、數(shù)據(jù)副本與校驗混合卷、數(shù)據(jù)壓縮和去重、存儲同步/異步復(fù)制等核心技術(shù)，實現(xiàn)性能的橫向可擴展和運維的可擴展。其中性能的可擴展是增加節(jié)點數(shù)量和磁盤時，整個吞吐、容量和lops能得到了橫向線性提升6。運維的可擴展是當節(jié)點和磁盤故障成為某段時間的系統(tǒng)常態(tài)時，減少故障對整個集群的性能影響，實現(xiàn)組件故障后自愈，從而減少運維量，達到運維的可擴展，如圖1所示。3 超融合的應(yīng)用問題分析3.1高可用性與存儲效率問題超融合的數(shù)據(jù)容錯方式包括雙向鏡像、三向鏡像、單奇偶校驗和雙奇偶校驗。在鏡像方式中，雙向鏡像就是所有數(shù)據(jù)存在兩個副本，存儲效率為 50%，每次容忍一個節(jié)點故障。三向鏡像就是所有數(shù)據(jù)存在三個副本，存儲效率為

10、33.3%，每次容忍兩個節(jié)點故障。由于鏡像模式在數(shù)據(jù)讀寫時均不需要計算校驗，因此性能好。在奇偶校驗方式中，單奇偶校驗僅保留一個按位奇偶校驗符號，一次僅對一個節(jié)點失敗提供容錯，存儲效率為50.0% - 85.0%。雙奇偶校驗實現(xiàn) reed-solomon 錯誤更正代碼，保留兩個按位奇偶校驗符號，一次僅對兩個節(jié)點失敗提供容錯，存儲效率為50.0% - 80.0%；由于奇偶校驗方式在寫數(shù)據(jù)時和故障狀態(tài)下讀數(shù)據(jù)時均需要計算，因此性能不及鏡像方式。顯然在生產(chǎn)環(huán)境中為了規(guī)避1個節(jié)點計劃停機期間，另1個節(jié)點突發(fā)故障的場景，同時容忍2個節(jié)點同時發(fā)生故障是必然的選擇，如圖2所示，在以下六種情況可以支持容錯高可用

11、，不會導(dǎo)致數(shù)據(jù)離線或丟失：丟失了一個驅(qū)動器（包括緩存驅(qū)動器）丟失了一個節(jié)點丟失了一個節(jié)點和一個驅(qū)動器不同節(jié)點丟失了兩個驅(qū)動器丟失了超過兩個驅(qū)動器，前提是最多兩個節(jié)點受影響丟失了兩個節(jié)點因為容忍2個節(jié)點同時發(fā)生故障生產(chǎn)環(huán)境下高可用性的必然選擇，但是由于三向鏡像的存儲效率只有33.3%，而雙奇偶校驗的讀寫速度較慢，顯然都不是理想的選擇。超融合的數(shù)據(jù)存儲卷也可以采用混合方式，一部分是三向鏡像，另一部分是雙奇偶校驗。寫入首先在鏡像部分中進行，稍后逐漸移到奇偶校驗部分，因此該方式在使用ssd作為緩存的基礎(chǔ)上，再進行了熱冷數(shù)據(jù)分層，熱數(shù)據(jù)存儲于鏡像部分（速度更快），冷數(shù)據(jù)存儲于奇偶校驗部分，實現(xiàn)了較高的存

12、儲性能，由于混合模式的存儲效率為33%- 80%，更好的平衡了性能和存儲效率的矛盾，同時提供容忍2個節(jié)點同時發(fā)生故障。3.2 網(wǎng)絡(luò)性可靠與延遲問題ip數(shù)據(jù)網(wǎng)絡(luò)目前在數(shù)據(jù)中心主要使用以太網(wǎng)，普通的以太網(wǎng)并不是lossless ethernet，它不包含任何重傳（重傳由上層的tcp協(xié)議控制）和流控制技術(shù)、保證傳輸?shù)裙δ埽⒉贿m合作為存儲網(wǎng)絡(luò)。通過data center bridging（dcb）、congestion notification（ieee802.1qau）、priority flow control（ieee 802.1qbb）和enhanced transmission selec

13、tion（ieee 802.1qaz）等技術(shù)對以太網(wǎng)絡(luò)增強（enhanced ethernet）。超融合架構(gòu)中應(yīng)該使用支持roce（rdma over converged ethernet）的10g/40g網(wǎng)絡(luò)和enhanced ethernet的數(shù)據(jù)中心交換機構(gòu)建超融合網(wǎng)絡(luò)，實現(xiàn)流控和糾錯。同時rdma可使各個節(jié)點直接在應(yīng)用程序內(nèi)存之間移動數(shù)據(jù)，而無須cpu 的參與，是一種可以極低延遲在無損以太網(wǎng)網(wǎng)絡(luò)上提供高效數(shù)據(jù)傳輸?shù)臋C制，和普通tcp/ip網(wǎng)絡(luò)比較性能提高30%-60%，有效降低分布式存儲各個節(jié)點的數(shù)據(jù)交換延遲，如圖3所示。3.3 超融合的磁盤驅(qū)動器的選擇超融合架構(gòu)通過內(nèi)置服務(wù)器端的、大

14、型、持久且實時的讀取和寫入緩存，最大限度地提高存儲性能。磁盤驅(qū)動器的部署方式包括“全閃存”和“混合”兩個類別。全閃存部署：全閃存部署旨在最大限度地提高存儲性能；該方式實現(xiàn)可預(yù)測和統(tǒng)一子毫秒延遲跨隨機讀取和寫入的任何數(shù)據(jù)，可實現(xiàn)非常高 iops 或 io 吞吐量，如圖4所示。在超融合構(gòu)建中應(yīng)該根據(jù)企業(yè)應(yīng)用的實際情況在一個超融合群集中構(gòu)建多個存儲池，將企業(yè)大型應(yīng)用和高io需求型應(yīng)用部署在全閃存磁盤存儲池上，將一般應(yīng)用和容量性應(yīng)用部署與混合磁盤存儲池上，有效的平衡成本、性能和容量約束。4 現(xiàn)代制造業(yè)it遷移到超融合架構(gòu)的分析和應(yīng)用現(xiàn)在大型現(xiàn)代制造業(yè)越來越依賴于信息技術(shù)提高企業(yè)的綜合競爭力，工業(yè)4.0

15、和互聯(lián)網(wǎng)+為大型現(xiàn)代制造業(yè)升級和跨越式發(fā)展的方向。企業(yè)的erp、mes、hpc、3d虛擬桌面設(shè)計、大數(shù)據(jù)等各類應(yīng)用平臺需要依據(jù)工業(yè)4.0和互聯(lián)網(wǎng)+的要求建設(shè)和升級，亟須建設(shè)使用通用硬件、能夠按需快速大規(guī)模擴展、計算和存儲節(jié)點高密度且廉價、計算和存儲性能優(yōu)異、計算、存儲和網(wǎng)絡(luò)資源高可用性的私有云平臺，超融合架構(gòu)充分滿足了大型現(xiàn)代制造業(yè)的數(shù)據(jù)中心的需求。在向超融合架構(gòu)遷移的過程中需要依據(jù)企業(yè)實際情況進行合理規(guī)劃和分析評估，確保適合的it應(yīng)用系統(tǒng)遷移到超融合架構(gòu)。第一，傳統(tǒng)的it應(yīng)用系統(tǒng)向超融合架構(gòu)遷移。傳統(tǒng)it應(yīng)用大多采用物理服務(wù)器連接獨立存儲陣列，應(yīng)該首先將其虛擬化，使用p2v技術(shù)或重新遷移部署

16、的方式將應(yīng)用系統(tǒng)遷移到超融合架構(gòu)中。將原有的服務(wù)器、磁盤和存儲設(shè)備利舊，使用虛擬化技術(shù)根據(jù)硬件的實際情況改造超融合虛擬化平臺或基于san的虛擬化平臺，作為企業(yè)的一般應(yīng)用部署環(huán)境或開發(fā)測試環(huán)境。第二，對于現(xiàn)有已虛擬化的it應(yīng)用系統(tǒng)遷移。該方式已有計算資源池、存儲資源池及網(wǎng)絡(luò)資源池，但各資源相對獨立，當系統(tǒng)規(guī)模擴大時，存儲容量和性能的水平擴展成為主要性能瓶頸，可以利用與原私有云系統(tǒng)兼容的超融合技術(shù)，將現(xiàn)有架構(gòu)向軟件定義存儲架構(gòu)升級。第三，對于企業(yè)新建的大數(shù)據(jù)、物聯(lián)網(wǎng)、智慧園區(qū)、mes等存在大量數(shù)據(jù)存儲及交換的系統(tǒng)，應(yīng)該優(yōu)先使用超融合架構(gòu).可實現(xiàn)數(shù)據(jù)的快速存儲、讀取，能有效提升用戶對it應(yīng)用的使用體

17、驗。最后，由于超融合架構(gòu)一般搭配虛擬化技術(shù)使用，因此不適合虛擬化技術(shù)的it應(yīng)用系統(tǒng)，也不應(yīng)該部署于超融合架構(gòu)，例如小型機的應(yīng)用和使用非通用硬件的應(yīng)用系統(tǒng)。大型現(xiàn)代制造業(yè)信息系統(tǒng)經(jīng)過長期的發(fā)展，信息系統(tǒng)規(guī)模大、關(guān)聯(lián)依賴復(fù)雜，數(shù)據(jù)量增長迅速，數(shù)據(jù)交互量日益增大，如果采用超融合架構(gòu)來建設(shè)，可現(xiàn)實業(yè)務(wù)快速部署、彈性和靈活擴展、統(tǒng)一管理計算、網(wǎng)絡(luò)和存儲，能有效降低企業(yè)tco，快速提升用戶體驗。參考文獻：1 林偉偉，劉波.分布式計算、云計算與大數(shù)據(jù)m.北京：機械工業(yè)出版社，2015.2 thomas n d， gray k. sdn：software defined networksm.北京：人民郵電出版社，2014.3 李晨，段曉東，陳煒，等.sdn和nfv的思考與實踐j.電信科學(xué)，2014（8）：2327.4 m