談?wù)刋yrate和希捷技術(shù)發(fā)展

1、 不談DSSD，談?wù)刋yrate和希捷 DSSD出師未捷身先死，一個(gè)架構(gòu)新穎、設(shè)計(jì)高端、性能牛掰、時(shí)延空前的產(chǎn)品已經(jīng)離我們而去，只因時(shí)代發(fā)展太慢，產(chǎn)品生不逢時(shí)，亂世出英雄，亂世也可以埋沒(méi)英雄。話說(shuō)DSSD技術(shù)還在，是呀，一個(gè)宣傳如此之久、耗資數(shù)以十幾億計(jì)產(chǎn)品曾在存儲(chǔ)路上走過(guò)，那肯定要留點(diǎn)什么下來(lái)，否則豈不就如同打個(gè)水漂，不留下一點(diǎn)漣漪嗎。 希捷不僅是傳統(tǒng)磁盤的龍頭老大，而是在HPC解決方案及場(chǎng)景也舉足輕重，這主要得益于收購(gòu)活躍在HPC行業(yè)的佼佼者Xyrate，從而獲得ClusterStor產(chǎn)品和方案。 ClusterStor緊密集成Lustre或GPFS到性能和容量?jī)?yōu)化解決方案，非常適合HPC

2、、大數(shù)據(jù)和分析。ClusterStor存儲(chǔ)分了以下4中，L系列、G系列、A系列和SL系列。L系列集成Lustre軟件，G系列集成GPFS (IBM Spectrum Scale)并行文件系統(tǒng)，ClusterStor A200是專為HPC設(shè)計(jì)的主動(dòng)歸檔對(duì)象存儲(chǔ). ClusterStor SL200支持多PB存儲(chǔ)容量，是業(yè)內(nèi)首款兼容ICD 503并滿足多級(jí)別安全Certified Multilevel Security (MLS)要求的產(chǎn)品。 RealStor 12G AFA 4005/5005是全閃存配置, RealStor hybrid 4005是混合存儲(chǔ)。 此外，希捷還提供了OneStor

3、SP-2584存儲(chǔ)框，類似JBOD，可以直接擴(kuò)容ClusterStor。中低端產(chǎn)品主要是收購(gòu)Dothill的AssuredSAN產(chǎn)品。 ClusterStor L300N是最新產(chǎn)品，支持1.6TB/s帶寬性能，ClusterStor L300N提供無(wú)與倫比的帶寬和IOPS性能，并與Lustre file system集成，希捷存儲(chǔ)機(jī)柜采用高可用性功能設(shè)計(jì)，元數(shù)據(jù)和管理服務(wù)器由希捷ClusterStor管理軟件堆棧管理消除了單點(diǎn)故障。 ClusterStor Nytro Intelligent I/O Manager提供性能加速，并對(duì)IO負(fù)載進(jìn)行監(jiān)控，針對(duì)小塊IO，未對(duì)齊的I/O或讀取修改寫入I

4、O進(jìn)行優(yōu)化。 ClusterStor產(chǎn)品系列構(gòu)建于希捷成熟的OneStor磁盤框之上，通過(guò)一組通用的SAS兼容的橋接器和Intel服務(wù)器模塊相連；今天我們也主要討論下ClusterStor產(chǎn)品。ClusterStor產(chǎn)品架構(gòu) ClusterStor管理單元（CMU）包括：4個(gè)x86英特爾服務(wù)器，通過(guò)SAS連接OneStor SP-2224或OneStor SP-2584。CMU服務(wù)器機(jī)箱是2個(gè)機(jī)架單位的4節(jié)點(diǎn)Intel服務(wù)器。 該服務(wù)器提供三種服務(wù)：ClusterStor Manager（CSM），Lustre MetaData服務(wù)器（MDS）和Luster管理服務(wù)器（MGS）。 CMU承擔(dān)M

5、DS/MDT/MGS/管理軟件的功能，是文件系統(tǒng)集群的中央管理點(diǎn)。CMU硬件上包括一對(duì)服務(wù)器、集成RAID、共享磁盤。CMU是完全冗余的，能夠自動(dòng)進(jìn)行故障恢復(fù)。 ClusterStorTM Manager（CSM）是一個(gè)基于CLI和Web的GUI工具，提供統(tǒng)一的系統(tǒng)管理視圖，顯示來(lái)自ClusterStorTM平臺(tái)上不同信息源的所有必要信息，包括硬件，Lustre和存儲(chǔ)。 Scalable Storage Unit（SSU）是OneStor SP-2584（5U 84驅(qū)動(dòng)器），包括2個(gè)嵌入式服務(wù)器模塊（ESM）,運(yùn)行Lustre對(duì)象存儲(chǔ)服務(wù)器。SSU承擔(dān)OSS/OST的功能。集成RAID、共享磁

6、盤。通過(guò)同一個(gè)背板直連。OSS是完全冗余的，能夠自動(dòng)進(jìn)行故障恢復(fù)。SSU是Xyratex專門設(shè)計(jì)的，5U 84個(gè)磁盤，密度高，專用于HPC應(yīng)用。所有磁盤可以單獨(dú)熱插拔。 實(shí)際上，SSU和CMU實(shí)現(xiàn)了計(jì)算和存儲(chǔ)融合，SSU實(shí)現(xiàn)了lustre系統(tǒng)的OSS/OST功能，是盤控一體的模塊，1個(gè)SSU包含2個(gè)OSS，1個(gè)OSS包含4個(gè)OST。5U高度的SSU一共84塊硬盤。每個(gè)抽屜是42塊硬盤，其中40塊分成4個(gè)RAID6組，每個(gè)RAID6組是8+2，每個(gè)RAID6組是一個(gè)OST。1個(gè)SSU總共配置了8個(gè)RAID6組80個(gè)硬盤，剩下4個(gè)硬盤，其中2做熱備盤，2個(gè)配置SSD作為性能加速。 Expansio

7、n Storage Unit（ESU）OneStor SP-2584（5U 84驅(qū)動(dòng)器），包括：EBOD模塊，即SAS擴(kuò)展模塊，允許OneStor SP-2584作為SSU的擴(kuò)展機(jī)柜，每個(gè)SSU最多可以有1個(gè)ESU。 ClusterStor 9000產(chǎn)品中的ESU機(jī)箱與SSU機(jī)箱相同，高5個(gè)機(jī)架單元。SSU和ESU之間的區(qū)別是在ESU中，嵌入式服務(wù)器模塊（ESM）被替換為EBOD模塊（SAS擴(kuò)展器），可以通過(guò)SAS連接到SSU父節(jié)點(diǎn)存儲(chǔ)單元的嵌入式服務(wù)器模塊，可以實(shí)現(xiàn)擴(kuò)容并將SSU看作另一組存儲(chǔ)目標(biāo)來(lái)管理。 ClusterStor集成Lustre，基于Lustre 2.5的企業(yè)硬化并行文件系統(tǒng)

8、。用DNE（分布式NameSpace）單元在線擴(kuò)展MetaData容量和性能的能力，通過(guò)添加額外的SSU在線擴(kuò)展數(shù)據(jù)容量和性能的能力。 下面是ClusterStor的詳細(xì)結(jié)構(gòu)圖，管理服務(wù)和元數(shù)據(jù)服務(wù)都采用HA高可用架構(gòu)，網(wǎng)絡(luò)支持InfiniBand EDR, FDR, QDR，Ethernet 40；Intel Omni-Path；且采用冗余架構(gòu)。SSU內(nèi)部有兩臺(tái)服務(wù)器實(shí)現(xiàn)存儲(chǔ)服務(wù)HA，SSU系統(tǒng)支持84塊磁盤，通過(guò)SAS可以擴(kuò)展一臺(tái)ESU單元，提供更多存儲(chǔ)容量。 ClusterStor的存儲(chǔ)軟件架構(gòu)，除了優(yōu)化的Lustre，還包括RAID、GEM、Cache、Replication等。提供G

9、ridRAID技術(shù)，其中數(shù)據(jù)是隨機(jī)分布的，GridRAID將RAID 6（8 + 2）數(shù)據(jù)保護(hù)條帶以偽隨機(jī)方式把數(shù)據(jù)和奇偶校驗(yàn)分布以到大量物理存儲(chǔ)設(shè)備上。邏輯數(shù)據(jù)布局與物理存儲(chǔ)組織分離，GridRAID能夠通過(guò)使用GridRAID卷中的所有磁盤來(lái)重建數(shù)據(jù)，這種加速的冗余恢復(fù)被稱為“GridRAID重建”。 在初始配置系統(tǒng)時(shí)，容量和性能決定選擇SSU和ESU，以及擴(kuò)展的building block對(duì)應(yīng)的SSU到ESU比率，并且通過(guò)簡(jiǎn)單地添加額外的可擴(kuò)展存儲(chǔ)單元SSU和ESU，線性地實(shí)現(xiàn)無(wú)中斷地?cái)U(kuò)展性能和容量。 從上面ClusterStor L300N規(guī)格可以看出，ClusterStor的Base Rack支持6個(gè)SSU，Expansion Rack支持7個(gè)SSU。 簡(jiǎn)單總結(jié)一下，希捷Xyrate致力于HPC場(chǎng)景，在方案上提供Lustre和GPFS兩種并行文件系統(tǒng)選擇，而且覆蓋了在線計(jì)算、歸檔和安全法規(guī)遵從等場(chǎng)景；在性能上ClusterS