MSPE-技術(shù)類(lèi)-3-存儲(chǔ)硬件架構(gòu)設(shè)計(jì) v1.2

MSPE培訓(xùn)教材—存儲(chǔ)硬件架構(gòu)技術(shù)名詞解釋CISC：ComplexInstructionSetComputer，復(fù)雜指令集計(jì)算機(jī)，現(xiàn)在市面常見(jiàn)的是Intel、AMD的產(chǎn)品，比如IntelXeonRISC：reducedinstructionsetcomputer，精簡(jiǎn)指令集計(jì)算機(jī)，現(xiàn)在市面常見(jiàn)的是IBM、FreeScale的產(chǎn)品，比如IBMPower6ASIC：ApplicationSpecificIntegratedCircuit，專(zhuān)用集成電路，廠家為了某種特定需求而設(shè)計(jì)的專(zhuān)用電路IA架構(gòu)：IntelArchitecture，英特爾體系架構(gòu)，主要是CISC陣營(yíng)的產(chǎn)品（至強(qiáng)、酷睿、賽揚(yáng)等），部分產(chǎn)品屬于RISC架構(gòu)（IOP），少數(shù)產(chǎn)品（安騰系列）屬于CISC和RISC的結(jié)合CISC架構(gòu)存儲(chǔ)陣營(yíng)CISC：復(fù)雜指令集計(jì)算機(jī)，主要是Intel、AMD的X86處理器，基于Intel架構(gòu)的又稱(chēng)IA架構(gòu)應(yīng)用：存儲(chǔ)中端存儲(chǔ)產(chǎn)品的首選，逐步應(yīng)用于高端產(chǎn)品。陣營(yíng)：EMCVNX系列/VMAX系列、IBMV7000系列、NetappFAS系列、華賽S5000T系列等?，F(xiàn)狀發(fā)展早期性能迅速增強(qiáng)，成本下降明顯已發(fā)布針對(duì)存儲(chǔ)應(yīng)用的專(zhuān)用芯片標(biāo)準(zhǔn)化程度高，被廣泛接收，應(yīng)用范圍廣廠家的實(shí)力強(qiáng)，發(fā)展迅速非針對(duì)存儲(chǔ)應(yīng)用，性能不強(qiáng)，成本較高只被少數(shù)存儲(chǔ)廠家采用CISC架構(gòu)控制器設(shè)計(jì)StorageProcessorCPUCPUCPUCPUCPUCPUCPUCPU64bitArchitectureMirroredWriteCacheOverheadReadCacheStorageProcessorCPUCPUCPUCPUCPUCPUCPUCPU64bitArchitectureMirroredWriteCacheOverheadReadCacheFanx8CMIFanFanFanPowerSupplyPowerSupplyI/OComplexI/OComplexFCModuleiSCSIModuleFCModuleFCModuleFCModuleiSCSIModuleFCModuleiSCSIModuleFCModuleFCModuleFCModuleiSCSIModule2顆Xeon四核處理器(2.33GHz)16GB緩存EMCCX4-960控制器架構(gòu)基于CISC架構(gòu)(IntelX86)的控制器設(shè)計(jì)包括RAID處理在內(nèi)的所有功能都由X86處理器提供(軟RAID)，對(duì)處理器性能、緩存算法的要求都較高需要更高主頻或更多數(shù)量的處理器、更大的內(nèi)存、更強(qiáng)調(diào)緩存調(diào)度算法PCI-E1.0技術(shù)RISC架構(gòu)存儲(chǔ)陣營(yíng)RISC：精簡(jiǎn)指令集計(jì)算機(jī)，主要是FreeScale、ARM、IBM的產(chǎn)品，比如IBMPowerPC應(yīng)用：常見(jiàn)于低端存儲(chǔ)產(chǎn)品，較多采用RISC+ASIC混合架構(gòu)。由于歷史原因，部分高端產(chǎn)品還在采用RISC架構(gòu)。陣營(yíng)：IBMDS3000、臺(tái)灣盤(pán)陣廠家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、銳捷等)現(xiàn)狀發(fā)展早期性能不高，成本較低主要應(yīng)用于低端存儲(chǔ)領(lǐng)域標(biāo)準(zhǔn)化程度低，接受范圍有限廠家的實(shí)力和投入有限等原因，發(fā)展比較緩慢早期產(chǎn)品速度快、設(shè)計(jì)簡(jiǎn)單廣泛應(yīng)用于低端/高端存儲(chǔ)領(lǐng)域，中端存儲(chǔ)領(lǐng)域應(yīng)用較少RISC架構(gòu)控制器設(shè)計(jì)采用PowerPC440ROC800-MHz處理器(akaMeteor)超標(biāo)量核芯，帶有一個(gè)1.9xMIPS倍增器，轉(zhuǎn)換成1.5-GHZx-scale執(zhí)行XOR和P+QIBMDS3500(LSIEngino2600)控制器架構(gòu)項(xiàng)目DS3500架構(gòu)RISC處理器PowerPC440最大緩存4GB最大磁盤(pán)數(shù)96滿(mǎn)配主機(jī)接口8*FC+6*SAS滿(mǎn)配后端接口2*SAS處理器能力弱，整體規(guī)格低ASIC架構(gòu)存儲(chǔ)陣營(yíng)ASIC：專(zhuān)用集成電路，廠商為了某種特定需求（通常是RAID加速）而設(shè)計(jì)的專(zhuān)用電路應(yīng)用：少數(shù)上一代中端產(chǎn)品還在采用，部分中低、低端盤(pán)陣還在采用，一般采用ASIC+CISC或者ASIC+RISC架構(gòu)。陣營(yíng)：HDSHUS系列、IBMDS5000（LSIEngino7900）、Infortrend現(xiàn)狀發(fā)展早期性能不高，成本不低，無(wú)競(jìng)爭(zhēng)優(yōu)勢(shì)，只有少數(shù)上一代產(chǎn)品還在采用實(shí)現(xiàn)復(fù)雜，架構(gòu)封閉，可移植性差存儲(chǔ)廠家的芯片實(shí)力遠(yuǎn)落后于Intel等廠家，發(fā)展緩慢專(zhuān)為存儲(chǔ)的RAID處理而設(shè)計(jì)，能夠顯著提高RAID處理效率需要與CISC處理器協(xié)同工作ASIC+CISC混合控制器設(shè)計(jì)ASIC芯片，RAID處理Xeon芯片，管理功能內(nèi)存訪(fǎng)問(wèn)帶寬低ASIC+CSIC混合架構(gòu)ASIC：主要承擔(dān)RAID處理、緩存鏡像兩部分功能CSIC：承擔(dān)系統(tǒng)管理、數(shù)據(jù)管理、數(shù)據(jù)保護(hù)等功能應(yīng)用狀況和前景技術(shù)更新緩慢(1)處理能力有限;(2)支持的內(nèi)存容量小；可移植性差(1)技術(shù)設(shè)計(jì)和實(shí)現(xiàn)復(fù)雜(2)通用性差，非常封閉HDSHUS控制器架構(gòu)8-16GB緩存控制器架構(gòu)設(shè)計(jì)總結(jié)CISC(X86)ASIC應(yīng)用產(chǎn)品特點(diǎn)復(fù)雜指令集計(jì)算機(jī)，主要是Intel、AMD的X86處理器基于Intel架構(gòu)的又稱(chēng)IA架構(gòu)早期無(wú)存儲(chǔ)專(zhuān)用芯片，性能不強(qiáng)，成本較高標(biāo)準(zhǔn)化程度高，廠家的實(shí)力強(qiáng)，發(fā)展迅速性能迅速增強(qiáng)，成本下降明顯中端存儲(chǔ)產(chǎn)品的首選，逐步應(yīng)用于高端產(chǎn)品EMCCX4系列(Intel)、NetappFAS系列(AMD)專(zhuān)用集成電路，廠家為了某種特定需求（通常是RAID加速）而設(shè)計(jì)的專(zhuān)用電路專(zhuān)為存儲(chǔ)的RAID處理而設(shè)計(jì)，與主處理器一起工作，早期能夠顯著提高RAID處理效率實(shí)現(xiàn)復(fù)雜，架構(gòu)封閉，可移植性差，發(fā)展緩慢常用于中端存儲(chǔ)產(chǎn)品，采用CISC+ASIC混合架構(gòu)HDSAMS2000、LSIEngino7900(IBMDS5000)RISC精簡(jiǎn)指令集計(jì)算機(jī)，主要是FreeScale、ARM、IBM的產(chǎn)品早期產(chǎn)品速度快、設(shè)計(jì)簡(jiǎn)單由于標(biāo)準(zhǔn)化程度差，廠家的實(shí)力和投入有限等原因，發(fā)展比較緩慢性能不高，成本較低常見(jiàn)于低端存儲(chǔ)產(chǎn)品，如Infortrend等低端盤(pán)陣由于歷史原因，高端產(chǎn)品大多還在采用RISC架構(gòu)Intel新一代處理器：JasperForest處理器集成內(nèi)存控制器，無(wú)需通過(guò)北橋連接，訪(fǎng)問(wèn)速度更快，訪(fǎng)問(wèn)帶寬更高(256Gb/s)9根內(nèi)存插槽，最大144GB支持DDR3，頻率800/1066/1333DDR31333(9*Slot)XOR引擎16PCIExpressGen2QPIJasperForest多核處理器DMI南橋IO模塊處理器內(nèi)部集成RAID硬件加速，無(wú)需ASIC支持16個(gè)PCI-E2.0通道，最大帶寬：?jiǎn)蜗?0Gb，雙向160Gb可將8通道用于后端磁盤(pán)連接，8通道用于緩存鏡像連接QPI:QuickPathInterconnect，通常用于處理器之間的互連單向帶寬5.87GT/s(117.4Gb)可用于連接處理器和前端IO模塊三級(jí)處理器內(nèi)部CacheL1：每核32K數(shù)據(jù)+32K指令L2：每核256K，數(shù)據(jù)、指令共用LLC：共享8MB，指令、數(shù)據(jù)共用PCI-E2.0總線(xiàn)技術(shù)PCI-X：競(jìng)爭(zhēng)共享總線(xiàn)PCIExpress：點(diǎn)對(duì)點(diǎn)傳輸PCIExpress2.0通道未編碼數(shù)據(jù)速率（有效的數(shù)據(jù)速率）編碼數(shù)據(jù)速率單向雙向單向雙向×14Gbps8Gbps5Gbps10Gbps×416Gbps32Gbps20Gbps40Gbps×832Gbps64Gbps40Gbps80Gbps×1664Gbps128bps80Gbps160Gbps串行總線(xiàn)結(jié)構(gòu)支持點(diǎn)對(duì)點(diǎn)傳輸，每個(gè)傳輸通道獨(dú)享帶寬信道聚集有效組合為x1，x2，x4，x8，x16和x32支持雙向傳輸模式，單信道帶寬5Gbps，16信道帶寬達(dá)到160Gbps用于控制器的前后端接口、緩存鏡像通道的連接SAS傳輸技術(shù)SAS技術(shù)3創(chuàng)新的寬端口技術(shù)2交換架構(gòu)Phy1繼承SCSI技術(shù)的穩(wěn)定和高可靠性SCSI技術(shù)4高擴(kuò)展性PhyPhyPhyPhyPhyPhyPhy四路SAS寬端口四路SAS寬端口6Gb*4SASSAS技術(shù)并行串行SAS域最多可接16128個(gè)設(shè)備(128*126)......FanoutExpanderEdgeExpanderSAS磁盤(pán)SAS適配器EdgeExpanderSAS磁盤(pán)技術(shù)先進(jìn)的磁盤(pán)接口繼承SCSI的穩(wěn)定可靠性全雙工、點(diǎn)對(duì)點(diǎn)數(shù)據(jù)傳輸3.0/6.0Gbps接口傳輸速率雙端口冗余備份多種速率類(lèi)型支持15,000/10,000/7,200rpm三種速率良好的兼容性SATA磁盤(pán)兼容SSD磁盤(pán)的主要接口方式服務(wù)器、存儲(chǔ)陣列均可使用SAS線(xiàn)纜接口SAS磁盤(pán)磁盤(pán)接口磁盤(pán)廠家的路標(biāo)FC硬盤(pán)(3.5寸)已經(jīng)不再有新的產(chǎn)品型號(hào)10/15K轉(zhuǎn)硬盤(pán)全部都是SAS接口7200K轉(zhuǎn)的2.5寸硬盤(pán)是SAS/SATA接口7200K轉(zhuǎn)的3.5寸硬盤(pán)是SAS/SATA接口SSD硬盤(pán)以2.5寸SAS為主，保留3.5寸FCXSAS在業(yè)界的應(yīng)用EMC：VNX系列（新產(chǎn)品，SAS2.0）IBM：V7000（新產(chǎn)品，SAS2.0）HP：P4000、P6000（新產(chǎn)品，SAS2.0）HDS：HUA系列（新產(chǎn)品，SAS2.0）Netapp:FAS3000/6000（混合架構(gòu)）SAS架構(gòu)FC架構(gòu)低端中端高端包括EMC、IBM、HP、HDS在內(nèi)的幾乎所有廠家的產(chǎn)品（SAS1.0）HDS：VSP系列（新產(chǎn)品，SAS2.0）IBM：DS8800（新產(chǎn)品，SAS2.0）EMC：DMX系列HDS：USP系列（老產(chǎn)品）IBM：DS8700（老產(chǎn)品）極少數(shù)廠家EMC：CX4系列（老產(chǎn)品）IBM：DS5000HP：EVA系列（老產(chǎn)品）Netapp:FAS3000/6000（混合架構(gòu)）SSD技術(shù)SSD功耗降低近80%，隨機(jī)訪(fǎng)問(wèn)速度提升數(shù)十倍SSD不需要電池保護(hù)，保證提供持續(xù)的高性能讀寫(xiě)服務(wù)功耗比較9W

2W

訪(fǎng)問(wèn)時(shí)間比較2-8ms0.09ms通過(guò)采用寫(xiě)合并、損耗均衡算法、增強(qiáng)型錯(cuò)誤校驗(yàn)碼(ECC)等技術(shù)，MLC的可靠性已經(jīng)接近于SLCMLC、SLC將同時(shí)應(yīng)用于企業(yè)級(jí)存儲(chǔ)領(lǐng)域VSSLC每個(gè)單元承受擦寫(xiě)次數(shù)是MLC單元的10倍MLC的芯片顆粒讀寫(xiě)速度僅為SLC的1/2-1/3相同顆粒數(shù)量，MLC的容量是SLC的2倍成本上，MLC遠(yuǎn)低于SLCVS新一代存儲(chǔ)硬件技術(shù)

PCI-E2.0最高速的總線(xiàn)帶寬技術(shù)，單通道帶寬5Gb，16通道帶寬80GbSAS2.0單端口帶寬達(dá)到6Gb四路寬端口帶寬達(dá)到24GbIntelJasper首次在CPU內(nèi)置RAID加速引擎支持288GB的大容量緩存SSDPhyPhyPhyPhyPhyPhyPhyPhy四路SAS寬端口四路SAS寬端口6Gb*4SASX25-EExtreme(SLC),32GB,SATA,

ZeusIOPS,1TB,SATA,3.5”(MLC),256GB,

SATAII,2.5”SSD盤(pán)隨機(jī)訪(fǎng)問(wèn)性能提升100倍價(jià)格大幅降低，容量接近機(jī)械硬盤(pán)PCI-E2.0通道編碼數(shù)據(jù)速率單向雙向×15Gbps10Gbps×420Gbps40Gbps×840Gbps80Gbps×1680Gbps160GbpsDDR31333(9*Slot)XOR引擎16PCI-EGen2QPIJasperForest多核處理器DMI南橋IO模塊新一代存儲(chǔ)IBMV7000架構(gòu)設(shè)計(jì)(基于IntelJasper)CPU的PCIex16總線(xiàn)成為性能瓶頸控制器的核心連接設(shè)備是PCIeSwitch，其連接了FC主機(jī)接口(PCIex8)、后端SAS接口(PCIex8)、緩存鏡像通道(PCIex8)以及一個(gè)擴(kuò)展槽位(PCIex8)，這四部分的總共需要32通道的PCIe的帶寬。但是其連接CPU的PCIe總線(xiàn)只有16通道，無(wú)法滿(mǎn)足要求，這成為了系統(tǒng)的性能瓶頸。內(nèi)存容量太小控制器只有2個(gè)內(nèi)存插槽，最大只能配置8GB內(nèi)存(單根4GB)，相比接口和總線(xiàn)速率，明顯偏小。Intel平臺(tái)在存儲(chǔ)廠家的應(yīng)用項(xiàng)目VNX7500DMX4-950架構(gòu)X86RISC處理器至強(qiáng)560032*1.3GHz(共41.6GHz)最大緩存48GB128GB最大磁盤(pán)數(shù)1000360滿(mǎn)配主機(jī)接口32*FC+16*IP16*FC+10*IP滿(mǎn)配后端接口8*12GbSAS32*4GbFCIBM：新產(chǎn)品采用IntelJasperV7000：2010年Q4發(fā)布的新一代產(chǎn)品，采用IntelJasper平臺(tái)，定位于現(xiàn)有中端產(chǎn)品，與DS5000持平V7000將IntelJasper的優(yōu)勢(shì)限制使用（如果將IntelJasper平臺(tái)的優(yōu)勢(shì)完全發(fā)揮，將完全超越現(xiàn)有DS5000產(chǎn)品）項(xiàng)目V7000DS5000架構(gòu)X86ASIC+CSIC處理器JasperASIC+Xeon最大緩存16GB32GB最大磁盤(pán)數(shù)240480滿(mǎn)配主機(jī)接口8*FC+4*IP16*FC滿(mǎn)配后端接口4*SAS16*FCEMC：Intel的全球頂級(jí)合作伙伴VNX7500：2011年1月發(fā)布，是采用IntelXeonWestmere平臺(tái)，其已經(jīng)接近甚至超越其高端入門(mén)級(jí)產(chǎn)品DMX4-950（VNX7500只有緩存配置偏?。￢NX7500如果采用更強(qiáng)的IntelJasper平臺(tái)并將其優(yōu)勢(shì)完全發(fā)揮，將會(huì)嚴(yán)重沖擊其高端DMX產(chǎn)品Intel平臺(tái)在存儲(chǔ)廠家的應(yīng)用（續(xù)）華賽S5000TS5000T：2011年Q1發(fā)布的新一代產(chǎn)品，采用IntelNehalem平臺(tái)(Jasper前一代)，定位于現(xiàn)有中高端產(chǎn)品華賽S5000T的其它規(guī)格與EMCVNX7500相當(dāng)，但內(nèi)存規(guī)格高出數(shù)倍。項(xiàng)目VNX7500S6800T架構(gòu)X86X86處理器至強(qiáng)5600至強(qiáng)5540（4x2.53GHz）最大緩存48GB48/96/192/GB最大磁盤(pán)數(shù)10001440主機(jī)接口槽位數(shù)1012個(gè)IO模塊滿(mǎn)配后端接口8*12GbSAS不足之處不足1：S5000T采用的至強(qiáng)5540處理器，屬于Nehalem平臺(tái)，是Jasper的前一代，無(wú)內(nèi)置RAID加速引擎。不足2：S5000T的QPI連接用于2顆CPU之間互聯(lián)，導(dǎo)致整體帶寬不夠，無(wú)法發(fā)揮所有端口的性能。宏杉MS5000架構(gòu)設(shè)計(jì)IntelJasper多核處理器RAID加速：內(nèi)置異或引擎，提高RAID效率QPI連接：CPU通過(guò)QPI連接IO模塊，帶寬超過(guò)100Gb超大容量高速緩存超大緩存容量：9根內(nèi)存插槽，最大288GB內(nèi)存訪(fǎng)問(wèn)加速：CPU直連內(nèi)存，提升內(nèi)存訪(fǎng)問(wèn)效率，帶寬達(dá)256GbPCI-E2.0總線(xiàn)單通道帶寬5.0Gb，前/后端接口及緩存鏡像采用PCIex8，帶寬達(dá)到40GbSAS2.0技術(shù)單通道帶寬6.0