EMC-DMX存儲的物理架構與邏輯架構

1、EMCDMX存儲的物理架構與邏輯架構DMX存儲概述DMX存儲硬件的物理與邏輯架構能夠?qū)崿F(xiàn)最大限度的將一個lun的io最大限度分攤給硬盤,DAE盤陣的環(huán)路；一個lun的io同時也平均分攤給后端的存儲cpu.從后面文檔設備連接的介紹可以知曉.DMX的架構做到了最大限度的打散數(shù)據(jù)以達到性能最大化；性能最大化的硬件配置是一個控制柜加兩個與控制柜存儲cpu端口直連的磁盤柜；存儲卷vol以及4個volmeta(綁定)條帶化以后就避免了熱點(hotblock)讀寫的問題.將任何一個lun的讀寫io操作做到由最多的硬件資源來支撐.硬件資源主要是硬盤,DAE盤陣環(huán)路，存儲cpu，存儲緩存.DMX存儲安裝配置是通

2、過加載預先配置好的binfile來部署的;binfile定義了物理架構與邏輯架構的配置定義整個存儲當前硬件配置如何被使用規(guī)劃好,以后修改配置就得重新裝載binfile也就是重新配置整個存儲.Binfile的加載以及整個存儲的管理通過console服務器上的軟件symmwin來操作console服務器通過電話線moden與EMC支持中心連通.EMC技術人員通過電話線的撥號撥入方式可以做到完全掌控存儲設備.本文檔關注存儲設備架構方面，管理方面的gk盤,ecc等不做贅述.二.EMCDMX存儲的物理架構1.存儲外觀及各個模塊介紹(1)外觀DMX由一個控制柜加磁盤柜組成，通常帶2個或者5個磁盤柜我們公司

3、為了性能最大化,配置滿配的前端后端卡,只掛2個磁盤柜.再擴展磁盤機柜只增加空間,性能不增長.前視圖：中間系統(tǒng)柜,前視圖：中間系統(tǒng)柜,左邊是BAY1A；右邊是BAY1B(2)物理構成模塊圖示:(打開機柜門前視圖)DA卡cpu端口與硬盤的連線圖示：這里的圖示是端口所管理的硬盤，是指硬盤的主環(huán)路(BUSloop)，實際情況物理聯(lián)線只連接到DAE的LCCA&LCCB端口.OEOE0OtoQ305OA09020100OPOCOEOR070403OAne07ee050403:0201OPocOE連接口15D-L02D-L15D-L02D-L15D-L02D-L15D-LCI2D-LI1SD-L02D-L1

4、5D-L02D-L15D-L連接口02D-0OEOE0OtoQ305OA09020100OPOCOEOR070403OAne07ee050403:0201OPocOE連接口15D-L02D-L15D-L02D-L15D-L02D-L15D-LCI2D-LI1SD-L02D-L15D-L02D-L15D-L連接口02D-015D-002D-015D-002D-015D-002D-n15D-002D-015D-002D-015D-002D-015D-002D-0站卡竝DDAE12DAE16D盤卡1玉D每個DA卡管理2個DAE盤陣,同時每個盤陣歸兩個不同DA卡的端口管理;能互相接管對方環(huán)路的硬盤,也

5、就是互為standby環(huán)路.DA卡cpu與DAE盤柜的對應關系1.DA01,DA16管理BAY1A的DAE1至IDAE8;DA02,DA15;管理BAY1A的DAE9到DAE16;DA05,DA12;管理BAY1B的DAE1到DAE8;DA06,DA11;管理BAY1B的DAE9到DAE16;按照這個接線規(guī)律管理DAE盤陣.也就是說每個DA卡有4個cpu，每個cpu兩個端口;一個cpu端口管理一個DAE盤陣的一半的硬盤（7或8塊），另外一半的硬盤standby模式，也可以接管.（下面兩張圖可以描述這種物理連接關系）DA01DAO2DAO5D&O6DA11DA12DA1E1D1*DooD1.門D

6、A01DAO2DAO5D&O6DA11DA12DA1E1D1*DooD1.門uMDA卡cpu端口與DAE盤柜的對應關系（接線規(guī)律）CPU從a到d按照從左到右的連接順序連DAE盤陣；下面一排的DAE都是被cpu兩個端口中的0端口管理；上面則接1端口;（這是接線的規(guī)律）DA01DAC2DAOEiDA06DAllDAI2BAISDAI3DAE3DASHDAE15DAEieEDIoDIClnT辛BlDIX3DODODODODODODO4DOAE9DAH11mm三-G1-.Cl-OClJ*cocoCOcodco呀L、I、ASSxQAE7AElElBlBl逆、ElVA.LUf*ovEQE?O帚、斑、警P恥

7、OE0DAE1EAE2D盤E蟲AlAlAlAlAlAl.仝Al”qAlj-iOOO*7AC、AOAOAOxo一。AOqAO三.EMCDMX存儲的邏輯架構存儲最小的可用單元是cylinder(每個cylinder960k);每個cyln由15個64k的塊組成.每個硬盤以cyln為單位劃分成n個hyper(也叫切片)以DA02D1:05(DA卡2，Dcpuport1口管理的DAEID5硬盤為例)DA02D1:05硬盤被切成了14塊,前面9塊都是16570cyln的大小的數(shù)據(jù)空間，后面5塊是3cyln的管理用的GK盤.然后以16570cyln為單位的15GB(16570*960k/1024)大小的h

8、yper來與其他硬盤里面的同樣是16570cyln的hyper來做鏡像成為一個卷(vol).大多數(shù)情況下某個硬盤里面的數(shù)據(jù)(vol)與另外一個硬盤的數(shù)據(jù)一摸一樣.看如下圖示：鏡像1是M1,鏡像2是M2.互相交叉.后面的6,7,8都是同樣情況,兩塊硬盤數(shù)據(jù)一樣,鏡像1鏡像2交叉放.卷volume分配給主機的時候都是連續(xù)地分配出去,而如下圖兩個硬盤里面的vol都是不順序的，是打散的，這樣就打散了主機對存儲讀寫的io.DA02D1:05D)A02D1:05Fields-ASGFS1hypers1gapsFields.ASGFShypers1gapsIDVolTypmEmulationCylsMirM

9、emberIDVolTYPeEmulationCylsMirMember005EBM2FBA-SO16570C20006EBM1FBA-SO16570C10106C5M1FBA-SO16570C10106C5M2FBA-SO16570C202079FM2FBA-SO1657OC202079FM1FBA-SO1B570C1030679M1FBA-SO1657OC1030879M2FBA-SO16570C20|40953M2FBA-SO16570C2040953M1FBA-SO16570C1050A2DM1FBA-SO16570C1050A2DM2FBA-SO16570C2060B07M2FBA-

10、SO16670C20S0B07M1FBA-SO16570C1010BE1M1FBA-SO16570C101OBE1M2FBA-SO16570C208OCBBM2FBA-SO16570C20sOCBBM1FBA-SO16570C109OOC7M1FBA-SO3C10g00C7M2FBA-SO3C20A01A1M2FBA-SO3C20A01A1M1FBA-SO3C10|b027BM1FBA-SO3C10B027BM2FBA-SO3C20c0355M2FBA-SO3C20C0355M1FBA-SO3C10D042FM1FBA-SO3C10D042FM2FBA-SO3C20DA15D1:06DA01D

11、1:06DA02D1:07DA16D1:07DA15D1:08DA01D1:085.當前dmx系統(tǒng)都是每個卷Volume由4個小卷meta條帶化;如下圖示:每個卷底層都是由8個硬盤來支持,并且由八個cpu通道來支持,因為八個硬盤都算來自不同的硬盤DAE盤陣,能達到最佳的IOPS.dmx系統(tǒng)只將MetaPosition0的卷名（meta位置0的）映射給主機，一個卷也就是作為一個lun來使用.這里舉例的情況是兩個hyper先鏡像,然后4個用powerpath工具powermt看LogicaldeviceID例如:Pseudoname=emcpowerbdSymmetrixID=000290105785LogicaldeviceID=05EBstate=alive;policy=SymmOpt;priority=0;queued-IOs=0-Host-Stor-I/OPath-Stats-Q-IOsErrors#HWPathI/OPathsInterf.ModeState2qla2xxxsdbqFA14dAactivealive003qla2xxxsdevFA13dAactivealive003qla2xxxsdgoFA14dAactivealive004q