存儲(chǔ)基礎(chǔ)知識(shí)2-SCSI和網(wǎng)絡(luò)存儲(chǔ)

存儲(chǔ)基礎(chǔ)知識(shí)(二）SOUL產(chǎn)品部2010.05目錄存儲(chǔ)介質(zhì)1陣列技術(shù)2SCSI技術(shù)3網(wǎng)絡(luò)存儲(chǔ)4存儲(chǔ)應(yīng)用5OS與存儲(chǔ)6SCSI技術(shù)SCSI技術(shù)SCSI基礎(chǔ)SCSI是:標(biāo)準(zhǔn)？總線？協(xié)議？SCSI基礎(chǔ)SCSI的定義主機(jī)適配器SCSIID7SCSI總線SCSI陣列ID0SCSI陣列ID5LUN0LUN1LUN2LUN0LUN1數(shù)據(jù)/地址總線控制信號(hào)SCSI（SmallComputerSystemInterface，小型計(jì)算機(jī)系統(tǒng)接口）是一種為小型機(jī)研制的接口技術(shù)，用于主機(jī)與外部設(shè)備之間的連接。SCSI歷史SCSI-3是所有存儲(chǔ)協(xié)議的基礎(chǔ)，其它存儲(chǔ)協(xié)議都用到SCSI的指令集SCSI-11986年ANSI標(biāo)準(zhǔn)，采納了SASI接口（1979）；定義了硬盤(pán)、磁帶和其它存儲(chǔ)設(shè)備的物理接口、傳輸協(xié)議和標(biāo)準(zhǔn)指令集；SCSI-21994年ANSI標(biāo)準(zhǔn)，SCSI-1的后續(xù)接口；提高了速度和總線帶寬，支持多線程指令，增加了更多存儲(chǔ)設(shè)備類型指令集；SCSI-3更高的速度類型：Ultra-2/Ultra-160/Ultra-320；物理接口、傳輸協(xié)議和SCSI指令集分層。SCSI術(shù)語(yǔ)Initiator: ASCSIdevicethatrequestsanoperationtobeperformedbyanotherSCSIdevice.發(fā)起操作請(qǐng)求的SCSI設(shè)備HostAdapter: AControllerBoardthattranslateshostI/OrequestsintoSCSIrequests.將操作系統(tǒng)I/O請(qǐng)求轉(zhuǎn)為SCSI命令Target:ASCSIdevicethatperformsanoperationasrequestedbyaninitiator.響應(yīng)執(zhí)行操作請(qǐng)求的SCSI設(shè)備LogicalUnit: APhysicalorVirtualdeviceaddressablethroughatarget.SCSI邏輯單元LUN: LogicalUnitNumber.Anencodedthree-bitidentifierforthelogicalunit.邏輯單元號(hào)。SCSI總線上可掛接的設(shè)備數(shù)量是有限的，一般為6個(gè)或者15個(gè)TargetID或SCSIID來(lái)描述這些設(shè)備。而實(shí)際上我們需要用來(lái)描述的對(duì)象，是遠(yuǎn)遠(yuǎn)超過(guò)該數(shù)字的，于是引入LUN的概念，也就是說(shuō)LUNID的作用就是擴(kuò)充了TargetID，每個(gè)Target下都可以有多個(gè)LUNdevice，通常簡(jiǎn)稱LUNdevice為L(zhǎng)UN。SCSIConfigurationInitiatorSCSIBusTarget1TargetnTarget0InitiatorTInitiatorSCSIBusTarget1TargetnTarget0SCSIBusTerminatorInitiatorSCSIBusLUN0TargetLUN1LUN2MultipleInitiators,MultipleTargetsSingleInitiator,MultipleTargetsSingleInitiator,SingleTargetTTT網(wǎng)絡(luò)存儲(chǔ)SAN存儲(chǔ)區(qū)域網(wǎng)iSCSINAS網(wǎng)絡(luò)存儲(chǔ)網(wǎng)絡(luò)存儲(chǔ)基于網(wǎng)絡(luò)的SCSISCSI允許連接設(shè)備數(shù)量較少SCSI連接設(shè)備距離非常有限

？基于網(wǎng)絡(luò)的SCSIFCSANIPSANFCPiSCSI如何解決WhatisaSAN?StorageDevicesBlockAggregationFile/RecordSubsystemDeviceInterconnectStorageInterconnectDiskArrayVirtualArrayTapeDiskArrayTapeLibrarySANHP/UXLinuxAIX/MontereyWindowsNT/2000SolarisSANServicesSource:SNIA常見(jiàn)存儲(chǔ)架構(gòu)DAS直連存儲(chǔ)NAS附加網(wǎng)絡(luò)存儲(chǔ)SAN存儲(chǔ)區(qū)域網(wǎng)FCSANIPSANDAS的局限–存儲(chǔ)需要網(wǎng)絡(luò)化LAN直接附加內(nèi)置存儲(chǔ)磁帶庫(kù)JBODJBODSCSIFCSCSIFCRAIDRAIDDAS的缺點(diǎn)：每臺(tái)服務(wù)器都有其自己的存儲(chǔ)部件($$)管理困難，降低了生產(chǎn)效率備份很昂貴浪費(fèi)的存儲(chǔ)空間難于共享數(shù)據(jù)NAS基于文件的網(wǎng)絡(luò)存儲(chǔ)提供網(wǎng)絡(luò)文件共享功能支持的協(xié)議包括CIFS，NFS異構(gòu)平臺(tái)文件數(shù)據(jù)的共享安裝和使用較簡(jiǎn)單LAN網(wǎng)絡(luò)服務(wù)(TCP/IP)卷管理文件系統(tǒng)CIFS/NFSRAID控制器disks管理NASSAN存儲(chǔ)區(qū)域網(wǎng)計(jì)算（主機(jī)）、傳輸（交換機(jī)）、存儲(chǔ)（RAID/Tape）分離主機(jī)可以訪問(wèn)任何存儲(chǔ)設(shè)備，存儲(chǔ)設(shè)備之間可以互訪主機(jī)、存儲(chǔ)設(shè)備可以獨(dú)立擴(kuò)展SAN磁帶庫(kù)存儲(chǔ)陣列存儲(chǔ)陣列LANNAS&SANSAN偏指計(jì)算平臺(tái)和存儲(chǔ)平臺(tái)間采用數(shù)據(jù)塊進(jìn)行傳遞的網(wǎng)絡(luò)模型，而NAS狹義地定義計(jì)算平臺(tái)和存儲(chǔ)平臺(tái)間采用文件的方式進(jìn)行數(shù)據(jù)傳遞的網(wǎng)絡(luò)模型。iSCSI的誕生更加說(shuō)明了網(wǎng)絡(luò)模型的實(shí)現(xiàn)究竟使用光通道協(xié)議還是以太網(wǎng)協(xié)議是相對(duì)次要的環(huán)節(jié)。這只是承載數(shù)據(jù)塊的工具而已。因此，SAN和NAS的區(qū)別在于傳遞的內(nèi)容是數(shù)據(jù)塊還是文件，更根本上來(lái)說(shuō)是文件系統(tǒng)所處的位置。DAS、NAS、SAN剖析

主機(jī)DASFCSAN應(yīng)用文件/操作系統(tǒng)I/O重定向器TCP/IP協(xié)議棧NFS/CIFS網(wǎng)絡(luò)接口卡

主機(jī)文件處理I/ONASIPNetwork網(wǎng)絡(luò)接口卡TCP/IP協(xié)議棧NFS/CIFS文件系統(tǒng)+邏輯卷管理器數(shù)據(jù)管理系統(tǒng)RAID塊處理I/O設(shè)備驅(qū)動(dòng)應(yīng)用邏輯卷管理器裸卷SCSI設(shè)備驅(qū)動(dòng)塊處理I/OIPSAN應(yīng)用邏輯卷管理器裸卷iSCSILayerTCP/IPStack網(wǎng)絡(luò)接口卡

主機(jī)塊處理I/O塊處理I/OIPNetworkFCNetwork網(wǎng)絡(luò)接口卡TCP/IP協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理I/OFC總線卡FC協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理I/O應(yīng)用邏輯卷管理器裸卷SCSI設(shè)備驅(qū)動(dòng)FC協(xié)議棧FC總線卡設(shè)備驅(qū)動(dòng)設(shè)備驅(qū)動(dòng)SCSI設(shè)備驅(qū)動(dòng)

主機(jī)文件/操作系統(tǒng)數(shù)據(jù)庫(kù)文件/操作系統(tǒng)數(shù)據(jù)庫(kù)文件/操作系統(tǒng)數(shù)據(jù)庫(kù)RAIDSCSI/FC總線卡FCSAN并行與串行接口之間的比較光纖通道基于核心SCSI協(xié)議設(shè)計(jì)，光纖通道通過(guò)將并行接口轉(zhuǎn)換為串行接口極大的提高了SCSI的性能Data1Control1Data2Control2Data3Control3SCSI的并行接口多條連接線光纖通道的串行接口Data3Control3Data2Control2Data1Control1單連接線并行總線難以保證在遠(yuǎn)距離上數(shù)據(jù)的傳輸順序(電磁干擾)光纖通道的優(yōu)點(diǎn)為上層協(xié)議(SCSI，IP等)提供一個(gè)通用硬件傳輸平臺(tái)。高速:現(xiàn)在可以提供4Gbit(400MB)/秒的數(shù)據(jù)傳輸速率，全雙工專有連接，未來(lái)可升級(jí)至10Gbit/秒無(wú)阻塞數(shù)據(jù)傳輸最大10公里連接距離(通過(guò)擴(kuò)展器可連接上千公里，非常適于災(zāi)難恢復(fù)應(yīng)用)先進(jìn)的流控制系統(tǒng)保證數(shù)據(jù)按順序傳輸.不存在無(wú)線電信號(hào)散射(RFI)，從而消除了電磁信號(hào)串行數(shù)據(jù)傳輸，每傳輸一位需要0.94納秒(極小的時(shí)間延遲)使用8b/10b編碼方式將8位轉(zhuǎn)換為10b格式進(jìn)行串行傳輸

(內(nèi)置時(shí)鐘信號(hào))最多可以連接1千6百萬(wàn)個(gè)節(jié)點(diǎn)(交換Fabric模式)強(qiáng)大的錯(cuò)誤更正能力(位錯(cuò)誤率=1x10-12)，比原有銅連接網(wǎng)絡(luò)強(qiáng)大1000倍光纖通道網(wǎng)絡(luò)–SAN魔術(shù)般的擴(kuò)展能力SAN及數(shù)據(jù)管理SAN應(yīng)用SAN網(wǎng)絡(luò)級(jí)聯(lián)SAN信息基礎(chǔ)結(jié)構(gòu)WAN配置靈活的拓?fù)浣Y(jié)構(gòu)點(diǎn)對(duì)點(diǎn)只能連接2個(gè)設(shè)備(直接連接)交換式Fabric最多支持1千6百萬(wàn)個(gè)設(shè)備(光纖通道交換機(jī))ArbitratedLoop

(仲裁環(huán))最多支持126個(gè)設(shè)備(光纖集線器)光纖通道主機(jī)接口卡(HBA)為服務(wù)器或客戶機(jī)內(nèi)部總線(PCI和SBUS等)提供與光纖通道網(wǎng)絡(luò)的接口HBA軟件驅(qū)動(dòng)為操作系統(tǒng)提供所須存儲(chǔ)信息對(duì)I/O進(jìn)行操作I/O同時(shí)對(duì)正常請(qǐng)求進(jìn)行控制銅/光介質(zhì)支持(可能是雙接口卡)光纖線多模光纖

纖芯直徑為50~62.5μm

包層外直徑125μm

傳輸距離幾公里單模光纖

芯徑一般為9或10μm

包層外直徑125μm

傳輸距離50Km-100Km光纖常見(jiàn)接頭FC圓型帶螺紋(配線架上用的最多)ST卡接式圓型(配線架上用的最多)SC卡接式方型(路由器交換機(jī)上用的最多)LC卡接式方型（路由器常用）

MT-RJ方型,一頭雙纖收發(fā)一體(華為8850上有用)

光纖通道交換機(jī)連接多個(gè)端口(8，16，32，64，128口)支持交換Fabric和傳統(tǒng)loop設(shè)備2Gbit/秒和4Gbit/秒傳輸速率(自適應(yīng))全雙工性能，使用cut-through路由算法交換機(jī)間提供8Gbit/秒邏輯干線合并拓?fù)浣Y(jié)構(gòu)自動(dòng)協(xié)調(diào)，自動(dòng)配置(自恢復(fù))端到端性能監(jiān)控光纖網(wǎng)絡(luò)通道端口類型Fabric節(jié)點(diǎn)N_PortF_PortF_PortE_PortE_PortFL_Port節(jié)點(diǎn)N_Port交換機(jī)2交換機(jī)1節(jié)點(diǎn)NL_Port節(jié)點(diǎn)NL_PortU_Port設(shè)備(節(jié)點(diǎn))端口N_Port=Fabric直接連接設(shè)備NL_Port=Loop連接設(shè)備

交換機(jī)端口E_Port=擴(kuò)展端口(交換機(jī)到交換機(jī))F_Port=Fabric端口FL_Port=FabricLoop端口G_Port=普通(Generic)端口—可以轉(zhuǎn)化為E或F”U_Port=通用(Universal)端口(用于描述自動(dòng)端口檢測(cè)的術(shù)語(yǔ))光纖通道的幀格式幀SOF4數(shù)據(jù)載荷最大2112EOF4CRC4幀頭242148字節(jié)一個(gè)幀是在光纖通道連接中數(shù)據(jù)包的最小單位(上層協(xié)議不可見(jiàn)).FibreChannelFrameSCSIRequestIPRequestSAN網(wǎng)絡(luò)的邏輯管理單元Zone節(jié)點(diǎn)N_PortFabric節(jié)點(diǎn)N_PortF_PortF_PortE_PortE_PortU_Port節(jié)點(diǎn)N_Port交換機(jī)2交換機(jī)1F_PortZone1Zone2分區(qū)單獨(dú)的邏輯管理單元可以使用WWN和端口作為成員可以跨多個(gè)域/區(qū)/端口可以包含F(xiàn)abric內(nèi)任意數(shù)量的交換機(jī)支持相互交叉與E_Port無(wú)關(guān)Zone的好處NTSolarisDisksHP-UXNTDisksHP-UXDisksSolaris分區(qū)滿足SANFabric任意連接的要求真正支持異構(gòu)平臺(tái)的SANIPSAN什么是IPSAN？FC-SANIP-SANServerInitiatorHBAFCSwitchTargetDevicesTargetHBAServerInitiatorHBATargetDevicesTargetHBAGigSwitchiSCSIFiberChannelFibreChannelEthernetIPSAN是采用iSCSI協(xié)議構(gòu)建的SAN存儲(chǔ)區(qū)域網(wǎng)：優(yōu)點(diǎn)：低成本

iSCSI協(xié)議本身沒(méi)有距離限制 靈活的拓?fù)浣Y(jié)構(gòu) 易于使用和擴(kuò)展

10Gb時(shí)代很快到來(lái)（iSCSI通道速率將超過(guò)FC）iSCSISCSI應(yīng)用（文件系統(tǒng)、數(shù)據(jù)庫(kù)）SCSI塊指令SCSI流指令其他SCSI指令SCSI指令、數(shù)據(jù)和狀態(tài)iSCSITCPIP以太網(wǎng)等iSCSI協(xié)議棧iSCSI（InternetSCSI）把SCSI命令和塊狀數(shù)據(jù)封裝在TCP中在IP網(wǎng)絡(luò)中傳輸iSCSI作為SCSI的傳輸層協(xié)議，基本出發(fā)點(diǎn)是利用成熟的IP網(wǎng)絡(luò)技術(shù)來(lái)實(shí)現(xiàn)和延伸SANiSCSIInitiator&TargetUserlayerKernellayeriSCSITargetiSCSIInitiatorFileSystemSCSIDriveriSCSIInitiatorDriverDiskTransportNetworkNetworkStackNetworkStackSCSIDriveriSCSITargetDriverSCSIHBADriver/RAIDControllerUserApplication發(fā)起端InitiatorSCSI層負(fù)責(zé)生成CDB（命令描述符塊），將CDB傳給iSCSIiSCSI層負(fù)責(zé)生成iSCSIPDU（協(xié)議數(shù)據(jù)單元），并通過(guò)IP網(wǎng)絡(luò)將PDU發(fā)給target目標(biāo)器TargetiSCSI層收到PDU，將CDB傳給SCSI層SCSI層負(fù)責(zé)解釋CDB的意義。必要時(shí)發(fā)送響應(yīng)iSCSI優(yōu)點(diǎn)高可靠高擴(kuò)展良好的標(biāo)準(zhǔn)化易管理，IP技術(shù)成熟，具備IP知識(shí)的專業(yè)技術(shù)人員多很低的安裝成本和維護(hù)費(fèi)用：建立在TCP/IP上減少了異構(gòu)網(wǎng)絡(luò)和電纜：不需要特殊的FC交換機(jī)無(wú)距離限制，遠(yuǎn)程存儲(chǔ)：異地?cái)?shù)據(jù)交換、備份及容災(zāi)靈活的安全性和QoS保證FCSAN的遠(yuǎn)程擴(kuò)展FCSAN孤島如何連接，并跨越WAN？通過(guò)IP網(wǎng)絡(luò)隧道方案FCP路由方案FCIPiFCPFCIP（FCoverIP）應(yīng)用場(chǎng)合兩個(gè)FCSAN孤島通過(guò)IP連接成一個(gè)大的FCSAN特點(diǎn)基于IP的FC隧道協(xié)議，將FC幀封裝在TCP/IP上FCIP連接對(duì)IP網(wǎng)絡(luò)是透明的，整個(gè)傳輸中只有FCIP網(wǎng)關(guān)需要知道FCIP的封裝FCIP報(bào)文IP頭TCP頭TCP數(shù)據(jù)FCSSOFFC幀頭SCSI數(shù)據(jù)CRCEOFFCIP頭封裝iFCP(InternetFC)應(yīng)用場(chǎng)合光纖通道設(shè)備（無(wú)FC交換機(jī)）將該設(shè)備直接連接到IP網(wǎng)絡(luò)上特點(diǎn)FC消息和路由服務(wù)在iFCP網(wǎng)關(guān)處終結(jié)。網(wǎng)關(guān)將每個(gè)FC地址映射到一個(gè)IP地址具有故障隔離功能部署時(shí)需要iSNS服務(wù)器（通常集成在iFCP網(wǎng)關(guān)上）iFCP報(bào)文IP頭TCP頭FCSSOFFC幀頭SCSI數(shù)據(jù)CRCEOFiFCP頭映射FC地址映射到IP地址幾種塊存儲(chǔ)協(xié)議報(bào)文結(jié)構(gòu)比較Ethernet頭IP頭TCPFCIP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSFCIPSOFFC幀頭Payload:SCSICommandinIUCRCEOFSCSI-FCPEthernet頭IP頭TCPiFCP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSiFCPEthernet頭IP頭TCPiSCSI頭FC幀頭Payload:SCSICommandinIUFCSiSCSINAS介紹以太網(wǎng)文件系統(tǒng)存儲(chǔ)區(qū)域網(wǎng)NASNAS（NetworkAttachedStorage）網(wǎng)絡(luò)存儲(chǔ)，簡(jiǎn)單的說(shuō)，NAS是通過(guò)TCP/IP以太網(wǎng)絡(luò)連接的存儲(chǔ)設(shè)備。NAS存儲(chǔ)設(shè)備通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（Ethernet）連接到一群計(jì)算機(jī)或者服務(wù)器上，而不象FCSAN那樣需要昂貴復(fù)雜的光纖交換機(jī)，NAS使用普通的以太網(wǎng)絡(luò)交換機(jī)，即插即用。NAS所使用的是存儲(chǔ)設(shè)備自己的文件系統(tǒng)，數(shù)據(jù)傳輸協(xié)議是TCP/IPoverGbE，交換機(jī)是Eth