存儲(chǔ)協(xié)議介紹

存儲(chǔ)協(xié)議介紹第1頁，共34頁，2023年，2月20日，星期一學(xué)習(xí)目標(biāo)

了解各種存儲(chǔ)協(xié)議了解各種存儲(chǔ)協(xié)議的主要區(qū)別iSCSI協(xié)議是存儲(chǔ)未來的發(fā)展之路123第2頁，共34頁，2023年，2月20日，星期一主機(jī)適配器SCSIID7SCSI總線SCSI陣列ID0SCSI陣列ID5LUN0LUN1LUN2LUN0LUN1數(shù)據(jù)/地址總線控制信號(hào)常見SCSI接口有50、68、80針SCSI（SmallComputerSystemInterface，小型計(jì)算機(jī)系統(tǒng)接口）是一種為小型機(jī)研制的接口技術(shù)，用于主機(jī)與外部設(shè)備之間的連接。SCSI的定義第3頁，共34頁，2023年，2月20日，星期一SCSI-3是所有存儲(chǔ)協(xié)議的基礎(chǔ)，其它存儲(chǔ)協(xié)議都用到SCSI的指令集SCSI-11986年ANSI標(biāo)準(zhǔn)，采納了SASI接口（1979）；定義了硬盤、磁帶和其它存儲(chǔ)設(shè)備的物理接口、傳輸協(xié)議和標(biāo)準(zhǔn)指令集；SCSI-21994年ANSI標(biāo)準(zhǔn)，SCSI-1的后續(xù)接口；提高了速度和總線帶寬，支持多線程指令，增加了更多存儲(chǔ)設(shè)備類型指令集；SCSI-3更高的速度類型：Ultra-2/Ultra-160/Ultra-320；物理接口、傳輸協(xié)議和SCSI指令集分層。SCSI歷史第4頁，共34頁，2023年，2月20日，星期一SCSI架構(gòu)模型特定設(shè)備指令集：包括磁盤設(shè)備的“SCSI塊指令(SCSIBlockCommands)”等基礎(chǔ)指令集：所有SCSI設(shè)備都必須實(shí)現(xiàn)的“基礎(chǔ)指令(SCSIPrimaryCommands)”SCSI傳輸協(xié)議：譬如iSCSI，F(xiàn)CP物理連接：譬如光纖通道，internet架構(gòu)模型：定義了SCSI系統(tǒng)模型和各單元的功能分工特定設(shè)備指令集基礎(chǔ)指令集SCSI傳輸協(xié)議物理連接架構(gòu)模型第5頁，共34頁，2023年，2月20日，星期一SCSI標(biāo)準(zhǔn)框架BlockCommands

(e.g.,diskdrive)

(SBC,SBC-2)

ReducedBlockCommands(e.g.,diskdrive)

(RBC)

StreamCommands(e.g.,tapedrive)(SSC,SSC-2,SSC-3)

MediaChangerCommands(e.g.,jukebox)

(SMC,SMC-2)

Multi-MediaCommands(e.g.,DVD)(MMC,MMC-2,MMC-3,MMC-4)ControllerCommands(e.g.,RAID)

(SCC-2)Object-BasedStorageDevice

(OSD)Management

ServerCommands

(MSC)PrimaryCommands(foralldevices)

(SPC,SPC-2,SPC-3)ArchitectureModel(SAM,SAM-2,SAM-3)SCSI

ParallelInterface

(SPI-2,SPI-3,

SPI-4,SPI-5Relatedstandardsandtechnicalreports(SDV,PIP,SSM,SSM-2,EPI)SerialBusProtocol

(SBP-2,SBP-3)IEEE1394FibreChannelProtocol(FCP,FCP-2,FCP-3)FibreChannel(FC)SSASCSI-3Protocol

(SSA-S3P)SSA-TL2SSA-PH1orSSA-PH2SCSIRDMAProtocol(SRP,SRP-2)InfiniBand(tm)iSCSIInternetSerialAttachedSCSI

(SAS,SAS-1.1)EnclosureServices(SES,SES-2)特定設(shè)備指令集共享指令集架構(gòu)模型傳輸協(xié)議物理接口第6頁，共34頁，2023年，2月20日，星期一SCSI-3物理接口SCSI-3

ClassDriver

(TapeDeviceDriver)

SCSI-3

ClassDriver

(DiskDeviceDriver)

Interface-IndependentSoftwareProgrammingInterface(MiniportInterface,CAM,ASPI,IO)SCSI-3FCP

PortDriverSCSI-3Parallel

PortDriveriSCSIIP

PortDriverSAS

PortDriverSCSISerialBusProtocol(SBP-2)

PortDriverFibreChannel

PortSCSIParallel

PortEthernet

PortSASSerial

PortIEEE-1394(Firewire)PortFibreChannel

PhysicalI/FSCSIBUS

Fast/Wide/Ultra/etc.EthernetSerialAttachedSCSI

PhysicalI/FFireWire

PhysicalI/FInitiatorI/OSystem物理接口第7頁，共34頁，2023年，2月20日，星期一SCSI應(yīng)用SCSI傳輸協(xié)議SCSI物理連接SCSI應(yīng)用SCSI傳輸協(xié)議SCSI物理連接Initiator設(shè)備Target設(shè)備互連協(xié)議應(yīng)用協(xié)議傳輸協(xié)議傳輸服務(wù)接口互連服務(wù)接口應(yīng)用層傳輸協(xié)議層互連層SCSI發(fā)起端-目標(biāo)器模型第8頁，共34頁，2023年，2月20日，星期一

特點(diǎn)描述優(yōu)點(diǎn)與主機(jī)無關(guān)工作在邏輯層而不是在設(shè)備層：支持?jǐn)?shù)據(jù)塊類型的邏輯地址；數(shù)據(jù)以字節(jié)為單位進(jìn)行傳送；采用通用指令集取代了專用的控制線多設(shè)備并行具有總線仲裁、設(shè)備選擇功能，設(shè)備與設(shè)備、設(shè)備與主機(jī)之間是一種雙向?qū)Φ汝P(guān)系，不是主從關(guān)系；對(duì)多任務(wù)操作系統(tǒng)如Unix、Linux、WindowsNT，可以獲得更高性能高帶寬目前最快可以提供320MB/s的帶寬低系統(tǒng)開銷具有獨(dú)立處理芯片，占用CPU資源的比例相當(dāng)小缺點(diǎn)單I/O控制器兩個(gè)和多個(gè)I/O控制器無法共享一條SCSI總線，不能實(shí)現(xiàn)多鏈路聚合，存在單一故障點(diǎn)地址短缺SCSI總線地址只有8或16個(gè)，無法接入更多的設(shè)備傳輸距離短單端SCSI傳輸距離6米，差分SCSI傳輸距離25米。所有連接設(shè)備只能放在統(tǒng)一地點(diǎn)SCSI的特點(diǎn)第9頁，共34頁，2023年，2月20日，星期一SCSI允許連接設(shè)備數(shù)量較少SCSI連接設(shè)備距離非常有限

？基于網(wǎng)絡(luò)的SCSIFCSANIPSANFCPiSCSI如何解決基于網(wǎng)絡(luò)的SCSI第10頁，共34頁，2023年，2月20日，星期一公共服務(wù)傳輸協(xié)議（編/解碼）信號(hào)協(xié)議和連接服務(wù)介質(zhì)和接口FC-1代碼層FC-0物理層FC-2協(xié)議層FC-3服務(wù)層FC-4映射層IPI3SCSIHIPPIIPSBCCS802.2ATM通道網(wǎng)絡(luò)光纖通道是構(gòu)建FCSAN的基礎(chǔ)，是FCSAN系統(tǒng)的硬件接口和通信接口。FC可以通過構(gòu)建幀來傳輸SCSI的指令、數(shù)據(jù)和狀態(tài)信息單元。FC（光纖通道）第11頁，共34頁，2023年，2月20日，星期一FC的三種拓?fù)浣Y(jié)構(gòu)點(diǎn)對(duì)點(diǎn)只能連接2個(gè)設(shè)備(直接連接)交換式Fabric最多支持1千6百萬個(gè)設(shè)備(光纖通道交換機(jī))ArbitratedLoop

(仲裁環(huán))最多支持126個(gè)設(shè)備(光纖集線器)普及!第12頁，共34頁，2023年，2月20日，星期一Fabric節(jié)點(diǎn)N_PortF_PortF_PortE_PortE_PortFL_Port

節(jié)點(diǎn)N_Port交換機(jī)2交換機(jī)1

節(jié)點(diǎn)NL_Port

節(jié)點(diǎn)NL_PortG_PortFC端口類型服務(wù)器或存儲(chǔ)設(shè)備：N端口NL端口FC交換機(jī)：F端口FL端口E端口G端口第13頁，共34頁，2023年，2月20日，星期一FC特點(diǎn)不足構(gòu)建維護(hù)成本高，時(shí)間長互操作性不強(qiáng)，F(xiàn)C協(xié)議具體實(shí)現(xiàn)上各個(gè)廠商有所不同F(xiàn)CSAN缺少統(tǒng)一管理標(biāo)準(zhǔn)FC理論上最長傳輸距離10公里左右，在互聯(lián)網(wǎng)存儲(chǔ)應(yīng)用中會(huì)形成信息孤島優(yōu)勢連接設(shè)備比SCSI多高帶寬，低時(shí)延實(shí)現(xiàn)光纖和銅纜的無縫連接

連接距離遠(yuǎn)遠(yuǎn)超出并行SCSI存儲(chǔ)設(shè)備第14頁，共34頁，2023年，2月20日，星期一SCSI應(yīng)用（文件系統(tǒng)、數(shù)據(jù)庫）SCSI塊指令SCSI流指令其他SCSI指令SCSI指令、數(shù)據(jù)和狀態(tài)iSCSITCPIP以太網(wǎng)等iSCSI協(xié)議棧iSCSI（InternetSCSI）把SCSI命令和塊狀數(shù)據(jù)封裝在TCP中在IP網(wǎng)絡(luò)中傳輸iSCSI作為SCSI的傳輸層協(xié)議，基本出發(fā)點(diǎn)是利用成熟的IP網(wǎng)絡(luò)技術(shù)來實(shí)現(xiàn)和延伸SANiSCSI第15頁，共34頁，2023年，2月20日，星期一iSCSI發(fā)起端-目標(biāo)器模型發(fā)起端（Initiator）SCSI層負(fù)責(zé)生成CDB（命令描述符塊），將CDB傳給iSCSIiSCSI層負(fù)責(zé)生成iSCSIPDU（協(xié)議數(shù)據(jù)單元），并通過IP網(wǎng)絡(luò)將PDU發(fā)給target目標(biāo)器（Target）iSCSI層收到PDU，將CDB傳給SCSI層SCSI層負(fù)責(zé)解釋CDB的意義。必要時(shí)發(fā)送響應(yīng)iSCSITCPSCSIIPLinkiSCSITCPSCSIIPLinkInitiatorTarget第16頁，共34頁，2023年，2月20日，星期一iSCSI的報(bào)文格式以太網(wǎng)頭(14)IP頭(20)TCP頭(20)iSCSI（TCP數(shù)據(jù)）FCS源端口目的端口序列號(hào)確認(rèn)號(hào)首部長度保留APRSF窗口大小校驗(yàn)和緊急指針基本報(bào)頭段(BHS，48字節(jié))附加報(bào)頭段（若有）頭部校驗(yàn)（若有）數(shù)據(jù)段（若有）數(shù)據(jù)校驗(yàn)（若有）U第17頁，共34頁，2023年，2月20日，星期一iSCSI優(yōu)點(diǎn)高可靠高擴(kuò)展良好的標(biāo)準(zhǔn)化易管理，IP技術(shù)成熟，具備IP知識(shí)的專業(yè)技術(shù)人員多很低的安裝成本和維護(hù)費(fèi)用：建立在TCP/IP上減少了異構(gòu)網(wǎng)絡(luò)和電纜：不需要特殊的FC交換機(jī)無距離限制，遠(yuǎn)程存儲(chǔ)：異地?cái)?shù)據(jù)交換、備份及容災(zāi)靈活的安全性和QoS保證第18頁，共34頁，2023年，2月20日，星期一FCSAN孤島如何連接，并跨越WAN？通過IP網(wǎng)絡(luò)隧道方案FCP路由方案FCIPiFCPFCSAN的連接第19頁，共34頁，2023年，2月20日，星期一應(yīng)用場合兩個(gè)FCSAN孤島通過IP連接成一個(gè)大的FCSAN特點(diǎn)基于IP的FC隧道協(xié)議，將FC幀封裝在TCP/IP上FCIP連接對(duì)IP網(wǎng)絡(luò)是透明的，整個(gè)傳輸中只有FCIP網(wǎng)關(guān)需要知道FCIP的封裝FCIP報(bào)文IP頭TCP頭TCP數(shù)據(jù)FCSSOFFC幀頭SCSI數(shù)據(jù)CRCEOFFCIP頭封裝FCIP（FCoverIP）第20頁，共34頁，2023年，2月20日，星期一應(yīng)用場合光纖通道設(shè)備（無FC交換機(jī)）將該設(shè)備直接連接到IP網(wǎng)絡(luò)上特點(diǎn)FC消息和路由服務(wù)在iFCP網(wǎng)關(guān)處終結(jié)。網(wǎng)關(guān)將每個(gè)FC地址映射到一個(gè)IP地址具有故障隔離功能部署時(shí)需要iSNS服務(wù)器（通常集成在iFCP網(wǎng)關(guān)上）iFCP報(bào)文IP頭TCP頭FCSSOFFC幀頭SCSI數(shù)據(jù)CRCEOFiFCP頭映射FC地址映射到IP地址iFCP(InternetFC)第21頁，共34頁，2023年，2月20日，星期一FCIPFCIP隧道iFCPiFCP多個(gè)SANFabric單個(gè)SANFabricFCIP和iFCP比較第22頁，共34頁，2023年，2月20日，星期一Ethernet頭IP頭TCPFCIP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSFCIPSOFFC幀頭Payload:SCSICommandinIUCRCEOFSCSI-FCPEthernet頭IP頭TCPiFCP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSiFCPEthernet頭IP頭TCPiSCSI頭FC幀頭Payload:SCSICommandinIUFCSiSCSI幾種存儲(chǔ)協(xié)議報(bào)文結(jié)構(gòu)比較第23頁，共34頁，2023年，2月20日，星期一iSNS，即Internet存儲(chǔ)名稱服務(wù)，將光纖通道的即插即用功能引入到IP存儲(chǔ)網(wǎng)絡(luò)中，可以容易地在TCP/IP網(wǎng)絡(luò)上實(shí)現(xiàn)iSCSI和光纖通道設(shè)備的自動(dòng)發(fā)現(xiàn)、管理和配置。存儲(chǔ)資源發(fā)現(xiàn)發(fā)現(xiàn)域和登錄控制服務(wù)狀態(tài)變化通知服務(wù)光纖通道和iSCSI設(shè)備開放映射iSNS主要功能iSNS協(xié)議iSNS客戶機(jī)iSNS服務(wù)器iSNS數(shù)據(jù)庫iSNS組成結(jié)構(gòu)iSNS第24頁，共34頁，2023年，2月20日，星期一其它存儲(chǔ)協(xié)議？InfiniBandAoE……其它存儲(chǔ)協(xié)議第25頁，共34頁，2023年，2月20日，星期一InfiniBand誕生背景傳統(tǒng)的集群系統(tǒng)以計(jì)算節(jié)點(diǎn)為核心，性能差，結(jié)構(gòu)復(fù)雜，擴(kuò)展能力差需要一種開放、高帶寬、低延遲、高可靠以及滿足集群無限擴(kuò)展能力的以交換為核心的體系架構(gòu)InfiniBand應(yīng)運(yùn)而生第26頁，共34頁，2023年，2月20日，星期一InfiniBand發(fā)展歷程：兩次浪潮1999首次提出2004年調(diào)整定位得到主流服務(wù)器生產(chǎn)鏈上廠商的一致追捧，但由于協(xié)議、軟件支持、最初定位問題等，導(dǎo)致應(yīng)用受到限制，包括Intel等廠商一度撤出投資調(diào)整定位于存儲(chǔ)網(wǎng)絡(luò)、計(jì)算網(wǎng)絡(luò)的應(yīng)用，軟件方面成立開源的OpenIB組織，甚至推出了IPoverInfiniBand的協(xié)議轉(zhuǎn)換，InfiniBand又開始得到歡迎第27頁，共34頁，2023年，2月20日，星期一InfiniBand體系架構(gòu)InfiniBand標(biāo)準(zhǔn)定義了一套用于系統(tǒng)通信的多種設(shè)備，包括信道適配器、交換機(jī)和路由器信道適配器用于同其它設(shè)備的連接，包括主機(jī)信道適配器（HCA）和目標(biāo)信道適配器（TCA）交換機(jī)是InfiniBand結(jié)構(gòu)中的基本組件點(diǎn)到點(diǎn)的交換結(jié)構(gòu)：解決了共享總線、容錯(cuò)性和可擴(kuò)展性問題具有物理層低功耗特點(diǎn)和箱外帶寬連接能力CPU鏈路網(wǎng)絡(luò)鏈路鏈路鏈路鏈路目標(biāo)TCA交換機(jī)內(nèi)存

控制器系統(tǒng)

內(nèi)存主機(jī)內(nèi)部互聯(lián)CPUTCA目標(biāo)HCAxCA路由器xCA路由器CPUxCA=HCA或TCA第28頁，共34頁，2023年，2月20日，星期一InfiniBand協(xié)議分層結(jié)構(gòu)物理層：定義了多種速率的連接，目前已有產(chǎn)品信號(hào)傳輸速率最高達(dá)60Gb/s鏈路層：鏈路層與傳輸層處在IBA的核心位置。提供了局部子系統(tǒng)中的信息包設(shè)計(jì)、點(diǎn)到點(diǎn)連接操作以及包交換等功能網(wǎng)絡(luò)層：提供了信息包從一個(gè)子結(jié)構(gòu)到另外一個(gè)子結(jié)構(gòu)的路由機(jī)制傳輸層：傳輸層主要負(fù)責(zé)信息包的按序分發(fā)、分割、通道多路技術(shù)以及傳輸服務(wù)等；也負(fù)責(zé)處理數(shù)據(jù)包分段的發(fā)送、接收和重組物理層鏈路層網(wǎng)絡(luò)層傳輸層應(yīng)用層5層結(jié)構(gòu)第29頁，共34頁，2023年，2月20日，星期一基于標(biāo)準(zhǔn)的協(xié)議由InfiniBandTradeAssociation共同設(shè)計(jì)了該開放標(biāo)準(zhǔn)高速度目前Infiniband主流技術(shù)為DDR技術(shù)，所支持的吞吐量為5、20或60Gbps。下一代采用QDR，帶寬最高可達(dá)120Gbps遠(yuǎn)程直接內(nèi)存存取功能該功能對(duì)于集群來說很適合，因?yàn)樗梢酝ㄟ^一個(gè)虛擬的尋址方案，讓服務(wù)器知道和使用其他服務(wù)器的部分內(nèi)存，無需涉及操作系統(tǒng)的內(nèi)核。

傳輸卸載遠(yuǎn)程直接內(nèi)存存取能夠幫助傳輸卸載，后者把數(shù)據(jù)包路