詳解FC交換機(jī)基礎(chǔ)知識

1、 詳解FC交換機(jī)基礎(chǔ)知識 談起FC交換機(jī)，大家就會想到它是數(shù)據(jù)中心貴族的象征，也是保證核心業(yè)務(wù)性能和可靠性的技術(shù)基石，但近年來，隨著數(shù)據(jù)中心軟件定義，IP化潮流的推進(jìn)，F(xiàn)C交換機(jī)的市場份額有所收縮，但截至目前為止，F(xiàn)C技術(shù)仍然占據(jù)數(shù)據(jù)中心核心業(yè)務(wù)的半壁江山，今天詳細(xì)聊聊FC交換機(jī)基礎(chǔ)知識。 博科是FC交換機(jī)領(lǐng)域的領(lǐng)導(dǎo)者，其交換機(jī)被不同存儲和服務(wù)器廠商OEM，下圖是主流存儲廠商OEM詳情對位標(biāo): 先從NPIV談起，當(dāng)物理主機(jī)上部署了虛擬機(jī)后，若采用原來的物理主機(jī)訪問存儲的方式，映射給主機(jī)的LUN是所有虛擬機(jī)可見的，安全性和可管理性都降低，同時也無法滿足各個虛擬機(jī)自身直接訪問存儲。 NPIV就是為

2、了解決這一問題而產(chǎn)生的。NPIV是N_Port ID Virtualization，是一項虛擬化技術(shù)，ANSI標(biāo)準(zhǔn)。當(dāng)主機(jī)端應(yīng)用了NPIV后，主機(jī)可以在一個物理HBA卡上虛擬出多個虛擬HBA卡，每個虛擬機(jī)都分配一個自己的虛擬HBA卡，虛擬機(jī)通過虛擬HBA訪問存儲設(shè)備，每個虛擬機(jī)都只能看見自己的磁盤資源，不同虛擬機(jī)間的磁盤資源相互不可見。交換機(jī)端口NPIV 為了實現(xiàn)上述的功能，只有主機(jī)端支持NPIV還不夠，交換機(jī)也要支持NPIV才可以。博科光纖交換機(jī)全部支持NPIV功能，各個交換機(jī)的端口的NPIV功能默認(rèn)是開啟的，可以通過如下的方式查看: 在命令回顯里面，如果NPIV capability屬性為

3、“ON”則表明該端口已經(jīng)開啟了NPIV功能。如果為“OFF”則表明該端口關(guān)閉了NPIV。Zone的概念和作用 SAN網(wǎng)絡(luò)中一個常用的概念叫做zone，zone在SAN網(wǎng)絡(luò)中的作用和以太網(wǎng)絡(luò)中的VLAN有些類似。Zone的主要作用就是把Fabric網(wǎng)絡(luò)分區(qū)，避免不相關(guān)的設(shè)備之前相互訪問，同時也具有安全的作用。在設(shè)備較多的Fabric網(wǎng)絡(luò)中，務(wù)必要劃分zone。 一個zone由一組zone成員組成，一個設(shè)備可以是一個或多個zone的成員，如設(shè)備RAID4既是Zone2的成員也是Zone3的成員。同一個zone內(nèi)的成員之間可以相互訪問，不在同一個zone內(nèi)的成員之間不可訪問。如Zone1包括成員We

4、b Server和RAID2，這兩個設(shè)備之間可以相互訪問。Fabric網(wǎng)絡(luò)的zone配置有兩層概念:第一層是zone，zone內(nèi)的成員由連接到Fabric上的設(shè)備組成第二層是zone集合，它由一個或多個zone組成，在一個Fabric網(wǎng)絡(luò)中，可以創(chuàng)建一個或多個zone集合，但同一時間只能有一個處于激活狀態(tài)的zone集合。Zone的種類 博科交換機(jī)支持多種zone，常規(guī)zone和特殊zone。常規(guī)zone就是我們通常所說的zone，主要作用是隔離設(shè)備，把Fabric網(wǎng)絡(luò)劃分為多個分區(qū)；特殊zone有TI zone，QoS zone和LSAN zone。若非特殊說明，此處所提的zone全部是常規(guī)z

5、one。常規(guī)zone按照所包含的成員類型不同，可以分為端口zone，WWN zone和混合zone。 端口zone：zone的成員全部是交換機(jī)端口，每個端口由Domain ID和Port Index二元組唯一確定。這種zone的優(yōu)點在于和交換機(jī)連接的設(shè)備更換后不用重新劃分zone，但是設(shè)備更換和交換機(jī)連接的端口后需要重新劃分zone，即端口zone是和位置相關(guān)的。如：zone01：（1,1；1,2；1,3）。優(yōu)點：創(chuàng)建簡單，易懂，適合用于連接設(shè)備不太多的SAN網(wǎng)絡(luò)交換機(jī)缺點：設(shè)備更換到其他端口后無法和原來zone內(nèi)的成員相互通信，和位置相關(guān)，在大型SAN網(wǎng)絡(luò)中不方便管理。 WWN Zone：z

6、one的成員全部是設(shè)備的WWN，WWN可以是設(shè)備節(jié)點WWN，也可以是設(shè)備端口WWN（WWPN），常用的是以WWPN來創(chuàng)建zone。這種zone的優(yōu)點在于設(shè)備更換和交換機(jī)連接的端口后后不用重新劃分zone，但是設(shè)備端更換HBA后需要重新劃分zone，即WWN zone是和設(shè)備相關(guān)的。如：zone02：(20:12:00:22:a1:09:8e:67;10:00:00:00:c9:d5:bd:2e)。優(yōu)點：設(shè)備換插到交換機(jī)的其他端口后仍舊可以和原來的zone內(nèi)的成員通信，不許要重新劃分zone。缺點：相對于端口的方式，以WWN創(chuàng)建zone稍微復(fù)雜一些，需要弄清各個設(shè)備的WWN。設(shè)備端更換HBA或接

7、口卡后，由于WWN發(fā)生了改變，需要重新劃分zone 混合zone的組成：zone的成員既包含交換機(jī)端口，也包含設(shè)備WWN。這種方式由于存在管理上的不便，同時設(shè)備之間通信時需要CPU的參與，可能會影響性能。所以規(guī)劃zone時，盡量不要使用這種方式。如zone03：( 20: 12: 00 :22:a1:09:8e:55;1,4;15)?；旌蟴one不是規(guī)范的zone，在實際應(yīng)用中盡量不要按照這種方式創(chuàng)建zone。交換機(jī)長距離1、L0: 端口為L0時為正常模式，該模式下交換機(jī)端口可以是F_Port、L_Port、E_Port。支持的設(shè)備的距離(2Gb最大5km，4Gb最大2km，8Gb最大1km)

8、。2、LE:端口為LE模式時該端口只能配置為E_Port，用來連接其他交換機(jī)。該模式下交換機(jī)間的距離可達(dá)10km。3、LD:LD模式為動態(tài)自適應(yīng)模式，根據(jù)用戶設(shè)定的距離以及系統(tǒng)檢測到的實際距離，取二者的最小值分配buffer。該模式下可以支持超過10km的距離，最大支持距離取決于交換機(jī)所能分配的Buffer數(shù)量。4、LS:LS為靜態(tài)長距離模式，該模式和LD類似，都支持超過10km的距離.不同之處在于LS預(yù)留Buffer的方式和LD不同，LS只以用戶定義的距離作為分配Buffer數(shù)量參考。光纖線纜 光纖作為一種傳輸介質(zhì)在通信應(yīng)用中占有非常重要的地位。光纖按照不同的角度可以分為不同的種類，如按照材

9、料不同可以分為石英系光纖、多組分玻璃光纖、塑料包層石英芯光纖等；按照傳輸模式不同可以分為多模光纖和單模光纖；按照波長不同可以分為短波光纖和長波光纖。我們主要介紹一下多模光纖和單模光纖。 多模光纖的纖芯直徑為50或62.5m，包層外徑125m，標(biāo)示為50/125m或62.5/125m。多模光纖由于色散比較大，其傳輸距離有限。多模光纖的光源一般為發(fā)光二極管。 比較常用的多模光纖有OM1、OM2和OM3，目前主流的是OM3。 單模光纖的纖芯直徑為8.3m，包層外徑125m，標(biāo)示為8.3/125m。單模光纖中心玻璃芯很細(xì)(芯徑一般為9或10m)，只能傳一種模式的光。因此，其模間色散很小，適用于遠(yuǎn)程通信

10、。單模光纖的光源一般為固體激光器。光模塊 多模光模塊支持的傳輸距離近，一般在千米以內(nèi)，適合園區(qū)級別的業(yè)務(wù)部署，單模光模塊支持的距離遠(yuǎn)，可達(dá)幾十千米，適合區(qū)域級別的業(yè)務(wù)部署。短波多模光模塊搭配多模光纖支持的傳輸距離如下表所示： 光模塊在不同速率下配套不同規(guī)格(OM1/OM2OM3)的光纖線，最大的傳輸距離是不一樣的，如8G光模塊搭配OM3多模光纖線，當(dāng)速率為8G時，最遠(yuǎn)支持150m，當(dāng)速率降為4G時，最遠(yuǎn)支持380m。傳輸距離 交換機(jī)端口速率有1/2/4/8/16Gbps之分，光模塊有長波短波之分，光纖線有單模多模之分，那么它們和傳輸距離之間的關(guān)系是怎么樣的呢。 首先，相同速率下，單模光纖的傳輸

11、距離比多模光纖的傳輸距離要遠(yuǎn)，長波光模塊比短波光模塊傳輸?shù)木嚯x要遠(yuǎn)。當(dāng)然單模光纖線和多模光纖要配合對應(yīng)光模塊使用。 其次，在配置確定的情況下，如8Gbps多模光模塊配合多模光纖線，速率越低，傳輸距離越遠(yuǎn)。如前面提到的8Gbps光模塊的最遠(yuǎn)傳輸距離規(guī)格是500m，指的是其運行在2Gbps速率且光纖線為OM3是所能達(dá)到的最遠(yuǎn)距離，在8Gbps速率時其最遠(yuǎn)只能傳輸150m。 最后，還有一種情況，光模塊、光纖線都可以支持到某個距離，如25km，但是實際帶寬值可能連光模塊支持的最低速率都達(dá)不到，為什么？這個就涉及到另外一個概念了，即Credit Buffer。 在默認(rèn)情況下，交換機(jī)的每個端口都分配一定數(shù)

12、量的Buffer，當(dāng)發(fā)送端向?qū)Χ税l(fā)送數(shù)據(jù)中幀時，每發(fā)送一個幀就會計一次數(shù)，當(dāng)幀計數(shù)值等于其Buffer數(shù)量時，就不能繼續(xù)發(fā)送了，必須等待對方的確認(rèn)信息來重新獲得發(fā)送能力。這就會產(chǎn)生一個問題，當(dāng)設(shè)備間的距離非常遠(yuǎn)時，發(fā)送端可能很快用完了自己的Buffer，但是幀還在鏈路上沒有到達(dá)接收端，發(fā)送端只能處于等待狀態(tài)，這極大的浪費了帶寬，從而出現(xiàn)了前面描述的問題。所以，Credit Buffer在遠(yuǎn)距離通信中也是必須注意和配置的一項。 在實際的應(yīng)用中，要結(jié)合實際應(yīng)用場景選擇對應(yīng)的配置。如果選擇不當(dāng)，可能會導(dǎo)致性能低、鏈路不穩(wěn)定甚至是設(shè)備間鏈路無法建立。ISL鏈路聚合 ISL鏈路聚合就是ISL Trunk

13、ing，把兩臺交換機(jī)之間滿足一定條件的多條物理路徑合并成一條邏輯路徑的技術(shù)。交換機(jī)配置Trunking后可以擴(kuò)展鏈路的總的帶寬和提高鏈路的可靠性。 ISL方式級聯(lián)的交換機(jī)間的多個路徑要配置Trunking，要形成Trunking的幾個端口必須是在同一個端口組里面。所有參與Trunking的端口的配置要相同，Trunking用的多個光纖線的長度差異不要超過30米，否則會引起性能下降，超過400米就無法形成Trunking。 Trunking只在博科或同類廠商的設(shè)備上被支持，博科交換機(jī)和其他廠商的交換機(jī)無法形成trunking。有無Trunking時的的區(qū)別:無Trunking 上圖中兩臺交換機(jī)通

14、過四條鏈路連接起來，在沒有配置Trunking的情況下，各個ISL路徑上的IO差異很大。一個主機(jī)的IO只會在同一條路徑上下發(fā)，而這個路徑上還可能有其他應(yīng)用的IO，導(dǎo)致的結(jié)果就是一條路徑的流量形成的擁塞的時候另一條卻負(fù)載很低。有Trunking 多個ISL路徑形成Trunking時，這些物理路徑就合并成了一個邏輯路徑，帶寬是多個路徑的總和。當(dāng)多個主機(jī)下發(fā)IO的時候，Trunking以幀為單位將流量合理的分配到了不同的路徑上，使得所有路徑都有機(jī)會參與數(shù)據(jù)傳輸。數(shù)據(jù)幀會優(yōu)先在負(fù)載低的路徑上下發(fā)。端口類型 端口是構(gòu)建光纖網(wǎng)絡(luò)的基本模塊，在光纖通道網(wǎng)絡(luò)中端口包括設(shè)備側(cè)端口、交換機(jī)側(cè)端口和配置端口。 設(shè)備

15、側(cè)端口類型：設(shè)備側(cè)端口主要指和交換機(jī)相連的終端設(shè)備的端口，端口類型包括N_Port和NL_Port。N_Port：點對點模式的端口，設(shè)備直連模式端口。NL_Port：仲裁環(huán)模式端口。 交換機(jī)端口類型：交換機(jī)上的端口類型比較多，不同廠商支持的端口類型也不盡相同，下面列出博科光纖交換機(jī)支持的端口類型:U_Port：通用端口模式。嚴(yán)格來說U_Port并不是一種端口模式，它只是端口空閑時的一個狀態(tài)，等待端口連接設(shè)備后轉(zhuǎn)變到最終的端口模式。F_Port：Fabric端口模式，F(xiàn)_Port和N_Port可以建立連接。FL_Port：Fabric環(huán)路端口模式，F(xiàn)L_Port和NL_Port可以建立連接。該端

16、口類型在博科Condor3 ASIC平臺上不再支持。G_Port：Generic端口(G_Port和U_Port類似)，當(dāng)端口模式顯示為G_Port時并不是該端口的最終狀態(tài)，它在待轉(zhuǎn)變?yōu)樽罱K的F_Port或E_Port模式。E_Port：Expansion端口。用于和其它交換機(jī)建立互聯(lián)的端口D_Port：診斷端口，該模式的端口不能夠接入到Fabric網(wǎng)絡(luò)中，不能和其他設(shè)備通信，只用來作為診斷分析使用。博科交換機(jī)從Conder3 ASIC上才支持。 配置端口類型：配置的端口模式是博科交換機(jī)上的一種端口模式，目前包括EX_Port、VE_Port、VEX_port幾種類型。和上面幾種交換機(jī)模式不同

17、，這幾種模式的用處較為特殊。EX_Port：E_Port的一種特殊場景，用來連接FC Router。通過該模式連接2個不同的Fabric，可以使兩個Fabric網(wǎng)絡(luò)中的設(shè)備相互通信而無需合并ZONE配置。VE_Port：虛擬E_Port，它用于FCIP網(wǎng)絡(luò)中。VEX_Port：虛擬EX_Port，功能上和EX_Port相同，只不過是用于IP網(wǎng)絡(luò)。設(shè)備端口工作模式 端口連接設(shè)備后顯示的端口模式有如下幾種：D_Port是診斷端口模式，用于分析本地端口和遠(yuǎn)端交換機(jī)端口之間的鏈路狀態(tài)。運行時會顯示遠(yuǎn)端交換機(jī)的WWN。E_Port是級聯(lián)模式。和其他交換機(jī)上的E_Port建立連接從而擴(kuò)展Fabric網(wǎng)絡(luò)。

18、正常運行時會顯示連接的交換機(jī)的WWN。Ex_Port是路由端口模式。Ex_Port可以使不同交換機(jī)上的設(shè)備相互訪問但又無需進(jìn)行zone配置融合。運行時會顯示遠(yuǎn)端交換機(jī)的WWN。F_Port是點對點模式。交換機(jī)端口顯示為F_Port時表示設(shè)備已經(jīng)以點對點模式和交換機(jī)建立好了連接。運行時會顯示連接的設(shè)備的WWN。G_Port是點對點模式。和F_Port不同，G_Port不是一個正常工作時的狀態(tài)，需要排查問題原因，如主機(jī)是否向交換機(jī)發(fā)送了Flogn，設(shè)備和交換機(jī)間的鏈路是否正常?？梢試L試重新加載設(shè)備端驅(qū)動、更換光纖線等方法解決該問題，AIX環(huán)境下可以嘗試刪除主機(jī)邏輯HBA卡后重新掃描。L_Port是仲裁環(huán)模式。連接的設(shè)備是NL_Port。運行時會顯示連接的設(shè)備的WWN。LE是長距離工作模式的一