Brocade博科SAN網(wǎng)絡(luò)設(shè)計(jì)方案

1、Brocade 網(wǎng)絡(luò)工程設(shè)計(jì)方案Contents一. 文檔目標(biāo) 2二. SAN網(wǎng)絡(luò)設(shè)計(jì)原那么2三. SAN網(wǎng)絡(luò)架構(gòu)拓?fù)浣ㄗh3四. SAN總體架構(gòu)介紹4五 . 設(shè)備選型 5六 . 交換機(jī)高端功能簡(jiǎn)介 6七. 數(shù)據(jù)中心SAN的組成與擴(kuò)展6八. SAN網(wǎng)絡(luò)配置規(guī)8九. FIRMWAR 建議 10文檔目標(biāo)為了配合 數(shù)據(jù)擴(kuò)展特制定本技術(shù)指引。本指引將會(huì)包括以下容：? 更好地規(guī)劃、合理地使用SAN架構(gòu)與相關(guān)資源?針對(duì)未來(lái)業(yè)務(wù)開(kāi)展帶來(lái)的SAN架構(gòu)擴(kuò)展提出原那么? 對(duì)現(xiàn)有的設(shè)備端口資源以與未來(lái)可能投入的新資源進(jìn)展合理的 配置規(guī)劃? 對(duì)SANK備相關(guān)的平安策略和監(jiān)控管理提出相應(yīng)規(guī)SAN網(wǎng)絡(luò)設(shè)計(jì)原那么對(duì)于金融效勞

2、環(huán)境等要求最高可靠性、性能和彈性的任何根底架構(gòu) 來(lái)說(shuō)，存儲(chǔ)網(wǎng)絡(luò)架構(gòu)都是根本的組成要素。事實(shí)屢次證明，如果在這些 方面投機(jī)取巧走捷徑，那么將來(lái)發(fā)生本可防止的故障時(shí)，企業(yè)將付出更 大的代價(jià)。一旦產(chǎn)生故障除了極高的宕機(jī)本錢(qián)以外，還會(huì)導(dǎo)致生產(chǎn)率下 降、法律和監(jiān)管合規(guī)性影響、信心和信任度的下降、市場(chǎng)聲譽(yù)受損等后 果。所以博科對(duì)于SAN網(wǎng)絡(luò)架構(gòu)非常重視，根據(jù)博科20多年的存儲(chǔ)網(wǎng)絡(luò) 經(jīng)歷，建議按以下原那么設(shè)計(jì)存儲(chǔ)網(wǎng)絡(luò)。1. 最小化所管理 Fabric 架構(gòu)的數(shù)量 - Fabric 架構(gòu)越少就越容易 管理。2. 最小化每個(gè) Fabric 架構(gòu)換機(jī)數(shù) - 使用如大型導(dǎo)向器可簡(jiǎn)化管理， 將可能的 Fabric 架

3、構(gòu)中斷情況降至最低。3. 限制 Fabric 架構(gòu)規(guī)模 - Fabric 架構(gòu)規(guī)模應(yīng)加以限制4. 使用高可用性高的交換機(jī)-即使SAN擁有冗余架構(gòu)可用于故障切換，也沒(méi)有人希望其中一條數(shù)據(jù)路徑出現(xiàn)問(wèn)題。5. 防止大負(fù)載比，防止造成擁塞或性能降低 - 任何負(fù)載比都應(yīng)適 當(dāng)?shù)丶右栽O(shè)計(jì)。6. 大型環(huán)境采用核心 -邊緣模式 - 核心-邊緣設(shè)計(jì)模式可支持更大 型多 Fabric 架構(gòu)的創(chuàng)立，有助于簡(jiǎn)化日常管理任務(wù)，便于解決 問(wèn)題。7. 針對(duì)存儲(chǔ)流量進(jìn)展設(shè)計(jì) - 在 SAN 環(huán)境中響應(yīng)時(shí)間是以毫秒甚至 納秒與進(jìn)展衡量的，牢靠的SAN設(shè)計(jì)必須提供可靠且一致的I/O 響應(yīng)。8. 資源就近訪問(wèn)原那么 - 主機(jī)訪問(wèn)存

4、儲(chǔ)或存儲(chǔ)間訪問(wèn)因采用就近 原那么，即使用盡可能少的跳數(shù)完成訪問(wèn)。SAN網(wǎng)絡(luò)架構(gòu)拓?fù)浣ㄗhSAN 網(wǎng)絡(luò)架構(gòu)拓?fù)浒ňW(wǎng)絡(luò)邊緣的設(shè)備、網(wǎng)絡(luò)核心的交換機(jī)以與將 它們連接起來(lái)的線纜。拓?fù)浣Y(jié)構(gòu)一般根據(jù)交換機(jī)互連方式進(jìn)展描述，如 環(huán)狀、核心 - 邊緣、邊緣 -核心- 邊緣或全網(wǎng)狀。4.1 邊緣 - 核心拓?fù)溥吘?-核心拓?fù)鋵?Initiator 效勞器部署在邊緣層，將 存儲(chǔ)目標(biāo)部署在核心層。效勞器和存儲(chǔ)設(shè)備位于不同的交換 機(jī)上，這種拓?fù)淇商峁┕芾砗?jiǎn)便性和出色的性能， 從邊緣到核心 的流量只通過(guò)一跳。4.2 邊緣 - 核心- 邊緣拓?fù)溥吘?-核心- 邊緣拓?fù)鋵?Initiator部署在一個(gè)邊緣層，將存儲(chǔ)設(shè)備部署

5、在另一個(gè)邊緣層， 將核心用于交換機(jī)互連或連接全 網(wǎng)絡(luò)圍的設(shè)備， 這種架構(gòu)允許獨(dú)立擴(kuò)展計(jì)算和存儲(chǔ)資源， 流量只 需要經(jīng)過(guò)兩跳就可以從邊緣通過(guò)核心傳輸?shù)搅硪粋€(gè)邊緣設(shè)備。4.3 全網(wǎng)狀拓?fù)淙W(wǎng)狀拓?fù)淇梢詫⑿谄骱痛鎯?chǔ)設(shè)備部署在任何地方， 因?yàn)?任意源和目的地之間的通信只需要一跳。Brocade 推薦使用核心 - 邊緣拓?fù)?。這種拓?fù)涮峁┝艘源鎯?chǔ)為中 心的可擴(kuò)展根底設(shè)施， Fabric 的核心端通常是由一個(gè)或更多導(dǎo)向器 級(jí)交換機(jī)組成，提供了集中化的存儲(chǔ)連接。邊緣端是由 Fabric 架構(gòu) 交換機(jī)或?qū)蚱鹘M成，通過(guò) ISL 連接到核心端。見(jiàn)以下圖：Storage (Server如以下圖，存儲(chǔ)端口是由核心導(dǎo)

6、向器提供支持， 同時(shí)邊緣交換機(jī)提 供多臺(tái)效勞器到核心資源的扇入。這種設(shè)計(jì)允許路徑上不同級(jí)別 效勞器進(jìn)展連接，滿足了不同應(yīng)用的帶寬需求。架構(gòu)特點(diǎn)：?主機(jī)訪問(wèn)存儲(chǔ)跳數(shù)為1 跳,延時(shí)較低?可實(shí)現(xiàn)按需橫向擴(kuò)展Core或邊緣?存儲(chǔ)可接入在不同的核心上，實(shí)現(xiàn)最大的負(fù)載均衡?流量分布在不同的核心與邊緣降低的級(jí)聯(lián)線的需求，有效的提升了 ISL的使用效率?網(wǎng)絡(luò)中無(wú)單點(diǎn)交換機(jī)故障四.SAN總體架構(gòu)介紹為了適應(yīng)新一代業(yè)務(wù)的增長(zhǎng)，在新一代 SAN架構(gòu)設(shè)計(jì)時(shí)，以保證未 來(lái)五年的業(yè)務(wù)增長(zhǎng)為前提，為 公司定下了核心-邊緣的SAN架構(gòu)，同時(shí) 兼顧未來(lái)的同城災(zāi)備中心，為將來(lái)的擴(kuò)展奠定根底。當(dāng)前架構(gòu)為雙機(jī)房架構(gòu)，其中 A機(jī)房和B

7、機(jī)房又分布在同一樓層， 存儲(chǔ)會(huì)分布在2個(gè)機(jī)房。5.1數(shù)據(jù)中心SAN網(wǎng)絡(luò)架構(gòu)生產(chǎn)SAN網(wǎng)絡(luò)架構(gòu)為 的核心架構(gòu)，當(dāng)前使用的設(shè)備為博科 的6510交換機(jī)且為單機(jī)應(yīng)用，無(wú)論從性能還是功能上均無(wú)法滿 足用戶的業(yè)務(wù)增長(zhǎng)需求。依據(jù)最正確實(shí)踐，Brocade提出以核心-邊緣建立生產(chǎn)數(shù)據(jù) 中心的SAN網(wǎng)絡(luò)，以滿足的業(yè)務(wù)擴(kuò)展，見(jiàn)以下拓?fù)鋱D單邊：A機(jī)房B機(jī)房(fW652065106510從整個(gè)拓?fù)鋪?lái)看，核心-邊緣架構(gòu)在提供了極佳的應(yīng)用冗余 性外，SAN網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)了集中存儲(chǔ)到應(yīng)用體系的轉(zhuǎn)換，使主機(jī) 和存儲(chǔ)各自的設(shè)計(jì)和擴(kuò)展變的相對(duì)獨(dú)立。五設(shè)備選型鑒于機(jī)房的設(shè)備布局與業(yè)務(wù)需求，決定使用6520來(lái)作為整個(gè)SAN網(wǎng)絡(luò)的核心

8、交換機(jī)。?6520硬件Brocade 6520交換機(jī)可交付市場(chǎng)領(lǐng)先的16 Gbps光纖通道 技術(shù)和支持高度虛擬化環(huán)境的先進(jìn)功能，進(jìn)而滿足超大規(guī)模私有 云存儲(chǔ)環(huán)境的需求。Brocade 6510設(shè)計(jì)用于實(shí)現(xiàn)最高的靈活性 和最有效的投資保護(hù)，支持48, 62, 96端口配置，而且可在高效 的2U高度下支持2、4、8、10或16 Gbps的速度。六. 交換機(jī)高端功能簡(jiǎn)介生產(chǎn)設(shè)備將會(huì)分布在A機(jī)房與B機(jī)房，因此數(shù)據(jù)傳遞可靠性尤為重 要， Brocade 傳輸功能保證數(shù)據(jù)快速準(zhǔn)確的在數(shù)據(jù)中心中傳遞，業(yè)界首 屈一指的Fabric Vision 功能提供了多種工具保證雙數(shù)據(jù)中心的SAN網(wǎng)絡(luò)監(jiān)控與管理更簡(jiǎn)單，更

9、智能，更有效，確保數(shù)據(jù)平安無(wú)憂。? Fabric VisionSAN管理的目標(biāo)是希望構(gòu)建靈活的存儲(chǔ)區(qū)域網(wǎng)絡(luò)，靈活滿足高密 度虛擬化、閃存和云根底架構(gòu)動(dòng)態(tài)多變的可擴(kuò)展性和性能要求。為 實(shí)現(xiàn)這些目標(biāo)，需要全新的工具來(lái)幫助確保不停機(jī)運(yùn)行，快速識(shí)別 潛在擁塞點(diǎn)， 最大限度地提高應(yīng)用性能并簡(jiǎn)化管理。 Brocade Fabric Vision 技術(shù)是對(duì)第五代光纖通道技術(shù)的擴(kuò)展，可提供無(wú)與倫比的存 儲(chǔ)網(wǎng)絡(luò)洞察力和可視性，利用強(qiáng)大的置監(jiān)控、管理和診斷工具幫助 企業(yè)。? 提供強(qiáng)大的置監(jiān)控、管理和診斷工具，簡(jiǎn)化管理、延長(zhǎng)正常 運(yùn)行時(shí)間并降低本錢(qián)? 通過(guò)One Touch方式利用15年的SAN最正確實(shí)踐經(jīng)歷，借

10、助預(yù)先定義的基于閥值的規(guī)那么、操作和策略簡(jiǎn)化監(jiān)控解決 方案部署? 利用主動(dòng)監(jiān)控和高級(jí)診斷工具防止 50%的常見(jiàn)網(wǎng)絡(luò)故障。? 通過(guò)自動(dòng)化測(cè)試和診斷工具消除近 50%的維護(hù)本錢(qián)。? 通過(guò)置監(jiān)控和診斷功能消除對(duì)昂貴的第三方工具的需求，幫 助節(jié)約大量的資本支出。七. 數(shù)據(jù)中心SAN的組成與擴(kuò)展7.1SAN網(wǎng)絡(luò)的組成SAN架構(gòu)由核心Core交換機(jī)、邊緣Edge交換機(jī)與相關(guān)線 路組成。根據(jù)最正確實(shí)踐，我們先定義每個(gè) SAN網(wǎng)絡(luò)遵循的規(guī)模限制：? 交換機(jī)個(gè)數(shù) <=10? 端口數(shù) <=2000SAN網(wǎng)絡(luò)的規(guī)模限制是為了保證網(wǎng)絡(luò)的穩(wěn)定性以與更好的進(jìn)展 運(yùn)維管理效勞。7.2SAN網(wǎng)絡(luò)的擴(kuò)展性以下圖是目

11、前設(shè)計(jì)的單邊 SAN網(wǎng)絡(luò)最大規(guī)模交換機(jī)數(shù)連接示 意圖，可以看到：網(wǎng)絡(luò)交換機(jī)采用冗余鏈路設(shè)計(jì)， 每個(gè)SAN網(wǎng)絡(luò)最 大有2臺(tái)核心Core交換機(jī)按需擴(kuò)展和8臺(tái)邊緣Edge交換機(jī)按 需擴(kuò)展。核心7.3SAN網(wǎng)絡(luò)的擴(kuò)展原那么SAN的設(shè)計(jì)是按5-7年設(shè)計(jì)，但是SAN的建立是按需擴(kuò)展的， 隨著未來(lái)業(yè)務(wù)的開(kāi)展可能會(huì)帶來(lái)SAN網(wǎng)絡(luò)的擴(kuò)展需求，對(duì)此Brocade 有著如下定義：在既定SAN網(wǎng)絡(luò)某體系需要擴(kuò)展時(shí)，如果某 SAN網(wǎng) 絡(luò)仍有相應(yīng)擴(kuò)展空間那么進(jìn)展縱向擴(kuò)展；如某SAN網(wǎng)絡(luò)已達(dá)規(guī)模上限時(shí)那么采取橫向擴(kuò)展。以下為擴(kuò)展根本原那么即流程圖:7.4總結(jié) 根據(jù)以上容，以下是對(duì)SAN網(wǎng)絡(luò)擴(kuò)展的總結(jié)：? 當(dāng)端口需要擴(kuò)展時(shí)，

12、依據(jù)接入設(shè)備存儲(chǔ) / 主機(jī)選擇接入核心 還是邊緣交換機(jī)。? 當(dāng)核心 / 邊緣交換機(jī)端口缺乏時(shí)首先選擇擴(kuò)展板卡方式進(jìn)展擴(kuò) 展? 當(dāng)核心 / 邊緣交換機(jī)無(wú)縱向擴(kuò)展選擇時(shí)， 通過(guò)橫向擴(kuò)展方式進(jìn)展 擴(kuò)展，即新增交換機(jī)。? 所有核心 / 邊緣交換機(jī)接入需采用雙路冗余接入方式。八. SAN網(wǎng)絡(luò)配置規(guī)8.1 管理網(wǎng)絡(luò)的界定為了統(tǒng)一起見(jiàn)，我們對(duì)管理網(wǎng)絡(luò)進(jìn)展如下界定：1.2. 管理網(wǎng)絡(luò)區(qū)可以設(shè)置有多個(gè)網(wǎng)段。SAN網(wǎng)絡(luò)設(shè)備的管理和調(diào)試、 SAN存儲(chǔ)設(shè)備的管理和調(diào)試、BNA SAN網(wǎng)絡(luò)管理系統(tǒng)可以分別 使用不同的網(wǎng)段。3. 如果網(wǎng)段之間設(shè)備需要相互通信，那么需要相關(guān)的網(wǎng)段能互連 互通。8.2 SAN網(wǎng)絡(luò)設(shè)備管理IP

13、地址規(guī)劃推薦如下管理 IP 地址規(guī)劃：1. 在同一個(gè)SAN網(wǎng)中光纖交換機(jī)的管理端口設(shè)在同一個(gè)網(wǎng)段。2.3.對(duì)于普通的SAN交換機(jī)，一臺(tái)交換機(jī)分配1個(gè)管理IP地址； 對(duì)于導(dǎo)向器設(shè)備， 每臺(tái)導(dǎo)向器需要 3個(gè)管理 IP 地址， 2個(gè)分配 給CP板，1個(gè)分配給chassis。在導(dǎo)向器實(shí)際管理中，我們使 用分配給 chassis 的 IP 地址作為管理地址。8.3 SAN交換機(jī)級(jí)聯(lián)端口利用規(guī)劃SAN交換機(jī)端口連接規(guī)劃需要充分考慮過(guò)載比和實(shí)際使用環(huán)境。所謂的過(guò)載比，是指邊緣交換機(jī)所連接的效勞器的數(shù)量與邊緣交換機(jī)到核心交換機(jī)的 ISL 數(shù)量比值，簡(jiǎn)稱 ISL 過(guò)載比，或邊緣交換機(jī)所連接的效勞器的帶寬綜合與邊

14、緣交換機(jī)到核心交換機(jī)的ISL帶寬總和的比值，簡(jiǎn)稱為帶寬過(guò)載比，還有一種過(guò)載比是效勞器與存儲(chǔ)端口數(shù)量 的比值。下面我們以ISL過(guò)載比進(jìn)展SAN交換機(jī)端口連接規(guī)劃。1. 一般情況下，邊緣交換機(jī)到核心交換機(jī)之間按 7:1過(guò)載比進(jìn)展規(guī)劃。對(duì)一般數(shù)據(jù)庫(kù)和應(yīng)用效勞器以與文件效勞器等，其過(guò)載比一般建議7:1。2. 帶寬要求不高的按15:1過(guò)載比進(jìn)展規(guī)劃，一般效勞器以與使用FC的客戶端，15： 1 一般都能 勝任。3. 個(gè)別帶寬要求較高的按3:1過(guò)載比進(jìn)展規(guī)劃，例如核心數(shù)據(jù)庫(kù)和存儲(chǔ)端口的過(guò)載比一般建議 3:1 o8.4別名的規(guī)劃1. 為了日常管理的清晰和方便推薦使用別名2. 賦予別名名稱一定的含義，如效勞器

15、SVR存儲(chǔ)SG物理磁帶庫(kù)LIB等3. 別名名稱的規(guī)定和ZONE勺名稱的規(guī)定一樣8.5 ZONE的規(guī)劃以下是依據(jù)ZONE劃分的最正確實(shí)踐提出如下ZONE勺設(shè)置規(guī)：1. 對(duì)于每臺(tái)主機(jī)的initiator1個(gè)端口，對(duì)應(yīng)1個(gè)或數(shù)個(gè)存儲(chǔ)端口 target丨一起構(gòu)成1個(gè)ZONE2. 采用硬件分區(qū)技術(shù)，ZONE的成員要么都是PWVVN要么都是FC 端口(Domain ID, Port Index)。3. 推薦在核心交換機(jī)上配置ZONE4. 推薦FOS Fabric OS丨版本最高的交換機(jī)上配置 ZONE5. 不同的Fabric ZONE的配置信息可以一樣，相互獨(dú)立。6. 推薦將交換機(jī)的 Default ZONE設(shè)置成NoAccesso7. 博科交換機(jī)的ZONE勺命名為英文字母、阿拉伯?dāng)?shù)字和下劃線， 必須以英文字母開(kāi)頭，總長(zhǎng)度不能超過(guò) 64位，要區(qū)分英文字 母大小寫(xiě)。ZONE命名原那么如下：Zone名稱由前端設(shè)備名稱別名、后端設(shè)備名稱 2局部構(gòu)成。名稱 依次連接，不留空格，其表示