VPLEX異構(gòu)存儲雙活技術(shù)方案

1、 VPLEX異構(gòu)存儲雙活技術(shù)方案 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66521878 VPLEX異構(gòu)存儲雙活技術(shù)方案 PAGEREF _Toc66521878 h 1 HYPERLINK l _Toc66521879 1.VPLEX技術(shù)概述 PAGEREF _Toc66521879 h 4 HYPERLINK l _Toc66521880 1.1VPLEX高可用的硬件架構(gòu) PAGEREF _Toc66521880 h 4 HYPERLINK l _Toc66521881 1.2VPLEX的邏輯對象配置 PAGEREF _Toc66521881 h 5 HY

2、PERLINK l _Toc66521882 1.3VPLEX雙活技術(shù) PAGEREF _Toc66521882 h 6 HYPERLINK l _Toc66521883 1.3.1 VPLEX緩存技術(shù)概述 PAGEREF _Toc66521883 h 7 HYPERLINK l _Toc66521884 1.3.2 本地雙活 PAGEREF _Toc66521884 h 7 HYPERLINK l _Toc66521885 1.3.3 同城雙活 PAGEREF _Toc66521885 h 8 HYPERLINK l _Toc66521886 2. VPLEX運維管理 PAGEREF _To

3、c66521886 h 8 HYPERLINK l _Toc66521887 2.1 管理工具 PAGEREF _Toc66521887 h 8 HYPERLINK l _Toc66521888 2.1.1 Web界面 PAGEREF _Toc66521888 h 8 HYPERLINK l _Toc66521889 2.1.2 CLI命令行 PAGEREF _Toc66521889 h 8 HYPERLINK l _Toc66521890 2.1.3管理API接口 PAGEREF _Toc66521890 h 9 HYPERLINK l _Toc66521891 2.1.4 其他方式 PAG

4、EREF _Toc66521891 h 9 HYPERLINK l _Toc66521892 2.2 邏輯配置管理 PAGEREF _Toc66521892 h 9 HYPERLINK l _Toc66521893 2.2.1 配置數(shù)據(jù)建模 PAGEREF _Toc66521893 h 10 HYPERLINK l _Toc66521894 2.2.2 配置數(shù)據(jù)抽取 PAGEREF _Toc66521894 h 10 HYPERLINK l _Toc66521895 2.2.3 配置數(shù)據(jù)展示 PAGEREF _Toc66521895 h 10 HYPERLINK l _Toc66521896

5、2.3性能與狀態(tài)監(jiān)控 PAGEREF _Toc66521896 h 11 HYPERLINK l _Toc66521897 3.VPLEX異構(gòu)存儲雙活案例 PAGEREF _Toc66521897 h 12 HYPERLINK l _Toc66521898 3.1 案例背景介紹 PAGEREF _Toc66521898 h 12 HYPERLINK l _Toc66521899 3.2 SAN 組網(wǎng) PAGEREF _Toc66521899 h 12 HYPERLINK l _Toc66521900 3.2.1 SAN 規(guī)劃原則 PAGEREF _Toc66521900 h 12 HYPERL

6、INK l _Toc66521901 3.2.1 SAN 端口規(guī)劃 PAGEREF _Toc66521901 h 13 HYPERLINK l _Toc66521902 3.3 存儲映射VPLEX的配置 PAGEREF _Toc66521902 h 13 HYPERLINK l _Toc66521903 3.3.1 DS8870配置 PAGEREF _Toc66521903 h 13 HYPERLINK l _Toc66521904 3.3.2 VMAX配置 PAGEREF _Toc66521904 h 13 HYPERLINK l _Toc66521905 3.3.3 VSP_F1500配置

7、 PAGEREF _Toc66521905 h 14 HYPERLINK l _Toc66521906 3.4 VPLEX上異構(gòu)存儲納管 PAGEREF _Toc66521906 h 14 HYPERLINK l _Toc66521907 3.4.1 邏輯封裝操作流程 PAGEREF _Toc66521907 h 14 HYPERLINK l _Toc66521908 3.4.2 本地雙活配置 PAGEREF _Toc66521908 h 15 HYPERLINK l _Toc66521909 3.4.3 同城雙活配置 PAGEREF _Toc66521909 h 16 HYPERLINK l

8、 _Toc66521910 3.4.4 一致性組的創(chuàng)建 PAGEREF _Toc66521910 h 17 HYPERLINK l _Toc66521911 3.5 VPLEX上主機映射 PAGEREF _Toc66521911 h 18 HYPERLINK l _Toc66521912 3.6 異構(gòu)存儲雙活方案總結(jié) PAGEREF _Toc66521912 h 18 HYPERLINK l _Toc66521913 4.VPLEX相關(guān)故障場景及異常處理 PAGEREF _Toc66521913 h 19 HYPERLINK l _Toc66521914 4.1 雙活架構(gòu)下存儲故障場景 PAG

9、EREF _Toc66521914 h 19 HYPERLINK l _Toc66521915 4.2 VPLEX故障場景 PAGEREF _Toc66521915 h 19 HYPERLINK l _Toc66521916 4.3 同城鏈路故障場景 PAGEREF _Toc66521916 h 19 HYPERLINK l _Toc66521917 4.4 LUNZ盤的影響及處理 PAGEREF _Toc66521917 h 19 HYPERLINK l _Toc66521918 參考資料 PAGEREF _Toc66521918 h 20【摘要】本手冊從運維管理角度出發(fā)，除 VPLEX 自

10、身的技術(shù)概述外，還介紹了 VPLEX 的管理工具、邏輯配置管理以及性能與狀態(tài)監(jiān)控等方面內(nèi)容，然后引入 異構(gòu)存儲雙活的案例場景，詳述了 VPLEX 異構(gòu)存儲雙活的配置過程，最后結(jié)合 筆者的運維經(jīng)驗，給出了 VPLEX 相關(guān)的故障場景及其異常處理方法。1.VPLEX技術(shù)概述DellEMC VPLEX是一種基于存儲網(wǎng)絡(luò)的聯(lián)合解決方案，提供了異構(gòu)存儲卷管理的功能以及存儲雙活的技術(shù)。本文將著重介紹VPLEX運維相關(guān)技術(shù)以及分享銀行異構(gòu)存儲雙活案例。1.1VPLEX高可用的硬件架構(gòu)如上圖所示，VPLEX一般只能集中到同一個機柜內(nèi)部部署，可以分為小型（1引擎2控制器），中型（2引擎4控制器）以及大型（4引擎

11、8控制器）這三種集群配置。VPLEX集群組件都會預安裝在DellEMC機架上，其硬件架構(gòu)的高可用性體現(xiàn)在以下的方面：1）引擎：每個引擎都包含兩個獨立的控制器。2）I/O模塊：每個控制器安裝了四個FC I/O模塊，分為兩個前端模塊（連接主機）和兩個后端模塊（連接存儲）；另外還有兩個I/O擴展模塊，用于控制器間的數(shù)據(jù)路徑和通信3）備用電源：每個引擎由一個SPS提供后備電源，在電源故障時允許進行寫緩存，防止數(shù)據(jù)丟失。4）SAN交換機：配置了兩個SAN交換機用于集群內(nèi)部控制器之間的連接。5）UPS：配備了UPS以避免短暫斷電帶來的業(yè)務停頓風險1.2VPLEX的邏輯對象配置有別于一般的存儲管理，VPLE

12、X的邏輯管理過程是：先將后端的存儲進行多層的邏輯封裝，再將封裝的虛擬卷分配給已注冊的主機。邏輯關(guān)系如下圖所示：在VPLEX管理流程中，涉及了多個邏輯對象，下面將逐一介紹：1）Storage Volume：其是通過claim存儲陣列中的LUN生成的。2）Extent：Extent可以對Storage Volume進行裁剪劃分，也可以直接將Storage Volume封裝為Extent。3）Device：Device是通過Extent封裝而來，可以選擇1:1封裝，也可以根據(jù)需要將多個Extent按照不同RAID方式組成更復雜的Device。另外Device 還有一種Distributed方式，它是

13、由不同集群的Device組成的。4）Virtual Volume：Virtual Volume是從Device創(chuàng)建的，屬于VPLEX存儲結(jié)構(gòu)的頂層。只有Virtual Volume才可以被給前端主機訪問。5）Port：Port對應的是VPLEX連接主機HBA的前端口6）Initiator：Initiator對應的則是主機的HBA。7）Storage View：Storage View翻譯為存儲視圖，它是上面提到的Port，Initiator以及Virtual Volume這些邏輯元素的集合，用于描述前端主機與VPLEX的映射關(guān)系。1.3VPLEX雙活技術(shù)VPLEX的存儲虛擬化包括了Local、

14、Metro和Geo三種不同應用場景的方案，Local對應可以實現(xiàn)本地站點的存儲雙活，Metro則實現(xiàn)的是同城雙站點的存儲雙活，而Geo則是實現(xiàn)了遠距離的存儲異步復制。本節(jié)將重點介紹VPLEX的本地與同城雙活技術(shù)。1.3.1 VPLEX緩存技術(shù)概述VPLEX的緩存技術(shù)可以總結(jié)為兩點：分布式緩存一致性和緩存透寫模式。如上圖所示為VPLEX分布式緩存一致性的技術(shù)原理圖。依靠其緩存一致性技術(shù)，VPLEX所有引擎當做一個統(tǒng)一的引擎來對外服務，所有引擎的緩存可以整合成一個統(tǒng)一的內(nèi)存，所以單一控制器或引擎出現(xiàn)故障時，其負載會轉(zhuǎn)移到其他引擎和控制器中。無論是同城雙活還是本地雙活，VPLEX都是采用了“writ

15、e-through”（透寫）的緩存模式，即VPLEX并沒有實際意義上的寫緩存，數(shù)據(jù)不并在VPLEX緩存，而是寫到后端存儲。只有后端存儲返回寫確認后，主機端的本次寫操作才算完成。1.3.2 本地雙活VPLEXLocal 集群最多擴展到4個引擎8個控制器的配置，Local Mirror技術(shù)是在Local集群下對異構(gòu)存儲卷進行虛擬化封裝并實施鏡像的技術(shù)，可以有效防范存儲單點故障的風險。Local 鏡像卷的創(chuàng)建有兩種方式，可以通過使用兩個extent來創(chuàng)建鏡像的device，也可以先創(chuàng)建一個device，然后再附加一個extent。主機對VPLEX Local 鏡像卷的訪問過程是：讀操作是先訪問VPL

16、EX的緩存，如果緩存未命中，則會隨機訪問底層存儲；寫操作則是緩存透寫模式，需要底層雙活存儲都返回寫確認后才完成寫操作。1.3.3 同城雙活VPLEX同城雙活是采用分布式鏡像技術(shù)來實現(xiàn)的，相比于本地雙活，Metro Mirror組建了跨站點的VPLEX集群，能有效防范站點失效風險。VPLEX同城雙活有一定的距離限制，要求網(wǎng)絡(luò)往返延遲（RTT）小于5ms，站點之間約小于100km。類似于Local鏡像卷的創(chuàng)建，Metro Mirror卷也有兩種創(chuàng)建方式：可以通過兩個不同cluster的device創(chuàng)建鏡像device，也可以先創(chuàng)建一個device，然后再附加一個device作為鏡像。VPLEX M

17、etro鏡像卷是跨站點的，不管哪個站點的主機訪問VPLEX Metro鏡像卷的方式都是一樣的：讀操作是先訪問VPLEX的緩存，如果緩存未命中，則會訪問底層存儲，再返回數(shù)據(jù)給讀緩存；寫操作還是透寫模式，需要底層的雙活存儲都返回寫操作確認后才完成寫操作。2. VPLEX運維管理2.1 管理工具2.1.1 Web界面VPLEX可以通過Web界面來管理。Web頁面已經(jīng)可以完成大部分的功能，包括：VPLEX狀態(tài)信息、監(jiān)控、存儲配置、數(shù)據(jù)遷移以及監(jiān)控。2.1.2 CLI命令行VPLEX還提供了命令行的管理方式，通過SSH登錄到管理服務器上，并執(zhí)行vplexcli命令可以進入CLI界面。如下圖所示：VPLE

18、X的命令行依賴于樹狀層次的目錄結(jié)構(gòu)，除了一些全局命令外，很多命令都需要進入到特定的目錄中去執(zhí)行。CLI命令行可以完成所有的配置和管理工作，而且通過CLI可以完成大多數(shù)的跨集群的配置。常用的CLI命令參考如下：巡檢與狀態(tài)監(jiān)控命令：health-check(用于檢查vplex軟硬件健康狀態(tài)信息)，rebuild status（用于查看數(shù)據(jù)拷貝速度）配置信息查看：VPLEX的大部分配置信息都依賴于樹狀層次的目錄，通過ls或者ll結(jié)合目錄就可以查看配置信息，如llclusters/*/exports/storage-views/*可以查看所有storage view的信息，ll clusters/*/

19、virtual-volumes/*可以用來查看所有虛擬卷的信息，VPLEX邏輯配置命令：這部分的命令較多，比如extentcreate，local-device create等用于邏輯元素的創(chuàng)建；export storage-view命令可以用來配置storage view中的元素信息；device attach-mirror或者detach-mirror用來添加或者去除鏡像。2.1.3管理API接口VPLEX提供了RESTful規(guī)范的API，可以通過該API接口去調(diào)用CLI命令，并且API支持所有的CLI命令。2.1.4 其他方式VPLEX還支持SNMP協(xié)議，通過導入VPLEX的MIB庫，可

20、以從管理服務器上獲取設(shè)備的硬件信息和性能數(shù)據(jù)。另外VPLEX還提供輕量級目錄訪問協(xié)議（LDAP）。2.2 邏輯配置管理由于VPLEX做了多層抽象和封裝，基于VPLEX的存儲管理的復雜性要更加復雜。VPLEX的邏輯配置管理工作主要需要完成三部分的工作：數(shù)據(jù)建模、數(shù)據(jù)抽取和數(shù)據(jù)展示2.2.1 配置數(shù)據(jù)建模定義數(shù)據(jù)對象：主機（storageview），HBA卡（initiator），虛擬存儲卷（virtualvolume），存儲卷（storagevolume），存儲陣列（array）定義對象關(guān)系：主機和HBA卡之間的從屬關(guān)系（belong），主機和虛擬存儲卷之間的映射關(guān)系（map），虛擬存儲卷和存儲

21、卷之間的支撐關(guān)系（support），存儲卷和存儲陣列之間的包含關(guān)系（contain），模型圖如下圖所示：2.2.2 配置數(shù)據(jù)抽取VPLEX的配置數(shù)據(jù)可以通過調(diào)用CLI命令來獲取，比如在VPLEXCLI的特定目下，通過ll命令就可以獲取這些配置信息，也可以借助于編程語言通過VPLEX提供的RESTful API來獲取相關(guān)配置數(shù)據(jù)。2.2.3 配置數(shù)據(jù)展示配置數(shù)據(jù)展示方式主要是配置表，可以嘗試通過Neo4J為代表的圖數(shù)據(jù)庫來實現(xiàn)。實現(xiàn)效果圖如下：其中橙色點代表存儲陣列，藍色點代表存儲卷，紅色點代表虛擬存儲器，灰色點代表主機，綠色點代表HBA卡2.3性能與狀態(tài)監(jiān)控VPLEX性能和狀態(tài)監(jiān)控在Web界面

22、中就有集成，如下圖所示：另外可以通過配置SNMP的方式來實現(xiàn)，另外通過API方式可以更好地定制化開發(fā)。3.VPLEX異構(gòu)存儲雙活案例3.1 案例背景介紹本案例采用雙臺VPLEX組成VPLEX-Metro集群配置，每臺VPLEX包含2個引擎4個控制器。本案例重點介紹異構(gòu)存儲雙活的配置，不再贅述VPLEX-Metro集群配置工作。在本案例中涉及到了IBM DS8870、HDS VSP_F1500以及EMC VMAX三種品牌型號的存儲，其中VMAX接入VPLEX cluster1，而DS8870、VSP_F1500則接入VPLEXcluster2中。存儲陣列間的雙活關(guān)系是：DS8870與VSP_F1

23、500的存儲卷組成VPLEX Local Mirror，VSP_F1500與VMAX的存儲卷組成跨集群的VPLEX Metro Mirror。3.2 SAN 組網(wǎng)3.2.1 SAN 規(guī)劃原則VPLEX的端口規(guī)劃原則最重要的是要高可用方面，需要滿足如下的規(guī)則：所有VPLEX端口（前端、后端、內(nèi)部級聯(lián)）都需要均分到兩臺SAN交換機主機的HBA需要與VPLEX不同引擎和控制器的前端端口相連接，且不能全部連接控制器A或者控制器B存儲的HBA需要連接到VPLEX上的所有引擎和控制器無論是lun到單個VPLEX控制器的路徑，還是主機訪問VPLEX分配的存儲路徑，4條訪問路徑都是優(yōu)化后的選擇。3.2.1 S

24、AN 端口規(guī)劃每臺VPLEX共有4個控制器，每個控制器分別使用四個前端口和四個后端口接入SAN交換機，共計32個SAN端口；另外每個控制器還需要兩個WAN口，用于內(nèi)部互聯(lián)，共計8個端口。這樣每臺VPLEX有40個端口平均接入兩臺SAN交換機?？紤]到VPLEX單個控制器到存儲端4條路徑的原則，即每個控制器提供兩個端口連接存儲上的兩個端口。以單臺SAN交換機來計算：VPLEX：20個端口（8個前端，8個后端，4個內(nèi)部鏈接），存儲：考慮到VPLEX是四控制器的配置，每臺存儲也只需要8個端口與VPLEX的后端口連接。3.3 存儲映射VPLEX的配置3.3.1 DS8870配置按照VPLEX的最佳實踐，

25、DS8870上創(chuàng)建映射關(guān)系時，hostconnect需要選擇“Intel-Window 2003”profile，volgrp需要設(shè)置為“scsi map 256”類型，如下所示：尤其需要注意的是volgrp作為卷組的集合，“scsi map 256”類型會限制該volgrp中存儲卷數(shù)量最大只能255個。針對這種情況，只能通過增加存儲端口與VPLEX的映射并且再新建一個volgrp來應對。3.3.2 VMAX配置為應用性能考慮，采用VP冗余方式劃分磁盤，通過VP方式分配可用LUN，LUN Size根據(jù)應用系統(tǒng)需求劃分大小，然后創(chuàng)建磁盤組（SG），創(chuàng)建主機端口（IG）和存儲端口（PG），最后創(chuàng)建

26、masking view。實現(xiàn)如圖：3.3.3 VSP_F1500配置VSP_F1500采用端口映射方式，將lun映射給VPLEX的后端口。實現(xiàn)如圖：3.4 VPLEX上異構(gòu)存儲納管在完成SAN配置和存儲映射之后，就可以在VPLEX上掃描識別到存儲。首先是storage-volume claim。由于VPLEX對于異構(gòu)存儲uuid的識別能力不同，除了EMC的VMAX存儲可以通過Web界面直接完成配置外，DS8870和VSP_F1500都需要通過命令行來完成。配置命令參考如下：3.4.1 邏輯封裝操作流程在VPLEX存儲納管之后，還需要需要按照特定的邏輯封裝流程來完成：1）第一步是創(chuàng)建exten

27、t。extent是VPLEX對存儲卷的第一層封裝，具有由于需要實現(xiàn)存儲雙活鏡像，在這一步就需要確保鏡像卷的大小要保持一致。本案例中的三種存儲雖然都是劃分了63G的lun，但是底層大小并不完全一致，其中VMAX存儲的lun略大一些，而DS8870C和VSP_F1500的lun比較標準是67645734912，這就需要在extent層裁減VMAX的存儲卷大小。配置命令參考如下：2）第二步是創(chuàng)建device。這里只是對extent卷做一個1:1的封裝，后續(xù)可以在這個層次添加鏡像。配置命令參考如下：3）第三步是創(chuàng)建virtual volume。這里也是在之前device基礎(chǔ)上直接創(chuàng)建，配置命令參考如下

28、：3.4.2 本地雙活配置上文已將DS8870C上的210B這個lun的虛擬化封裝為虛擬卷，按照本地雙活規(guī)劃，還需要配置VSP_F1500上的一個lun，來組成本地雙活卷。本地雙活卷是在由兩個相同大小的extent組成了device，所有只需要再創(chuàng)建一個extent_HDS_F1500_10bd，并將該extent添加為device層的鏡像卷。配置命令參考如下：可以通過web頁面查看該存儲卷的map信息如下：3.4.3 同城雙活配置同城雙活的配置也需要添加鏡像卷，不同的是通過兩個device組成了distributed device。以VMAX與VSP_F1500組成的分布式鏡像卷為例，需要分

29、別將這兩臺陣列的lun封裝為device，再添加mirror，參考配置命令如下：通過web頁面查看該存儲卷的map信息如下：3.4.4 一致性組的創(chuàng)建除了鏡像卷的配置外，還需要完成一致性組的策略（consistency-group）的策略配置，并將該鏡像卷添加到一致性組中。其配置步驟如下：1）創(chuàng)建一致性組一致性組給組內(nèi)的虛擬卷提供了相同的公共屬性集，一般將相同數(shù)據(jù)庫或服務器使用的虛擬卷單獨放入一致性組，其創(chuàng)建命令參考如下：2）配置一致性組集群屬性配置一致性組的屬性，需要先進入到新創(chuàng)建的一致性組的目錄中，再設(shè)置一致性組集群相關(guān)屬性。參考配置命令如下：3）配置分離規(guī)則分離規(guī)則是VPLEX的遠距離集

30、群間出現(xiàn)中斷時，確保一致性組I/O處理的預定義規(guī)則。VPLEX中可以設(shè)置winner:cluster-1，winner:cluster-2，或者No Automatic Winner等規(guī)則，即定義哪個集群是優(yōu)先站點。而且將一般分離計時器設(shè)為5秒，參考配置命令如下：另外還需要設(shè)置“auto-resume-at-loser”屬性，即失效后的自動恢復，參考配置命令如下：4）一致性組中添加創(chuàng)建的雙活虛擬卷配置完一致性組策略后，就可以在一致性組中添加已創(chuàng)建的虛擬卷，參考配置命令如下：3.5 VPLEX上主機映射完成了上述的異構(gòu)存儲納管的配置后，就可以將虛擬存儲卷分配給主機。VPLEX主機映射分為三個步驟

31、：1）VPLEX上注冊主機HBA卡(注冊initiator)查看主機HBA卡的WWN信息，在確認SAN配置完成后，在VPLEX上通過exportinitiator-port命令可以完成注冊，參考配置命令如下：2）VPLEX上創(chuàng)建Storage View每個主機可創(chuàng)建一個Storage View，分別添加對應的VPLEX前端Port和主機的initiator。參考配置命令如下：3）Storage View添加虛擬卷再將之前創(chuàng)建的雙活虛擬卷，分配給新創(chuàng)建的Storage View，參考配置命令如下：3.6 異構(gòu)存儲雙活方案總結(jié)上文詳細的介紹了三種異構(gòu)存儲陣列實施雙活的步驟，可以很明顯的看出，該方案最關(guān)鍵的還是在于VPLEX對于異構(gòu)的存儲的納管的過程。而異構(gòu)存儲被封裝成extent之后，VPLEX即能無差別化的管理這些存儲卷。異構(gòu)存儲雙活方案解決了兩個方面的問題：一是滿足了存儲雙活的需求，而是對于雙活存儲避免了