NAS存儲配置文檔

1、NAS3300，NAS3600部署文檔目錄一、硬件配置：3二、設(shè)備連線圖31、NAS3300主機(jī)和EXN1000擴(kuò)展柜連線圖32、NAS3600主機(jī)連線圖：4三、用戶需求4四、知識點(diǎn)：5五、配置過程：61、配置主機(jī)端口IP地址：82、Web界面設(shè)置介紹：93、在NAS3600A上創(chuàng)建3.5T共享存儲空間114、在NAS3600A上創(chuàng)建CIFS網(wǎng)絡(luò)文件系統(tǒng)：175、在NAS3600A上創(chuàng)建NFS網(wǎng)絡(luò)文件系統(tǒng)256、在NAS3600和NAS3300之間創(chuàng)建Snapmirror287、重要補(bǔ)充1：NFS和CIFS用戶權(quán)限一致性映射318、重要補(bǔ)充2：Snapmirror原理策略和NAS3600宕機(jī)后

2、的處理及恢復(fù)32一、硬件配置：序號設(shè)備名稱配置數(shù)量1NAS3300主機(jī)單節(jié)點(diǎn)（控制器）12塊500G SATA硬盤，激活feature：CIFS，iSCSI，snapmirror12EXN1000擴(kuò)展柜5塊500G SATA硬盤與NAS3300主機(jī)互聯(lián)擴(kuò)容磁盤到17塊13NAS3600主機(jī)雙節(jié)點(diǎn)（控制器）16塊500G SATA硬盤，激活feature：CIFS，iSCSI，snapmirror，cluster1表格 1 硬件配置表二、設(shè)備連線圖1、NAS3300主機(jī)和EXN1000擴(kuò)展柜連線圖圖表 1 NAS3300和EXN1000連線圖*注意圖中e0b雖有連線，但實(shí)際未配置IP地址，處于閑

3、置狀態(tài)。2、NAS3600主機(jī)連線圖：圖表 2 NAS3600連線圖三、用戶需求 用戶對NAS的大致需求為：NAS3600和NAS3300組成一套高可靠的NAS系統(tǒng)，其中NAS3600為主，NAS3300為備，整個(gè)NAS系統(tǒng)對以太網(wǎng)絡(luò)中的各種主機(jī)（Unix，Windows）提供1個(gè)大約3.5T的多協(xié)議（NFS，CIFS）支持網(wǎng)絡(luò)共享文件系統(tǒng)，并通過snapmirror功能將該文件系統(tǒng)鏡像到NAS3300中備用。系統(tǒng)拓?fù)淙缦拢簣D表 3 系統(tǒng)拓?fù)鋱D四、知識點(diǎn)：Ø NAS存儲：就是網(wǎng)絡(luò)上的共享文件系統(tǒng)。注意NAS和普通的陣列存儲柜最大的區(qū)別在于NAS在文件系統(tǒng)層次對外提供存取服務(wù)，而普通陣

4、列存儲柜在底層（數(shù)據(jù)塊）對外提供存取服務(wù)，二者的層次和數(shù)據(jù)單位完全不同。NAS N系列盡管外形像一個(gè)陣列存儲，但實(shí)際上它是一臺對網(wǎng)絡(luò)提供文件存取/共享服務(wù)的服務(wù)器，所以在NAS領(lǐng)域?qū)ζ淇刂破鞣Q為“節(jié)點(diǎn)”，NAS3600配置了2個(gè)控制器，應(yīng)看成2臺文件服務(wù)器、2個(gè)節(jié)點(diǎn)（可構(gòu)成cluster）。Ø NAS操作系統(tǒng)：NAS對外提供文件系統(tǒng)級服務(wù)，其自身必須具備相應(yīng)處理能力，也就是在NAS存儲中，必須安裝一套通用（windows NT/linux/unix）操作系統(tǒng)或?qū)Ｓ貌僮飨到y(tǒng)以實(shí)現(xiàn)上述功能。NAS N系列采用基于Unix，取消通用功能，只注重文件服務(wù)的專用操作系統(tǒng)à ONTAP

5、。Ø ONTAP在存儲上的分布：ONTAP以控制器為單位部署，1個(gè)控制器上面就有1個(gè)ONTAP。Ø NAS N系列的磁盤聚合（aggregate）：NAS N系列用聚合來表示一個(gè)RAID，與普通的DS陣列柜不同的是，NAS N只支持RAID4和RAID_DP（其實(shí)就是RAID6）兩種模式，并且NAS N的磁盤聚合必須要求熱備支持，不像DS系列那樣可以單獨(dú)設(shè)置hotspare，在NAS N中創(chuàng)建磁盤聚合的同時(shí)就必須包含spare盤（就是熱備）。按照此種規(guī)則，用戶創(chuàng)建RAID4磁盤聚合時(shí)就需要3塊盤（1塊data，1塊parity，1塊spare），而RAID_DP更是需要4塊

6、（因?yàn)槎嗔?個(gè)parity校驗(yàn)盤）。Ø NAS N上的磁盤空間估算：由于NAS N需要安裝ONTAP操作系統(tǒng)，并且NAS N以磁盤聚合方式提供RAID功能，如果是2節(jié)點(diǎn)機(jī)型，操作系統(tǒng)磁盤占用量就比較夸張了。所以，在訂購NAS N時(shí)，必須要把操作系統(tǒng)占用的磁盤空間排出后，再來計(jì)算數(shù)據(jù)存儲空間。比如這次的NAS3600，配了16塊500G SATA盤（實(shí)際使用414G），數(shù)據(jù)空間計(jì)劃3.5T，但是由于使用了雙節(jié)點(diǎn)，每節(jié)點(diǎn)操作系統(tǒng)出廠默認(rèn)采用RAID_DP磁盤聚合，這樣共有8塊磁盤被占用，實(shí)際可分配磁盤只有8塊，如果再配1個(gè)聚合，容量就不夠了（因?yàn)閜arity和spare又要占用磁盤，實(shí)際

7、可用空間大大降低）。只能把8塊空閑盤加入到操作系統(tǒng)的聚合中，對空間進(jìn)行再分配。Ø NAS N支持iSCSI：NAS N支持iSCSI，即底層的數(shù)據(jù)塊存取，需要相關(guān)licence激活。激活后NAS N可以同時(shí)對外提供文件系統(tǒng)和LUN存取服務(wù)。不過如果單獨(dú)用來跑iSCSI就本末倒置了，還不如買個(gè)專門的iSCSI存儲，成本還低些。Ø NAS N Cluster支持：這部分定義尚不是很清晰，應(yīng)該是同一個(gè)NAS N存儲里的2個(gè)節(jié)點(diǎn)（控制器）之間可以構(gòu)成1個(gè)高可靠群集，就象雙機(jī)熱備。五、配置過程： NAS N通過專門的串口（RJ45）和主機(jī)端口開啟的Web頁面提供人機(jī)交互，但是要實(shí)現(xiàn)W

8、eb方式，必須事先通過串口對NAS N的主機(jī)端口（e0a，e0b）設(shè)置IP地址，所以，配置NAS N的先決條件是訪問串口。 訪問串口：首先找到NAS N自帶的一個(gè)9針串口轉(zhuǎn)RJ45口轉(zhuǎn)接線，然后采用自備的USB轉(zhuǎn)串口線，由于這2根線在串口段都是針，所以還需要一根串口連接線，這根線非常特殊，因?yàn)榫€序不同于普通9針串口連接線，只能從配件中找，本次項(xiàng)目是用公司自備的存儲專用9孔串口連接線才搞定。拓?fù)溥B接如下圖：圖表 4 串口連線圖RJ45口9“針”串口（對于針口：寬在上左起為1）3（棕色）34（棕白）56（橙色）2表格 2 RJ45轉(zhuǎn)9“針”串口線對應(yīng)表9“孔”串口（對于孔口：寬在上右起為1）9“孔

9、”串口（對于孔口：寬在上右起為1）14233241557887表格 3 9“孔”轉(zhuǎn)9“孔”串口連接線對應(yīng)表1、配置主機(jī)端口IP地址： NAS N要正常對外提供文件服務(wù)，必須要配置其主機(jī)端口：e0a和e0b：IP地址，子網(wǎng)掩碼，網(wǎng)關(guān)，DNS設(shè)置等等。NAS N e0a和e0b出廠默認(rèn)未配置，無法通過Web方式對其進(jìn)行訪問和配置，必須通過串口對其進(jìn)行最基本的初始設(shè)置。 用筆記本通過上述連接線與NAS N節(jié)點(diǎn)串口接好后，使用windows自帶的超級終端對設(shè)備進(jìn)行初始設(shè)置，com口參數(shù)設(shè)置如下：圖表 5 COM口參數(shù) 登陸之后3秒鐘按下enter鍵即進(jìn)入NAS N命令行模式（用戶名：root，密碼初始

10、為空），如果是第一次未配置的設(shè)備，命令行界面自動(dòng)進(jìn)入系統(tǒng)設(shè)置step by step交互模式，在設(shè)置了e0a和e0b兩個(gè)主機(jī)端口的節(jié)點(diǎn)名稱（e0a和e0b共用1個(gè)節(jié)點(diǎn)名）、IP地址和一些其他網(wǎng)絡(luò)屬性后，命令行會提示后續(xù)配置是否進(jìn)入圖形方式（Web），我們選擇“y”后，step by step交互模式終止。通過與NAS N e0a和e0b在同一個(gè)網(wǎng)絡(luò)里的pc主機(jī)里的Web瀏覽器，直接對設(shè)備進(jìn)行圖形化的配置。NAS3600上節(jié)點(diǎn)NAS3600下節(jié)點(diǎn)NAS3300節(jié)點(diǎn)名NAS3600ANAS3600BNAS3300IP地址e0a：e0b：未設(shè)置e0a：e0b：未設(shè)置e0a：e0b：未設(shè)置網(wǎng)關(guān)10.1

11、表格 4 節(jié)點(diǎn)基本設(shè)置表2、Web界面設(shè)置介紹： 1）、節(jié)點(diǎn)基本設(shè)置： http:/<e0a IP地址>/api，主要是對節(jié)點(diǎn)一些最基本參數(shù)的設(shè)置，包括主機(jī)節(jié)點(diǎn)名（Filer Name）、端口IP地址，網(wǎng)關(guān)，DNS，功能激活等等，設(shè)置完畢后見下圖：2）、節(jié)點(diǎn)各功能詳細(xì)設(shè)置： http:/ <e0a IP地址>/na_admin，對節(jié)點(diǎn)各個(gè)功能的詳細(xì)設(shè)置，包括添加/刪除磁盤，創(chuàng)建聚合、卷、CIFS / NFS文件共享和snapshot、snapmirror等高級功能設(shè)置。主頁面參見下圖：主頁面有3個(gè)選項(xiàng)：Ø FilerView：配置節(jié)點(diǎn)功能Ø File

12、r At-A-Glance：性能檢測Ø Manual pages：命令參考手冊選擇FilerView進(jìn)入圖形化配置界面：在這里可以查看設(shè)備基本狀態(tài)。見下圖：3、在NAS3600A上創(chuàng)建3.5T共享存儲空間1）、首先查看設(shè)備磁盤使用狀況： 進(jìn)入FilerView后，選擇左邊導(dǎo)航菜單中的StorageàDisksàManage，如下圖：Ø Disk：顯示磁盤的名稱（0c.10.0）Ø Type：顯示磁盤所屬關(guān)系以及狀態(tài)：l spare：磁盤屬于當(dāng)前節(jié)點(diǎn)，并且為熱備盤l parity：磁盤屬于當(dāng)前節(jié)點(diǎn)，并且為校驗(yàn)盤l dparity：磁盤屬于當(dāng)前節(jié)點(diǎn)

13、，并且為第二校驗(yàn)盤（RAID_DP獨(dú)有）l data：磁盤屬于當(dāng)前節(jié)點(diǎn)，并且為數(shù)據(jù)盤l partner：磁盤不屬于當(dāng)前節(jié)點(diǎn)（雙節(jié)點(diǎn)情況下），只有在另外一個(gè)節(jié)點(diǎn)才可以查看該類磁盤的狀態(tài)l unowned：磁盤不屬于任何節(jié)點(diǎn)（未分配）Ø physical：每塊磁盤實(shí)際容量（標(biāo)稱值為500G）Ø Aggregrate：磁盤所屬的聚合（aggr0為ONTAP操作系統(tǒng)所在磁盤聚合） 在本例中，NAS3600有16塊500G SATA硬盤，但由于NAS3600有2個(gè)節(jié)點(diǎn)，每節(jié)點(diǎn)出廠設(shè)置各占用磁盤4塊，即：Ø NAS3600A占用：0c.10.1、 0c.10.3、 0c.10

14、.5、 0c.10.7Ø NAS3600B占用：0c.10.0、 0c.10.2、 0c.10.4、 0c.10.6Ø 剩下8塊為unowned狀態(tài)2）、出現(xiàn)的問題： 不管把剩下8塊磁盤放入NAS3600的A或B節(jié)點(diǎn)的aggr0中，實(shí)際可用容量都只能達(dá)到2.7T總?cè)萘浚ggr0中ONTAP操作系統(tǒng)所在vol0卷占用的空間，數(shù)據(jù)卷vol1只有大約2.2T可用3）、原因： 與原廠商工程師溝通后，發(fā)現(xiàn)有以下幾個(gè)因素影響容量大小：Ø 雙節(jié)點(diǎn)：NAS N系列的每一個(gè)節(jié)點(diǎn)都要單獨(dú)占用一定數(shù)量的磁盤來構(gòu)成操作系統(tǒng)所需的聚合（aggr0），本例中，NAS3600每節(jié)點(diǎn)聚合（

15、aggr0）出廠配置為RAID_DP，至少需要4塊磁盤，2節(jié)點(diǎn)至少占用8塊。Ø 雙spare盤：NAS N在圖形界面下往aggr0添加磁盤時(shí)，必須要保留2塊磁盤為spare，否則，配置不能通過（圖形界面下的bug，在命令行下可以只保留1塊spare）。Ø snapshot占用20%的可用空間：在創(chuàng)建聚合時(shí)，默認(rèn)有20%的空間保留給了snapshot，如果不使用該功能是可以不用保留的。Ø vol0卷空間過大：vol0空間是aggr0聚合下的一個(gè)卷，用來放置ONTAP操作系統(tǒng)，默認(rèn)該空間較大。4）、針對以上問題的解決思路：Ø 把NAS3600A作為工作節(jié)點(diǎn)，

16、把NAS3600B aggr0的陣列模式從RAID_DP改為RAID4，釋放出一塊磁盤，再分配給NAS3600A。Ø 在命令行下執(zhí)行給NAS3600A添加磁盤操作，可以只用1塊spareØ 修改NAS3600A aggr0的屬性，把snapshot的空間從20%降到0%Ø 修改NAS3600A aggr0下的vol0卷屬性，把大小降到80G左右Ø 最后重新調(diào)整NAS3600A aggr0下的vol1卷大小 具體步驟：1) 用Web瀏覽器登陸到NAS3600B節(jié)點(diǎn)：n2) 選擇FileràUser Command Line，進(jìn)入命令行模式（圖形界

17、面操作只是命令行的一個(gè)子集，有些命令必須通過命令行方式執(zhí)行）3) 輸入： aggr options aggr0 raidtype raid44) 執(zhí)行完畢后， 0c.10.0磁盤就從Dparity狀態(tài)變?yōu)镾pare狀態(tài)，可以輸入：aggr status查看aggr0的RAID狀態(tài)是否變?yōu)镽AID45) 然后在StorageàDisksàManage下可以看見NAS3600B下aggr0中有2塊spare（c，計(jì)劃把c0.10.06盤劃給NAS3600A）6) 在FileràUser Command Line，輸入命令： disk assign 0c.10.6 -s

18、 unowned 把c磁盤的所有關(guān)系從NAS3600B變?yōu)閡nowned7) 用Web瀏覽器登陸到NAS3600A節(jié)點(diǎn)：8) 在FileràUser Command Line，輸入命令： disk assign 0c.10.6 -o NAS3600A 把c磁盤的所有關(guān)系從unowned變?yōu)镹AS3600A9) 在FileràUser Command Line，輸入命令： aggr add aggr0 -d <c 和處于unowned的8塊磁盤> 把從NAS3600B分過來的c磁盤和其他8塊處于unowned的磁盤加入aggr0聚合10) 在Volumes

19、4;Manage中選擇vol0，重新修改vol0的卷大?。╮esize storage按鍵）11) 選擇VolumesàAdd，創(chuàng)建共享數(shù)據(jù)卷vol1，創(chuàng)建步驟如下（圖片與實(shí)際數(shù)據(jù)有差異）： 選擇卷類型：Flexible（廠家建議） 保持卷名為vol1（可自定義），本項(xiàng)目需要中文支持，Language選項(xiàng)選擇“Simplified Chinese（GBK）”，不選擇UFT-8編碼（如果操作系統(tǒng)語言環(huán)境支持UTF-8編碼，此處也可以選擇） 選擇新卷所在磁盤聚合（注意：實(shí)際NAS3600A只有1個(gè)磁盤聚合aggr0，只能選aggr0），空間保證選擇volume。 卷大小類型選Total

20、Size，卷大小設(shè)為最大容量（Max）減1（實(shí)際輸入3.37TB），snapshot空間設(shè)為0%（在該卷上關(guān)閉snapshot功能，以省出數(shù)據(jù)空間） 提交新卷創(chuàng)建查看并修改vol1的qtree屬性，因?yàn)楸卷?xiàng)目要求vol1同時(shí)對Unix和Windows客戶端提供服務(wù)，所以在vol1的“Style”項(xiàng)上選擇“Mixed”： 經(jīng)過以上步驟設(shè)置后，NAS3600A最終的數(shù)據(jù)空間達(dá)到3.38T，實(shí)際結(jié)果如下圖： NAS3300為單控制器（節(jié)點(diǎn)）不需要調(diào)整存儲空間，直接參照NAS3600的配置步驟7開始配置。4、在NAS3600A上創(chuàng)建CIFS網(wǎng)絡(luò)文件系統(tǒng)：1) 選擇CIFSà Setup Wi

21、zard：2) 設(shè)置CIFS所在節(jié)點(diǎn)名稱：NAS3600A3) 權(quán)限設(shè)置選工作組模式下的NT Local User4) 設(shè)置工作組名稱，這里選擇windows默認(rèn)的WORKGROUP5) 選擇多協(xié)議：Multi-Protocol6) 提交CIFS設(shè)置7) 提交后結(jié)果8) 在CIFSàSharesàManageàAdd Share中創(chuàng)建CIFS共享點(diǎn)：（注意：實(shí)際Share Name=cifs Mount Point=/vol/vol1，其他為空）9) 設(shè)置訪問該卷的用戶首先在命令行界面下運(yùn)行：useradmin user add <用戶名> -g &l

22、t;組名> 添加1個(gè)訪問用戶 passwd <用戶名> 設(shè)置或修改密碼然后在CifsàSharesàManage下添加該用戶，使其可以訪問目標(biāo)卷：本項(xiàng)目沒有創(chuàng)建新用戶，直接采用NAS系統(tǒng)管理員帳號administrator，密碼：cqmc123ctg12310) 在Windows XP客戶端上測試CIFS，創(chuàng)建1個(gè)網(wǎng)絡(luò)磁盤驅(qū)動(dòng)器W，指向的cifs共享點(diǎn)12) 可以在CIFSàSharesàManages下修改/vol/vol1的訪問屬性（Change Access）：5、在NAS3600A上創(chuàng)建NFS網(wǎng)絡(luò)文件系統(tǒng)1）、NFS Licen

23、ce激活以后，每創(chuàng)建1個(gè)新卷，系統(tǒng)會自動(dòng)生成1個(gè)NFS共享點(diǎn)，但是需要做修改，本項(xiàng)目需要修改/vol/vol1的Options2）鼠標(biāo)點(diǎn)擊/vol/vol1的Options，出現(xiàn)以下頁面：3）、修改需要導(dǎo)出的卷，本項(xiàng)目是/vol/vol1：4）、設(shè)置匿名用戶的ID號（就是Unix系統(tǒng)用戶的ID號），本項(xiàng)目選擇采用root用戶對NFS進(jìn)行訪問控制，所以，選擇ID號“0”（root用戶默認(rèn)ID號）5）、設(shè)置可以訪問該NFS的主機(jī)IP地址，限制網(wǎng)絡(luò)訪問本NFS（用戶可根據(jù)實(shí)際需要設(shè)置，初始配置是允許所有主機(jī)訪問）6）、選擇NFS的安全機(jī)制：7）、提交設(shè)置內(nèi)容：6、在NAS3600和NAS3300之間

24、創(chuàng)建Snapmirror1) 用Web瀏覽器登陸到NAS3300節(jié)點(diǎn)：（創(chuàng)建2個(gè)節(jié)點(diǎn)的snapmirror關(guān)系，一定要在備份節(jié)點(diǎn)上進(jìn)行配置）2) 選擇SnapMirroràAdd：NAS3300上用來備份的卷為vol1，需要備份的節(jié)點(diǎn)為NAS3600A，該節(jié)點(diǎn)上需要備份的卷為vol13) 選擇SnapMirroràEnable/Disable，啟動(dòng)Snapmirror4) 選擇SnapMirroràManage，察看狀態(tài)為未初始化（uninitialized）5) 選擇VolumesàManage，選擇vol1卷，點(diǎn)擊Restrict按鍵對vol1執(zhí)行r

25、estrict操作。6) 在FileràUser Command Line，輸入以下命令打開NAS3300對NAS3600A的Snapmirror訪問許可7) 用Web瀏覽器登陸到NAS3600A節(jié)點(diǎn)：，在FileràUser Command Line，輸入以下命令打開NAS3600A對NAS3300的Snapmirror訪問許可8) 回到NAS3300節(jié)點(diǎn)，選擇SnapMirroràManageàAdvanced，點(diǎn)擊Initialize（注意：初始化時(shí)間長短與卷上原有數(shù)據(jù)大小有關(guān)）9) 初始化完畢后，選擇SnapMirroràManage察

26、看結(jié)果7、重要補(bǔ)充1：NFS和CIFS用戶權(quán)限一致性映射由于Windows用戶和Unix用戶需對同一個(gè)對象（文件和目錄）進(jìn)行各種操作（創(chuàng)建，修改，刪除），所以本項(xiàng)目要求在Unix和Windows下的用戶必須具有權(quán)限一致性。本項(xiàng)目Cifs采用NAS系統(tǒng)自帶的administrator用戶（注意：不是客戶端的），NFS采用匿名方式，但由于指定了ID=0，所以NFS下對象所屬用戶為root；但是administrator創(chuàng)建的對象所屬用戶為65534，所以必須把root和administrator權(quán)限一致性化，才能保證對對象的各種操作的正確性，在命令行下執(zhí)行如下指令： options wafl.nt

27、_admin_priv_map_to_root on 執(zhí)行該命令后，在Unix下可以發(fā)現(xiàn)，windows客戶端和unix客戶端創(chuàng)建的對象都屬于root用戶，權(quán)限一致。8、重要補(bǔ)充2：Snapmirror備份策略和NAS3600宕機(jī)后的處理及恢復(fù) Snapmirror是在2臺以上的NAS N系列存儲上實(shí)現(xiàn)數(shù)據(jù)快速備份和恢復(fù)的機(jī)制。NAS 主存儲在每一個(gè)周期，定時(shí)向備份存儲copy本時(shí)間段數(shù)據(jù)的變化（snapshot，異步方式），一旦主存儲出現(xiàn)故障無法訪問，用戶可以將應(yīng)用重新定向到備份存儲，保障應(yīng)用正常運(yùn)行。主存儲恢復(fù)后，可以通過反向的Snapmirror，把主存儲宕機(jī)期間的數(shù)據(jù)變化從備份存儲copy到主存儲，