RHEL6：raid5和iscs網(wǎng)絡存儲服務i配置解析

1、1、RAID磁盤陣列在Linux系統(tǒng)中做 RAID磁盤陣列的設備可以是一塊磁盤中的三個以上的分區(qū)，也可以是三 塊或以上的磁盤。本文主要以幾塊磁盤為例，來實現(xiàn)在RAID5。實驗說明：在 VMware中進行，系統(tǒng)中有一塊磁盤sda,新添加6塊 SCSI磁盤，分別為 sdb,sdc,sdd,sde,sdf,sdg,其中4塊作為磁盤陣列的設備， 1塊作為預備（spare）磁盤，還有1 塊留作備用（用于擴展RAID）。實驗步驟： 先查看一下系統(tǒng)中磁盤設備：fdisk -I顯示結果略 接下來開始創(chuàng)建RAID了，主要會應用到mdadm命令，使用此命令需要先安裝RHEL6安裝 光盤中自帶的 mdadm包，如果

2、沒有安裝，先進行安裝。rootsvr # mdadm -create -auto=yes /dev/mdO -level=5 -raid-devices=4 -spare-devices=1 /dev/sdb-f參數(shù)說明：-create /表示要創(chuàng)建raid-auto=yes /dev/mdO /新建立的軟件磁盤陣列設備為mdO， md序號可以為0-9-level=5/磁盤陣列的等級，這里表示創(chuàng)建是的raid5-raid-devices/添加作為磁盤陣列用的磁盤的塊數(shù)-spare-devices /添加作為預備（spare）磁盤的塊數(shù)/dev/sdb-f/ 磁盤陣列所使用的設備，還可寫成 /d

3、ev/sdb /dev/sdc /dev/sdd /dev/sde/dev/sdf另外這條命令也可以簡寫：mdadm -C /dev/md0 -l5 -n4 -x1 /dev/sdb-f查看RAID是否成功創(chuàng)建及是否正常運行，有兩種方法（當磁盤容量越大時，磁盤陣列構建的時間越長，所以可能需要等待很長時間才能看到以下信息）:執(zhí)行mdadm -detail /dev/md0命令查看 RAID的詳細信息：圖略查看/proc/mdstat文件，可以比較簡單明了的查看RAID創(chuàng)建和運行的情況：Il ruutPsvr J# co t Z proc Hindis tat PersonaLtles : rdl

4、d&J CraldS rAld41Wifi : active raldS sdelSl sdft41(S) sddCZl sdc11 sdb01S7Z4R3Z hlocks super 1.25. 512k chunh, algnr I tllrr Z 4/4 TUULJULiinused. dewicew ： !/tmpT stmpFs439rt124K499MIN/deu/shmkdev/sdalextl465M30M430M7Z/boot /etc/mdadm.conf 上面建立的這個文件需要作小小的修改：rootsvr # vi /etc/mdadm.confARRAY /dev/md

5、O UUID=d58ed27d:00ce5cf5:b26ed1e9:879d0805然后再修改/etc/fstab文件，設置開機自動掛載：rootsvr # vi /etc/fstab/dev/md0/mn t/raid5ext4 defaults00重啟一下系統(tǒng)，就可以檢查開機自動掛載有沒有設置成功了！ 擴容raid磁盤陣列：顯示磁盤陣列的組成情況，4個塊設備組成，：# cat /proc/mdstatEroot區(qū)loudlliciwtcat /prucmdsinifcrsonaitics : Craidbl Iraid raid4J ndB : active raU5 sdc51 addJ

6、 sdctl sdfrdKS sdbEBlG2gegS52 blocks super 1.2 leucl 5, 512k cliiink, alqoritliM Z 441 CUUUU把/dev/sdg增加進陣列/dev/md0# mdadm -add /dev/mdO /dev/sdgrootlocAlhos t J1f mdadm -Manage /deu/mAO 一add. zicv/sdg mdAdm： re-add.ed /deu/slu把raid5陣列/dev/mdO 修改為5個塊設備:# mdadm -grow /dev/mdO -n5rootloca lhost =tt nde

7、dm - -gpow /dewzmdB -n5 mdadm： Need to backup G144K of criticn】 section. rootlocalhost tt再顯示一下磁盤陣列的組成情況，現(xiàn)在/dev/md1是6個塊設備組成，完成擴容，還需要7.7分鐘。# cat /proc/mdstatCrnatOlnra lhnst. lit cat rncyihdtfitPersonal it ies : r&id6J Lfaid5 I Inaid41m(ie : active raids sdyEG sdeTS sdd(sdf 11(3) sdltejfiuppr I .Z Iru

8、r 5, 51)( rbimk, Ignr kthw ?. S/51 IJlHUlin-1 rcstiape - L9+也(46?80800%9984) rinish-?,?minspccd=361C4K/sec等待擴容完成 執(zhí)行下列命令root6 loca Ihost 11B res izeZf s -f zdev/mdQ resizeZfs 1H1.1Z (1?-May-Z010)Fi lcsystcm/dev/md0 is mountud on /dati； on-1 ine resizing requiredo 1 d desc_blocks = 4 neu_desc_blocks =

9、 5Performing an on-1ine resize of /deu/md9 to Z036S364 C4k) blocks.The f1lesystcm on /dew/mdB Is nou 2096864 blocks long.驗證:IrootPloea lhost Jtt df -hTF iType Sise Us：Ed-IV_FQOt1SG504M485M?5G/dev/mapper/VolGroup ext4 tmpf s ext4 ext4tmpf s dev/sdat /deu/in(l03/6G 0Ava i 113G 504M 1M75fiMounied onzde

10、vzsliin /boot6模擬RAID5中一塊磁盤損壞，檢驗 spare磁盤的功能（raid5中允許一塊磁盤損壞，我們 所設置的那1塊spare磁盤會立即替代損壞的磁盤， 進行RAID的重建，保障數(shù)據(jù)的安全）rootsvr # mdadm -manage /dev/mdO -fail /dev/sdd/使用此命令設置磁盤 sdd成為岀錯的狀態(tài)來查看一下： mdadm -detail /dev/mdO:3? 2311 recoLFer* ingUpdate T ihie St atf?Act i ue Deui ces Unrk i ng Devi crs Fa i 1 Ri Devi cex

11、 Spare DevicesLauaui : left-symmetric Chunk Size ； 512KRebuiId Statu言；compflame : svr ：0 C loca 1 to host svr JUUIP ； 5334dcfa:c6flcf53：040?le?0:5BZbf92dEvents : 250 14 5oj8o 6 z 0 4 n 1 3 8 zo -1MRa ldDevicee1Z3Stateactive sgnc/dev/sdbactive sync/dev/sdcspare rebu ildtng zdeu/sdf active sync zdev/s

12、de48fau1ty spare de/sda可以查看cat /proc/mdstat文件查看 RAID5的重建過程再來看一下重建完后的結果Tota1 Devices ： 5Persistem匚e : Superb1ock is persistentUpdate TineThu May 15 10；30；10 2011 cleanActiveUork i ngFa iledSpareLayout ；Chunk SizelePt-xymmetr)c :51ZKName UUID EMent ssur：0(loca1 to hash svr)5334dcf*：c6flcf53:04a91e78：5

13、02bf92dNumber8J8 8 8 80 6 2 0 40 13 8 6RaidDevice012Stte actiue active act i ue a ci; i uesync sync sync sync/dfeu/sdb zdev/sdc /deu/s：df zdev/sde40rau1tyspare/dev/sddState Deuices Devices Deuices Dcm ice sroctOsvr H cat zprocmtlstatPersona 1 Ltic ： raldJ ro idS ra 114 JndO s active raidS sdfEl sdbE

14、OJ sdd2J(F) sdcl sdcFSl15721632 blocks super 1.2 IcvcTTTTSiZk clunky algorithm 2 4/4J UUUJJunused devices： /mnt/raid5還可以正常使用r*ootPsw poot(?svit, f stab LrootPsvr rootDsw f stabJit cd /raids/ raldStt Isra id5.txt touch raid5ncw.txtraldS Ittraidneinj-tzt raidS. txt7將岀錯的磁盤刪除并加入新的磁盤:先刪除損壞的磁盤sdd:rootsvr

15、raid5# mdadm-ma nage壞的磁盤sdd從RAID中刪除再添加一塊新的磁盤作為 spare磁盤：rootsvr raid5# mdadm-ma nage磁盤sdgOK,再來查看一下：執(zhí)行以下命令/dev/mdO -remove/dev/sdd/將損/dev/mdO -add /dev/sdg/添加新的mdadm -detail /dev/mdO 查看結果Thu May 19 1H：40：13 2011 cleanUpdate Time State Actiue Deuices Work i ng Devices Failed Devices Spa re DevicesLaijo

16、u-t :1 ef t -s jmne tT】c：Chunk S ize : 51ZKNctmc : sur: 0（local to host xur）UUID : 5334dcFa:cGflcr53：04091e70：56Zbf9Zd Events : 4ZNumberS14OJ8 8Mn1Ba j dDevice123State outiw sync act is sy nc act ie sy nc 我匚ti燈匕sunc/deu/sdb /deuzsdc /deu/sdr Zdevrsdesparezdeu/srtg8關閉軟件RAID的方法：當你不再需要已經(jīng)設置的RAID的時候，可以用以

17、下方法關閉RAID :1）卸載/dev/mdO，并且刪除或注釋掉/etc/fstab文件中的配置：rootsvr#umou nt /dev/md0rootsvr#vi /etc/fstab#/dev/md0/mn t/raid5ext4defaults002）注釋掉或刪除/etc/mdadm.conf中的設置：rootsvr # vi /etc/mdadm.conf#ARRAY /dev/md0 UUID=d58ed27d:00ce5cf5:b26ed1e9:879d08053）停止raid設備mdadm -stop /dev/md04）刪除raid中的所有磁盤mdadm -misc -zer

18、o-Euperblock /dev/sdb-f|這時候raid中的磁盤就刪除了 ，重啟后也不會產(chǎn)生 md127 了.RAID0 和 RAID1 實同于 RAID5RAID0 :并行讀寫數(shù)據(jù)RAID1 :鏡像磁盤陣列2、在rhel6系統(tǒng)中搭建ISCSI存儲服務器隨著企業(yè)中數(shù)據(jù)信息的不斷增長，尤其當成百上千TB的數(shù)據(jù)需要備份、恢復，以及面臨著擴容、災難恢復等需求時，DAS（直接附加存儲，就是通過與計算機主板的 I/O接口，如IDE、 SCS相連接由本機操作系統(tǒng)負責讀寫及管理）方式使得數(shù)據(jù)的管理與維護日益困難。正因為如此，網(wǎng)絡存儲技術應運而生，其最常見的就是NAS和SANSAN （storage a

19、rea network,存儲區(qū)域網(wǎng)絡）SAN是通過光纖交換機、光纖路由器等設備將磁盤陣列、磁帶機或獨立的ISCSI設備與服務器連接，構成一個高速存儲子網(wǎng)，存儲的數(shù)據(jù)以數(shù)據(jù)塊的形式通過ISCSI協(xié)議進行傳輸，從而優(yōu)于普通的IP包傳輸。NAS（network attachment storage,網(wǎng)絡附加存儲）NAS存儲設備相當于一臺獨立的服務器，設備本身帶有操作系統(tǒng)，也擁有網(wǎng)絡接口，因此不依賴于其他服務器，在NAS設備中為客戶機分配存儲空間時，通常采用共享文件夾的方式進行發(fā)布，存儲的數(shù)據(jù)以文件的形式進行傳輸，采用CIFS或者NFS等協(xié)議iscsi （iscsi= in ternet Small

20、Computer System In terface）是由 IEETF開發(fā)的網(wǎng)絡存儲標準，目的是為了用IP協(xié)議將存儲設備連接在一起。通過在IP網(wǎng)上傳送SCS命令和數(shù)據(jù)，ISCS惟動 了數(shù)據(jù)在網(wǎng)際之間的傳遞，同時也促進了數(shù)據(jù)的遠距離管理。由于其出色的數(shù)據(jù)傳輸能力，ISCSI協(xié)議被認為是促進存儲區(qū)域網(wǎng)（SAN）市場快速發(fā)展的關鍵因素之一。因為IP網(wǎng)絡的廣泛應用，ISCS能夠在LAN、WAN甚至in ternet上進行數(shù)據(jù)傳送，使得數(shù)據(jù)的存儲不再受 地域的限制。ISCSI技術的核心是在 TCP/IP網(wǎng)絡上傳輸 SCS協(xié)議，是指用 TCP/IP報文、和ISCSI報 文封裝SCS報文，使得SCS命令和數(shù)

21、據(jù)可以在普通以太網(wǎng)絡上進行傳輸，如下圖：IP HeBder4TCP Headtr -XISCSI Header、SCSI commands and datarXExplains how to extractSCSI command nd dtProvides information necessary to guarantee dehveryContain routing information so that the message ean find its way through the networkiSCSI協(xié)議定義了在 TCP/IP網(wǎng)絡發(fā)送、接收block （數(shù)據(jù)塊）級的存儲數(shù)據(jù)的規(guī)

22、則和方 法。發(fā)送端將SCS命令和數(shù)據(jù)封裝到TCP/IP包中再通過網(wǎng)絡轉(zhuǎn)發(fā)，接收端收到TCP/IP包之后，將其還原為SCS命令和數(shù)據(jù)并執(zhí)行，完成之后將返回的SCS命令和數(shù)據(jù)再封裝到TCP/IP包中再傳送回發(fā)送端。而整個過程在用戶看來，使用遠端的存儲設備就像 訪問本地的SCS設備一樣簡單。在RHEL6中搭建ISCSI存儲服務器：ISCSI服務器通常也稱為 Target端，負責定義存儲對象、分配邏輯空間LUN（ Logical Unit,邏輯單元）。在RHEL6服務器中需要安裝 scsi-target-utils軟件包，對應的系統(tǒng)服務為 tgtd， 命令行管理工具為 tgtadm.下面依次講解配置I

23、SCSI的主要過程：準備存儲設備、創(chuàng)建 ISCSI對象、為客戶機分配存儲 空間，客戶機使用ISCSI。此處所說的存儲設備指將要分配給某一個客戶機使用的設備文件，在RHEL6系統(tǒng)中，硬盤、分區(qū)、邏輯卷、軟RAID等都可以用作ISCSI服務的存儲設備，為了延續(xù)磁盤空間的可擴展 性，建議以一個邏輯卷為單位分配給客戶機使用，對于個別有特殊要求的客戶機，也可以將一個軟RAID陣列分配出去。這里將Target主機一個邏輯卷作為iSCSI共享磁盤，共享給一臺linux主機使用。創(chuàng)建一個邏輯卷，名為IvOO,將來分配給客戶機使用。如下圖所示：rootPscrver3 * 111 Php 1“ 1 Luhie

24、Phys lea L uoLunicpwcrcate devsdb1 zdcuxAcl *Vdtsv/,adblF sttcceEKTu L ly created /dev/sdcl siiucexsf u I ly i：re*i tedI pnolMserusr3 - In urjerete ugHH /ilpu/sfitilUoluhiie group ugHld fucressf uI Itj created root3crvcr3 m Iwcrcatc L 9G n lv6B vg8Logicn wunc Iu6Bu created(ruu LstrvtjrS * M I ud ldy

25、 zdcvzvy89iz Fjiq Lga 1 unlumb! LU NrwrUG HaneLU UU1DLU Write HcccsaLU SLotusTAJ SizeCurreiit Lii3mCT j-7Dtl-Fop5-Wftr2-BHrH-f7u2-y2adinB rcadzwritciva i 1 ableR3 . FIR GiBZ3341inher itAcad ahead sue.torsautoSe jnevits Al local LDin-currently set tg256iB Inck deLvice253 ：2IrDOtyserver JttISCSI服務器配置推

26、薦步驟：1在ISCSI存儲服務器上安裝iscsi target軟件包，如下圖所示:rootuvu Jt ifiin -y i neta 11 i see i - in it itor-ut i Is per 1-Conf ig-Genera 1 see i -tfirg et-utI Is2、iscsi target配置文件是/etc/tgt/targets.conf,此文件中的配置項默認全被注示掉了。編輯該 文件，實現(xiàn)簡單的ISCSI存儲服務器配置。在文件尾部添加如下內(nèi)容： backing-store /dcv/vgBQ/1v00 1 nitirttor-address 132.1&8.0.

27、4f/target若要將多個存儲設備分配給客戶機可以在targets.conf文件中添加多個 注：Target的命名在同一子網(wǎng)內(nèi)應該是唯一的，標準命名方式為：iqn.yyyy-mm .vreversed doma in n ame:ide ntifier其中：iqn ：表示iSCSI Qualified Name 簡稱 iqn。yyyy-mm :表示年份-月份。這里是 2011-08。reversed domain name :表示倒過來的域名，這里是com.example。identifier :表示識別代碼，這里是 diskback in g-store用于指定存儲設備，一般指非實際的物理

28、磁盤，如LVM 卷、某個分區(qū)、raid磁盤陣列。initiator-address地址 用于將target指派給指定的客戶機使用。然后啟動tgtd服務，并設置系統(tǒng)啟動時自動啟動，iscsi通信的端口： 3260/tcp,以明文傳輸數(shù)據(jù)#service tgtd start#chkc onfig tgtd onroo】tt seruice tgtd startStarting SCSI target daemon:【 OK 】ErootGuuu lit clikcant lg tgtd on(rootGuuu J Itroo-tPwwu i# tic 七 stat -antp 1 I grep

29、：326BtcpB8 B.6.6.6：B.6.0.8 ：LISTEM1953ztjtd鼬町)BB : : ：32GG: i :*LisdjlEM1553ztjtd若是ISCSI服務器上開啟了防火墻可以將iptables關閉或創(chuàng)建允許規(guī)則，如下圖所示:Lptables -T TMPIIT -p tcp -dpoi-l 3Z6R -a HZ Ififl H -j ftCCEFT rrootPxf?PVftr?l *la xswics Iiptablc?: 8jvin* iptables : I (JK 】 rroo1.0s：erver?l in運行 tgtadm -lid iscsi -op sh

30、ow -mode target查看 target 信息Target 1: lqn.2012*,example:lu00System informat ion:Dr iver； i scs iSt*te : readyI_T Tfiexws i nf ormft t i o n iI_T Tieicus : 2Ibit i ator : iqn , 134-05 , coni, pedliat:ba4cZ858f db Connect i or: 0IP Address： 192.168,ft.4LUN inf orma-t ion：LUN： eTyjiE ; contro 11 ersesi

31、id： iet BeeieeaaSCSI SN; beaf10 Size: 0 MB Un Iie VesEemovab1e media: NoBacking store type: rdwrBach i nq store path: None1UN: 1Type： diskSCSI ID! IET 90610801SCS1 SH: beaf11 Size： 21459 MBOnline： Yes Remouable med i a: No Backing store type: rdwrBacking store path: /dev/vgBB/1vBBAccount information

32、:ACL inf orma-t ion :至此，iscsi target存儲服務器配置完成，使用iSCSI Initiator就可以連接iscsi target服務器了。使用tgtadm工具創(chuàng)建ISCS對象時，主要命令選項如下所述：-L, -lld :指定驅(qū)動類型，如“ -L iscs”表示ISCSI存儲。-o，-op:指定操作類型，如“ -o new表示創(chuàng)建，“ -o delete 表示刪除，“ -o show表示 查看信息。-m， -mode :指定管理目標，如“ -m target 表示ISCS對象。-t，-tid :指定對象ID號，如“ -t 1 ”表示第一個對象。-targetnam

33、e :指定ISCS對象的名稱。在RHEL6上iscsi客戶端配置:1、安裝 iscsi 發(fā)起端軟件：iscsi-initiator-utils 和 Isscsi 軟件包tt yum -y imsta 11 iscsi-iwitiator-utiIs lsscsi_#service iscsi start #chkc onfig iscsi on2、查找iscsi服務器上的iscsi目標，即iscsi發(fā)現(xiàn)。執(zhí)行 iscsiadm -m discovery st -p iscsi 服務器的 IP 或地址：端口號iscsiadm -m discovery -t sen dtargets -p tar

34、getIP 若是默認端口 3260可以省略不寫。rootPserver4 # iscs i.adm -m discovery -t st -p 192 * 168.0-3 19Z* 1&8.0,3：3Z60 f1 iqn,Z012-.example:lv36地址：端口號 -login3、登錄服務器上的iscsi目標，即iscsi注冊 執(zhí)行 iscsiadm -m node -T target名稱 -p targetIPLrootCserveM IN iscsiadn -w node -I iqn- com , example : IvUH -p 182. 168 r3 -1Logging 1

35、n to If ce ； def an It. target iqn.ZQIS-B1! .corfl,CMinp le ； 18j porta I 12 .168,0.3,3266)lug i m to If ace : def 11. f; ir(n . ZB1Z-W4 .cntn . RXflniplfi； 1 vflA t jMirtA 1;. 168 .3 j JI 【roirfmcirvcT勺111 一退出iscsi盤陣執(zhí)行 iscsiadm -m node -T target名稱 -p targetIP 地址：端口號 -logoutICrwot&scrvnrl I#lcsidrri

36、 -m ncdc-Tinn . 2012-0.crirw,rxflmplri I v00 -p192.166 .6 r p -Luuu Luu (jut uf vtivs: Jun Id ： 3 , tamret: lirn 2B12-B4 .cum.eManult: 1mB0, uurbLd 1 : 1 勺 Z.1CG.0.3.32&0Logoul of s ld : 3, target : l(n .2O1Z-04 .caM.exakp e : 1U08, porta L: 192.1&3.0.3,326 0 ucccssfu1.Lrootsserver4 -in4、查看/dev/disk

37、/by-path 目錄中iscsi符號鏈接所指向的位置或fdisk l查看磁盤情況或檢查 iscsi 的狀態(tài)： service iscsi status 或 dmesg |tailtroot&scrvcri d：B； scsl 3：fl： SCSI 3：H： sd sd sd sd dncsij ! tn 11 RAIDIETAlLachefl scsl yenertc Mi*ect-AcceasET3：H：3：H：H133：D：日：H：1 Attached scsi generic sg3 tye U Lsdb Jsdblsdb)LdbJCon Lilu 1 lcr syS Lype 12U

38、tBPlftL-DISKRHPI1 FQ： B AHSI : 5bLZ-byte log icaJ blocks： CS,fbUritc Prctcet Is offMode Sense:們 06 90 60Ur itt cdbchc * ciidib lcd redd culIie enabled ducsn11 upyur t ETOGBy Gill)ur FIIAsdb : link noun pflrt it 1 nm tableg轟 3 ：t：H : 1： LsdbJ Attached SCSJ disk i*oott*Eeryer4 *rruotBeruer1! 1-1 zdeMd

39、 i1li/tnlfl I nIruxrkiruy . 1 rnnt rtiot 9 Apr 21 ； 14 Ip-132,168.B .3.376R- ixc-i i - i qn . Zfll?! -fl4 .cn i. rxanp 1 r : IW日-1 un - 1-. . / . .此時，可以使用iscsi磁盤，就好像它是本地連接硬盤驅(qū)動器。5、對連接的iscsi磁盤建立LVM并實現(xiàn)自動掛載未分區(qū)前顯示sdb信息如下，執(zhí)行fdisk -l /dev/sdb 查看rootPserver4 1# f d. lsk -1 zdesdbBisk Zdev/sdb： 8589 HBf 8583

40、931592 bytes&哼 heads j 3Z sectors/track * 813Z eg 1i ndersUnits = cyl iriders of 2048 * S12 = 104B576 bytesSector size (lotj i cal /physical): 512 bytes / 51Z bytesIzO size (minimum/optima1): 512 byles z 51Z bytesDisk identifier： 0 x08008008Disk dev./sdb doesD t contain a valid part it ion t ab 1 c在ISCSI客戶機上執(zhí)行fdisk /dev/sdb 創(chuàng)建LVM類型分區(qū)并查看/dev/sdb新建分區(qū)后的信息ILrootPscrvcTl It fdisk - dGVsdbLisk ydeuysdb： Tb丘3 HB. 3663b7bqib bytes |b heads| 32 sectars/*track, yZLh cy 1 inder*sJn its = cij I inders of* 1_2Sector size (Ion i Ldlxphyslea 1): IR size Ch Ini mum/ept1