服務(wù)器Iscsi存儲建設(shè)方案

1、2015.09簡介服務(wù)器存儲，既是把服務(wù)器硬件資源，通過軟件、技術(shù)為網(wǎng)絡(luò)中其它設(shè)備提供存儲服務(wù)；考慮到客戶網(wǎng)絡(luò)環(huán)境與業(yè)務(wù)情況，本次我們?yōu)橛脩籼峁┝朔?wù)器+Iscsi技術(shù)，通過IP-SAN給業(yè)務(wù)系統(tǒng)提供可靠、穩(wěn)定、低成高，高利用率的存儲解決方案；iSCSI（internet SCSI）技術(shù)由IBM公司研究開發(fā)，是一個供硬件設(shè)備使用的、可以在IP協(xié)議的上層運(yùn)行的SCSI指令集，這種指令集合可以實(shí)現(xiàn)在IP網(wǎng)絡(luò)上運(yùn)行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行路由選擇。iSCSI技術(shù)是一種新儲存技術(shù)，該技術(shù)是將現(xiàn)有SCSI接口與以太網(wǎng)絡(luò)(Ethernet)技術(shù)結(jié)合，使服務(wù)器可與使用IP網(wǎng)絡(luò)的儲存裝

2、置互相交換資料。iSCSI是一種基于TCP/IP 的協(xié)議，用來建立和管理IP存儲設(shè)備、主機(jī)和客戶機(jī)等之間的相互連接，并創(chuàng)建存儲區(qū)域網(wǎng)絡(luò)（SAN）。SAN 使得SCSI 協(xié)議應(yīng)用于高速數(shù)據(jù)傳輸網(wǎng)絡(luò)成為可能，這種傳輸以數(shù)據(jù)塊級別（block-level）在多個數(shù)據(jù)存儲網(wǎng)絡(luò)間進(jìn)行。SCSI 結(jié)構(gòu)基于C/S模式，其通常應(yīng)用環(huán)境是：設(shè)備互相靠近，并且這些設(shè)備由SCSI 總線連接。iSCSI 的主要功能是在TCP/IP 網(wǎng)絡(luò)上的主機(jī)系統(tǒng)（啟動器 initiator）和存儲設(shè)備（目標(biāo)器 target）之間進(jìn)行大量數(shù)據(jù)的封裝和可靠傳輸過程。本次系統(tǒng)的拓?fù)浣Y(jié)構(gòu)如下：方案介紹工作過程：當(dāng)iSCSI主機(jī)應(yīng)用程序發(fā)出

3、數(shù)據(jù)讀寫請求后，操作系統(tǒng)會生成一個相應(yīng)的SCSI命令，該SCSI命令在iSCSI initiator層被封裝成ISCSI消息包并通過TCP/IP傳送到設(shè)備側(cè)，設(shè)備側(cè)的iSCSI target層會解開iSCSI消息包，得到SCSI命令的內(nèi)容，然后傳送給SCSI設(shè)備執(zhí)行；設(shè)備執(zhí)行SCSI命令后的響應(yīng)，在經(jīng)過設(shè)備側(cè)iSCSI target層時被封裝成ISCSI響應(yīng)PDU，通過TCP/IP網(wǎng)絡(luò)傳送給主機(jī)的ISCSI initiator層，iSCSI initiator會從ISCSI響應(yīng)PDU里解析出SCSI響應(yīng)并傳送給操作系統(tǒng)，操作系統(tǒng)再響應(yīng)給應(yīng)用程序。主要優(yōu)勢：這幾年來，iSCSI存儲技術(shù)得到了快速

4、發(fā)展。iSCSI的最大好處是能提供快速的網(wǎng)絡(luò)環(huán)境，雖然其性能和帶寬跟光纖網(wǎng)絡(luò)還有一些差距，但能節(jié)省企業(yè)約30-40%的成本。iSCSI技術(shù)優(yōu)點(diǎn)和成本優(yōu)勢的主要體現(xiàn)包括以下幾個方面：硬件成本低：構(gòu)建iSCSI存儲網(wǎng)絡(luò)，除了存儲設(shè)備外，交換機(jī)、線纜、接口卡都是標(biāo)準(zhǔn)的以太網(wǎng)配件，價格相對來說比較低廉。同時，iSCSI還可以在現(xiàn)有的網(wǎng)絡(luò)上直接安裝，并不需要更改企業(yè)的網(wǎng)絡(luò)體系，這樣可以最大程度地節(jié)約投入。操作簡單，維護(hù)方便：對iSCSI存儲網(wǎng)絡(luò)的管理，實(shí)際上就是對以太網(wǎng)設(shè)備的管理，只需花費(fèi)少量的資金去培訓(xùn)iSCSI存儲網(wǎng)絡(luò)管理員。當(dāng)iSCSI存儲網(wǎng)絡(luò)出現(xiàn)故障時，問題定位及解決也會因?yàn)橐蕴W(wǎng)的普及而變得容

5、易。擴(kuò)充性強(qiáng)：對于已經(jīng)構(gòu)建的iSCSI存儲網(wǎng)絡(luò)來說，增加iSCSI存儲設(shè)備和服務(wù)器都將變得簡單且無需改變網(wǎng)絡(luò)的體系結(jié)構(gòu)。帶寬和性能：iSCSI存儲網(wǎng)絡(luò)的訪問帶寬依賴以太網(wǎng)帶寬。隨著千兆以太網(wǎng)的普及和萬兆以太網(wǎng)的應(yīng)用，iSCSI存儲網(wǎng)絡(luò)會達(dá)到甚至超過FC（FiberChannel，光纖通道）存儲網(wǎng)絡(luò)的帶寬和性能。突破距離限制：iSCSI存儲網(wǎng)絡(luò)使用的是以太網(wǎng)，因而在服務(wù)器和存儲設(shè)備的空間布局上的限制就會少了很多，甚至可以跨越地區(qū)和國家。安全性：iSCSI和FC采用不同的方法保證存儲訪問的安全，這可能是多協(xié)議存儲架構(gòu)師必須解決的最大問題。FC利用FC交換機(jī)實(shí)行分區(qū)，通過全局名稱排列LUN編號和主機(jī)

6、標(biāo)識，而iSCSI采用上述隔離iSCSI的物理和虛擬方法，通過IP地址、主機(jī)系統(tǒng)和存儲設(shè)備的名稱、內(nèi)部/外部CHAP身份驗(yàn)證等方式限制訪問，從而保證存儲安全。建設(shè)過程1 準(zhǔn)備工作iSCSI可分享的設(shè)備類型有很多，包括鏡像文件（*.img）、分區(qū)（partition）、物理硬盤、raid設(shè)備、邏輯卷等，下面我們將準(zhǔn)備其中的幾種來測試，其他類型大家可以自行測試。1.1 模擬鏡像在iSCSI Target的/srv目錄下創(chuàng)建一個200M大小的鏡像文件。# mkdir /srv/iscsi# dd if=/dev/zero of=/srv/iscsi/disk1.img bs=1M count=200

7、# ll -lh /srv/iscsi1.2 建立分區(qū)創(chuàng)建一個500M大小的分區(qū)/dev/sdb1.# fdisk /dev/sdb1.3 創(chuàng)建邏輯卷創(chuàng)建一個800M大小的LV.# pvcreate /dev/sdc# vgcreate vg0 /dev/sdc# lvcreate -L 800M -n lv1 vg02配置iSCSI Target2.1 安裝tgtCentOS自帶了scsi-target-utils軟件，我們使用該軟件進(jìn)行target設(shè)置。# yum -y install scsi-target-utils2.2 配置tgttgt的主配置文件為/etc/tgt/，下面我們來設(shè)

8、置改文件。在該文件最后新增以下設(shè)置：<targetiqn.2014-07.dev.iscsi-target:iscsidisk> backing-store /srv/iscsi/disk1.img backing-store /dev/sdb1 backing-store /dev/vg0/lv1 backing-store /dev/sdd</target>說明：iqn = iSCSI Qualified NameiSCSI target的名稱規(guī)則如下：iqn.2014-07.dev.iscsi-target:iscsidiskiqn.年份-月份.域名反寫.設(shè)備識別

9、每個在同一個target上的backing-store 稱為邏輯單元號（Logical Unit Number，LUN）；2.3 啟動iSCSI target# /etc/tgtd start# chkconfigtgtd on# netstat -tulnp|greptgt2.4 查看iSCSI target# tgt-admin showLUN0 是控制器，可以看到各個LUN的大小和磁盤路徑。至此，iSCSI Target 設(shè)定完畢。3、配置iSCSI Initiator3.1 安裝initiator# yum -y install iscsi-initiator-utils3.2 設(shè)置開

10、機(jī)啟動# chkconfigiscsid on# chkconfigiscsi on3.3 配置文檔initiator的配置文檔位于/etc/iscsi/，該目錄下有兩個文件，和，其中是其配置文件，是標(biāo)記了initiator的名稱，它的默認(rèn)名稱是InitiatorName=iqn.1994-.redhat:b45be5af6021，我們可以根據(jù)實(shí)際情況進(jìn)行更改，比較好區(qū)分，這里我們修改為InitiatorName=iqn.2014-07.dev.iscsi-initiator:initiator。因?yàn)樵趖arget里面，我們并沒有設(shè)置訪問限制，所以文件并不需要修改。3.4 偵測target如果

11、我們事先不知道目標(biāo)主機(jī)的target名稱，我們就需要進(jìn)行偵測，下面來講解。# iscsiadm -m discovery -t sendtargets說明：-m discovery/偵測target-t sendtargets/通過iscsi協(xié)議-p IP:port/指定target的IP和port，不寫port的話，默認(rèn)為32603.5 查看nodesiscsiadm偵測到的結(jié)果會寫入/var/lib/iscsi/nodes/ 中，因此只需啟動/etc/iscsi就能夠在下次開機(jī)時，自動連接到正確的target了。# ll -R /var/lib/iscsi/nodes/偵測信息都寫入了/v

12、ar/lib/iscsi/nodes/iqn.2014-07.dev.iscsi-target:iscsidisk/192.168.1.21,3260,1/default 文件中了。3.6 連接target查看目前系統(tǒng)上面所有的target# iscsiadm -m node登錄target# iscsiadm -m node -T iqn.2014-07.dev.iscsi-target:iscsidisk login3.7 查看磁盤情況# fdisk l可以看到，initiator 上面多了四塊硬盤，大小和target上的LUN一致。這時你就可以像使用本地磁盤一樣使用這些iSCSI設(shè)備了，下面我們來測試。3.8 將/dev/sdb和/dev/sdc創(chuàng)建成LV掛載使用創(chuàng)建LV# pvcreate /dev/sdb /dev/sdc# vgcreateiscsi /dev/sdb /dev/sdc# lvcreate -L 1G -n iscsilviscsi格式化并掛載# mkfs.ext4 /dev/iscsi/iscsilv# mkdir /m