linux多路徑連接iScsi存儲-重啟自動連接

RHEL系統(tǒng)帶有iSCSIinitiator軟件，下面描述如何配置iSCSIInitiator實現(xiàn)對ISCSI卷的訪問Linuxiscsi介紹（這一條介紹了linuxiscsi的基本原理和相關(guān)命令，具體配置時可略過）在Linux內(nèi)核中提供了iscsi驅(qū)動，iSCSI驅(qū)動（driver）使主機擁有了通過IP網(wǎng)絡(luò)訪問存儲

的能力，驅(qū)動在主機（Initiator）和服務(wù)端（Target）間使用iSCSI協(xié)議在TCP/IP網(wǎng)上傳輸SCSI請求和響應(yīng)，在構(gòu)建上，iSCSI驅(qū)動與TCP/IP棧、網(wǎng)絡(luò)驅(qū)動和網(wǎng)絡(luò)接口卡（NIC）結(jié)合，其等同于SCSI或光纖通道卡適配器驅(qū)動對主機總線卡（HBA）的作用。驅(qū)動采用采用模塊的方式，具體模塊包括iscsi_tcp,libiscsi,libiscsi_tcp。Initiator守護進程介紹：/etc/iscsi/iscsid.conf

--initiator配置文件/sbin/iscsiadm

--initiator管理工具open-iscsi包括兩個守護進程iscsid和iscsi，其中iscsid是主進程，iscsi進程則主要負責(zé)根據(jù)配置，在系統(tǒng)啟動時進行發(fā)起端（Initiator）到服務(wù)端（target）的登錄，建立發(fā)起端與服務(wù)端的會話，使主機在啟動后即可使用通過iSCSI提供服務(wù)的存儲設(shè)備。iscsid進程實現(xiàn)iSCSI協(xié)議的控制路徑以及相關(guān)管理功能。例如守護進程（指iscsid）可配置為在系統(tǒng)啟動時基于持久化的iSCSI數(shù)據(jù)庫內(nèi)容，自動重新開始發(fā)現(xiàn)（discovery）目標(biāo)設(shè)備。Initiator配置介紹（前提是已經(jīng)安裝iSCSIinitiator）

1>iSCSIinitiator名稱設(shè)置

initiator名稱用來唯一標(biāo)識一個iSCSIInitiator端。保存此名稱的配置文件為

/etc/iscsi/initiatorname.iscsi，命名規(guī)則可采用iqn-type格式，利用

iscsi-iname命令可產(chǎn)出一個名稱，將此名稱輸入到initiatorname.iscsi配置文件即可。

2>iSCSIInitiator配置iSCSIInitiator的配置文件為/etc/iscsi/iscsid.conf,在iSCSIinitiator的scsid進程啟動和執(zhí)行iscsiadm命令時，將讀取這個配置文件的內(nèi)容，獲取與SCSI目標(biāo)進行交互的相關(guān)信息，主要的配置內(nèi)容包括：

CHAPSettings組

本組下的各個設(shè)置項主要用來指定Initiator與target驗證方式及相關(guān)信息

設(shè)置節(jié)點會話的驗證模式

=CHAP

CHAR（ChallengeHandshakeAuthenticationProtocol）,默認為不驗證（none）

設(shè)置會話target驗證initiator的CHAR用戶名及對應(yīng)的密碼

=scott

=tiger

設(shè)置會話initiator驗證target的用戶名及其對應(yīng)的密碼

#=username_in

#=password_in

設(shè)置initiator發(fā)現(xiàn)target的驗證模式，默認為不驗證（none）

=CHAP

設(shè)置發(fā)現(xiàn)會話（discoverysession）target驗證initiator的CHAR用戶名及對應(yīng)的密碼

=scott

=tiger

設(shè)置發(fā)現(xiàn)會話（discoverysession）initiator驗證target的CHAR用戶名及對應(yīng)的密碼

#=username_in

#=password_in

通過上述配置項，可以看到iSCSI的主要驗證方式是CHAR，并且驗證是雙方向的。

超時（Timeouts）設(shè)置組：

本組設(shè)置initiator與target端交互的時間限制。

重試（retry）設(shè)置組：

本組設(shè)置iscsid重試登錄節(jié)點的次數(shù)。

會話和設(shè)備排隊深度（sessionanddevicequeuedepth）設(shè)置組：

設(shè)置session排隊命令的數(shù)量，設(shè)置設(shè)備隊列深度

iSCSI設(shè)置（iSCSIsettings）組：

啟用或禁止R2T（ReadytoTransmit）流控，啟用后，initiator在發(fā)送任何數(shù)據(jù)前必須等待一個R2T命令，默認為禁止（no）。

node.session.iscsi.InitialR2T=Yes|no

啟用或禁止立即數(shù)據(jù)（immediatedata），禁止后，initiator不隨著SCSI命令PDU發(fā)送未請求的數(shù)據(jù)。默認為啟用（Yes）

=Yes|No

3）initiator相關(guān)命令介紹

open-iscsiinitiator-utils提供的管理命令為iscsiadm，此命令包括discovery、node、session幾種模式，分別處理不同的情況。在服務(wù)器能夠使用Target提供的存儲空間前，必須在服務(wù)器上通過Initiator軟件執(zhí)行以下步驟：發(fā)現(xiàn)目標(biāo)設(shè)備-->登錄目標(biāo)設(shè)備-->與目標(biāo)設(shè)備建立會話，下面分別說明通過各個命令進行說明。

（1）發(fā)現(xiàn)目標(biāo)設(shè)備（Target），使用iscsiadmdiscovery模式，命令格式如下：

iscsiadm-mdiscovery[-Pprintlevel]

[-ttype-pip:port[-l]]|

[[-pip:port][-l|-D]]

命令示例：

iscsiadm-mdiscovery-tsendtargets-p11:3260

返回信息：11:3260,1.nayun:test-01

11:3260,1.nayun:test-02

此命令查詢目標(biāo)門戶（Portal）為：3260上的目標(biāo)，查找成功后，返回相應(yīng)的targetID，同時在/var/lib/iscsi/send_targets和/var/lib/iscsi/nodes目錄下記錄相應(yīng)的門戶和節(jié)點信息。/var/lib/iscsi目錄下的內(nèi)容采用dbm數(shù)據(jù)庫方式存儲，所有版本的linux以及大多的unix都隨系統(tǒng)帶有一個基本的，但是卻很高效的數(shù)據(jù)存儲程序集合，被成為dbm數(shù)據(jù)庫。適合于相對比較靜態(tài)的索引化數(shù)據(jù)。其實就是一個索引化的文件存儲系統(tǒng)。這些信息稱之為initiatordiscoverydb，可以通過iscsiadm相關(guān)操作進行管理。使用iscsiadm-mnode命令，可以查看到發(fā)現(xiàn)的節(jié)點記錄。備注：iSCSInode是一個在網(wǎng)絡(luò)上可用的SCSI設(shè)備標(biāo)識符，在open-iscsi中利用術(shù)語node表示目標(biāo)（target）上的門戶（portal）。一個target可以有多個portal，portal由IP地址和端口構(gòu)成。

（2）在完成目標(biāo)發(fā)現(xiàn)后，即可以登錄到相應(yīng)的節(jié)點，使用目標(biāo)設(shè)備提供的存儲空間。

node相關(guān)命令如下：

iscsiadm-mnode[-Pprintlevel][[-T

targetname-pip:port

][-l|-u|-R|-s]]

[[-ooperation]

[-nname][-vvalue][-pip:port]]

命令示例：

iscsiadm-mnode-T.nayun:test-01-l

執(zhí)行成功，返回如下信息：

Logginginto[iface:test-01,portal:11,3260]

Loginto[iface:default,target:.nayun:test-01,portal:11,3260]successful.

執(zhí)行失敗，返回如下信息：

iscsiadm:Couldnotloginto[iface:default,target:.nayun:test-02,portal:11,3260].

iscsiadm:initiatorreportederror(24-iSCSIloginfailedduetoauthorizationfailure)

iscsiadm:Couldnotlogintoallportals

出現(xiàn)上述提示，需要檢查target與initiator的驗證配置是否對應(yīng)。登錄成功后。在/sys/devices/platform目錄下將自動生成一個hostX目錄，其中X是一個編號，每次有可能不同，在此目錄下包含相關(guān)的session和connection信息。

在服務(wù)端（target）可以查看登錄情況，使用如下命令：

tgt-admin--show

顯示如下信息：

Target1:.nayun:test-01

Systeminformation:

Driver:iscsi

State:ready

I_Tnexusinformation:

I_Tnexus:1

Initiator:.nayun:initiator-212

Connection:0

LUNinformation:

LUN:0

Type:controller

SCSIID:IET

00010000

SCSISN:beaf10

Size:0MB,Blocksize:1

Online:Yes

Removablemedia:No

Readonly:No

Backingstoretype:null

Backingstorepath:None

Backingstoreflags:

LUN:1

Type:disk

SCSIID:IET

00010001

SCSISN:beaf11

Size:537MB,Blocksize:512

Online:Yes

Removablemedia:No

Readonly:No

Backingstoretype:rdwr

Backingstorepath:/dev/sdb

Backingstoreflags:

Accountinformation:

ACLinformation:

在I_Tnexusinformation部分顯示了連接信息。

（3）登錄目標(biāo)節(jié)點成功后，即建立了initiator與target之間的會話（session），同時target提供的存儲設(shè)備

也掛載到主機中，在/dev目錄下生成一個新的設(shè)備文件類似于sdb、sdc等。查看session命令格式如下：

iscsiadm-msession[-Pprintlevel

[-rsessionid|sysfsdir[-R][-u|-s]]

命令示例：

iscsiadm-msession-P3

返回如下信息：

iSCSITransportClassversion2.0-871

version2.0-872

Target:.nayun:test-01

CurrentPortal:11:3260,1

PersistentPortal:11:3260,1

**********

Interface:

**********

IfaceName:default

IfaceTransport:tcp

IfaceInitiatorname:.nayun:initiator-212

IfaceIPaddress

IfaceHWaddress:<empty>

IfaceNetdev:<empty>

SID:10

iSCSIConnectionState:LOGGEDIN

iSCSISessionState:LOGGED_IN

InternaliscsidSessionState:NOCHANGE

************************

NegotiatediSCSIparams:

************************

HeaderDigest:None

DataDigest:None

MaxRecvDataSegmentLength:262144

MaxXmitDataSegmentLength:8192

FirstBurstLength:65536

MaxBurstLength:262144

ImmediateData:Yes

InitialR2T:Yes

MaxOutstandingR2T:1

************************

AttachedSCSIdevices:

************************

HostNumber:11State:running

scsi11Channel00Id0Lun:0

scsi11Channel00Id0Lun:1

Attachedscsidisksdc

State:running

備注：ISCSI會話用來標(biāo)識到某個具體SCSII_T連接的所有TCP連接。同一個會話里可能有一個或多個連接。當(dāng)initiator通過默認端口或指定端口與target建立連接時，登錄過程就開始了，initiator和target互相認證并建立安全協(xié)議。在登錄階段，ISCSIinitiator和target會協(xié)商建立多種連接屬性。

（4）使用target提供的存儲盤

登錄到target后，即可使用fdisk等工具像使用本地磁盤一樣對磁盤進行分區(qū)，并mount到相關(guān)目錄下進行文件的存取。

（5）注銷登錄

使用一下命令注銷登錄：

iscsiadm-mnode-T.nayun:test-01-p11-u

Loggingoutofsession[sid:1,target:.nayun:test-01,portal:11,3260]

Logoutof[sid:1,target:.nayun:test-01,portal:11,3260]successful.

（6）其他操作

刪除一個目標(biāo)（/var/lib/iscsi/nodes目錄下）

iscsiadm-mnode-odelete-name.nayun:test-01

刪除一個目標(biāo)（/var/lib/iscsi/send_targets目錄下）

iscsiadm--modediscovery-odelete-p11:3260

查看某個sendtargetsportal記錄

iscsiadm-mdiscoverydb-p11:3260-tst-oshow

#BEGINRECORD2.0-872

discovery.startup=manual

discovery.type=sendtargets

=3260

=CHAP

=scott

=********

=<empty>

=<empty>

=15

=No

=30

=5

=45

=30

=32768通過命令檢查系統(tǒng)是否安裝了iSCSIinitiator軟件包，如果沒有找到相關(guān)軟件包，需要在系統(tǒng)光盤上找到相應(yīng)的rpm包安裝。#rpm–qa|grepiscsi如果沒有安裝，通過以下命令安裝iSCSIinitiator#yuminstalliscsi-initiator-utils配置每次系統(tǒng)啟動是自動開啟iscsi服務(wù)#chkconfig--list|grepiscsi如果不是開機啟動，即3和5是off，需要改成開機啟動#chkconfigiscsi--level35on#chkconfigiscsid

--level35on啟動iSCSI服務(wù)，查看服務(wù)狀態(tài)#serviceiscsistart##serviceiscsistatus修改配置文件#vim/etc/iscsi/iscsid.conf

node.startup=auto

node.session.iscsi.InitialR2T=Yes

=No

=60此臺RHEL主機的iscsi編號(iqn號)在/etc/iscsi/initiatorname.iscsi文件中，記錄此iqn號在V3500/3700管理工具中建立主機時使用，注意圖中紅圈部分，也就是“InitiatorName=”后面部分是iqn號。這在存儲陣列中添加主機時會用到。使用vim進行編輯，但要注意格式。#vim/etc/iscsi/initiatorname.iscsi發(fā)現(xiàn)目標(biāo)#iscsiadm-mdiscovery-tsendtargets-p01:3260注：p后面是控制器的iscsi地址，默認端口是3260，如果沒有更改默認端口，可以不用添加。如果有多個控制器都提供iscsi服務(wù)，可以繼續(xù)發(fā)現(xiàn)其余控制器上的目標(biāo)（最終通過多路徑軟件訪問的都是一個目標(biāo)）。登陸到剛剛發(fā)現(xiàn)的控制器#iscsiadm-mnode-T.ibm:2145.v3700.node1-p01–login注：其中-T后面是控制器1的iqn號，-p后面是控制器1的iSCSI地址。登陸成功后檢查是否成功#iscsiadm-msession查看session#iscsiadm-mnode

查看node數(shù)量重復(fù)第7和8的步驟將完成對控制器2的發(fā)現(xiàn)和登陸操作，完成后應(yīng)該同時可以看到兩個控制器的信息。上圖是已經(jīng)完成對控制器2的發(fā)現(xiàn)和登陸。重新掃描iSCSI設(shè)備。#iscsiadm–mnode–R設(shè)置開機自動加載分區(qū)#iscsiadm-mnode–TPORT-NAME–pPORT-IP--opupdate-nnode.startup-vautomatic通過fdisk-l命令查看硬盤可以發(fā)現(xiàn)V3500/3700上映射過來的卷，但是因為存在冗余的路徑，所以每個卷看到了兩個同樣大小的存儲空間，需要通過安裝多路徑軟件來解決這個問題。Linux系統(tǒng)下多路徑軟件是操作系統(tǒng)自帶的DMMultipath(DMMP)工具。首先檢查系統(tǒng)是否已安裝了D