版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
蓉瑩華為3COM存儲安裝配置手冊目錄TOC\o"1-5"\h\z\u前置知識 3磁盤整列 3RAID磁盤陣列解釋(RedundantArrayofIndependentDisks) 3RAID的工作原理 3RAID級別規(guī)范介紹 3RAID0:無差錯控制的帶區(qū)組 3RAID1:鏡象結(jié)構(gòu) 4RAID5:分布式奇偶校驗的獨立磁盤結(jié)構(gòu) 4RAID10:高可靠性與高效磁盤結(jié)構(gòu) 4JBOD:大容量的磁盤組合 4磁盤接口 5IDE接口 5SCSI接口 5FC光纖通道接口 5SATA接口 6SAS接口 6SSD接口 6存儲網(wǎng)絡(luò) 6SAN(StorageAreaStorage,存儲區(qū)域網(wǎng)) 7NAS(NetworkAttachedStorage,網(wǎng)絡(luò)附加存儲) 7SAN與NAS區(qū)別 7NAS+SAN是存儲方案的最佳選擇 8IP-SAN與SAN的區(qū)別 9存儲網(wǎng)絡(luò)發(fā)展 10ISCSI存儲協(xié)議 11存儲協(xié)議轉(zhuǎn)換器 12華為IPSAN存儲產(chǎn)品安裝步驟 13設(shè)備管理與配置 13圖1IX1000設(shè)備正面視圖 14圖2IX1000設(shè)備后視圖 14背景需求與配置環(huán)境介紹 14NEOSTOR軟件安裝 14NEOSTOR軟件初始配置 15用戶管理與配置 19添加用戶 19修改用戶密碼 21刪除用戶 21創(chuàng)建磁盤整列及熱備磁盤 22創(chuàng)建RAID磁盤陣列 22劃分邏輯資源 27創(chuàng)建SAN資源 27擴展SAN資源 31重命名SAN資源 32刪除SAN資源 32創(chuàng)建NAS資源 33劃分磁盤分配給相關(guān)主機 39啟用iSCSI協(xié)議 40添加SAN客戶端 40為客戶端創(chuàng)建Target 44Windows配置initiator安裝過程 46AIX配置initiator安裝過程 51Linux配置Initiator安裝過程 53HP-UNIX配置Initiator安裝過程 56Solaris配置Initiator安裝過程 59SAN客戶端的刪除 61NAS資源分配給客戶機 63創(chuàng)建域模式下NAS 66斷開NAS資源與客戶端的連接 71設(shè)備日志信息與故障診斷 75收集Log日志信息 75使用X-Ray收集系統(tǒng)信息 76使用腳本程序sysinfo收集系統(tǒng)信息 77設(shè)備性能優(yōu)化 80參考文獻 83前置知識磁盤整列RAID磁盤陣列解釋(RedundantArrayofIndependentDisks)RAID是“RedundantArrayofIndependentDisk”的縮寫,中文意思是獨立冗余磁盤陣列。冗余磁盤陣列技術(shù)誕生于1987年,由美國加州大學(xué)伯克利分校提出。就是將N臺硬盤透過RAIDController(分Hardware,Software)結(jié)合成虛擬單臺大容量的硬盤使用,其特色是N臺硬盤同時讀取速度加快及提供容錯性FaultTolerant,所以RAID是當(dāng)成平時主要訪問Data的Storage不是BackupSolution。在RAID有一基本概念稱為EDAP(ExtendedDataAvailabilityandProtection),其強調(diào)擴充性及容錯機制,也是各家廠商如:Mylex,IBM,HP,Compaq,Adaptec,Infortrend等訴求的重點,包括在不須停機情況下可處理以下動作:RAID磁盤陣列支援自動檢測故障硬盤;RAID磁盤陣列支援重建硬盤壞軌的資料;RAID磁盤陣列支援支持不須停機的硬盤備援HotSpare;RAID磁盤陣列支援支持不須停機的硬盤替換HotSwap;RAID磁盤陣列支援?dāng)U充硬盤容量等。一旦RAID陣列出現(xiàn)故障,硬件服務(wù)商只能給客戶重新初始化或者REBUILD,這樣客戶數(shù)據(jù)就會無法挽回。因此對RAID0、RAID1、RAID5以及組合型的RAID系列磁盤陣列數(shù)據(jù)恢復(fù),出現(xiàn)故障以后只要不對陣列作初始化操作,就有機會恢復(fù)出故障RAID磁盤陣列的數(shù)據(jù)。RAID技術(shù)規(guī)范簡介冗余磁盤陣列技術(shù)最初的研制目的是為了組合小的廉價磁盤來代替大的昂貴磁盤,以降低大批量數(shù)據(jù)存儲的費用,同時也希望采用冗余信息的方式,使得磁盤失效時不會使對數(shù)據(jù)的訪問受損失,從而開發(fā)出一定水平的數(shù)據(jù)保護技術(shù),并且能適當(dāng)?shù)奶嵘龜?shù)據(jù)傳輸速度。過去RAID一直是高檔服務(wù)器才有緣享用,一直作為高檔SCSI硬盤配套技術(shù)作應(yīng)用。近來隨著技術(shù)的發(fā)展和產(chǎn)品成本的不斷下降,IDE硬盤性能有了很大提升,加之RAID芯片的普及,使得RAID也逐漸在個人電腦上得到應(yīng)用。那么為何叫做冗余磁盤陣列呢?冗余的漢語意思即多余,重復(fù)。而磁盤陣列說明不僅僅是一個磁盤,而是一組磁盤。這時你應(yīng)該明白了,它是利用重復(fù)的磁盤來處理數(shù)據(jù),使得數(shù)據(jù)的穩(wěn)定性得到提高。RAID的工作原理RAID如何實現(xiàn)數(shù)據(jù)存儲的高穩(wěn)定性呢?我們不妨來看一下它的工作原理。RAID按照實現(xiàn)原理的不同分為不同的級別,不同的級別之間工作模式是有區(qū)別的。整個的RAID結(jié)構(gòu)是一些磁盤結(jié)構(gòu),通過對磁盤進行組合達到提高效率,減少錯誤的目的,不要因為這么多名詞而被嚇壞了,它們的原理實際上十分簡單。問了便于說明,下面示意圖中的每個方塊代表一個磁盤,豎的叫塊或磁盤陣列,橫稱之為帶區(qū)。RAID級別規(guī)范介紹RAID0:無差錯控制的帶區(qū)組要實現(xiàn)RAID0必須要有兩個以上硬盤驅(qū)動器,RAID0實現(xiàn)了帶區(qū)組,數(shù)據(jù)并不是保存在一個硬盤上,而是分成數(shù)據(jù)塊保存在不同驅(qū)動器上。因為將數(shù)據(jù)分布在不同驅(qū)動器上,所以數(shù)據(jù)吞吐率大大提高,驅(qū)動器的負(fù)載也比較平衡。如果剛好所需要的數(shù)據(jù)在不同的驅(qū)動器上效率最好。它不需要計算校驗碼,實現(xiàn)容易。它的缺點是它沒有數(shù)據(jù)差錯控制,如果一個驅(qū)動器中的數(shù)據(jù)發(fā)生錯誤,即使其它盤上的數(shù)據(jù)正確也無濟于事了。不應(yīng)該將它用于對數(shù)據(jù)穩(wěn)定性要求高的場合。如果用戶進行圖象(包括動畫)編輯和其它要求傳輸比較大的場合使用RAID0比較合適。同時,RAID可以提高數(shù)據(jù)傳輸速率,比如所需讀取的文件分布在兩個硬盤上,這兩個硬盤可以同時讀取。那么原來讀取同樣文件的時間被縮短為1/2。在所有的級別中,RAID0的速度是最快的。但是RAID0沒有冗余功能的,如果一個磁盤(物理)損壞,則所有的數(shù)據(jù)都無法使用RAID1:鏡象結(jié)構(gòu)對于使用這種RAID1結(jié)構(gòu)的設(shè)備來說,RAID控制器必須能夠同時對兩個盤進行讀操作和對兩個鏡象盤進行寫操作。通過下面的結(jié)構(gòu)圖您也可以看到必須有兩個驅(qū)動器。因為是鏡象結(jié)構(gòu)在一組盤出現(xiàn)問題時,可以使用鏡象,提高系統(tǒng)的容錯能力。它比較容易設(shè)計和實現(xiàn)。每讀一次盤只能讀出一塊數(shù)據(jù),也就是說數(shù)據(jù)塊傳送速率與單獨的盤的讀取速率相同。因為RAID1的校驗十分完備,因此對系統(tǒng)的處理能力有很大的影響,通常的RAID功能由軟件實現(xiàn),而這樣的實現(xiàn)方法在服務(wù)器負(fù)載比較重的時候會大大影響服務(wù)器效率。當(dāng)您的系統(tǒng)需要極高的可靠性時,如進行數(shù)據(jù)統(tǒng)計,那么使用RAID1比較合適。而且RAID1技術(shù)支持“熱替換”,即不斷電的情況下對故障磁盤進行更換,更換完畢只要從鏡像盤上恢復(fù)數(shù)據(jù)即可。當(dāng)主硬盤損壞時,鏡像硬盤就可以代替主硬盤工作。鏡像硬盤相當(dāng)于一個備份盤,可想而知,這種硬盤模式的安全性是非常高的,RAID1的數(shù)據(jù)安全性在所有的RAID級別上來說是最好的。但是其磁盤的利用率卻只有50%,是所有RAID級別中最低的。RAID5:分布式奇偶校驗的獨立磁盤結(jié)構(gòu)從它的示意圖上可以看到,它的奇偶校驗碼存在于所有磁盤上,其中的p0代表第0帶區(qū)的奇偶校驗值,其它的意思也相同。RAID5的讀出效率很高,寫入效率一般,塊式的集體訪問效率不錯。因為奇偶校驗碼在不同的磁盤上,所以提高了可靠性,允許單個磁盤出錯。RAID5也是以數(shù)據(jù)的校驗位來保證數(shù)據(jù)的安全,但它不是以單獨硬盤來存放數(shù)據(jù)的校驗位,而是將數(shù)據(jù)段的校驗位交互存放于各個硬盤上。這樣,任何一個硬盤損壞,都可以根據(jù)其它硬盤上的校驗位來重建損壞的數(shù)據(jù)。硬盤的利用率為n-1。但是它對數(shù)據(jù)傳輸?shù)牟⑿行越鉀Q不好,而且控制器的設(shè)計也相當(dāng)困難。RAID3與RAID5相比,重要的區(qū)別在于RAID3每進行一次數(shù)據(jù)傳輸,需涉及到所有的陣列盤。而對于RAID5來說,大部分?jǐn)?shù)據(jù)傳輸只對一塊磁盤操作,可進行并行操作。在RAID5中有“寫損失”,即每一次寫操作,將產(chǎn)生四個實際的讀/寫操作,其中兩次讀舊的數(shù)據(jù)及奇偶信息,兩次寫新的數(shù)據(jù)及奇偶信息。RAID10:高可靠性與高效磁盤結(jié)構(gòu)這種結(jié)構(gòu)無非是一個帶區(qū)結(jié)構(gòu)加一個鏡象結(jié)構(gòu),因為兩種結(jié)構(gòu)各有優(yōu)缺點,因此可以相互補充,達到既高效又高速還可以的目的。大家可以結(jié)合兩種結(jié)構(gòu)的優(yōu)點和缺點來理解這種新結(jié)構(gòu)。這種新結(jié)構(gòu)的價格高,可擴充性不好。主要用于容量不大,但要求速度和差錯控制的數(shù)據(jù)庫中。JBOD:大容量的磁盤組合JBOD(JustBundleOfDisks)譯成中文可以是"簡單磁盤捆綁"或者“磁盤簇”,通常又稱為Span。JBOD不是標(biāo)準(zhǔn)的RAID級別,它只是在近幾年才被一些廠家提出,并被廣泛采用。以三個硬盤組成的Span為例,其數(shù)據(jù)存儲方式如圖所示:Span是在邏輯上把幾個物理磁盤一個接一個串聯(lián)到一起,從而提供一個大的邏輯磁盤。Span上的數(shù)據(jù)簡單的從第一個磁盤開始存儲,當(dāng)?shù)谝粋€磁盤的存儲空間用完后,再依次從后面的磁盤開始存儲數(shù)據(jù)。Span存取性能完全等同于對單一磁盤的存取操作。Span也不提供數(shù)據(jù)安全保障。它只是簡單的提供一種利用磁盤空間的方法,Span的存儲容量等于組成Span的所有磁盤的容量的總和。磁盤接口硬盤接口是硬盤與主機系統(tǒng)間的連接部件,作用是在硬盤緩存和主機內(nèi)存之間傳輸數(shù)據(jù)。不同的硬盤接口決定著硬盤與計算機之間的連接速度,在整個系統(tǒng)中,硬盤接口的優(yōu)劣直接影響著程序運行快慢和系統(tǒng)性能好壞。從整體的角度上,硬盤接口分為IDE、SATA、SCSI和光纖通道四種,IDE接口硬盤多用于家用產(chǎn)品中,也部分應(yīng)用于服務(wù)器,SCSI接口的硬盤則主要應(yīng)用于服務(wù)器市場,而光纖通道只在高端服務(wù)器上,價格昂貴。SATA是種新生的硬盤接口類型,還正出于市場普及階段,在家用市場中有著廣泛的前景。在IDE和SCSI的大類別下,又可以分出多種具體的接口類型,又各自擁有不同的技術(shù)規(guī)范,具備不同的傳輸速度,比如ATA100和SATA;Ultra160SCSI和Ultra320SCSI都代表著一種具體的硬盤接口,各自的速度差異也較大。IDE接口IDE的英文全稱為“IntegratedDriveElectronics”,即“電子集成驅(qū)動器”,它的本意是指把“硬盤控制器”與“盤體”集成在一起的硬盤驅(qū)動器。把盤體與控制器集成在一起的做法減少了硬盤接口的電纜數(shù)目與長度,數(shù)據(jù)傳輸?shù)目煽啃缘玫搅嗽鰪?,硬盤制造起來變得更容易,因為硬盤生產(chǎn)廠商不需要再擔(dān)心自己的硬盤是否與其它廠商生產(chǎn)的控制器兼容。對用戶而言,硬盤安裝起來也更為方便。IDE這一接口技術(shù)從誕生至今就一直在不斷發(fā)展,性能也不斷的提高,其擁有的價格低廉、兼容性強的特點,為其造就了其它類型硬盤無法替代的地位。IDE代表著硬盤的一種類型,但在實際的應(yīng)用中,人們也習(xí)慣用IDE來稱呼最早出現(xiàn)IDE類型硬盤ATA-1,這種類型的接口隨著接口技術(shù)的發(fā)展已經(jīng)被淘汰了,而其后發(fā)展分支出更多類型的硬盤接口,比如ATA、UltraATA、DMA、UltraDMA等接口都屬于IDE硬盤。SCSI接口SCSI的英文全稱為“SmallComputerSystemInterface”(小型計算機系統(tǒng)接口),是同IDE(ATA)完全不同的接口,IDE接口是普通PC的標(biāo)準(zhǔn)接口,而SCSI并不是專門為硬盤設(shè)計的接口,是一種廣泛應(yīng)用于小型機上的高速數(shù)據(jù)傳輸技術(shù)。SCSI接口具有應(yīng)用范圍廣、多任務(wù)、帶寬大、CPU占用率低,以及熱插拔等優(yōu)點,但較高的價格使得它很難如IDE硬盤般普及,因此SCSI硬盤主要應(yīng)用于中、高端服務(wù)器和高檔工作站中。FC光纖通道接口光纖通道的英文拼寫是FibreChannel,和SCIS接口一樣光纖通道最初也不是為硬盤設(shè)計開發(fā)的接口技術(shù),是專門為網(wǎng)絡(luò)系統(tǒng)設(shè)計的,但隨著存儲系統(tǒng)對速度的需求,才逐漸應(yīng)用到硬盤系統(tǒng)中。光纖通道硬盤是為提高多硬盤存儲系統(tǒng)的速度和靈活性才開發(fā)的,它的出現(xiàn)大大提高了多硬盤系統(tǒng)的通信速度。光纖通道的主要特性有:熱插拔性、高速帶寬、遠程連接、連接設(shè)備數(shù)量大等SATA接口SATA是SerialATA的縮寫,即串行ATA。這是一種完全不同于并行ATA的新型硬盤接口類型,由于采用串行方式傳輸數(shù)據(jù)而得名。SATA總線使用嵌入式時鐘信號,具備了更強的糾錯能力,與以往相比其最大的區(qū)別在于能對傳輸指令(不僅僅是數(shù)據(jù))進行檢查,如果發(fā)現(xiàn)錯誤會自動矯正,這在很大程度上提高了數(shù)據(jù)傳輸?shù)目煽啃?。串行接口還具有結(jié)構(gòu)簡單、支持熱插拔的優(yōu)點SAS接口SAS(SerialAttachedSCSI)即串行連接SCSI,是新一代的SCSI技術(shù),和現(xiàn)在流行的SerialATA(SATA)硬盤相同,都是采用串行技術(shù)以獲得更高的傳輸速度,并通過縮短連結(jié)線改善內(nèi)部空間等。SAS是并行SCSI接口之后開發(fā)出的全新接口。此接口的設(shè)計是為了改善存儲系統(tǒng)的效能、可用性和擴充性,并且提供與SATA硬盤的兼容性。SAS的接口技術(shù)可以向下兼容SATA。具體來說,二者的兼容性主要體現(xiàn)在物理層和協(xié)議層的兼容。在物理層,SAS接口和SATA接口完全兼容,SATA硬盤可以直接使用在SAS的環(huán)境中,從接口標(biāo)準(zhǔn)上而言,SATA是SAS的一個子標(biāo)準(zhǔn),因此SAS控制器可以直接操控SATA硬盤,但是SAS卻不能直接使用在SATA的環(huán)境中,因為SATA控制器并不能對SAS硬盤進行控制;在協(xié)議層,SAS由3種類型協(xié)議組成,根據(jù)連接的不同設(shè)備使用相應(yīng)的協(xié)議進行數(shù)據(jù)傳輸。其中串行SCSI協(xié)議(SSP)用于傳輸SCSI命令;SCSI管理協(xié)議(SMP)用于對連接設(shè)備的維護和管理;SATA通道協(xié)議(STP)用于SAS和SATA之間數(shù)據(jù)的傳輸。因此在這3種協(xié)議的配合下,SAS可以和SATA以及部分SCSI設(shè)備無縫結(jié)合。SSD接口固態(tài)存儲技術(shù),下面簡稱為SSD,一般可以分為二種,一種是基于閃存的SSD:采用FLASHMEMORY作為存儲介質(zhì),這也是我們通常比較常見的SSD,象我們經(jīng)常使用的U盤,數(shù)碼相機等一些電子存儲器及另外一些ATA、SCSI、FC接口的FlashDisk,統(tǒng)稱為閃存盤。這種SSD最大的優(yōu)點就是可以移動,而且數(shù)據(jù)保護不受電源控制,能適應(yīng)于各種環(huán)境,但是使用年限不高。所以閃存盤的容量一般都非常小,上G的已經(jīng)算大了。適合于個人PC用戶使用,但應(yīng)用到企業(yè)的存儲系統(tǒng)就無能為力了。我們向各位介紹介紹SSD的另一種:DDRRAMBaseSSD,采用DDRRAM作為存儲介質(zhì)、仿效傳統(tǒng)磁盤驅(qū)動器的設(shè)計、可被各種操作系統(tǒng)的文件系統(tǒng)工具進行卷設(shè)置和管理,并提供工業(yè)標(biāo)準(zhǔn)的PCI和FC接口用于連接主機/服務(wù)器或存儲網(wǎng)絡(luò)的存儲設(shè)備,可分為SSD驅(qū)動器和SSD盤陣列二大塊,是一種真正高性能的存儲,而且它的使用壽命非常長,幾乎包含所有閃存盤所擁有的優(yōu)點或它所欠缺的部分,美中不足的它卻需要電源保護數(shù)據(jù)安全。存儲網(wǎng)絡(luò)SAN(StorageAreaStorage,存儲區(qū)域網(wǎng))SAN(StorageAreaStorage,存儲區(qū)域網(wǎng))是一個高速的子網(wǎng),這個子網(wǎng)中的設(shè)備可以從你的主網(wǎng)卸載流量。通常SAN由RAID陣列連接光纖通道(FibreChannel)組成,SAN和服務(wù)器和客戶機的數(shù)據(jù)通信通過SCSI命令而非TCP/IP,數(shù)據(jù)處理是“塊級”(blocklevel)。NAS(NetworkAttachedStorage,網(wǎng)絡(luò)附加存儲)NAS(NetworkAttachedStorage,網(wǎng)絡(luò)附加存儲)的典型組成是使用TCP/IP協(xié)議的以太網(wǎng)文件服務(wù)器,數(shù)據(jù)處理是“文件級”(filelevel)。你可以把NAS存儲設(shè)備附加在已經(jīng)存在的以太網(wǎng)上SAN與NAS區(qū)別區(qū)分SAN與NAS最簡單的方法是想想二者在技術(shù)上是如何實施的。NAS通常是一個服務(wù)器群:應(yīng)用服務(wù)器、郵件服務(wù)器等等,存儲設(shè)備易于附加在這個系統(tǒng)上。SAN多部署與電子商務(wù)應(yīng)用中,大量的數(shù)據(jù)備份和其它業(yè)務(wù)需要在網(wǎng)上頻繁地存儲和傳輸;SAN可以從你的主網(wǎng)上卸掉大量的數(shù)據(jù)流量,可以使你的以太網(wǎng)從數(shù)據(jù)擁塞中解脫出來。目前存儲市場主要有三種方式:DAS(DirectAttachedStorage)、NAS(NetworkAttachedStorage,網(wǎng)絡(luò)附加存儲)、SAN(存儲區(qū)域網(wǎng))。傳統(tǒng)的直接存儲的模式DAS是直接將存儲設(shè)備連接到服務(wù)器上,一方面,當(dāng)存儲容量增加時,這種方式很難擴展;另一方面,當(dāng)服務(wù)器出現(xiàn)異常時,會使數(shù)據(jù)不可獲得。NAS和SAN的出現(xiàn)適應(yīng)了網(wǎng)絡(luò)正成為主要的信息處理模式的發(fā)展趨勢。IBM大中華區(qū)存儲事業(yè)部總經(jīng)理何國偉先生也認(rèn)為,“未來的世界是網(wǎng)絡(luò)存儲世界,存儲的外部化將是未來發(fā)展趨勢,因此IBM存儲的重點將放在SAN、NAS上”。NAS簡單靈活NAS網(wǎng)絡(luò)附加存儲,即將存儲設(shè)備連接到現(xiàn)有的網(wǎng)絡(luò)上,提供數(shù)據(jù)和文件服務(wù)。NAS服務(wù)器一般由存儲硬件、操作系統(tǒng)以及其上的文件系統(tǒng)等幾個部分組成。簡單的說,NAS是通過與網(wǎng)絡(luò)直接連接的磁盤陣列,它具備了磁盤陣列的所有主要特征:高容量、高效能、高可靠。NAS將存儲設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接,可以無需服務(wù)器直接上網(wǎng),不依賴通用的操作系統(tǒng),而是采用一個面向用戶設(shè)計的、專門用于數(shù)據(jù)存儲的簡化操作系統(tǒng),內(nèi)置了與網(wǎng)絡(luò)連接所需的協(xié)議,因此使整個系統(tǒng)的管理和設(shè)置較為簡單。其次NAS是真正即插即用的產(chǎn)品,并且物理位置靈活,可放置在工作組內(nèi),也可放在其他地點與網(wǎng)絡(luò)連接。因此,用戶選擇NAS解決方案,原因在于NAS價格合理、便于管理、靈活且能實現(xiàn)文件共享。以IBM為代表的業(yè)界各大存儲廠商紛紛推出NAS解決方案,IBM公司最新的NAS產(chǎn)品主要包括:NAS200,NAS300,NAS300G。NAS200塔式存儲設(shè)備主要是針對需要大量高性價比存儲設(shè)備的Internet服務(wù)提供商(ISP)和需要電子郵件存儲或視頻文件服務(wù)的客戶;NAS300的雙引擎設(shè)計可以支持關(guān)鍵業(yè)務(wù)高可用性應(yīng)用,如大型部門和小型企業(yè)中的應(yīng)收帳戶、工資支付或客戶支持。NAS300G網(wǎng)關(guān)則是業(yè)界第一種開放式NAS設(shè)備,能將LAN與SAN連接在一起,NAS300G允許基于局域網(wǎng)的客戶機和服務(wù)器與現(xiàn)有存儲區(qū)域網(wǎng)(SAN)互操作,實現(xiàn)了SAN與NAS的統(tǒng)一。在2001年存儲展中,有一家專門做NAS存儲的廠商AUSPEX也頗引人注目,AUSPEX始建于1987年,可稱為NAS市場的創(chuàng)建者和領(lǐng)頭羊,AUSPEX通過其專利技術(shù)??功能多處理結(jié)構(gòu)(FounctionalMultiprocessing)把文件服務(wù)功能的不同功能分解到不同的專用CPU上,借助專用OS為客戶提供了大容量、高性能和高可靠的網(wǎng)絡(luò)數(shù)據(jù)服務(wù)。其產(chǎn)品系列包括NS2000通用網(wǎng)絡(luò)文件服務(wù)器、NAS3000系列,其中NAS3010LPDA最大磁盤容量達12TB,可接入36GB和73GB的磁盤驅(qū)動器;NAS3010XR采用內(nèi)嵌式SAN結(jié)構(gòu),可通過光纖通道接入SAN交換機,實現(xiàn)對SAN的存儲管理。SAN高效可擴SAN存儲區(qū)域網(wǎng)絡(luò),即通過特定的互連方式連接的若干臺存儲服務(wù)器組成一個單獨的數(shù)據(jù)網(wǎng)絡(luò),提供企業(yè)級的數(shù)據(jù)存儲服務(wù)。SAN是一種特殊的高速網(wǎng)絡(luò),連接網(wǎng)絡(luò)服務(wù)器和諸如大磁盤陣列或備份磁帶庫的存儲設(shè)備,SAN置于LAN之下,而不涉及LAN。利用SAN,不僅可以提供大容量的存儲數(shù)據(jù),而且地域上可以分散,并緩解了大量數(shù)據(jù)傳輸對于局域網(wǎng)的影響。SAN的結(jié)構(gòu)允許任何服務(wù)器連接到任何存儲陣列,不管數(shù)據(jù)置放在哪里,服務(wù)器都可直接存取所需的數(shù)據(jù)。與NAS相比,SAN具有下面幾個特點:首先SAN具有無限的擴展能力,由于SAN采用了網(wǎng)絡(luò)結(jié)構(gòu),服務(wù)器可以訪問存儲網(wǎng)絡(luò)上的任何一個存儲設(shè)備,因此用戶可以自由增加磁盤陣列、帶庫和服務(wù)器等設(shè)備,使得整個系統(tǒng)的存儲空間和處理能力得以按客戶需求不斷擴大。另外,SAN具有更高的連接速度和處理能力。SAN采用了為大規(guī)模數(shù)據(jù)傳輸而專門設(shè)計的光纖通道技術(shù),目前的傳輸速度為100Mbps,并會很快開發(fā)出傳輸速度為200Mbps和400Mbps的光纖通道交換機。實現(xiàn)SAN的硬件基礎(chǔ)設(shè)施是光纖通道,用光纖通道構(gòu)筑的SAN,由3部分構(gòu)成:存儲和備份設(shè)備,包括磁帶庫、磁盤陣列和光盤庫等;光纖通道網(wǎng)絡(luò)連接部件,包括主機總線適配卡(HBA:HostBusAdapter)和驅(qū)動程序、光纜(線)、集線器、交換機、光纖通道與SCSI間的橋接器(Bridge)等;應(yīng)用和管理軟件包括:備份軟件、存儲資源管理軟件、設(shè)備管理軟件。由上可以看出,在SAN解決方案中,除存儲設(shè)備外,其關(guān)鍵部件就是網(wǎng)絡(luò)連接部件??光纖交換機,目前在IBM、COMPAQ等各公司提供的SAN解決方案中,其光纖交換機大都由博科通訊公司(Brocade)、McDATA、Infrange、Qlogic、Vixel、Gadzoox等提供的。例如博科公司的產(chǎn)品包括了從8端口的入門級光纖通道交換機到128端口企業(yè)級交換機,最近推出的128端口的SilkWorm12000核心Fabric交換機是第一個可提供1Gbps和2Gbps鏈路速度的第三代ASIC型號,可支持目前的2Gbps光纖通道模塊和新興的存儲協(xié)議,如10Gbps光纖通道模塊、InfinibandFabric模塊以及未來的IP/以太網(wǎng)模塊等,還支持可實現(xiàn)存儲虛擬化。McDATA的口號是提供從核心到邊緣的企業(yè)解決方案,其產(chǎn)品系列覆蓋從8端口ES-1000到ES-3016、ES-3032直到64端口的ED-6064導(dǎo)向器,并定位于高端應(yīng)用,McDATA認(rèn)為,所謂高端,一是支持的端口數(shù)多,另一點是產(chǎn)品具有99.999%的高可用性,保證在線數(shù)據(jù)的連續(xù)性。另外McDATA也提供EFCMANAGER管理軟件,實現(xiàn)對交換單元的集中管理。存儲市場的火爆及SAN市場的增長,使這些公司也紛紛從幕后走到了前臺,博科、McDATA不僅在存儲展上大出風(fēng)頭,而且還將在國內(nèi)成立辦事處,進一步提供技術(shù)、服務(wù)方面的支持,但博科、McDATA公司均表示,OEM及合作伙伴策略將不會改變。在網(wǎng)絡(luò)存儲技術(shù)方面,博科公司的技術(shù)總監(jiān)許良謀先生表示,3-5年內(nèi)光纖通道技術(shù)仍會是主流技術(shù),但博科公司目前對iSCSI、StorageoverIP、Infiniband等技術(shù)進行密切關(guān)注,并加大了研發(fā)力度。NAS+SAN是存儲方案的最佳選擇盡管有些人認(rèn)為存儲區(qū)域網(wǎng)絡(luò)(SAN)與網(wǎng)絡(luò)連接存儲(NAS)體系的融合是一種硬性的組合,但這兩種技術(shù)的融合正在積極發(fā)展。為了弄清兩者之間的關(guān)系,讓我們仔細(xì)分析一下這兩種技術(shù)。大家普遍認(rèn)為,IT存儲需求以一種跳躍式的速度增長。實際上,IT存儲能力現(xiàn)在正以每年52%的速度提高(theForresterReport,March2001)。要使存儲能力跟上存儲需求的步伐,意味著不僅要不斷增加新的物理硬件,還要創(chuàng)建新的架構(gòu)來管理這些硬件設(shè)施。在當(dāng)前的IT預(yù)算已經(jīng)被大幅削減的情況下,這種雙重需求通常是很要命的。幸運的是,我們已經(jīng)開始脫離直接連結(jié)存儲(DAS)模式。這種昂貴的存儲模式需要給每個單獨的服務(wù)器增加硬盤,但卻不能提供真正意義上的網(wǎng)絡(luò)存儲負(fù)載分?jǐn)偰J?,它只是提高了基礎(chǔ)設(shè)施成本。網(wǎng)絡(luò)連接存儲(NAS)是一種可以接受的選擇方案。它是一臺功能強大的數(shù)據(jù)服務(wù)器,能在文件級別上處理數(shù)據(jù)。典型情況下,它通過專用以太網(wǎng)連結(jié)到已有的網(wǎng)絡(luò)中。除非是在不同的網(wǎng)絡(luò)結(jié)構(gòu)上創(chuàng)建NAS混合構(gòu)件,否則對NAS的安裝和管理是相當(dāng)容易的。相比較而言,存儲區(qū)域網(wǎng)絡(luò)(SAN)要復(fù)雜一些,它把數(shù)據(jù)以塊為單位進行管理,采用具有更高傳輸速率的光纖通道(FibreChannel)連接方式和相關(guān)基礎(chǔ)結(jié)構(gòu)。它的設(shè)計和實現(xiàn)途徑為它帶來了更高的處理速度,而且,SAN還是基于自身的獨立的網(wǎng)絡(luò)。它允許數(shù)據(jù)流直接從主網(wǎng)絡(luò)上卸載,并降低了請求響應(yīng)時間。(或者換句話說,它極大地減少了主網(wǎng)絡(luò)運行緩慢的時間,這一優(yōu)勢在數(shù)據(jù)備份期間尤其重要。)盡管NAS相對來說顯得過于簡單,但對于一個需要公共文件系統(tǒng)(如,電子郵件服務(wù)器組)的服務(wù)器群來說,它是一種不錯的選擇。SAN的高速及其良好的擴展性使它更適用于電子商務(wù)應(yīng)用,在這類應(yīng)用環(huán)境中,大量終端請求訪問少量數(shù)據(jù),或者說大量終端共享少量數(shù)據(jù)。所有的事情都能以相對簡單的方式來解釋,如果給某些人足夠的時間和微小的激勵,那么他們可能會把簡單的事情弄得相當(dāng)復(fù)雜?,F(xiàn)在的存儲業(yè)正是這樣,人們急于將NAS和SAN技術(shù)融合起來。(這種看法可能過于偏激)。當(dāng)然,這種融合存在其合理性。SAN提供速度,NAS提供由文件處理帶來的協(xié)作性,它們的結(jié)合將是非常令人心動的。對SAN來說,點到點之間光纖通道的最大距離不得超過10km限度實在是一個缺陷,但這種缺陷可以被NAS的IP連結(jié)所彌補。這就是說,可以通過IP網(wǎng)絡(luò)發(fā)送光纖通道命令(FC/IP)。(如果你研究過SCSI協(xié)議,你應(yīng)該知道iSCSI正是以同樣的方式來處理SCSI命令)。借助于10Gigabit以太網(wǎng)技術(shù),這種處理方法最終變成了現(xiàn)實。IP-SAN與SAN的區(qū)別光纖通道(FCSAN),是前幾年發(fā)展起來的存儲區(qū)域網(wǎng)第一種存在形式。該類SAN的體系架構(gòu)。顯然,這種SAN以處理數(shù)據(jù)的多種服務(wù)器為中心,存在兩張網(wǎng),一張是面對應(yīng)用網(wǎng)(或Client/Server架構(gòu)或Browzer/Webserver架構(gòu));另一張是存儲網(wǎng)(由主機中的FCHBA卡、FC交換機及存儲設(shè)備三層結(jié)構(gòu)組成的SAN),它專門解決主機系統(tǒng)對磁盤的塊級(Block-Level)存儲數(shù)據(jù)調(diào)用。這也是使用SAN的原因之一。因為NAS除了未建立獨立的存儲網(wǎng)外,另一個重要原因是它只能解決對文件級的調(diào)用。只有SAN才能支持?jǐn)?shù)據(jù)庫的塊級調(diào)用。FC是針對傳統(tǒng)SCSI電纜長度有限而發(fā)展起來的另外一種特殊的高技術(shù)。但專業(yè)人士認(rèn)為,應(yīng)該尋求一種新的方式,以與應(yīng)用網(wǎng)相同的體系架構(gòu)、技術(shù)標(biāo)準(zhǔn)去構(gòu)造存儲網(wǎng)。這不論從技術(shù)構(gòu)造上,還是從經(jīng)濟成本分析角度看,無疑都是理想的。為此,以IP網(wǎng)絡(luò)起家的網(wǎng)絡(luò)廠商巨頭Cisco及主機廠商巨頭IBM聯(lián)手,于2001年1月發(fā)起成立IETF工作組,專門研究與開發(fā)iSCSI技術(shù)標(biāo)準(zhǔn),以此統(tǒng)一應(yīng)用與存儲分開的兩種網(wǎng)絡(luò)類型。幾十家專業(yè)化IT公司的共同努力,IETF的iSCSIRFC標(biāo)準(zhǔn)終于在2003年2月中旬通過。至此,產(chǎn)生了與應(yīng)用網(wǎng)完全同構(gòu)的存儲區(qū)域網(wǎng),即IETFiSCSI標(biāo)準(zhǔn)支持的IPSAN。FCSAN是在iSCSI標(biāo)準(zhǔn)產(chǎn)生的前4年出現(xiàn)的存儲區(qū)域網(wǎng)架構(gòu),帶有相當(dāng)程度的應(yīng)用催生特點。它目前在世界SAN市場的占有率約為12%,在中國SAN市場占有率約為5%。FCSAN大多應(yīng)用在性能要求較高的金融、電信等領(lǐng)域。去年下半年,隨著Brocade等廠家低端光纖交換機價格的下調(diào),F(xiàn)CSAN也開始應(yīng)用于低端。但是FCSAN除了高價外,最主要的問題是它與應(yīng)用網(wǎng)絡(luò)的異構(gòu)性。這種異構(gòu)性使得占市場大多數(shù)的中低端客戶,因面對相對陌生、復(fù)雜的FC技術(shù)望而卻步。對各行各業(yè)的IT技術(shù)人員而言,網(wǎng)絡(luò)技術(shù)是基于Ethernet及TCP/IP構(gòu)筑的,它們的許多應(yīng)用已建立在Internet的架構(gòu)之上,并期待著存儲網(wǎng)絡(luò)化最終會向這個方向邁進。過去IT發(fā)展的歷史已經(jīng)說明,包括Token-Ring、FDDI、ATM以及Bell發(fā)明了一百余年的、面向連接的語音交換技術(shù),都將統(tǒng)一融合到TCP/IP為基本架構(gòu)的Internet上去。SAN也將向基于IP網(wǎng)絡(luò)方向發(fā)展。IETF的iSCSI標(biāo)準(zhǔn),是為了將高速的系統(tǒng)內(nèi)部塊級存儲訪問,推廣到Internet上,這必然會面臨高數(shù)據(jù)流量、低延遲等性能問題、數(shù)據(jù)安全性問題以及系統(tǒng)級高容錯要求所產(chǎn)生的通信交互規(guī)則等核心技術(shù)難點。這也是一個技術(shù)標(biāo)準(zhǔn)在IETF歷史上歷時長達三年多的根本原因,并使包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade等50余家廠商一起參與的原因。其實FCSAN的弱點是它的物理機理決定的,它無法使存儲設(shè)備隨它在Internet上運行,從而無法滿足應(yīng)用前端對存儲數(shù)據(jù)“無時不有、無處不在”的要求。FCSAN的物理覆蓋有限,不超過50公里。這樣容易形成存儲孤島。物理覆蓋有限面臨的第一個挑戰(zhàn)是異地備份解決方案如何基于FCSAN設(shè)計。當(dāng)年人們解決信息孤島問題,發(fā)展網(wǎng)絡(luò)技術(shù),產(chǎn)生通信子系統(tǒng),用了大約20年的時間,使得IT技術(shù)大踏步地發(fā)展到今天,而今又面對存儲孤島問題。存儲孤島無法解決地理阻斷對系統(tǒng)級數(shù)據(jù)的Housekeeping問題,包括數(shù)據(jù)遷移、復(fù)制、備份等不同級別的存儲系統(tǒng)數(shù)據(jù)整合問題?,F(xiàn)在,IETF的iSCSI標(biāo)準(zhǔn)通過了。目前,可以從相對吞吐量較少的應(yīng)用開始做起,待萬兆以太網(wǎng)10GBitEthernet商業(yè)化運作成為事實后,再解決互聯(lián)網(wǎng)的帶寬問題。IP-SAN的優(yōu)勢:1.價格合理的存儲合并功能與更為簡化的集中數(shù)據(jù)管理功能實施過程簡單。2.IP網(wǎng)絡(luò)技術(shù)相當(dāng)成熟,IP-SAN減少了配置、維護、管理的復(fù)雜度。企業(yè)現(xiàn)有的網(wǎng)絡(luò)管理人員就可以完成日常的管理與維護工作。3.3.因為是基于IP網(wǎng)絡(luò)的存儲系統(tǒng),所以數(shù)據(jù)遷移和遠程鏡像非常容易,只要網(wǎng)絡(luò)帶寬支持,基本沒有距離限制,更好的支持異地容災(zāi)。和現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)融合,支持跨平臺數(shù)據(jù)共享。4.IPSAN有三個無限:基于以太網(wǎng)沒有速度限制;沒有距離限制,可無縫連接,實現(xiàn)低價格的遠程容災(zāi);沒有容量限制。5.基于IP網(wǎng)絡(luò)的存儲系統(tǒng),以傳統(tǒng)以太網(wǎng)的價格實現(xiàn)同等于光纖網(wǎng)絡(luò)的性能,實現(xiàn)真正的即插即用Plug&Play,無需客戶端軟硬件升級、零維護成本、使用人員無需技術(shù)培訓(xùn),降低企業(yè)的擁有成本與維護成本,而且升級擴容簡單方便存儲網(wǎng)絡(luò)發(fā)展企業(yè)存儲技術(shù)發(fā)展日新月異,早期大型服務(wù)器的DAS技術(shù)(DirectAttachedStorage,直接附加存儲,又稱直連存儲),后來為了提高存儲空間的利用及管理安裝上的效率,因而有了SAN(StorageAreaNetwork,存儲局域網(wǎng)絡(luò))技術(shù)的誕生,SAN可說是DAS網(wǎng)絡(luò)化發(fā)展趨勢下的產(chǎn)物。早先的SAN采用的是光纖通道(FC,F(xiàn)iberChannel)技術(shù),所以在iSCSI出現(xiàn)以前,SAN多半單指FC而言。一直到iSCSI問世,為了方便區(qū)別,業(yè)界才分別以FC-SAN及iSCSI-SAN的稱呼加以分辨。緊接著,為了能在多用戶網(wǎng)絡(luò)環(huán)境中,做好檔案集中化分享管理的工作,采用全然不同于以往的文件協(xié)議(FileProtocol)數(shù)據(jù)存取方式的NAS(NetworkAttachedStorage;網(wǎng)絡(luò)附加存儲)方案也應(yīng)運而生。它的出現(xiàn),為以太網(wǎng)絡(luò)的成熟及重要,做了最佳腳注。日益發(fā)展及成熟的因特網(wǎng),更進一步成為了IP存儲方案成長壯大的最佳腹地及平臺,現(xiàn)成的架構(gòu)、協(xié)議、標(biāo)準(zhǔn)、基礎(chǔ)設(shè)施及管理工具,莫不吸引著尋求最佳存儲方案者的目光。此背景,加上FC-SAN高不可攀的成本及管理門坎的障礙,另一存儲成員iSCSI(InternetSCSI)也來報到了。iSCSI的出現(xiàn),標(biāo)志著低價化SAN方案的問世。從IPSAN到iSCSISAN所謂iSCSI亦即通過IP網(wǎng)絡(luò),將SCSI區(qū)塊數(shù)據(jù)轉(zhuǎn)換成網(wǎng)絡(luò)封包的一種傳輸標(biāo)準(zhǔn),它和NAS一樣通過IP網(wǎng)絡(luò)來傳輸數(shù)據(jù),但在數(shù)據(jù)存取方式上,則采用與NAS不同的,而與FC-SAN相同的BlockProtocol協(xié)議。iSCSI最早是由IBM和Cisco于2001年制定的。事實上,為了解決FC-SAN在價格及管理上的諸多門坎,各家早有不同協(xié)議的IPSAN的研究開發(fā)。這些IPSAN的架構(gòu),其實與iSCSI大同小異,只不過并非走標(biāo)準(zhǔn)化的協(xié)議(事實上,在iSCSI標(biāo)準(zhǔn)化之前,也沒有什么標(biāo)準(zhǔn)不標(biāo)準(zhǔn)的問題),而是各家自行研發(fā)的協(xié)議,所以基本上各家IPSAN是不兼容的。IPSAN基于十分成熟的以太網(wǎng)技術(shù),由于設(shè)置配置的技術(shù)簡單、低成本的特色相當(dāng)明顯,而且普通服務(wù)器或PC機只需要具備網(wǎng)卡,即可共享和使用大容量的存儲空間。由于是基于IP協(xié)議的,能容納所有IP協(xié)議網(wǎng)絡(luò)中的部件,因此,用戶可以在任何需要的地方創(chuàng)建實際的SAN網(wǎng)絡(luò),而不需要專門的光纖通道網(wǎng)絡(luò)在服務(wù)器和存儲設(shè)備之間傳送數(shù)據(jù)。同時,因為沒有光纖通道對傳輸距離的限制,IPSAN使用標(biāo)準(zhǔn)的TCP/IP協(xié)議,數(shù)據(jù)即可在以太網(wǎng)上進行傳輸。IPSAN網(wǎng)絡(luò)對于那些要求流量不太高的應(yīng)用場合以及預(yù)算不充足的用戶,是一個非常好的選擇。ISCSI存儲協(xié)議Internet小型計算機系統(tǒng)接口(iSCSI:InternetSmallComputerSystemInterface)Internet小型計算機系統(tǒng)接口(iSCSI)是一種基于TCP/IP的協(xié)議,用來建立和管理IP存儲設(shè)備、主機和客戶機等之間的相互連接,并創(chuàng)建存儲區(qū)域網(wǎng)絡(luò)(SAN)。SAN使得SCSI協(xié)議應(yīng)用于高速數(shù)據(jù)傳輸網(wǎng)絡(luò)成為可能,這種傳輸以數(shù)據(jù)塊級別(block-level)在多個數(shù)據(jù)存儲網(wǎng)絡(luò)間進行。SCSI結(jié)構(gòu)基于客戶/服務(wù)器模式,其通常應(yīng)用環(huán)境是:設(shè)備互相靠近,并且這些設(shè)備由SCSI總線連接。iSCSI的主要功能是在TCP/IP網(wǎng)絡(luò)上的主機系統(tǒng)(啟動器initiator)和存儲設(shè)備(目標(biāo)器target)之間進行大量數(shù)據(jù)的封裝和可靠傳輸過程。此外,iSCSI提供了在IP網(wǎng)絡(luò)封裝SCSI命令,且運行在TCP上。如今我們所涉及的SAN(StorageAreaNetwork),其實現(xiàn)數(shù)據(jù)通信的主要要求是:1.數(shù)據(jù)存儲系統(tǒng)的合并;2.數(shù)據(jù)備份;3.服務(wù)器群集;4.復(fù)制;5.緊急情況下的數(shù)據(jù)恢復(fù)。另外,SAN可能分布在不同地理位置的多個LANs和WANs中。必須確保所有SAN操作安全進行并符合服務(wù)質(zhì)量(QoS)要求,而iSCSI則被設(shè)計來在TCP/IP網(wǎng)絡(luò)上實現(xiàn)以上這些要求。iSCSI包含四個組成部分:iSCSI地址和命名規(guī)則:在網(wǎng)絡(luò)實體中,iSCSI節(jié)點是SCSI設(shè)備在網(wǎng)絡(luò)中可用的標(biāo)識符,每個iSCSI節(jié)點都有一個獨一無二的名稱(其長度最多可以達255個字節(jié)),這種名稱是根據(jù)Internet節(jié)點的命名規(guī)則進行命名的。iSCSI會話管理:iSCSI會話由登錄階段(LoginPhase)和工作階段(FullFeaturePhase)兩部分構(gòu)成,由特殊命令完成。iSCSI差錯處理:由于在IP網(wǎng)絡(luò),特別是在WAN中實施iSCSI會經(jīng)常出現(xiàn)數(shù)據(jù)傳輸錯誤現(xiàn)象,iSCSI協(xié)議可以提供錯誤處理方法。iSCSI安全性:由于iSCSI工作在數(shù)據(jù)可能被非法訪問的網(wǎng)絡(luò),該協(xié)議允許使用不同安全性途徑。協(xié)議結(jié)構(gòu)iSCSIPDU結(jié)構(gòu):8162432bitBasicHeaderStructure(BHS)AdditionalHeaderStructure1(AHS)(optional)…AdditionalHeaderStructuren(AHS)(optional)HeaderDigest(optional)DataSegment(optional)DataDigest(optional)iSCSIBHS格式:8162432bit.IOpcodeFOpcode-specificfieldsTotalAHSLengthDataSegmentlengthOpcode-specificfieldsorLogicUnitNumber(LUN)(8bytes)InitiatorTaskTag(4bytes)Opcode-specificfields(28bytes)I―請求PDU,I位設(shè)置為1,是一個立即傳送標(biāo)記。Opcode―Opcode表示頭封裝采用的iSCSIPDU類型。Opcode被分為兩類InitiatorOpcode和TargetOpcode。InitiatorOpcode位于PDU中,由Initiator(請求PDU)發(fā)送。TargetOpcode位于PDU,由Target(響應(yīng)PDU)發(fā)送。Final(F)Bit―設(shè)置為1時,表示序列中的最后一個(或唯一一個)PDU。Opcode-SpecificFields―對于不同的Opcode類型,這些字段具有不同的含義。TotalAHSLength―表示4字節(jié)字單元(包括間隙)中所有AHS頭分段的總長。DataSegmentLength―指數(shù)據(jù)段有效載荷字節(jié)長(不包括間隙)。只要PDU沒有數(shù)據(jù)段,DataSegmentLength值必須為0。LUN―有些Opcode運行在特定邏輯單元上。邏輯單元號(LUN)字段用于識別邏輯單元。如果Opcode與邏輯單元無關(guān),那么該字段可以被忽略或用于Opcode特定方式下。InitiatorTaskTag―Initiator為每個iSCSI任務(wù)分配一個TaskTag。該標(biāo)簽用于唯一識別任務(wù)會話存儲協(xié)議轉(zhuǎn)換器NAS是特制的網(wǎng)絡(luò)文件系統(tǒng)服務(wù)器,其優(yōu)點包括系統(tǒng)的易用性和可管理性,數(shù)據(jù)共享顆粒度細(xì),共享用戶之間可以共享文件級數(shù)據(jù),NAS所支持的網(wǎng)絡(luò)文件協(xié)議包括NFS和CIFS。NAS與SAN各有優(yōu)缺點。特別值得一提的是,這兩種技術(shù)是互補的,因此二者的融合就顯得非常必要了。在二者直接結(jié)合中,NASHead被視為最明顯和簡單的技術(shù)融合。在NASSAN系統(tǒng)中,前端是一些NASHead服務(wù)器和使用SAN存儲設(shè)備的服務(wù)器,NASHead對外提供NFS和CIFS協(xié)議接口和管理服務(wù)。但與傳統(tǒng)的NAS系統(tǒng)不同,該系統(tǒng)中NASHead不使用本地存儲設(shè)備而使用SAN存儲設(shè)備對外提供文件服務(wù)。這種融合方式在一定程度上解決了NAS與SAN系統(tǒng)的存儲設(shè)備級的共享問題,但在文件級的共享上與傳統(tǒng)NAS系統(tǒng)一樣具有可擴展性問題。因為當(dāng)一個文件系統(tǒng)負(fù)載很大時,NASHead很可能成為系統(tǒng)瓶頸。在核心存儲帶寬允許下,可以通過增加多個NASHead來提升性能。所謂iSCSI,即通過IP網(wǎng)絡(luò),將SCSI塊數(shù)據(jù)轉(zhuǎn)換成網(wǎng)絡(luò)封包的一種傳輸協(xié)議,該協(xié)議被用于服務(wù)器(Initiator)、存儲設(shè)備(Target)和協(xié)議傳輸網(wǎng)關(guān)設(shè)備。它和NAS一樣通過IP網(wǎng)絡(luò)來傳輸數(shù)據(jù),但在數(shù)據(jù)存取方式上則采用與傳統(tǒng)NAS不同、卻與FC-SAN相同的塊協(xié)議(BlockProtocal)。與FiberChannel一樣,iSCSI也屬于SAN大家庭中的一員。iSCSIInitiator可分為三種,即軟件Initiator驅(qū)動程序、硬件的TOEHBA卡及iSCSIHBA卡。就效能而言,Initiator驅(qū)動程序最差、TOE居中、iSCSIHBA卡最佳。但是,iSCSIHBA只能接受iSCSI協(xié)議,而無法通過NFS或CIFS等檔案系統(tǒng)協(xié)議與應(yīng)用服務(wù)器溝通。Initiator驅(qū)動程序及TOE則同時支持iSCSI、NFS及CIFS三種協(xié)議。華為IPSAN存儲產(chǎn)品安裝步驟設(shè)備管理與配置圖1IX1000設(shè)備正面視圖圖2IX1000設(shè)備后視圖背景需求與配置環(huán)境介紹一臺PC通過網(wǎng)絡(luò)連接到IX1000的控制口.中間可通過交換機。網(wǎng)絡(luò)連接正確,配置PC的IP地址和FE的IP地址在同一個網(wǎng)段,為24,運行NeoStor控制臺的客戶端計算機必須能與存儲管理網(wǎng)段通信,NeoStor控制臺可在512MB內(nèi)存的計算機上運行,但是為了達到最佳性能,建議使用1GBRAM對于Windows操作系統(tǒng),只有具有管理員權(quán)限的用戶才可以安裝NeoStor控制臺設(shè)備與版本采用如下配置環(huán)境,可根據(jù)實際情況酌情更改設(shè)備硬件軟件主機LenovoP42.93GHz,內(nèi)存504MB操作系統(tǒng)版本:WndowsServer2003EnterpriseEdition線纜網(wǎng)線IX1000磁盤16×400G服務(wù)器版本:NeoceanNeoStorServerv5.00–(Build988)交換機H3CS5648NEOSTOR軟件安裝在客戶端計算機上打開Web瀏覽器,在地址欄中輸入IX1000設(shè)備管理網(wǎng)口的IP地址:,如圖3所示,系統(tǒng)將提示點擊頁面中的鏈接“here”,進行下載并安裝J2SERuntimeEnvironment(JRE)。如圖4所示,單擊<安裝>按鈕,進行安裝操作圖3Java安裝初始界面圖4安裝J2SERuntimeEnvironment安裝完成后,在Web瀏覽器地址欄中再次輸入IX1000設(shè)備管理網(wǎng)口的IP地址,系統(tǒng)自動將需要的NeoStor控制臺程序下載到客戶端計算機上并運行NEOSTOR軟件初始配置在客戶端計算機上打開Web瀏覽器,在地址欄中輸入IX1000設(shè)備管理網(wǎng)口的IP地址:,系統(tǒng)將自動啟動NeoStor控制臺程序,如圖5所示圖5啟動NeoStor控制臺系統(tǒng)彈出NeoStor用戶登陸窗口,輸入出廠配置的NeoStor服務(wù)器名:,用戶名:root,密碼:passwd圖6NeoStor用戶登陸單擊<確定>按鈕,NeoStor控制臺將彈出配置NeoStor窗口,如圖7所示,提示步驟1:配置License圖7輸入License提示單擊<下一步>按鈕,系統(tǒng)彈出對話框,如圖8所示,單擊<添加>按鈕,系統(tǒng)彈出對話框,輸入License,單擊<確定>按鈕,設(shè)置生效,完成License的添加圖8License信息輸入注意:可以通過多次單擊<添加>按鈕,完成多個License的添加。輸入License操作完成后,單擊<確定>按鈕,進入第2步,如圖9所示,配置網(wǎng)絡(luò)圖9設(shè)置網(wǎng)絡(luò)提示單擊<下一步>按鈕,系統(tǒng)彈出對話框,如圖10所示,可以進行網(wǎng)絡(luò)設(shè)置,配置IX1000的管理口eth0地址為:,子網(wǎng)掩碼為:業(yè)務(wù)口eth1地址為:,子網(wǎng)掩碼為:業(yè)務(wù)口eth2地址為:,子網(wǎng)掩碼為:業(yè)務(wù)口eth3地址為:,子網(wǎng)掩碼為:業(yè)務(wù)口eth4地址為:,子網(wǎng)掩碼為:并啟用Telnet和允許root用戶Telnet登陸圖10網(wǎng)絡(luò)配置單擊<確定>按鈕,系統(tǒng)將重新啟動NeoStor進程和網(wǎng)絡(luò),在NeoStor控制臺目錄樹中,鼠標(biāo)右鍵單擊現(xiàn)有的NeoStor服務(wù)器,如圖11所示,從彈出的快捷菜單中選擇[連接]菜單項,系統(tǒng)彈出[NeoStor用戶登錄]對話框,輸入用戶名root,密碼passwd,連接到該服務(wù)器,彈出圖7licence輸入提示,單擊<跳過>按鈕,進入圖9設(shè)置網(wǎng)絡(luò)提示界面,再次單擊<跳過>按鈕,進入如圖11所示的設(shè)置服務(wù)器名稱提示圖11設(shè)置服務(wù)器名稱提示單擊<下一步>按鈕,系統(tǒng)彈出提示框,如圖12所示,提示警告信息圖12更改服務(wù)器名稱警告單擊<確定>按鈕后,系統(tǒng)彈出對話框,如圖13所示,輸入NeoStor服務(wù)器名稱:h3c-4,圖13設(shè)置服務(wù)器名稱單擊<確定>按鈕,系統(tǒng)彈出確認(rèn)更改對話框,確認(rèn)后,NeoStor進程和網(wǎng)絡(luò)都將重新啟動,重復(fù)操作步驟9,到圖11的界面,單擊<跳過>按鈕,顯示如圖13所示界面圖13完成初始配置單擊<完成>按鈕,關(guān)閉對話框,完成初始配置。用戶管理與配置添加用戶在目錄樹中選擇NeoStor服務(wù)器,鼠標(biāo)右鍵單擊該NeoStor服務(wù)器,從彈出的快捷菜單中選擇[管理員]菜單項,系統(tǒng)彈出對話框,如圖4所示圖3登陸管理界面圖4NeoStor用戶管理初始界面選擇<添加>按鈕,系統(tǒng)彈出對話框,如圖5所示,輸入管理員名稱administrator、密碼passwd和確認(rèn)密碼,選擇用戶類型為NeoStor管理員圖5添加用戶/管理員設(shè)置完成之后,單擊<確定>按鈕,設(shè)置生效,如圖6所示。圖6NeoStor用戶/管理員注意:經(jīng)過授權(quán)后,只有NeoStor管理員同時具有NeoStor客戶端驗證和控制臺訪問的權(quán)限,NeoStor客戶端只能進行NeoStor客戶端驗證,沒有控制臺訪問權(quán)限。目前IX1000不支持這種用戶類型,NeoStor只讀用戶只能查看控制臺中的信息,沒有更改權(quán)限,也沒有進行NeoStor客戶端驗證的權(quán)限NeoStoriSCSI用戶可通過iSCSIInitiator軟件實現(xiàn)iSCSI協(xié)議登錄驗證,沒有控制臺訪問權(quán)限修改用戶密碼在圖6的NeoStor用戶/管理員界面中,選擇新建的administrator用戶所在的行,單擊<重置密碼>按鈕,系統(tǒng)彈出對話框,如圖7所示,輸入新密碼和確認(rèn)密碼后,單擊<確定>按鈕,修改密碼設(shè)置生效。圖7修改用戶密碼刪除用戶在圖6的NeoStor用戶/管理員界面中,選擇新建的administrator用戶所在的行,單擊<刪除>按鈕,系統(tǒng)彈出對話框,確認(rèn)后,單擊<是(Y)>按鈕,完成用戶刪除,如圖8所示。圖8刪除用戶創(chuàng)建磁盤整列及熱備磁盤創(chuàng)建RAID磁盤陣列環(huán)境是以用3塊磁盤創(chuàng)建RAID5為例演示如何創(chuàng)建RAID磁盤陣列,創(chuàng)建其它類型的RAID磁盤陣列留給讀者自行完成。如果是新的盤,需要首先初始化磁盤(如果是用過的盤,就可以省略前兩步):在對應(yīng)的IX1000設(shè)備節(jié)點上點擊鼠標(biāo)右鍵,選擇“RAID管理”,進入RAIDConsole界面,在界面頂部菜單中選擇[Disk/Initialize]菜單項,系統(tǒng)彈出[初始化磁盤]對話框圖2選擇要進行初始化的磁盤,再單擊<InitializeSelected>按鈕,執(zhí)行初始化操作。在RAIDConsole中,選擇[Array/Create]菜單項,或在圖形界面左側(cè)的“ControllerGroup1”上先左鍵單擊選中,在點右鍵并選擇“Create”圖3在磁盤列表中選擇創(chuàng)建陣列所需的磁盤。單擊<All>按鈕可以選擇所有磁盤,單擊<unused>按鈕選擇沒有使用過的磁盤。在“Type”下拉列表框中選擇陣列類型,包括Volume、RAID0、RAID1、RAID10、RAID1N、RAID10N、RAID5、RAID50,不同類型的RAID所需的最少磁盤數(shù)目不同。本實驗任務(wù)中選擇RAID5,需要注意的是RAID5至少需要3塊磁盤來創(chuàng)建。圖4在“Capacity”文本框中輸入容量,在實際應(yīng)用中按需要輸入相應(yīng)的容量。通常在實驗中為節(jié)省時間和方便起見輸入一個較小的容量,這里輸入1000,默認(rèn)單位是MB。圖5在“CacheOption”中選擇陣列的緩存選項。默認(rèn)為“Read+WriteBackCache”(讀取+回寫緩存)。在“DistributedSpare”(分布式磁盤熱備)和“DedicateSpare”(專用磁盤熱備)選項中選擇是否要配置相應(yīng)的熱備磁盤。這里均選擇“Disabled”。注:分布式磁盤熱備適用RAID5(4個或4個以上驅(qū)動器),RAID50,RAID10,RAID10n,屬于某個陣列專用,分配時就占用實際物理磁盤空間,其Spare熱備空間平均分布在該陣列的所有磁盤上,在隊列創(chuàng)建隊列時候自動產(chǎn)生。專用磁盤熱備適用于所有冗余陣列,為某個陣列專用,僅在使用時占用實際物理磁盤空間,在創(chuàng)建隊列的時候手動指定。IX1000中還有一種磁盤熱備方式是全局磁盤熱備(GlobalHotspare),在圖5的界面中無法設(shè)定,其設(shè)置方法參見附注。在“SkipInitialize”中選擇是否跳過初始化。通常在初始化陣列時要執(zhí)行一致性檢查,可跳過后臺一致性檢查,快速創(chuàng)建陣列。這是一個可行選項并且不會影響數(shù)據(jù)完整性??梢陨院髨?zhí)行一致性檢查。對于RAID5和RAID50集,如果跳過初始化,則陣列在執(zhí)行一致性檢查后才會變成冗余陣列。“LeaveExistingDataIntact”復(fù)選框的作用是:若丟失了某個陣列的配置信息并且要在寫入新的配置信息時保留磁盤上的原有數(shù)據(jù),則將其選上。圖6當(dāng)意外刪除某個陣列或配置信息丟失但數(shù)據(jù)仍保持不變時,可使用此選項嘗試恢復(fù)用戶數(shù)據(jù)。如果創(chuàng)建陣列時啟用了此選項,將寫入新的配置信息并且盡可能使用與以前相同的磁盤空間。只有當(dāng)刪除陣列后立即重新創(chuàng)建,并且尚未在該陣列上執(zhí)行過其它任務(wù)時,用這種方法恢復(fù)數(shù)據(jù)才有效。選擇是否使用“ZeroCreate”(零創(chuàng)建),該選項將零寫入創(chuàng)建的陣列。如果使用了“ZeroCreate”選項,該陣列不會立即變?yōu)榭捎?。在“ArrayName”中輸入陣列名稱。創(chuàng)建成功后,在左側(cè)的樹型目錄中可以看到創(chuàng)建好的RAID陣列和所使用的磁盤。圖7注意:建議用戶創(chuàng)建陣列的容量不大于2TB,否則NeoStor控制臺無法發(fā)現(xiàn)該陣列。一臺IX1000最多只能創(chuàng)建8個RAID陣列。不同類型的RAID陣列所需要的最少磁盤數(shù)目不同,需要在創(chuàng)建之前做好規(guī)劃。建議一個硬盤只在一個RAID陣列中。附注:全局磁盤熱備(GlobalHotspare)設(shè)置方法全局磁盤熱備適用于所有冗余陣列,為多個陣列共用,僅在使用時占用實際物理磁盤空間。它需要手工指定,但在創(chuàng)建RAID時無法選擇,其設(shè)定方法簡述如下:在RAIDConsole中點擊左側(cè)的RAID陣列,在右側(cè)的圖形面板上就會顯示RAID陣列所使用的磁盤和其它的磁盤,如圖8所示。鼠標(biāo)在其中一塊磁盤面板上點右鍵,會彈出如圖9所示的對話框。(本實驗中選擇磁盤1:2作為全局熱備磁盤。)圖8圖9圖9中,“Disk”中的“Disk12”是選擇的磁盤。底下三個選項的意思分別是:第一個“AssignasDedicatedSpare”是將磁盤設(shè)為專用熱備磁盤,第二個“AssignasGlobalSpare”是將磁盤設(shè)為全局熱備磁盤,第三個“IdentifyDiskusingLEDs”是使IX1000設(shè)備上該磁盤的定位燈閃爍,用來確定磁盤位置。這里選擇第二個“AssignasGlobalSpare”還有一種設(shè)定GlobalSpare的方法,就是在“View”菜單中選擇“DiskListView”,使右側(cè)的圖形面板變?yōu)榱斜?,如圖10所示。在磁盤列表中選中要作為GlobalSpare的磁盤,點擊鼠標(biāo)右鍵,彈出和圖9一樣的對話框,選擇“AssignasGlobalSpare”即可。成為GlobalSpare的磁盤會在列表的“GS”欄中顯示“Yes”。圖10圖11若要取消設(shè)置的GlobalSpare盤,則在圖形面板或磁盤列表中選中該磁盤并單擊鼠標(biāo)右鍵,選擇“RemoveasGlobalSpare”。注意:雖然GlobalSpare可以建在任何物理磁盤上(只要有可用空間),但建議選擇一塊沒有創(chuàng)建任何RAID陣列的空白磁盤專門作為GlobalSpare熱備磁盤。劃分邏輯資源創(chuàng)建SAN資源客戶端沒有訪問物理資源的權(quán)限,僅能訪問邏輯資源,因此,管理員必須配置每個物理資源對應(yīng)一個或多個邏輯資源,作為NeoStor服務(wù)器上邏輯映射的設(shè)備,SAN資源可以直接綁定給客戶端,提供塊級的數(shù)據(jù)訪問。創(chuàng)建SAN資源的步驟:選擇目錄樹中的NeoStor服務(wù)器名,打開“邏輯資源”旁的圖標(biāo),鼠標(biāo)右鍵單擊“SAN資源”,從彈出的快捷菜單中選擇[新建]菜單項,系統(tǒng)彈出窗口向?qū)А螕?lt;下一步>按鈕,窗口如圖3所示,選擇“虛擬設(shè)備”,指定創(chuàng)建的SAN資源的類型為虛擬設(shè)備類型。圖3選擇SAN資源類型注意:IX1000只支持虛擬設(shè)備類型的SAN資源單擊<下一步>按鈕,窗口如圖4所示,選擇SAN資源的創(chuàng)建方法。圖4選擇SAN資源的創(chuàng)建方法可以根據(jù)以上3種方法設(shè)置SAN資源所需的物理設(shè)備,操作如下:本實驗采用“自定義”方法,單擊<下一步>按鈕,窗口如圖5所示。選擇要使用的物理設(shè)備圖5為SAN資源選擇物理設(shè)備單擊<下一步>按鈕,在圖6中選擇整個磁盤,也可以設(shè)置從該設(shè)備分配的空間大小。圖6指定磁盤空間單擊<下一步>,系統(tǒng)顯示所選擇的物理設(shè)備資源,窗口如圖7所示。圖7創(chuàng)建資源的物理設(shè)備注意:若有多個物理設(shè)備可以創(chuàng)建SAN資源,可以單擊<添加更多>按鈕,窗口將回到圖6,再次選擇要使用的物理設(shè)備;建議將SAN資源建立在同一個raid策略的物理設(shè)備之上。若在圖4中采用“快速”方法,在圖6中的文本框中指定分配的空間大小即可;若在圖4中采用“批處理”方法,單擊<下一步>按鈕,選擇要使用的物理設(shè)備后,再單擊<下一步>按鈕,可以設(shè)置每個SAN資源的名稱前綴、空間大小以及創(chuàng)建的SAN資源數(shù)。在圖7中單擊<下一步>,窗口如圖8所示,在“SAN資源名稱”文本框中修改SAN資源名為SANDisk-test。圖8更改SAN資源名稱注意:SAN資源名不支持中文字符。單擊<下一步>按鈕,系統(tǒng)顯示所做的設(shè)置信息,確認(rèn)無誤后,單擊<完成>按鈕,成功創(chuàng)建SAN資源,系統(tǒng)提示是否要為該SAN資源分配客戶端,單擊<否(N)>按鈕,在控制臺界面可顯示出SAN資源,如圖9所示。圖9SAN資源說明:若SAN客戶端已建立,可以單擊<是(Y)>按鈕,將啟動分配SAN資源向?qū)?,具體操作請參見SAN客戶端使用實驗手冊。擴展SAN資源注意:擴展SAN資源之前,必須存在可利用的物理資源,創(chuàng)建一個1000M的虛擬化過的物理資源,,方法請參見創(chuàng)建物理資源實驗。創(chuàng)建完成之后,可進行擴展SAN資源實驗。操作步驟如下:選擇目錄樹中的NeoStor服務(wù)器名,打開“邏輯資源”旁的圖標(biāo),再打開“SAN資源”旁的圖標(biāo),鼠標(biāo)右鍵單擊SAN資源,從彈出的快捷菜單中選擇[擴展]菜單項,系統(tǒng)彈出窗口向?qū)А螕?lt;下一步>按鈕,窗口如圖10所示,選擇擴展方法。圖10擴展SAN資源方法SAN資源擴展方法的相關(guān)設(shè)置與創(chuàng)建虛擬設(shè)備的SAN資源類似,具體操作請參見創(chuàng)建SAN資源實驗。完成擴展方法的相關(guān)設(shè)置后,系統(tǒng)將顯示所做的設(shè)置信息,如圖11所示,確認(rèn)無誤后,單擊<完成>按鈕,執(zhí)行擴展操作。擴展虛擬設(shè)備后,要求在客戶端調(diào)整分區(qū)或者文件系統(tǒng)的大小。圖11擴展SAN資源完成重命名SAN資源選擇目錄樹中的NeoStor服務(wù)器名,打開“邏輯資源”旁的圖標(biāo),再打開“SAN資源”旁的圖標(biāo),鼠標(biāo)右鍵單擊某個SAN資源,從彈出的快捷菜單中選擇[重命名]菜單項,窗口如圖12、13所示,輸入SAN資源的新名稱后,按回車鍵,完成重命名操作。圖12SAN資源重命名1圖13SAN資源重命名2刪除SAN資源注意:在刪除該SAN資源之前,必須先解除SAN資源與SAN客戶端的綁定關(guān)系,具體操作請參見解除SAN客戶端與SAN資源綁定實驗。在本實驗之前確定沒有建立客戶端,或者已經(jīng)解除了SAN資源和客戶端的綁定。選擇目錄樹中的NeoStor服務(wù)器名,打開“邏輯資源”旁的圖標(biāo),再打開“SAN資源”旁的圖標(biāo),鼠標(biāo)右鍵單擊某個SAN資源,從彈出的快捷菜單中選擇[刪除]菜單項,系統(tǒng)彈出對話框,輸入“YES”后,單擊<確定>按鈕,完成SAN資源的刪除。圖14刪除SAN資源創(chuàng)建NAS資源創(chuàng)建一個共享模式的NAS資源,共享空間為500M打開NEOSTOR軟件,并登陸到資源服務(wù)器(在虛擬設(shè)備已創(chuàng)建的前提下)在服務(wù)器名上點擊右鍵->選項->啟用NAS彈出歡迎界面,單擊<下一步>選擇“共享模式”,單擊<下一步>輸入工作組,單擊<下一步>輸入注釋,單擊<下一步>選擇“自動選擇”,單擊<下一步>單擊<完成>,啟用NAS單擊邏輯資源前的<+>,在NAS資源上點擊右鍵->新建彈出歡迎界面,單擊<下一步>在“為新NAS資源選擇文件系統(tǒng)”頁面中,用默認(rèn)選項,單擊<下一步>選擇“自定義”,單擊<下一步>選擇一個物理設(shè)備,單擊<下一步>選擇“部分段”,分配大小500MB,單擊<下一步>,再次單擊<下一步>輸入新建NAS資源的名稱(如H3C),單擊<下一步>,單擊<完成>在NAS資源下可看到新建的資源(如H3C),單擊右鍵->新建共享彈出歡迎頁面,單擊<下一步>輸入將要新建的NAS文件夾的名稱,單擊<下一步>在“配置windows共享設(shè)置頁面中”保持默認(rèn),單擊<下一步>選擇訪問權(quán)限,并設(shè)置密碼,單擊<下一步>,確認(rèn)密碼。在“分配NFS客戶端”頁面,保持默認(rèn),單擊<下一步>單擊<完成>可在網(wǎng)絡(luò)上通過該IX1000服務(wù)器的IP地址來訪問NAS資源。劃分磁盤分配給相關(guān)主機啟用iSCSI協(xié)議啟用iSCSI協(xié)議的操作如下:鼠標(biāo)右鍵單擊目錄樹
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 銅山區(qū)幼兒園勞務(wù)合同
- 提前還貸后貸款合同處理
- 《堅持依法行政》課件
- 《血壓測量》課件
- 2025年岳陽貨運資格證題庫在線練習(xí)
- 2025年來賓貨運資格證模擬考試題庫下載
- 保障性住房交易附加條款
- 零售行業(yè)文員聘用合同樣本
- 增資擴股協(xié)議書
- 花店攤位租賃合同
- 多西他賽化療方案
- 中職學(xué)校專業(yè)建設(shè)指導(dǎo)委員會
- 2024年度醫(yī)院內(nèi)窺鏡科述職報告課件
- 醫(yī)院保安提升服務(wù)方案
- 小紅書app創(chuàng)業(yè)計劃書
- 采煤安全管理知識課件
- 人工智能在通信網(wǎng)絡(luò)中的應(yīng)用
- 高頻電灼儀產(chǎn)品技術(shù)要求深圳半島醫(yī)療
- 年度委托代理記賬服務(wù) 投標(biāo)方案
- 卵圓孔未閉封堵術(shù)術(shù)前宣教
- 中建室外落地式卸料平臺施工方案
評論
0/150
提交評論