虛擬存儲(chǔ)技術(shù)及其應(yīng)用

虛擬存儲(chǔ)技術(shù)及其應(yīng)用隨著圍繞數(shù)字化、網(wǎng)絡(luò)化開(kāi)展的各種多媒體處理業(yè)務(wù)的不斷增加，存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)平臺(tái)已經(jīng)成為一個(gè)核心平臺(tái)，同時(shí)各種應(yīng)用對(duì)平臺(tái)的要求也越來(lái)越高，不光是在存儲(chǔ)容量上，還包括數(shù)據(jù)訪(fǎng)問(wèn)性能、數(shù)據(jù)傳輸性能、數(shù)據(jù)管理能力、存儲(chǔ)擴(kuò)展能力等等多個(gè)方面?？梢哉f(shuō)，存儲(chǔ)網(wǎng)絡(luò)平臺(tái)的綜合性能的優(yōu)劣，將直接影響到整個(gè)系統(tǒng)的正常運(yùn)行。為達(dá)到這些要求，一種新興的技術(shù)正越來(lái)越受到大家的關(guān)注，即虛擬存儲(chǔ)技術(shù)。其實(shí)虛擬化技術(shù)并不是一件很新的技術(shù)，它的發(fā)展，應(yīng)該說(shuō)是隨著計(jì)算機(jī)技術(shù)的發(fā)展而發(fā)展起來(lái)的，最早是始于70年代。由于當(dāng)時(shí)的存儲(chǔ)容量，特別是內(nèi)存容量成本非常高、容量也很小，對(duì)于大型應(yīng)用程序或多程序應(yīng)用就受到了很大的限制。為了克服這樣的限制，人們就采用了虛擬存儲(chǔ)的技術(shù)，最典型的應(yīng)用就是虛擬內(nèi)存技術(shù)。隨著計(jì)算機(jī)技術(shù)以及相關(guān)信息處理技術(shù)的不斷發(fā)展，人們對(duì)存儲(chǔ)的需求越來(lái)越大。這樣的需求刺激了各種新技術(shù)的出現(xiàn)，比如磁盤(pán)性能越來(lái)越好、容量越來(lái)越大。但是在大量的大中型信息處理系統(tǒng)中，單個(gè)磁盤(pán)是不能滿(mǎn)足需要，這樣的情況下存儲(chǔ)虛擬化技術(shù)就發(fā)展起來(lái)了。在這個(gè)發(fā)展過(guò)程中也由幾個(gè)階段和幾種應(yīng)用。首先是磁盤(pán)條帶集（RAID，可帶容錯(cuò)）技術(shù)，將多個(gè)物理磁盤(pán)通過(guò)一定的邏輯關(guān)系集合起來(lái)，成為一個(gè)大容量的虛擬磁盤(pán)。而隨著數(shù)據(jù)量不斷增加和對(duì)數(shù)據(jù)可用性要求的不斷提高，又一種新的存儲(chǔ)技術(shù)應(yīng)運(yùn)而生，那就是存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）技術(shù)。SAN的廣域化則旨在將存儲(chǔ)設(shè)備實(shí)現(xiàn)成為一種公用設(shè)施，任何人員、任何主機(jī)都可以隨時(shí)隨地獲取各自想要的數(shù)據(jù)。目前討論比較多的包括iSCSI、FCOverIP等技術(shù)，由于一些相關(guān)的標(biāo)準(zhǔn)還沒(méi)有最終確定，但是存儲(chǔ)設(shè)備公用化、存儲(chǔ)網(wǎng)絡(luò)廣域化是一個(gè)不可逆轉(zhuǎn)的潮流。一、虛擬存儲(chǔ)的概念所謂虛擬存儲(chǔ)，就是把多個(gè)存儲(chǔ)介質(zhì)模塊（如硬盤(pán)、RAID）通過(guò)一定的手段集中管理起來(lái)，所有的存儲(chǔ)模塊在一個(gè)存儲(chǔ)池（StoragePool）中得到統(tǒng)一管理，從主機(jī)和工作站的角度，看到就不是多個(gè)硬盤(pán)，而是一個(gè)分區(qū)或者卷，就好象是一個(gè)超大容量（如1T以上）的硬盤(pán)。這種可以將多種、多個(gè)存儲(chǔ)設(shè)備統(tǒng)一管理起來(lái)，為使用者提供大容量、高數(shù)據(jù)傳輸性能的存儲(chǔ)系統(tǒng)，就稱(chēng)之為虛擬存儲(chǔ)。二、虛擬存儲(chǔ)的分類(lèi)目前虛擬存儲(chǔ)的發(fā)展尚無(wú)統(tǒng)一標(biāo)準(zhǔn)，從虛擬化存儲(chǔ)的拓?fù)浣Y(jié)構(gòu)來(lái)講主要有兩種方式：即對(duì)稱(chēng)式與非對(duì)稱(chēng)式。對(duì)稱(chēng)式虛擬存儲(chǔ)技術(shù)是指虛擬存儲(chǔ)控制設(shè)備與存儲(chǔ)軟件系統(tǒng)、交換設(shè)備集成為一個(gè)整體，內(nèi)嵌在網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑中；非對(duì)稱(chēng)式虛擬存儲(chǔ)技術(shù)是指虛擬存儲(chǔ)控制設(shè)備獨(dú)立于數(shù)據(jù)傳輸路徑之外。從虛擬化存儲(chǔ)的實(shí)現(xiàn)原理來(lái)講也有兩種方式；即數(shù)據(jù)塊虛擬與虛擬文件系統(tǒng)。具體如下：1．對(duì)稱(chēng)式虛擬存儲(chǔ)圖1圖1對(duì)稱(chēng)式虛擬存儲(chǔ)解決方案的示意圖在圖1所示的對(duì)稱(chēng)式虛擬存儲(chǔ)結(jié)構(gòu)圖中，存儲(chǔ)控制設(shè)備HighSpeedTrafficDirectors（HSTD）與存儲(chǔ)池子系統(tǒng)StoragePool集成在一起，組成SANAppliance?？梢钥吹皆谠摲桨钢写鎯?chǔ)控制設(shè)備HSTD在主機(jī)與存儲(chǔ)池?cái)?shù)據(jù)交換的過(guò)程中起到核心作用。該方案的虛擬存儲(chǔ)過(guò)程是這樣的：由HSTD內(nèi)嵌的存儲(chǔ)管理系統(tǒng)將存儲(chǔ)池中的物理硬盤(pán)虛擬為邏輯存儲(chǔ)單元（LUN），并進(jìn)行端口映射（指定某一個(gè)LUN能被哪些端口所見(jiàn)），主機(jī)端將各可見(jiàn)的存儲(chǔ)單元映射為操作系統(tǒng)可識(shí)別的盤(pán)符。當(dāng)主機(jī)向SANAppliance寫(xiě)入數(shù)據(jù)時(shí)，用戶(hù)只需要將數(shù)據(jù)寫(xiě)入位置指定為自己映射的盤(pán)符（LUN），數(shù)據(jù)經(jīng)過(guò)HSTD的高速并行端口，先寫(xiě)入高速緩存，HSTD中的存儲(chǔ)管理系統(tǒng)自動(dòng)完成目標(biāo)位置由LUN到物理硬盤(pán)的轉(zhuǎn)換，在此過(guò)程中用戶(hù)見(jiàn)到的只是虛擬邏輯單元，而不關(guān)心每個(gè)LUN的具體物理組織結(jié)構(gòu)。該方案具有以下主要特點(diǎn)：（1）采用大容量高速緩存，顯著提高數(shù)據(jù)傳輸速度。緩存是存儲(chǔ)系統(tǒng)中廣泛采用的位于主機(jī)與存儲(chǔ)設(shè)備之間的I/O路徑上的中間介質(zhì)。當(dāng)主機(jī)從存儲(chǔ)設(shè)備中讀取數(shù)據(jù)時(shí)，會(huì)把與當(dāng)前數(shù)據(jù)存儲(chǔ)位置相連的數(shù)據(jù)讀到緩存中，并把多次調(diào)用的數(shù)據(jù)保留在緩存中；當(dāng)主機(jī)讀數(shù)據(jù)時(shí)，在很大幾率上能夠從緩存中找到所需要的數(shù)據(jù)。直接從緩存上讀出。而從緩存讀取數(shù)據(jù)時(shí)的速度只受到電信號(hào)傳播速度的影響（等于光速），因此大大高于從硬盤(pán)讀數(shù)據(jù)時(shí)盤(pán)片機(jī)械轉(zhuǎn)動(dòng)的速度。當(dāng)主機(jī)向存儲(chǔ)設(shè)備寫(xiě)入數(shù)據(jù)時(shí)，先把數(shù)據(jù)寫(xiě)入緩存中，待主機(jī)端寫(xiě)入動(dòng)作停止，再?gòu)木彺嬷袑?shù)據(jù)寫(xiě)入硬盤(pán)，同樣高于直接寫(xiě)入硬盤(pán)的速度（2）多端口并行技術(shù)，消除了I/O瓶頸。傳統(tǒng)的FC存儲(chǔ)設(shè)備中控制端口與邏輯盤(pán)之間是固定關(guān)系，訪(fǎng)問(wèn)一塊硬盤(pán)只能通過(guò)控制它的控制器端口。在對(duì)稱(chēng)式虛擬存儲(chǔ)設(shè)備中，SANAppliance的存儲(chǔ)端口與LUN的關(guān)系是虛擬的，也就是說(shuō)多臺(tái)主機(jī)可以通過(guò)多個(gè)存儲(chǔ)端口（最多8個(gè)）并發(fā)訪(fǎng)問(wèn)同一個(gè)LUN；在光纖通道100MB/帶寬的大前提下，并行工作的端口數(shù)量越多，數(shù)據(jù)帶寬就越高。（3）邏輯存儲(chǔ)單元提供了高速的磁盤(pán)訪(fǎng)問(wèn)速度。在視頻應(yīng)用環(huán)境中，應(yīng)用程序讀寫(xiě)數(shù)據(jù)時(shí)以固定大小的數(shù)據(jù)塊為單位（從512byte到1MB之間）。而存儲(chǔ)系統(tǒng)為了保證應(yīng)用程序的帶寬需求，往往設(shè)計(jì)為傳輸512byte以上的數(shù)據(jù)塊大小時(shí)才能達(dá)到其最佳I/O性能。在傳統(tǒng)SAN結(jié)構(gòu)中，當(dāng)容量需求增大時(shí)，唯一的解決辦法是多塊磁盤(pán)（物理或邏輯的）綁定為帶區(qū)集，實(shí)現(xiàn)大容量LUN。在對(duì)稱(chēng)式虛擬存儲(chǔ)系統(tǒng)中，為主機(jī)提供真正的超大容量、高性能LUN，而不是用帶區(qū)集方式實(shí)現(xiàn)的性能較差的邏輯卷。與帶區(qū)集相比，PowerLUN具有很多優(yōu)勢(shì)，如大塊的I/Oblock會(huì)真正被存儲(chǔ)系統(tǒng)所接受，有效提高數(shù)據(jù)傳輸速度；并且由于沒(méi)有帶區(qū)集的處理過(guò)程，主機(jī)CPU可以解除很大負(fù)擔(dān)，提高了主機(jī)的性能。（4）成對(duì)的HSTD系統(tǒng)的容錯(cuò)性能。在對(duì)稱(chēng)式虛擬存儲(chǔ)系統(tǒng)中，HSTD是數(shù)據(jù)I/O的必經(jīng)之地，存儲(chǔ)池是數(shù)據(jù)存放地。由于存儲(chǔ)池中的數(shù)據(jù)具有容錯(cuò)機(jī)制保障安全，因此用戶(hù)自然會(huì)想到HSTD是否有容錯(cuò)保護(hù)。象許多大型存儲(chǔ)系統(tǒng)一樣，在成熟的對(duì)稱(chēng)式虛擬存儲(chǔ)系統(tǒng)中，HSTD是成對(duì)配制的，每對(duì)HSTD之間是通過(guò)SANAppliance內(nèi)嵌的網(wǎng)絡(luò)管理服務(wù)實(shí)現(xiàn)緩存數(shù)據(jù)一致和相互通信的。（5）在SANAppliance之上可方便的連接交換設(shè)備，實(shí)現(xiàn)超大規(guī)模Fabric結(jié)構(gòu)的SAN。因?yàn)橄到y(tǒng)保持了標(biāo)準(zhǔn)的SAN結(jié)構(gòu)，為系統(tǒng)的擴(kuò)展和互連提供了技術(shù)保障，所以在SANAppliance之上可方便的連接交換設(shè)備，實(shí)現(xiàn)超大規(guī)模Fabric結(jié)構(gòu)的SAN。2．非對(duì)稱(chēng)式虛擬存儲(chǔ)系統(tǒng)（4）虛擬存儲(chǔ)技術(shù)可以通過(guò)管理軟件，為網(wǎng)絡(luò)系統(tǒng)提供一些其它有用功能，如無(wú)需服務(wù)器的遠(yuǎn)程鏡像、數(shù)據(jù)快照(Snapshot)等。五、虛擬存儲(chǔ)的應(yīng)用由于虛擬存儲(chǔ)具有上述特點(diǎn)，虛擬存儲(chǔ)技術(shù)正逐步成為共享存儲(chǔ)管理的主流技術(shù)，其應(yīng)用具體如下：1．?dāng)?shù)據(jù)鏡像數(shù)據(jù)鏡像就是通過(guò)雙向同步或單向同步模式在不同的存儲(chǔ)設(shè)備間建立數(shù)據(jù)復(fù)本。一個(gè)合理的解決方案應(yīng)該能在不依靠設(shè)備生產(chǎn)商及操作系統(tǒng)支持的情況下，提供在同一存儲(chǔ)陣列及不同存儲(chǔ)陣列間制作鏡像的方法。2．?dāng)?shù)據(jù)復(fù)制通過(guò)IP地址實(shí)現(xiàn)的遠(yuǎn)距離數(shù)據(jù)遷移（通常為異步傳輸）對(duì)于不同規(guī)模的企業(yè)來(lái)說(shuō)，都是一種極為重要的數(shù)據(jù)災(zāi)難恢復(fù)工具。好的解決方案不應(yīng)當(dāng)依賴(lài)特殊的網(wǎng)絡(luò)設(shè)備支持，同時(shí)，也不應(yīng)當(dāng)依賴(lài)主機(jī)，以節(jié)省企業(yè)的管理費(fèi)用。3．磁帶備份增強(qiáng)設(shè)備過(guò)去的幾年，在磁帶備份技術(shù)上鮮有新發(fā)展。盡管如此，一個(gè)網(wǎng)絡(luò)存儲(chǔ)設(shè)備平臺(tái)亦應(yīng)能在磁帶和磁盤(pán)間搭建橋路，以高速、平穩(wěn)、安全地完成備份工作。4．實(shí)時(shí)復(fù)本出于測(cè)試、拓展及匯總或一些別的原因，企業(yè)經(jīng)常需要制作數(shù)據(jù)復(fù)本。5．實(shí)時(shí)數(shù)據(jù)恢復(fù)利用磁帶來(lái)還原數(shù)據(jù)是數(shù)據(jù)恢復(fù)工作的主要手段，但常常難以成功。數(shù)據(jù)管理工作其中一個(gè)重要的發(fā)展新方向是將近期內(nèi)的備分?jǐn)?shù)據(jù)（可以是數(shù)星期前的歷史數(shù)據(jù)）轉(zhuǎn)移到磁盤(pán)介質(zhì)，而非磁帶介質(zhì)。用磁盤(pán)恢復(fù)數(shù)據(jù)就象閃電般迅速（所有文件能在60秒內(nèi)恢復(fù)），并遠(yuǎn)比用磁帶恢復(fù)數(shù)據(jù)安全可靠。同時(shí)，整卷（Volume）數(shù)據(jù)都能被恢復(fù)。6．應(yīng)用整合存儲(chǔ)管理發(fā)展的又一新方向是，將服務(wù)貼近應(yīng)用。沒(méi)有一個(gè)信息技術(shù)領(lǐng)域的管理人員會(huì)單純出于對(duì)存儲(chǔ)設(shè)備的興趣而去購(gòu)買(mǎi)它。存儲(chǔ)設(shè)備是用來(lái)服務(wù)于應(yīng)用的，比如數(shù)據(jù)庫(kù)，通訊系統(tǒng)等等。通過(guò)將存儲(chǔ)設(shè)備和關(guān)鍵的企業(yè)應(yīng)用行為相整合，能夠獲取更大的價(jià)值，同時(shí)，大大減少操作過(guò)程中遇到的難題。7．虛擬存儲(chǔ)在數(shù)字視頻網(wǎng)絡(luò)中的應(yīng)用現(xiàn)在我著重介紹虛擬存儲(chǔ)在數(shù)字視頻網(wǎng)絡(luò)中的應(yīng)用。數(shù)字視頻網(wǎng)絡(luò)對(duì)廣播電視行業(yè)來(lái)說(shuō)已經(jīng)不是一個(gè)陌生的概念了，由于它在廣播電視技術(shù)數(shù)字化進(jìn)程中起到了重要的作用，國(guó)內(nèi)各級(jí)電視臺(tái)對(duì)其給予極大的關(guān)注，并且開(kāi)始構(gòu)造和應(yīng)用這類(lèi)系統(tǒng)，在數(shù)字視頻網(wǎng)的概念中完全打破了以往一臺(tái)錄象機(jī)、一個(gè)編輯系統(tǒng)、一套播出系統(tǒng)的傳統(tǒng)結(jié)構(gòu)，而代之以上載工作站、編輯制作工作站、播出工作站及節(jié)目存儲(chǔ)工作站的流程，便于操作和管理。節(jié)目上載、節(jié)目編輯、節(jié)目播出在不同功能的工作站上完成，可成倍提高工作效率。同時(shí)，由于采用非線(xiàn)性編輯系統(tǒng)，除了采集時(shí)的壓縮損失外。信號(hào)在制作、播出過(guò)程中不再有任何損失，節(jié)目的技術(shù)質(zhì)量將大大提高。在現(xiàn)有的視頻網(wǎng)絡(luò)系統(tǒng)中，雖然電腦的主頻、網(wǎng)絡(luò)的傳輸速率以及交換設(shè)備的性能，已經(jīng)可以滿(mǎn)足絕大多數(shù)應(yīng)用的要求，但其中存儲(chǔ)設(shè)備的訪(fǎng)問(wèn)帶寬問(wèn)題成為了系統(tǒng)的一個(gè)主要性能瓶頸。視頻編輯、制作具有數(shù)據(jù)量存儲(chǔ)大、碼流高、實(shí)時(shí)性強(qiáng)、安全性重要等特點(diǎn)。這就要求應(yīng)用于視頻領(lǐng)域的存儲(chǔ)技術(shù)和產(chǎn)品必須具有足夠的帶寬并且穩(wěn)定性要好。在單機(jī)應(yīng)用時(shí)，為了保證一臺(tái)編輯站點(diǎn)有足夠的數(shù)據(jù)帶寬，SCSI技術(shù)、本地獨(dú)立磁盤(pán)冗余陣?yán)齊AID（RedundantArrayofIndependentDisks）技術(shù)（包括軟件和硬件）被廣泛應(yīng)用，它通過(guò)把若干個(gè)SCSI硬盤(pán)加上控制器組成一個(gè)大容量，快速響應(yīng)，高可靠性的存儲(chǔ)子系統(tǒng)，從用戶(hù)看可作為一個(gè)邏輯盤(pán)或者虛擬盤(pán)，從而大大提高了數(shù)據(jù)傳輸率和存儲(chǔ)容量，同時(shí)利用糾錯(cuò)技術(shù)提高了存儲(chǔ)的可靠性，并可滿(mǎn)足帶寬要求。隨著節(jié)目制作需求的發(fā)展，要求2—3臺(tái)站點(diǎn)共享編輯數(shù)據(jù)。這時(shí)可利用SCSI網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)這一要求。幾臺(tái)編輯站點(diǎn)均配置高性能的SCSI適配器，連接至共享的SCSI磁盤(pán)陣列，既可以實(shí)現(xiàn)幾個(gè)站點(diǎn)共享數(shù)據(jù)，又可以保證每一臺(tái)單機(jī)的工作帶寬。光纖通道技術(shù)的成熟應(yīng)用對(duì)視頻網(wǎng)絡(luò)的發(fā)展具有里程碑的意義，從此主機(jī)與共享存儲(chǔ)設(shè)備之間的連接距離限制從幾米、十幾米，擴(kuò)展到幾百米、幾千米，再配合光纖通道交換設(shè)備，網(wǎng)絡(luò)規(guī)模得到幾倍、十幾倍的擴(kuò)充。這時(shí)候的FC（FibreChannel光纖通道）磁盤(pán)陣列——RAID容錯(cuò)技術(shù)、相對(duì)SCSI的高帶寬、大容量，成為視頻網(wǎng)絡(luò)中的核心存儲(chǔ)設(shè)備。隨著電視臺(tái)規(guī)模的發(fā)展，全臺(tái)級(jí)大規(guī)模視頻網(wǎng)絡(luò)的應(yīng)用被提出。在這種需求下，就必須將更先進(jìn)的存儲(chǔ)技術(shù)與產(chǎn)品引入視頻領(lǐng)域。存儲(chǔ)區(qū)域網(wǎng)（SAN）的發(fā)展目前正處于全速上升期，各種概念層出不窮。其中具有劃時(shí)代意義的是虛擬存儲(chǔ)概念的提出。相對(duì)于傳統(tǒng)的交換機(jī)加RAID陣列，主機(jī)通過(guò)硬件層直接訪(fǎng)問(wèn)陣列中的硬盤(pán)的SAN結(jié)構(gòu)，虛擬存儲(chǔ)的定位是將數(shù)據(jù)存儲(chǔ)功能從實(shí)際的、物理的數(shù)據(jù)存取過(guò)程中抽象出來(lái)，使普通用戶(hù)在訪(fǎng)問(wèn)數(shù)據(jù)時(shí)不必關(guān)心具體的存儲(chǔ)設(shè)備的配置參數(shù)、物理位置及容量，從而簡(jiǎn)化用戶(hù)和系統(tǒng)管理人員的工作難度。在設(shè)計(jì)一個(gè)視頻網(wǎng)絡(luò)系統(tǒng)的時(shí)候，對(duì)存儲(chǔ)系統(tǒng)的選用，主要考慮如下幾個(gè)因素：（1）總體