《存儲技術(shù)基礎(chǔ)》課件第1章

第一章存儲技術(shù)概述1.1當(dāng)代數(shù)據(jù)存儲需求1.2存儲數(shù)據(jù)的價(jià)值1.3數(shù)據(jù)的類型及存儲演變1.4數(shù)據(jù)增長率和管理數(shù)據(jù)的挑戰(zhàn)1.5數(shù)據(jù)存儲解決方案1.6存儲環(huán)境1.7存儲設(shè)備的基本情況 1.1當(dāng)代數(shù)據(jù)存儲需求

平均而言，數(shù)據(jù)產(chǎn)生的年增長率已超過了50%，對于需要長期保存且易于讀取數(shù)據(jù)的需求也在不斷增長。同時(shí)，信息技術(shù)的預(yù)算也在不斷增長。這其中主要包括服務(wù)器、網(wǎng)絡(luò)、存儲以及個(gè)人終端的花費(fèi)。據(jù)估計(jì)，在整個(gè)信息技術(shù)的投資預(yù)算中存儲的相關(guān)部分約占四成。

數(shù)據(jù)主要由個(gè)人和各種實(shí)體(如公司企業(yè)、政府機(jī)關(guān)、學(xué)校、社會團(tuán)體等)產(chǎn)生。

1.2存儲數(shù)據(jù)的價(jià)值

日益增長的數(shù)據(jù)存儲需求，使得存儲技術(shù)得以長足發(fā)展。那么，我們?yōu)槭裁匆４嬷T多的數(shù)據(jù)呢？對于企業(yè)而言，海量數(shù)據(jù)中蘊(yùn)含著許多重要的信息，企業(yè)保存數(shù)據(jù)就是為了從中挖掘出信息。這些信息可以轉(zhuǎn)換為企業(yè)的效益或者提升企業(yè)的管理水平。

具有創(chuàng)新能力的企業(yè)總是以創(chuàng)新的方式利用數(shù)據(jù)。

為了更進(jìn)一步說明信息的價(jià)值，我們以計(jì)算機(jī)系統(tǒng)死機(jī)對各個(gè)行業(yè)帶來的實(shí)際經(jīng)濟(jì)損失為例給出直觀的數(shù)據(jù)。圖1.1為具體以百萬美元計(jì)的每小時(shí)平均經(jīng)濟(jì)損失數(shù)據(jù)。圖1.1系統(tǒng)死機(jī)帶給各行業(yè)每小時(shí)的平均經(jīng)濟(jì)損失數(shù)據(jù)(單位：百萬美元) 1.3數(shù)據(jù)的類型及存儲演變

存儲數(shù)據(jù)可以分為結(jié)構(gòu)化和非結(jié)構(gòu)化兩種基本類型。結(jié)構(gòu)化數(shù)據(jù)是指形式上整齊且有良好的組織的數(shù)據(jù)，這些數(shù)據(jù)一般存儲于數(shù)據(jù)庫或者電子表單中。根據(jù)研究機(jī)構(gòu)的調(diào)查，目前大約80%以上的企業(yè)信息都是非結(jié)構(gòu)化數(shù)據(jù)。常見的非結(jié)構(gòu)化數(shù)據(jù)有論文、音/視頻資料、賬單、網(wǎng)頁、支票、電子郵件等。數(shù)據(jù)的存儲實(shí)際上經(jīng)歷了一個(gè)演變過程。在計(jì)算機(jī)系統(tǒng)發(fā)展的早期，對于數(shù)據(jù)的計(jì)算和存儲只能選擇集中化模型。在這種模型情況下，處理和獲取數(shù)據(jù)都集中在適當(dāng)?shù)奈恢?。該模型使得新的?yīng)用開發(fā)與利用得不到較快發(fā)展。系統(tǒng)對數(shù)據(jù)的存取可以依據(jù)商業(yè)需求進(jìn)行預(yù)測，在這種系統(tǒng)下，通常認(rèn)為計(jì)算能力比實(shí)時(shí)存取數(shù)據(jù)能力更加重要。在集中化系統(tǒng)中，用戶通過終端連接到主機(jī)上并通過主機(jī)訪問內(nèi)部或外部的存儲設(shè)備。隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步，客戶端/服務(wù)器模型開始流行，逐步形成了分散式的存儲模型。在這種分散式存儲模型中，企業(yè)內(nèi)的業(yè)務(wù)單元能夠訪問自己的服務(wù)器和存儲器。這樣，應(yīng)用程序就不再排隊(duì)等待數(shù)據(jù)的獲取和程序的執(zhí)行了。但是，分布式存儲導(dǎo)致了信息的分段化。這樣也會對信息處理和分布管理的均衡性帶來一定困難。面對這些分布式存儲的需求，網(wǎng)絡(luò)存儲的概念也隨之出現(xiàn)。簡單地講，在網(wǎng)絡(luò)存儲系統(tǒng)中生產(chǎn)部門擁有自己的客戶端、服務(wù)器和存儲器集合，財(cái)務(wù)部門也擁有自己的客戶端、服務(wù)器和存儲器，人力資源部門同樣具有自己的客戶端、服務(wù)器和存儲器。網(wǎng)絡(luò)存儲實(shí)際上也可以看做集中化存儲方式，而且這種方式是目前最好的信息存儲形式。網(wǎng)絡(luò)存儲解決方案的主要優(yōu)點(diǎn)體現(xiàn)為在每一種情況下，數(shù)據(jù)都是集中定位并保存在磁盤存儲系統(tǒng)上的。網(wǎng)絡(luò)存儲實(shí)現(xiàn)了連接多個(gè)計(jì)算機(jī)到一個(gè)中央位置以利用數(shù)據(jù)的存儲和獲取，數(shù)據(jù)能實(shí)現(xiàn)更容易的管理、共享和保護(hù)，而且數(shù)據(jù)具有非常高的可用性。 1.4數(shù)據(jù)增長率和管理數(shù)據(jù)的挑戰(zhàn)

全球范圍內(nèi)信息的快速增長比率是顯而易見的，圖1.2給出了截至2005年磁盤陣列數(shù)據(jù)的年增長比率。2005年前信息年平均增長約60%，而2005年后增長率超過了七成。

如此快速的增長給信息管理帶來了嚴(yán)重的困難。數(shù)據(jù)存儲整合到集中的陣列上僅僅是整體信息管理的一部分。信息管理主要面臨以下幾方面的挑戰(zhàn)：

(1)存儲容量的規(guī)劃。

(2)數(shù)據(jù)的分類。

(3)數(shù)據(jù)可用性支持。

(4)信息的安全性。圖1.2信息年增長率 1.5數(shù)據(jù)存儲解決方案

大量的數(shù)據(jù)存儲于硬盤、磁帶以及光盤上。每一種存儲介質(zhì)都提供進(jìn)行特定數(shù)據(jù)存取需要的解決方案。包含磁盤陣列和網(wǎng)絡(luò)技術(shù)的網(wǎng)絡(luò)存儲已經(jīng)成為大多數(shù)商業(yè)數(shù)據(jù)存儲需求的主要解決方案。

在硬盤系統(tǒng)演變的早期，磁帶是主要的數(shù)據(jù)存儲介質(zhì)。有些用戶或許曾見過具有數(shù)個(gè)磁帶驅(qū)動器的計(jì)算中心的照片。這些磁帶驅(qū)動器排列在支架上，操作員則忙于將成卷的磁帶安裝或者卸載到這些驅(qū)動器上。通常我們把磁帶驅(qū)動器和磁帶的集合稱為帶庫，而把光盤和光驅(qū)的集合稱為自動唱片點(diǎn)唱機(jī)(Jukeboxes)，硬盤的集合稱為磁盤陣列。目前，在主要的數(shù)據(jù)存儲方案中，磁帶往往作為二級存儲使用。光盤集合則用于存儲那些長期內(nèi)容不變的數(shù)據(jù)。磁盤陣列存儲可以立即獲取在線數(shù)據(jù)。

相比較磁盤陣列而言，磁帶非常便宜。在記錄信息方面，磁帶使用讀/寫磁頭將單位信息記錄在磁帶表面的磁介質(zhì)上，并且記錄工藝技術(shù)也在不斷改進(jìn)，提供了更高的存儲容量、讀/寫可靠性和性能。隨著光盤的出現(xiàn)，人們擁有了隨機(jī)數(shù)據(jù)獲取以及數(shù)據(jù)寫保護(hù)的手段。大量光盤裝配到類似自動點(diǎn)唱機(jī)式的設(shè)備中，這樣就能夠?yàn)榧蝎@取的存儲提供大容量陣列式解決方案。而單張光盤的容量仍然與磁帶和磁盤的容量有巨大差距。光盤數(shù)據(jù)存儲具有以下應(yīng)用特征：

(1)在小型單用戶的計(jì)算環(huán)境中非常流行。

(2)個(gè)人經(jīng)常用光盤作為存儲共享數(shù)據(jù)甚至備份的解決方案。

(3)光盤有時(shí)也被應(yīng)用程序用作分布式介質(zhì)，或者作為將少量數(shù)據(jù)從一個(gè)自我包含的系統(tǒng)傳送到其他系統(tǒng)的方式。磁盤驅(qū)動器自出現(xiàn)起就是備受歡迎的數(shù)據(jù)存儲方式。數(shù)據(jù)的急速增長導(dǎo)致了各種介質(zhì)存儲陣列的發(fā)展。陣列能使數(shù)據(jù)并發(fā)地由多個(gè)服務(wù)器獲取。磁盤陣列甚至智能磁盤陣列快速成長，逐漸成為有效的大容量數(shù)據(jù)存儲解決方案。按照磁盤發(fā)展的歷史情況，我們主要考察的磁盤存儲方案有：直接獲取存儲設(shè)備(DASD)、磁盤簇系統(tǒng)(JBOD)、磁盤陣列以及智能磁盤陣列。

圖1.3給出了早期直接獲取存儲設(shè)備的結(jié)構(gòu)。圖1.3DASD結(jié)構(gòu)

DASD系統(tǒng)由IBM于1956年設(shè)計(jì)采用，是從主機(jī)中獲取磁盤數(shù)據(jù)最老的技術(shù)。磁盤直接由主機(jī)進(jìn)行讀/寫操作，并且與主機(jī)環(huán)境緊密耦合。我們可以認(rèn)為目前個(gè)人計(jì)算機(jī)中的硬盤驅(qū)動器就是一種DASD系統(tǒng)的實(shí)例?？梢哉J(rèn)為DASD是一種在服務(wù)器/計(jì)算機(jī)與其磁盤驅(qū)動器間的一對一映射關(guān)系。在DASD系統(tǒng)中，所有磁盤上的數(shù)據(jù)都必須經(jīng)由服務(wù)器/計(jì)算機(jī)進(jìn)行路由使用。在網(wǎng)絡(luò)技術(shù)出現(xiàn)以前，這種路由涉及到向操作員提交任務(wù)申請的過程。這種系統(tǒng)中的服務(wù)器/計(jì)算機(jī)有能力直接獲取數(shù)據(jù)而個(gè)人卻無法做到直接讀取數(shù)據(jù)。除了像磁帶系統(tǒng)那樣不斷定位裝載盤卷的不便外，DASD磁盤包必須為特定運(yùn)行的任務(wù)交換磁盤。雖然這種方式速度慢，但它提供了比磁帶系統(tǒng)更快的切換方法。在DASD系統(tǒng)中如果某個(gè)磁盤出現(xiàn)故障，其上所有數(shù)據(jù)有可能丟失或者最近使用的數(shù)據(jù)有可能不可靠。磁盤簇系統(tǒng)(JBOD)是將多個(gè)物理磁盤安裝到外部的機(jī)柜中，并通過線路連接到唯一的服務(wù)器上。JBOD系統(tǒng)能夠隨著內(nèi)部磁盤數(shù)目的增加而提供更大的存儲容量，但磁盤上的數(shù)據(jù)并不受到JBOD的保護(hù)。JBOD系統(tǒng)結(jié)構(gòu)如圖1.4所示。

由于JBOD存在的局限性，磁盤陣列系統(tǒng)則提供了更高的性能和可靠性。在磁盤陣列中，具有多個(gè)與主機(jī)相連的接口，使得多個(gè)主機(jī)能夠共享訪問相同的磁盤陣列。陣列管理軟件可以實(shí)現(xiàn)陣列資源的分割，以使單個(gè)或者多個(gè)磁盤能夠分配給系統(tǒng)中的主機(jī)。一般在磁盤陣列中都具有硬件磁盤陣列控制器實(shí)現(xiàn)對獨(dú)立磁盤冗余的計(jì)算和系統(tǒng)中讀/寫操作的優(yōu)化處理。圖1.4JBOD系統(tǒng)結(jié)構(gòu)智能磁盤陣列具有獨(dú)立的操作環(huán)境。該操作環(huán)境可視為陣列的操作系統(tǒng)。在智能磁盤陣列中分布有大量的高速緩沖存儲器(Cache)，并采用復(fù)雜的算法對Cache進(jìn)行管理優(yōu)化來自主機(jī)的讀/寫請求任務(wù)。大容量的磁盤驅(qū)動器可以分割為多個(gè)小單元。這些小單元又可以在主機(jī)方以單獨(dú)的磁盤驅(qū)動器形式出現(xiàn)。陣列管理軟件可以實(shí)現(xiàn)多個(gè)主機(jī)通過相同的I/O通道讀/寫陣列存儲。操作系統(tǒng)能夠確保每個(gè)主機(jī)僅能訪問到分配的磁盤資源。磁盤陣列系統(tǒng)結(jié)構(gòu)如圖1.5所示。圖1.5磁盤陣列系統(tǒng)結(jié)構(gòu) 1.6存儲環(huán)境

目前對于存儲而言，存在兩種不同的存儲環(huán)境，即直接互聯(lián)存儲(DirectAttachedStorage，DAS)和網(wǎng)絡(luò)存儲(NetworkStorage，NS)。其中，網(wǎng)絡(luò)存儲的主要形式包括存儲區(qū)域網(wǎng)絡(luò)(StorageAreaNetwork，SAN)和網(wǎng)絡(luò)互聯(lián)存儲(NetworkAttachedStorage，NAS)。

圖1.6給出了典型的DAS系統(tǒng)結(jié)構(gòu)。在DAS環(huán)境中，服務(wù)器直接通過SCSI接口與磁盤陣列連接，在服務(wù)器之間相同的磁盤陣列端口不能共享，客戶端則通過局域網(wǎng)方式連接到服務(wù)器上,服務(wù)器和磁盤陣列的距離受到SCSI線路的限制。隨著網(wǎng)絡(luò)技術(shù)和光纖技術(shù)的發(fā)展，DAS已經(jīng)逐步被取代了。圖1.6DAS系統(tǒng)結(jié)構(gòu)圖1.7給出了SAN系統(tǒng)結(jié)構(gòu)。在SAN環(huán)境中，服務(wù)器采用專用的網(wǎng)絡(luò)，即SAN網(wǎng)絡(luò)實(shí)現(xiàn)對磁盤陣列的讀/寫。SAN網(wǎng)絡(luò)包括光纖通道交換設(shè)備以提供服務(wù)器和磁盤陣列間的互聯(lián)。在SAN模型中，多個(gè)服務(wù)器可以訪問磁盤陣列上相同的光纖通道端口，服務(wù)器和磁盤陣列間的距離比DAS環(huán)境中的SCSI接口方式遠(yuǎn)得多。同樣,客戶端也采用局域網(wǎng)方式訪問服務(wù)器。圖1.7SAN系統(tǒng)結(jié)構(gòu)圖1.8給出了NAS系統(tǒng)結(jié)構(gòu)。在NAS環(huán)境中，NAS設(shè)備通過直接連接或者外部連接對磁盤進(jìn)行讀/寫操作。NAS頭實(shí)現(xiàn)了文件服務(wù)的優(yōu)化，稱為NAS客戶端的服務(wù)器采用局域網(wǎng)讀取文件系統(tǒng)的方式運(yùn)行應(yīng)用程序，而客戶端也是通過局域網(wǎng)連接到服務(wù)器上的。圖1.8NAS系統(tǒng)結(jié)構(gòu) 1.7存儲設(shè)備的基本情況

存儲設(shè)備在計(jì)算機(jī)的接口設(shè)備中具有非常重要的作用，在前面我們主要給出了從邏輯層面看到的存儲基本問題，接下來則從物理層面說明存儲設(shè)備的基本情況。

存儲設(shè)備從不同角度可以分成不同的類型。如果從產(chǎn)品本身的特性來分，可分為順序存取(SequentialAccess)和隨機(jī)存取(RandomAccess)兩大類。順序存取類讀/寫數(shù)據(jù)時(shí)按照一定的順序進(jìn)行，有時(shí)為了訪問某個(gè)數(shù)據(jù)必須經(jīng)過若干個(gè)數(shù)據(jù)后才能達(dá)到目的。隨機(jī)存取類存儲設(shè)備則對其中存放的數(shù)據(jù)同樣進(jìn)行讀/寫處理，即無論地址順序如何，對任意位置讀/寫形式相同。隨機(jī)存取類的存儲設(shè)備主要是使用盤狀或是碟狀存儲媒體來制作的設(shè)備。其讀/寫裝置可以自由且快速地移動到文件存放位置上，并立即進(jìn)行讀/寫數(shù)據(jù)的動作。目前，這類設(shè)備按照材質(zhì)的特性可分為：可多次讀/寫設(shè)備(Rewritable)、單寫多讀式(Write-Once-Read-Many)及只讀式(ReadOnly)設(shè)備。按照實(shí)際產(chǎn)品可制作成磁盤陣列(DiskArray)、磁光驅(qū)(MagnetoOptical，MO)及磁光盤柜(MOJukebox)等。

DiskArray是由兩塊到數(shù)塊不等的硬盤及RAID(RedundantArraysofInexpensiveDisks)控制線路板組成的，能提供快速且直接的數(shù)據(jù)存取，又具有數(shù)據(jù)保護(hù)的功能。從推出到現(xiàn)在，磁盤陣列的觀念經(jīng)歷了整十年的推廣，已漸漸被大眾所接受，磁盤陣列已被視為相當(dāng)重要的第一級計(jì)算機(jī)數(shù)據(jù)存儲設(shè)備了。

MO目前有3.5"?和5.25"?兩種規(guī)格，其單片容量分別為640MB、2.6GB或2.4GB。當(dāng)然，容量較小的磁光驅(qū)較適合個(gè)人使用；容量較大的磁光驅(qū)較適合伺服主機(jī)使用。因?yàn)榇殴怛?qū)具有容量大、存儲數(shù)據(jù)特性穩(wěn)定等特點(diǎn)，所以非常適合計(jì)算機(jī)數(shù)據(jù)的存儲。不過，因?yàn)樗淖x/寫速度不如磁盤驅(qū)動器，所以，較適合作第二級的計(jì)算機(jī)數(shù)據(jù)存儲設(shè)備。但是，由于磁光盤片本身是可片片互相分離的，在使用操作上多了人工換片的動作，因此就有了自動換片的需求，甚至進(jìn)一步要求能做到跨片存取的能力,這樣就產(chǎn)生了MOJukebox。

MOJukebox是由磁光驅(qū)以及機(jī)械換片裝置組成的一種計(jì)算機(jī)外圍存儲設(shè)備。單獨(dú)一部磁光盤柜是無法有效地直接提供給用戶使用的，必須與系統(tǒng)整合過的驅(qū)動程序一起工作，才能夠發(fā)揮應(yīng)有的功能。一般而言，磁光盤柜的容量大小不等，有可裝16片的小型光盤柜，也有可裝238片的大型光盤柜，并且，也可配置由單臺到12臺不等的磁光驅(qū)。表1.1是HP磁光盤柜型號及其容量說明。表1.1HP磁光盤柜型號及其容量說明從另外一個(gè)角度來看，有一些計(jì)算機(jī)數(shù)據(jù)是屬于不常存取的，或是存取時(shí)允許較長的存取反應(yīng)時(shí)間。這種數(shù)據(jù)就可以應(yīng)用隨機(jī)存取類設(shè)備。問題是到底有哪些數(shù)據(jù)是屬于不常存取或是允許較長的存取反應(yīng)時(shí)間呢？其實(shí)，這些數(shù)據(jù)就在我們的計(jì)算機(jī)里存在著。舉例而言，像是半年以前的電子郵件，一年以前的設(shè)計(jì)稿，多年前的數(shù)據(jù)庫數(shù)據(jù)，大的圖文件，還有復(fù)制整個(gè)系統(tǒng)的數(shù)據(jù)等。這種計(jì)算機(jī)數(shù)據(jù)雖不常用，但卻會逐年累月地不斷產(chǎn)生。這時(shí)，如果一直將它們存放在硬盤里，只會使得硬盤空間捉襟見肘。如轉(zhuǎn)放到磁帶上，存取又不方便，若計(jì)算機(jī)系統(tǒng)是交由專