信息存儲技術(shù)磁盤陣列

信息存儲技術(shù)磁盤陣列第一頁，共四十九頁，2022年，8月28日3,0001,000100100197019801990200020102020Systems-

centricPC-

centricNetwork-

centricInformation-

centric用戶數(shù)量(百萬)20052010數(shù)據(jù)的摩爾定律：人類每18個月產(chǎn)生的信息量，是人類之前全部信息量的總和2015第二頁，共四十九頁，2022年，8月28日假如有1PB數(shù)據(jù)，買4TB大小的磁盤，需要250個！如何把250個磁盤連接起來？如果用一般的PC，需要63臺！數(shù)據(jù)存放起來了，如何管理和使用？性能如何？當(dāng)設(shè)備損壞或發(fā)生事故時如何應(yīng)對？幾個問題第三頁，共四十九頁，2022年，8月28日容量速度管理安全：容災(zāi)與備份可擴(kuò)展性信息存儲需要解決的主要問題第四頁，共四十九頁，2022年，8月28日信息的分層存儲計(jì)算機(jī)系統(tǒng)基本結(jié)構(gòu)輔助存儲器第五頁，共四十九頁，2022年，8月28日與信息存儲有關(guān)的部件CPU(寄存器）高速緩存主存儲器輔助存儲器信息的分層存儲第六頁，共四十九頁，2022年，8月28日存儲器硬件的金字塔結(jié)構(gòu)寄存器高速緩存主存儲器軟磁盤硬盤其它外存設(shè)備速度越來越快容量越來越大信息的分層存儲第七頁，共四十九頁，2022年，8月28日信息的分層存儲輔助存儲器主要有磁表面存儲器和光存儲器兩大類.磁表面存儲器是將磁性材料沉積在盤片(或帶)的基體上形成記錄介質(zhì),并以繞有線圈的磁頭與記錄介質(zhì)的相對運(yùn)動來寫入或讀出信息.磁表面存儲器有數(shù)字式磁記錄,如硬盤,軟盤和磁帶.模擬式磁記錄,如錄音,錄像設(shè)備光存儲器主要是光盤,它是利用激光束在具有感光特性的表面上存儲信息的第八頁，共四十九頁，2022年，8月28日存儲密度面密度：單位面積中存儲的二進(jìn)制信息量；道密度：單位長度上存儲的二進(jìn)制信息量。存儲容量格式化容量、非格式化容量尋址時間平均尋道時間+平均等待時間數(shù)據(jù)傳輸率單位時間內(nèi)從磁表面存儲器所讀/寫的信息量。誤碼率、價格信息的分層存儲磁表面存儲器的技術(shù)指標(biāo)第九頁，共四十九頁，2022年，8月28日磁盤采取直接存取方式,尋址時間包括兩部分:一是磁頭尋找目標(biāo)磁道所需的尋道時間ts;二是找到磁道以后,磁頭等待所需要讀寫的區(qū)段旋轉(zhuǎn)到它的下方所需要的等待時間tw.由于尋找相鄰磁道和從最外面磁道找到最里面磁道所需的時間不同,磁頭等待不同區(qū)段所花的時間也不同,因此,取它們的平均值,稱作平均尋址時間Ta,它由平均找道時間Tsa和平均等待時間Twa組成:Ta=Tsa+Twa=(tsmax+tsmin)/2+(twmax+twmin)/2磁盤尋址時間信息的分層存儲第十頁，共四十九頁，2022年，8月28日信息的分層存儲磁盤的磁化軌跡第十一頁，共四十九頁，2022年，8月28日磁盤設(shè)備的基本結(jié)構(gòu)面surface，道track，扇區(qū)sector，柱面cylinder讀寫頭第十二頁，共四十九頁，2022年，8月28日①容量硬盤容量=盤面數(shù)×柱面數(shù)×扇區(qū)數(shù)×扇區(qū)大小。硬盤容量=單碟容量×碟片數(shù)。目前可達(dá)8TB②硬盤的數(shù)據(jù)傳輸率(DataTransferRate)又稱吞吐率，表示在磁頭定位后，硬盤讀或?qū)憯?shù)據(jù)的速度。信息的分層存儲硬盤主要性能指標(biāo)第十三頁，共四十九頁，2022年，8月28日③道至道時間（singletrackseek）指磁頭從一磁道轉(zhuǎn)移至另一磁道的時間，單位為毫秒。④平均尋道時間(AverageSeekTime)指硬盤磁頭移動到數(shù)據(jù)所在磁道所用的時間，單位為毫秒(ms),平均尋道時間越短硬盤速度越快。⑤轉(zhuǎn)速主流硬盤的轉(zhuǎn)速：5400rpm、7200rpm、10000rpm、15000rpm。第十四頁，共四十九頁，2022年，8月28日⑥平均潛伏期（averagelatency）也稱旋轉(zhuǎn)等待時間，指當(dāng)磁頭移動到數(shù)據(jù)所在的磁道后，然后等待所要的數(shù)據(jù)塊繼續(xù)轉(zhuǎn)動（半圈或多些、少些）到磁頭下的時間，單位為毫秒。⑦平均訪問時間（averageaccess）指磁頭找到指定數(shù)據(jù)的平均時間，單位為毫秒。通常是平均尋道時間和平均潛伏時間之和。⑧全程訪問時間（maxfullseek）指磁頭開始移動直到最后找到所需要的數(shù)據(jù)塊所用的全部時間，單位為毫秒。第十五頁，共四十九頁，2022年，8月28日⑨緩存硬盤與外部總線交換數(shù)據(jù)的場所，緩存對提高硬盤速度很有好處，目前市面上的緩存容量通常為8~32MB。連續(xù)無故障時間(MeanTimeBetweenFailure，MTBF)硬盤表面溫度第十六頁，共四十九頁，2022年，8月28日信息的分層存儲SCSIATAFCSATASASSAS2.0硬盤接口類型IEEE1394標(biāo)準(zhǔn)第十七頁，共四十九頁，2022年，8月28日磁盤陣列1、如果文件大于系統(tǒng)中最大的存儲空間，如何存放？2、如果文件不允許分割存放？3、如果硬盤速度不能滿足系統(tǒng)需要，怎么辦？第十八頁，共四十九頁，2022年，8月28日引言1、VLSI技術(shù)的迅速發(fā)展和多級并行處理技術(shù)的廣泛使用，計(jì)算機(jī)主機(jī)的性能得到了空前的提高；2、I/O子系統(tǒng)的速度卻因機(jī)械傳動等因素，遠(yuǎn)遠(yuǎn)落后于CPU處理速度，二者之間的差距日益增大

I/O和CPU速度上的不匹配，高性能計(jì)算機(jī)面臨著越來越嚴(yán)重的瓶頸問題；3、快速多盤存儲技術(shù)存儲系統(tǒng)的并發(fā)與并行性；4、廉價、小容量、高性能的磁盤驅(qū)動器，組成盤陣列，實(shí)現(xiàn)對多盤的并發(fā)讀/寫，達(dá)到高數(shù)傳率、高可靠性和高性價比；過去十年來,CPU的處理速度增加了五十倍有多,內(nèi)存(memory)的存取速度亦大幅增加,而數(shù)據(jù)儲存裝置--主要是磁盤(harddisk)--的存取速度只增加了三、四倍,形成電腦系統(tǒng)的瓶頸,拉低了電腦系統(tǒng)的整體性能(throughput),若不能有效的提升磁盤的存取速度,CPU、內(nèi)存及磁盤間的不平衡將使CPU及內(nèi)存的改進(jìn)形成浪費(fèi)。改進(jìn)磁盤存取速度主要的兩種方式一是磁盤高速緩存控制(diskcachecontroller)

二是使用磁盤陣列的技術(shù)第十九頁，共四十九頁，2022年，8月28日磁盤陣列是由多個廉價磁盤構(gòu)成的冗余陣列，以確保高傳輸率與高可靠性。通過將文件散布到多個磁盤中，實(shí)現(xiàn)多個磁盤的并發(fā)傳輸，以達(dá)到提高數(shù)據(jù)傳輸率與I/O請求速率（I/O請求/ｓ）的目的。此外，通過冗余磁盤來確保數(shù)據(jù)安全，即當(dāng)有磁盤損壞時，能通過數(shù)據(jù)重建手段來恢復(fù)丟失的數(shù)據(jù)，所以可靠性也非常高。磁盤陣列的工作原理第二十頁，共四十九頁，2022年，8月28日磁盤對主機(jī)I/O讀/寫請求的響應(yīng)時間=尋道時間+旋轉(zhuǎn)等待時間+數(shù)據(jù)傳輸時間；尋道時間和磁頭移動的距離有關(guān)，現(xiàn)有的設(shè)備可使跨過一個磁道的時間達(dá)到2ms，最大尋道時間不超過20ms。旋轉(zhuǎn)等待時間視磁盤的主軸轉(zhuǎn)速而定，對轉(zhuǎn)速為5400rp/m的磁盤，平均旋轉(zhuǎn)等待時間約為6ms，4.2ms(7200)，3ms(10k)。二者由于受機(jī)械傳動的約束，要提高速度困難很大，然而這兩部分時間是I/O處理的主要部分，解決這一矛盾，可以采用多盤并發(fā)技術(shù)，該技術(shù)給提高I/O處理速度帶來了新的途徑。影響磁盤存儲系統(tǒng)性能的關(guān)鍵因素第二十一頁，共四十九頁，2022年，8月28日……Tc=T1+T2+T3Tb=T1+T2+T3'+T1+T2+T3''+……+T1+T2+T3'(n)=n(T1+T2)+T3'+T3''+……+T3'(n)T1尋道時間、T2旋轉(zhuǎn)等待時間、T3數(shù)據(jù)傳輸時間數(shù)據(jù)連續(xù)存放數(shù)據(jù)不連續(xù)存放=n(T1+T2)+T3單盤數(shù)據(jù)存取時間第二十二頁，共四十九頁，2022年，8月28日m……Tc=(n-1)m+T1+T2+T3/n

≈T1+T2+T3/nm為不同磁盤啟動的時間間隔多盤數(shù)據(jù)存取時間多盤數(shù)據(jù)存取時間第一塊硬盤第二塊硬盤第n塊硬盤第二十三頁，共四十九頁，2022年，8月28日RAID0RAID1RAID2RAID3磁盤陣列——RAID技術(shù)RAID4RAID5RAID6RAID10第二十四頁，共四十九頁，2022年，8月28日磁盤陣列RAID0也稱為條帶化（stripe），將數(shù)據(jù)分成一定的大小數(shù)據(jù)塊寫到陣列的磁盤里。RAID0可以并行的執(zhí)行讀寫操作，充分利用總線的帶寬，理論上講，一個由N個磁盤組成的RAID0系統(tǒng)，它的讀寫性能將是單個磁盤讀取性能的N倍。且磁盤空間的存儲效率最大（100％）RAID技術(shù)——RAID0——原理第二十五頁，共四十九頁，2022年，8月28日磁盤陣列D1D2D3D4D5D6D7D8D9D10D11D12D1D5D9D2D6D10D3D7D11D4D8D12RAID技術(shù)——RAID0——事例3N-2161310741Disk11714118523N-1Disk21815129633NDisk33N1110987654321HostLUNNBlocks條帶第二十六頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID0——特點(diǎn)磁盤陣列優(yōu)點(diǎn)：I/O性能好，條帶化之后的多塊硬盤，數(shù)據(jù)是并行寫入所有硬盤的也就是雙管齊下，而不是橫向?qū)憹M一下條帶再寫下一個條帶。缺點(diǎn)：沒有數(shù)據(jù)冗余及安全保護(hù)機(jī)制，壞某一塊盤，整個RAID0的數(shù)據(jù)全部丟失。適用于：RAID0應(yīng)用于對讀取性能要求較高但所存儲的數(shù)據(jù)為非重要數(shù)據(jù)的情況下。第二十七頁，共四十九頁，2022年，8月28日RAID1稱為鏡像（mirror），它將數(shù)據(jù)完全一致的分別寫到工作磁盤和鏡像磁盤，因此它的磁盤空間利用率為50％，在數(shù)據(jù)寫入時時間會有影響，但是讀的時候沒有任何影響，RAID0提供了最佳的數(shù)據(jù)保護(hù)，一旦工作磁盤發(fā)生故障，系統(tǒng)自動從鏡像磁盤讀取數(shù)據(jù)，不會影響用戶工作。RAID技術(shù)——RAID1——原理磁盤陣列第二十八頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID1——事例D1D2D3D4D1D2D3D4D1D2D3D4工作磁盤鏡像磁盤N654321Disk1M(6)M(5)M(4)M(3)M(2)M(1)M(N)Disk2N1110987654321HostLUNNBlocks鏡像磁盤陣列第二十九頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID1——特點(diǎn)優(yōu)點(diǎn)：數(shù)據(jù)冗余安全性高，一旦數(shù)據(jù)丟失，可利用備份數(shù)據(jù)及時恢復(fù)，讀取速度提高。缺點(diǎn)：浪費(fèi)存儲空間，只能使用50%的空間，另外的50%空間用于鏡像。對于RAID1的寫I/O，速度不但沒有提升，而且有所下降，因?yàn)閿?shù)據(jù)要同時向多塊物理盤寫，時間以最慢的那個為準(zhǔn)，因?yàn)槭峭降倪M(jìn)行。適用于：應(yīng)用于對數(shù)據(jù)保護(hù)極為重視的應(yīng)用。磁盤陣列第三十頁，共四十九頁，2022年，8月28日又稱并行陣列，把數(shù)據(jù)分散為位元／位元組或塊，加入海明碼，在磁盤陣列中間隔寫入到每個磁盤中，而且地址都一樣，也就是在各個磁盤中，其數(shù)據(jù)都在相同的磁道及扇區(qū)中。其設(shè)計(jì)是使用共軸同步的技術(shù)。存取數(shù)據(jù)時，整個磁盤陣列一起動作，在各個磁盤的相同位置作平行存取，所以有最好的存取時間。其總線是特別的設(shè)計(jì)，以大寬帶并行傳輸所存取的數(shù)據(jù)，所以有最好的傳輸時間。大文件的存取有最好的性能。RAID技術(shù)——RAID2——原理磁盤陣列第三十一頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID2——事例Disk0Disk1Disk2Disk3Disk0Disk1Disk2

b0

b1

b2

b3

0

1

2磁盤陣列第三十二頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID2——特點(diǎn)如果文件太小，性能反而下降。因?yàn)榇疟P的存取是以扇區(qū)為單位，而RAID2的存取是所有扇區(qū)平行動作，而且是做單位元或位元組的存?。孕∮谝粋€扇區(qū)的數(shù)量會使其性能大打折扣。設(shè)計(jì)給需要連續(xù)且大量數(shù)據(jù)的電腦使用的，如大型電腦，作影像處理或CAD/CAM的工作站等。不適用一般的多用戶環(huán)境，網(wǎng)絡(luò)服務(wù)器小型機(jī)或PC。安全采用內(nèi)存陣列的技術(shù)，使用多個額外的磁盤作單位錯誤校正及雙位錯誤檢測。磁盤陣列第三十三頁，共四十九頁，2022年，8月28日按照布爾邏輯，數(shù)據(jù)盤的數(shù)據(jù)按位或字節(jié)之間做異或運(yùn)算，然后將結(jié)果寫入到校驗(yàn)盤的對應(yīng)位置。這樣，任何一塊數(shù)據(jù)盤損壞，或者其中的任何一個扇區(qū)損壞，都可以通過剩余的位和校驗(yàn)位一同進(jìn)行異或運(yùn)算，而運(yùn)算的結(jié)果就是這個丟失的位。RAID技術(shù)——RAID3——原理磁盤陣列第三十四頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID3——事例D1D2D3D4D5D6D7D8D9D1D4D7D3D6D9P1P2P3校驗(yàn)盤D2D5D82N-11197531Disk1121086422NDisk2P(11,12)P(9,10)P(7,8)P(5,6)P(3,4)P(1,2)P(2N-1,2N)Disk32N1110987654321HostLUNNBlocks條帶校驗(yàn)盤磁盤陣列第三十五頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID3——特點(diǎn)優(yōu)點(diǎn)：由于條帶深度很小，每次I/O總是能牽動所有磁盤為它服務(wù)，對大塊連續(xù)的數(shù)據(jù)讀寫性能優(yōu)秀。缺點(diǎn)：條帶深度小，每次I/O牽動占用所有盤，那么此時其他的并發(fā)I/O就必須等待，根本不適合并發(fā)I/O環(huán)境。對于隨即讀寫的性能也沒有提升，和單盤一樣，甚至不及單盤。適用于：適用于少量的并發(fā)IO環(huán)境，同時每次IO連續(xù)讀寫的大數(shù)據(jù)的操作.磁盤陣列第三十六頁，共四十九頁，2022年，8月28日RAID4是RAID0加上一個校驗(yàn)盤，在分塊一級進(jìn)行數(shù)據(jù)交叉，采用一個專用校驗(yàn)盤，可進(jìn)行多路數(shù)據(jù)傳輸，提高數(shù)傳率和I/O帶寬。校驗(yàn)盤信息由以下公式得到：校驗(yàn)盤第n塊=盤1第n塊盤2第n塊....盤m第n塊當(dāng)有盤失效時，如盤1，可通過校驗(yàn)信息和其它未失效的磁盤把數(shù)據(jù)恢復(fù)出來，計(jì)算方法為：盤1=校驗(yàn)盤盤2....盤mRAID技術(shù)——RAID4——原理磁盤陣列第三十七頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID4——事例Disk0Disk1Disk2Disk3Disk0

b0

b1

b2

b3

P(b)Bi為數(shù)據(jù)塊P(b)為數(shù)據(jù)塊的奇偶校驗(yàn)磁盤陣列第三十八頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID4——特點(diǎn)優(yōu)點(diǎn)：可在不同的磁盤平行執(zhí)行不同的讀取命令。大幅度提高磁盤陣列的讀取性能；在讀取時有和RAID0一樣好的性能。缺點(diǎn)：寫入時，因受限于校驗(yàn)盤，同一時間只能做一次。啟動所有磁盤讀取同一校驗(yàn)盤分段的所有數(shù)據(jù)分段，與要寫入的數(shù)據(jù)做好校驗(yàn)計(jì)算再寫入，校驗(yàn)盤則形成寫入時的瓶頸。磁盤陣列第三十九頁，共四十九頁，2022年，8月28日磁盤陣列類似于RAID4，但數(shù)據(jù)校驗(yàn)的信息被均勻的分散到的陣列的各個磁盤上，這樣就不存在并發(fā)寫操作時的校驗(yàn)盤性能瓶頸。陣列的磁盤上既有數(shù)據(jù)，也有數(shù)據(jù)校驗(yàn)信息，數(shù)據(jù)塊和對應(yīng)的校驗(yàn)信息會存儲于不同的磁盤上，當(dāng)一個數(shù)據(jù)盤損壞時，系統(tǒng)可以根據(jù)同一帶區(qū)的其他數(shù)據(jù)塊和對應(yīng)的校驗(yàn)信息來重構(gòu)損壞的數(shù)據(jù)。RAID技術(shù)——RAID5——原理第四十頁，共四十九頁，2022年，8月28日磁盤陣列RAID技術(shù)——RAID5——事例D1D2D3D4D5D6D7D8D9D10D11D12D1D4D7P4D2D5P3D10D3P2D8D11P1D6D9D12Disk0Disk1Disk2Disk3Disk4Parity

4

8

120

Parity

9

131

5

Parity

142

6

10

Parity3

7

11

15ParityP(2N-1,2N)1110P(7,8)54P(1,2)Disk112P(9,10)76P(3,4)12N-1Disk2P(11,12)98P(5,6)322NDisk32N1110987654321HostLUNNBlocks帶校驗(yàn)條帶第四十一頁，共四十九頁，2022年，8月28日RAID技術(shù)——RAID5——特點(diǎn)優(yōu)點(diǎn)：在隨機(jī)讀方面性能出色缺點(diǎn)：在寫操作性能較差，每寫一個扇區(qū)的數(shù)據(jù)就要產(chǎn)生其校驗(yàn)扇區(qū)，一并寫入校驗(yàn)盤，尤其是修改數(shù)據(jù)的時候，這種情況的影響尤其嚴(yán)重。適用于：適用于隨機(jī)IO讀操作多的環(huán)境，在隨機(jī)IO文件大的時候具有高性能。磁盤陣列第四十二頁，共四十九頁，2022年，8月28日操作工作模式最少硬盤需求量可用容量RAID0磁盤延伸和數(shù)據(jù)分布2TRAID1數(shù)據(jù)分布和鏡像2T/2RAID2共軸同步,并行傳輸,ECC3不定RAID3共軸同步,并行傳輸,Parity3T*(n-1)/nRAID4數(shù)據(jù)分布，固定Parity3T*(n-1)/nRAID5數(shù)據(jù)分布，分布Parity3T*(n-1)/n第四十三頁，共四十九頁，2022年，8月28日RAIDLevel用戶數(shù)據(jù)利用率BandwidthPerformanceTransactionPerformance數(shù)據(jù)可用性RAID010.2510.0005RAID10.50.250.851RAID20.6710.250.9999RAID30.7510.250.9999RAID40.750.250.610.9999RAID50.750.250.610.9999

以上數(shù)據(jù)基于4個磁盤，傳輸塊大小1K，75%的讀概率，數(shù)據(jù)可用性的計(jì)算基于同樣的損壞概率。第四十四頁，共四十九頁，2022年