存儲(chǔ)性能IOPS詳解

1、文檔密級(jí) 談?wù)処OPS11、 IOPS詳解l 磁盤(pán)性能指標(biāo)-IOPS 理論機(jī)械硬盤(pán)的連續(xù)讀寫(xiě)性很好， 但隨機(jī)讀寫(xiě)性能很差。這是因?yàn)榇蓬^移動(dòng)至正確的磁道上需要時(shí)間，隨機(jī)讀寫(xiě)時(shí)，磁頭不停的移動(dòng)，時(shí)間都花在了磁頭尋道上，所以性能不高。  如下圖：IOPS (Input/Output Per Second)即每秒的輸入輸出量(或讀寫(xiě)次數(shù))，是衡量磁盤(pán)性能的主要指標(biāo)之一。是指單位時(shí)間內(nèi)系統(tǒng)能處理的I/O請(qǐng)求數(shù)量，一般以每秒處理的I/O請(qǐng)求數(shù)量為單位，I/O請(qǐng)求通常為讀或?qū)憯?shù)據(jù)操作請(qǐng)求。l 隨機(jī)讀寫(xiě)頻繁的應(yīng)用-IOPS是關(guān)鍵衡量指標(biāo)如小文件存儲(chǔ)(圖片)、OLTP數(shù)據(jù)庫(kù)、郵件服務(wù)器，關(guān)注隨機(jī)讀寫(xiě)性

2、能。讀取10000個(gè)1KB文件，用時(shí)10秒  Throught(吞吐量)=1MB/s ，IOPS=1000  追求IOPSl 順序讀寫(xiě)頻繁的應(yīng)用-數(shù)據(jù)吞吐量是關(guān)鍵衡量指標(biāo)傳輸大量連續(xù)數(shù)據(jù)，如電視臺(tái)的視頻編輯，視頻點(diǎn)播VOD(Video On Demand)，關(guān)注連續(xù)讀寫(xiě)性能。讀取1個(gè)10MB文件，用時(shí)0.2秒  Throught(吞吐量)=50MB/s, IOPS=5  追求吞吐量磁盤(pán)服務(wù)時(shí)間傳統(tǒng)磁盤(pán)本質(zhì)上一種機(jī)械裝置，如FC, SAS, SATA磁盤(pán)，轉(zhuǎn)速通常為5400/7200/10K/15K rpm不等。影響磁盤(pán)的關(guān)鍵因素是磁盤(pán)服務(wù)時(shí)間，即磁盤(pán)完成

3、一個(gè)I/O請(qǐng)求所花費(fèi)的時(shí)間，它由尋道時(shí)間、旋轉(zhuǎn)延遲和數(shù)據(jù)傳輸時(shí)間三部分構(gòu)成。l 尋道時(shí)間 Tseek是指將讀寫(xiě)磁頭移動(dòng)至正確的磁道上所需要的時(shí)間。尋道時(shí)間越短，I/O操作越快，目前磁盤(pán)的平均尋道時(shí)間一般在315ms。常見(jiàn)磁盤(pán)平均物理尋道時(shí)間為：7200轉(zhuǎn)/分的STAT硬盤(pán)平均物理尋道時(shí)間是10.5ms10000轉(zhuǎn)/分的STAT硬盤(pán)平均物理尋道時(shí)間是7ms15000轉(zhuǎn)/分的SAS硬盤(pán)平均物理尋道時(shí)間是5msl 旋轉(zhuǎn)延遲 Trotation是指盤(pán)片旋轉(zhuǎn)將請(qǐng)求數(shù)據(jù)所在扇區(qū)移至讀寫(xiě)磁頭下方所需要的時(shí)間。旋轉(zhuǎn)延遲取決于磁盤(pán)轉(zhuǎn)速，通常使用磁盤(pán)旋轉(zhuǎn)一周所需時(shí)間的1/2表示。常見(jiàn)硬盤(pán)的旋轉(zhuǎn)

4、延遲時(shí)間：7200   rpm的磁盤(pán)平均旋轉(zhuǎn)延遲大約為60*1000/7200/2 = 4.17ms10000 rpm的磁盤(pán)平均旋轉(zhuǎn)延遲大約為60*1000/10000/2 = 3ms，15000 rpm的磁盤(pán)其平均旋轉(zhuǎn)延遲約為60*1000/15000/2 = 2ms。l 數(shù)據(jù)傳輸時(shí)間 Ttransfer是指完成傳輸所請(qǐng)求的數(shù)據(jù)所需要的時(shí)間，它取決于數(shù)據(jù)傳輸率，其值等于數(shù)據(jù)大小除以數(shù)據(jù)傳輸率。常見(jiàn)硬盤(pán)接口的數(shù)據(jù)傳輸率IDE/ATA能達(dá)到133MB/sSATA II 可達(dá)到300MB/sSAS 在300-600MB/s之間數(shù)據(jù)傳輸時(shí)間通常遠(yuǎn)小于前兩部分消耗時(shí)間。簡(jiǎn)

5、單計(jì)算時(shí)可忽略。最大IOPS的理論計(jì)算方法：IOPS = 1000 ms/ (尋道時(shí)間 + 旋轉(zhuǎn)延遲)。可以忽略數(shù)據(jù)傳輸時(shí)間。7200   rpm的磁盤(pán) IOPS = 1000 / (10.5 + 4.17)  = 68 IOPS10000 rpm的磁盤(pán)IOPS = 1000 / (7 + 3) = 100 IOPS15000 rpm的磁盤(pán)IOPS = 1000 / (5 + 2) = 142 IOPS2、 吞吐量與IOPS進(jìn)行分析1、吞吐量(throughput)吞吐量主要取決于陣列的構(gòu)架，光纖(FC SAN)或網(wǎng)絡(luò)(IP SAN)通道的大小以及硬盤(pán)的個(gè)數(shù)。陣列

6、的構(gòu)架與每個(gè)陣列不同而不同，他們也都存在內(nèi)部帶寬(類似于pc的系統(tǒng)總線)，不過(guò)一般情況下，內(nèi)部帶寬都設(shè)計(jì)的很充足，不是瓶頸的所在。光纖通道的影響還是比較大的，如數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中，對(duì)數(shù)據(jù)的流量要求很大，而一塊2Gb的光纖卡，所能支撐的最大流量應(yīng)當(dāng)是2Gb/8(小B)=250MB/s(大B)的實(shí)際流量，需要4塊光纖卡才能達(dá)到1GB/s的實(shí)際流量，所以數(shù)據(jù)倉(cāng)庫(kù)環(huán)境可以考慮換4Gb的光纖卡。最后說(shuō)一下硬盤(pán)的限制，這里是最重要的，當(dāng)前面的瓶頸不再存在的時(shí)候，就要看硬盤(pán)的個(gè)數(shù)了，我下面列一下不同的硬盤(pán)所能支撐的流量大小(數(shù)據(jù)取自硬盤(pán)廠商的標(biāo)準(zhǔn)參數(shù))：硬盤(pán)類型SASATA轉(zhuǎn)速規(guī)格10K15K流量10M/s13

7、M/s8M/s那么，假定一套存儲(chǔ)有120塊15K rpm的光纖硬盤(pán)，那么該存儲(chǔ)可以支撐的最大流量為120*13=1560MB/s，如果是2Gb的光纖卡，可能需要6塊才能夠，而4Gb的光纖卡，3-4塊就夠了。2、IOPS(Input/Output Operations Per Second)決定IOPS的主要取決與陣列的算法，cache命中率，以及磁盤(pán)個(gè)數(shù)。陣列的算法因?yàn)椴煌年嚵胁煌煌?cache的命中率取決于數(shù)據(jù)的分布，cache size的大小，數(shù)據(jù)訪問(wèn)的規(guī)則，以及cache的算法，如果一個(gè)陣列，讀cache的命中率越高越好，一般表示它可以支持更多的IOPS，為什么這么說(shuō)呢?這個(gè)就與

8、我們下面要討論的硬盤(pán)IOPS有關(guān)系了。硬盤(pán)類型SASATA轉(zhuǎn)速規(guī)格10K15KIOPS10015050同樣，如果一個(gè)陣列有120塊15K rpm的SAS硬盤(pán)，那么，它能撐的最大IOPS為120*150=18000，這個(gè)為硬件限制的理論值，如果超過(guò)這個(gè)值，硬盤(pán)的響應(yīng)可能會(huì)變的非常緩慢而不能正常提供業(yè)務(wù)。3、 Cache以及命中率Cache：高速緩沖存儲(chǔ)器，一種特殊的存儲(chǔ)器子系統(tǒng)；主要作用：復(fù)制了頻繁使用的數(shù)據(jù)以利于快速訪問(wèn)。是把讀取過(guò)的數(shù)據(jù)保存起來(lái)，重新讀取時(shí)若命中（找到需要的數(shù)據(jù)）就不要去讀硬盤(pán)了，若沒(méi)有命中就讀硬盤(pán)。其中的數(shù)據(jù)會(huì)根據(jù)讀取頻率進(jìn)行組織，把最頻繁讀取的內(nèi)容放在最容易找到的位置，把

9、不再讀的內(nèi)容不斷往后排，直至從中刪除。 l Cache命中率與容量的關(guān)系Cache的命中率隨它的容量的增加而提高，它們之間的關(guān)系曲線如圖5.34所示。在Cache容量比較小的時(shí)候，命中率的提高得非常快，隨著Cache容量的增加，命中率提高的速度逐漸降低。當(dāng)Cache容量增加到無(wú)窮大時(shí)，命中率可望達(dá)到100，但是，這在實(shí)際上是做不到的。 下圖是cache命中率的關(guān)系。l Cache命中率與塊大小的關(guān)系   在采用組相聯(lián)映象方式的Cache中，當(dāng)Cache的容量一定時(shí)，塊的大小對(duì)命中率的影響非常敏感。圖5.35表示隨著Cache塊的由小到大的變化，命中率上升

10、和下降的情況。 圖 5.35 Cache命中率與塊大小的關(guān)系   開(kāi)始時(shí)，塊大小很小，例如只有一個(gè)存儲(chǔ)單元，這時(shí)的命中率H很低。隨著塊大小的增加，由于程序的空間局部性起作用，同一塊中數(shù)據(jù)的利用率比較高，因此，Cache的命中率增加。這種增加趨勢(shì)在某一個(gè)最佳塊大小處達(dá)到最大值。在這一點(diǎn)以后，命中率隨著塊大小的增加反而減小。實(shí)際上，當(dāng)塊大小非常大時(shí)，進(jìn)入Cache中的許多數(shù)據(jù)可能根本用不上。而且，隨著塊大小的增加，程序時(shí)間局部性的作用就會(huì)逐漸減弱。最后，當(dāng)塊大小等于整個(gè)Cache的容量時(shí)，命中率將趨近于零。l Cache命中率與組數(shù)的關(guān)系

11、當(dāng)Cache的容量一定時(shí)，在采用組相聯(lián)映象和變換方式的Cache中，分組的數(shù)目對(duì)于Cache命中率的影響是很明顯的。隨著組數(shù)的增加，Cache的命中率要降低。當(dāng)分組的數(shù)目增加時(shí)，主存中的某一塊可以映象到Cache中的塊數(shù)就將減少，從而導(dǎo)致命中率下降。4、 淺談RAID寫(xiě)懲罰（Write Penalty）與IOPS計(jì)算通常在討論不同RAID保護(hù)類型的性能的時(shí)候，結(jié)論都會(huì)是RAID-1提供比較好的讀寫(xiě)性能，RAID-5讀性能不錯(cuò)，但是寫(xiě)入性能就不如RAID-1，RAID-6保護(hù)級(jí)別更高，但寫(xiě)性能相對(duì)更加差，RAID10是提供最好的性能和數(shù)據(jù)保護(hù)，不過(guò)成本最高等等。其實(shí)決定這些性能考慮的因素很簡(jiǎn)單，

12、它就是RAID Write Penalty(寫(xiě)懲罰)。本文從原理上解釋了不同RAID保護(hù)級(jí)別的寫(xiě)懲罰，以及通過(guò)寫(xiě)懲罰計(jì)算可用IOPS的方法。存儲(chǔ)方案規(guī)劃的過(guò)程中，最基本的考慮因素有兩個(gè)，性能和容量。性能上的計(jì)算看可以分為IOPS和帶寬需求。計(jì)算IOPS，拋開(kāi)存儲(chǔ)陣列的緩存和前端口不談。計(jì)算后端物理磁盤(pán)的IOPS不能簡(jiǎn)單的把物理磁盤(pán)的最大IOPS相加而獲得。原因是，對(duì)于不同的RAID級(jí)別，為了保證當(dāng)有物理磁盤(pán)損壞的情況下可以恢復(fù)數(shù)據(jù)，數(shù)據(jù)寫(xiě)入的過(guò)程中都需要有一些特別的計(jì)算。比如對(duì)于RAID-5，條帶上的任意磁盤(pán)上的數(shù)據(jù)改變，都會(huì)重新計(jì)算校驗(yàn)位。如下圖所示，一個(gè)7+1的RAID-5的條帶中，七個(gè)磁

13、盤(pán)存儲(chǔ)數(shù)據(jù)，最后一個(gè)磁盤(pán)存儲(chǔ)校驗(yàn)位。對(duì)于一個(gè)數(shù)據(jù)的寫(xiě)入，我們假設(shè)在第五個(gè)磁盤(pán)上寫(xiě)入的數(shù)據(jù)為1111，如下圖所示。那么整個(gè)RAID-5需要完成寫(xiě)入的過(guò)程分為以下幾步：1.讀取原數(shù)據(jù)0110，然后與新的數(shù)據(jù)1111做XOR操作： 0110 XOR 1111 = 10012.讀取原有的校驗(yàn)位00103.用第一步算出的數(shù)值與原校驗(yàn)位再做一次XOR操作： 0010 XOR 1001 = 10114.然后將1111新數(shù)據(jù)寫(xiě)入到數(shù)據(jù)磁盤(pán)，將第三步計(jì)算出來(lái)的新的校驗(yàn)位寫(xiě)入校驗(yàn)盤(pán)。由上述幾個(gè)步驟可見(jiàn)，對(duì)于任何一次寫(xiě)入，在存儲(chǔ)端，需要分別進(jìn)行兩次讀+兩次寫(xiě)，所以說(shuō)RAID-5的Write Penalty的值是4l

14、 不同RAID級(jí)別的Write Penalty：RAID-0：直接的條帶，數(shù)據(jù)每次寫(xiě)入對(duì)應(yīng)物理磁盤(pán)上的一次寫(xiě)入RAID-1和10：RAID-1 和RAID-10的寫(xiě)懲罰很簡(jiǎn)單理解，因?yàn)閿?shù)據(jù)的鏡像存在的，所以一次寫(xiě)入會(huì)有兩次。RAID-5：RAID-5由于要計(jì)算校驗(yàn)位的機(jī)制存在，需要讀數(shù)據(jù)、讀校驗(yàn)位、寫(xiě)數(shù)據(jù)、寫(xiě)校驗(yàn)位四個(gè)步驟，所以RAID-5的寫(xiě)懲罰值是4。RAID-6：RAID-6由于有兩個(gè)校驗(yàn)位的存在，與RAID-5相比，需要讀取兩次校驗(yàn)位和寫(xiě)入兩次校驗(yàn)位，所以RAID-6的寫(xiě)懲罰值是6。RAID LevelWrite Cost011 or 10254665、 計(jì)算IOPS根據(jù)上文的描述，在

15、實(shí)際存儲(chǔ)方案設(shè)計(jì)的過(guò)程中，計(jì)算實(shí)際可用IOPS的過(guò)程中必須納入RAID的寫(xiě)懲罰計(jì)算。計(jì)算的公式如下：物理磁盤(pán)總的IOPS = 物理磁盤(pán)的IOPS × 磁盤(pán)數(shù)目可用的IOPS = (物理磁盤(pán)總的IOPS × 寫(xiě)百分比 ÷ RAID寫(xiě)懲罰) + (物理磁盤(pán)總的IOPS × 讀百分比)假設(shè)組成RAID-5的物理磁盤(pán)總共可以提供500 IOPS，使用該存儲(chǔ)的應(yīng)用程序讀寫(xiě)比例是50%/50%，那么對(duì)于前端主機(jī)而言，實(shí)際可用的IOPS是：(500 ×50% ÷ 4)+ ( 500 * 50%) = 312.5 IOPSl 影響測(cè)試的因素實(shí)際測(cè)量中

16、，IOPS數(shù)值會(huì)受到很多因素的影響，包括I/O負(fù)載特征(讀寫(xiě)比例，順序和隨機(jī)，工作線程數(shù)，隊(duì)列深度，數(shù)據(jù)記錄大小)、系統(tǒng)配置、操作系統(tǒng)、磁盤(pán)驅(qū)動(dòng)等等。因此對(duì)比測(cè)量磁盤(pán)IOPS時(shí)，必須在同樣的測(cè)試基準(zhǔn)下進(jìn)行，即便如此也會(huì)產(chǎn)生一定的隨機(jī)不確定性。6、 案例分析業(yè)務(wù)的iops是10000，讀cache命中率是30%，讀iops為60%，寫(xiě)iops為40%，磁盤(pán)個(gè)數(shù)為120，那么分別計(jì)算在raid5與raid10的情況下，每個(gè)磁盤(pán)的iops為多少。raid5:單塊盤(pán)的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4)/120= (4200 + 16000)/120=

17、 16810000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實(shí)際只有4200個(gè)iops而4 * (10000*0.4) 表示寫(xiě)的iops，因?yàn)槊恳粋€(gè)寫(xiě)，在raid5中，實(shí)際發(fā)生了4個(gè)io，所以寫(xiě)的iops為16000個(gè)為了考慮raid5在寫(xiě)操作的時(shí)候，那2個(gè)讀操作也可能發(fā)生命中，所以更精確的計(jì)算為：?jiǎn)螇K盤(pán)的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4)/120= (4200 + 5600 + 8000)/120= 148計(jì)算出來(lái)單個(gè)盤(pán)的iops為148個(gè)，基本達(dá)到磁盤(pán)極限r(nóng)aid10單塊盤(pán)的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)/120= (4200 + 8000)/120= 102可以看到，因?yàn)閞aid10對(duì)于一個(gè)寫(xiě)操作，