視頻存儲基礎知識培訓

第1頁，共39頁，2023年，2月20日，星期二學習目標硬盤技術RAID技術磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲1234第2頁，共39頁，2023年，2月20日，星期二

硬盤結(jié)構(gòu)主軸馬達(SpindleMotor)磁頭基座(BasePlate)磁頭停放區(qū)(ParkingZone)盤片(Media)傳動部件接口第3頁，共39頁，2023年，2月20日，星期二容量：指硬盤能存儲的數(shù)據(jù)量大小，以字節(jié)為基本單位單碟容量：硬盤都是由一個或幾個盤片組成的，單碟容量就是指包括正反兩面在內(nèi)的單個盤片的總?cè)萘?/p>

轉(zhuǎn)速：即主軸馬達轉(zhuǎn)動速度，單位為RPM（RoundPerMinute)，即每分鐘盤片轉(zhuǎn)動圈數(shù)緩存：是硬盤控制器上的一塊內(nèi)存芯片，具有極快的存取速度，它是硬盤內(nèi)部盤片和外部接口之間的緩沖器常用指標硬盤的主要指標（一）常用指標第4頁，共39頁，2023年，2月20日，星期二平均訪問時間：硬盤磁頭找到目標數(shù)據(jù)所需的平均時間平均尋道時間：磁頭尋找目標數(shù)據(jù)所在磁道所需的平均時間平均潛伏時間：當磁頭移動到數(shù)據(jù)所在的磁道后，等待指定的數(shù)據(jù)扇區(qū)轉(zhuǎn)動到磁頭下方的時間數(shù)據(jù)傳輸率：內(nèi)部數(shù)據(jù)傳輸率：數(shù)據(jù)從盤片表面?zhèn)鬏數(shù)接脖P的緩存的速率外部數(shù)據(jù)傳輸率：數(shù)據(jù)從硬盤的緩存讀出到外部總線的速率MTBF：Mean

Time

Between

Failure，平均無故障時間硬盤的主要指標（二）常用指標第5頁，共39頁，2023年，2月20日，星期二硬盤類型及接口SASSATAFCSCSIATA/IDELCSC硬盤類型接口視圖第6頁，共39頁，2023年，2月20日，星期二硬盤發(fā)展歷史及趨勢時間點容量FC硬盤100GB300GB750GB1000GB146GB300GBSAS硬盤250GB400GB500GB750GB1000GBSATA硬盤73GB300GB146GB500GB73GB300GB146GB19982008SCSI硬盤73GB第7頁，共39頁，2023年，2月20日，星期二硬盤接口發(fā)展趨勢SCSI-2SCSI-3FC-AL100MB/SperPortFC-AL200MB/SperPortSynchronousSCSI5MB/sFastWideSCSI10/20MB/sUltraSCSI20/40MB/sUltra2SCSI40/80MB/sUltra160SCSI160MB/sUltra320SCSI320/MB/sSAS300MB/sperportSATASATAIISerialATA150MB/sSerialATAII300MB/sFC-AL400MB/SperPort串行并行第8頁，共39頁，2023年，2月20日，星期二硬盤各類接口間的對比ATASATASCSISASFC轉(zhuǎn)速（RPM）7,2007,20015,00015,00015,000緩存（兆）8/168/168/168/168/16串行/并行并行串行并行串行串行硬盤主流容量（GB）250750300300300MTBF600,0001,200,0001,400,0001,400,0001,400,000第9頁，共39頁，2023年，2月20日，星期二學習目標硬盤技術RAID技術磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲1234第10頁，共39頁，2023年，2月20日，星期二RAID出現(xiàn)原因計算機發(fā)展初期，大容量硬盤價格非常高，而需要存儲的數(shù)據(jù)量越來越大容量性能CPU運算速度飛速提高，數(shù)據(jù)讀寫速度不應該成為計算機系統(tǒng)處理的瓶頸信息時代，數(shù)據(jù)對企業(yè)和個人的重要性越來越大，數(shù)據(jù)存儲安全更需要保障RAID可靠性第11頁，共39頁，2023年，2月20日，星期二RAID定義RAID（RedundantArrayofIndependentDisks）即獨立磁盤冗余陣列，RAID技術將多個單獨的物理硬盤以不同的方式組合成一個邏輯硬盤，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性。根據(jù)不同的組合方式可以分為不同的RAID級別RAID0數(shù)據(jù)條帶化，無校驗RAID1數(shù)據(jù)鏡像，無校驗RAID3數(shù)據(jù)條帶化讀寫，校驗信息存放于專用硬盤RAID5數(shù)據(jù)條帶化，校驗信息分布式存放RAID10RAID0和RAID1的結(jié)合，同時提供數(shù)據(jù)條帶化和鏡像RAID50先做RAID5，后做RAID0，能有效提高RAID5的性能第12頁，共39頁，2023年，2月20日，星期二RAID、邏輯卷的形成過程物理磁盤RAID第13頁，共39頁，2023年，2月20日，星期二RAID、邏輯卷的形成過程物理磁盤邏輯卷RAIDLUN1LUN2LUN3分割第14頁，共39頁，2023年，2月20日，星期二RAID級別——RAID0DHLCGKBFJ定義：RAID0即沒有容錯設計的條帶硬盤陣列（StripedDiskArraywithoutFaultTolerance），以條帶形式將RAID組的數(shù)據(jù)均勻分布在各個硬盤中ABCDEFGH數(shù)據(jù)……AEI第15頁，共39頁，2023年，2月20日，星期二RAID級別——RAID1RAID1定義：RAID1又稱鏡像（Mirror），數(shù)據(jù)同時一致寫到主硬盤和鏡像硬盤EDCBAEDCBAABCDE……=數(shù)據(jù)第16頁，共39頁，2023年，2月20日，星期二RAID級別——RAID3定義：RAID3即帶有校驗的并行數(shù)據(jù)傳輸陣列（Paralleledtransferwithparity），數(shù)據(jù)條帶化分布在數(shù)據(jù)盤中，同時使用專用校驗硬盤存放校驗數(shù)據(jù)

D0C0B0A0D1C1A1B1D2C2A2B2PDPCPAPBABCD……異或運算數(shù)據(jù)盤校驗盤第17頁，共39頁，2023年，2月20日，星期二RAID級別——RAID5定義：RAID5與RAID3機制類似，但校驗數(shù)據(jù)均勻分布在各數(shù)據(jù)硬盤上，RAID成員硬盤上同時保存數(shù)據(jù)和校驗信息，數(shù)據(jù)塊和對應的校驗信息保存在不同硬盤上。RAID5是最常用的RAID方式之一……P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0異或運算A0B0C0D0A1B1C1E1A2B2D2校驗信息Px分布式存儲數(shù)據(jù)第18頁，共39頁，2023年，2月20日，星期二RAID組合級別——RAID10定義：RAID10是將鏡像和條帶進行兩級組合的RAID級別，第一級是RAID1鏡像對，第二級為RAID0。RAID10也是一種應用比較廣泛的RAID級別。ABCDEFGHAACBBCDDEEFFGGHH第19頁，共39頁，2023年，2月20日，星期二RAID組合級別——RAID50P13F1定義：RAID50是將RAID5和RAID0進行兩級組合的RAID級別，最低一級是RAID5，第二級為RAID0A2P02A1A0B2B1P01B0P03C1C0P00異或運算A0B0D0E0A1C0D1F0B1……C1D2P12D1D0E2E1P11E0F0P10硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5異或運算第20頁，共39頁，2023年，2月20日，星期二學習目標硬盤技術RAID技術

磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲1234第21頁，共39頁，2023年，2月20日，星期二磁盤陣列包括兩大主要部件：控制器和磁盤柜控制器是磁盤陣列的“大腦”，主要部件為處理器和緩存，最先主要實現(xiàn)簡單IO操作、RAID管理功能，隨著技術發(fā)展，能夠提供各種各樣的數(shù)據(jù)管理功能，如快照、鏡像、復制等磁盤柜包含了多塊的磁盤，本身既沒有處理器，也沒有緩存，RAID及數(shù)據(jù)管理功能通過控制器實現(xiàn)磁盤陣列控制器磁盤柜磁盤電纜第22頁，共39頁，2023年，2月20日，星期二常見磁盤陣列常見的磁盤陣列組成部分：控制器模塊+磁盤柜控制器和磁盤柜一體磁盤陣列=控制器磁盤擴展柜(JBOD)磁盤陣列=+控制器和磁盤柜分離第23頁，共39頁，2023年，2月20日，星期二常見磁盤陣列分類按控制器數(shù)量JBOD：無控制器，通常用于擴展柜或者與主機端RAID結(jié)合使用雙控制器陣列：如IX5000s多控制器陣列：如IX5000按對外接口SCSI陣列FC陣列iSCSI陣列……第24頁，共39頁，2023年，2月20日，星期二控制器緩存工作模式前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存

寫緩存主機寫入數(shù)據(jù)流反饋寫OKWrite-back回寫主機寫入數(shù)據(jù)流反饋寫OKWrite-through透寫磁盤第25頁，共39頁，2023年，2月20日，星期二控制器的緩存保護技術FC或IP(GE)緩存(Cache)CPUCPU后端總線磁盤FC或IP(GE)緩存(Cache)CPUCPU后端總線Cache電池FC或IP(GE)緩存(Cache)CPUCPU后端總線陣列內(nèi)置UPS三種常見控制器Cache保護設計電池保護Cache內(nèi)置UPS保護控制器外置UPS保護整機陣列外置UPS第26頁，共39頁，2023年，2月20日，星期二控制器緩存鏡像前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存1、主機數(shù)據(jù)寫入緩存；2、緩存數(shù)據(jù)進行異或運算，產(chǎn)生校驗數(shù)據(jù)；第27頁，共39頁，2023年，2月20日，星期二控制器緩存鏡像前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存1、主機數(shù)據(jù)寫入緩存；2、緩存數(shù)據(jù)進行異或運算，產(chǎn)生校驗數(shù)據(jù)；3、將校驗數(shù)據(jù)添加到緩存；第28頁，共39頁，2023年，2月20日，星期二控制器緩存鏡像前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存1、主機數(shù)據(jù)寫入緩存；2、緩存數(shù)據(jù)進行異或運算，產(chǎn)生校驗數(shù)據(jù)；3、將校驗數(shù)據(jù)添加到緩存；4、將緩存數(shù)據(jù)復制到目標控制器；5、目標控制器處理完數(shù)據(jù)和校驗數(shù)據(jù)返回消息；6、源控制器返回主機消息，操作完畢。OK第29頁，共39頁，2023年，2月20日，星期二學習目標硬盤技術RAID技術

磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲1234第30頁，共39頁，2023年，2月20日，星期二存儲主要架構(gòu)存儲系統(tǒng)的分類如下：封閉系統(tǒng)的存儲封閉系統(tǒng)主要指大型機開放系統(tǒng)的存儲內(nèi)置存儲外置存儲直接附加存儲（DAS）存儲區(qū)域網(wǎng)絡（SAN）網(wǎng)絡附加存儲（NAS）基于iSCSI協(xié)議的IPSAN基于FC協(xié)議的FCSAN開放系統(tǒng)指基于包括Windows、UNIX、Linux等操作系統(tǒng)如：DVR的存儲方式第31頁，共39頁，2023年，2月20日，星期二視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲－內(nèi)置存儲

內(nèi)置存儲－DVR視頻數(shù)據(jù)的存儲結(jié)構(gòu)：目前所有嵌入式DVR和絕大部分PC式DVR采用的存儲架構(gòu)由于成本原因，多使用IDE硬盤和E－IDE硬盤總線（BUS）完成硬盤控制和擴展功能。DVR根據(jù)硬盤地址順序規(guī)劃邏輯盤符。圖像數(shù)據(jù)根據(jù)盤符順序，依次寫入硬盤。

DVR的主控電路板視頻存儲數(shù)據(jù)流E－IDE1E－IDE2Master主盤Slave從盤Master主盤Slave從盤E－IDE3Master主盤Slave從盤E－IDE4Master主盤Slave從盤12345678DVR硬盤錄像機第32頁，共39頁，2023年，2月20日，星期二采用內(nèi)置存儲(DVR)的問題非專業(yè)不可靠桌面級IDE硬盤，可靠性差單塊硬盤壓力大，故障率高無RAID冗余技術，硬盤損壞后數(shù)據(jù)丟失不可恢復系統(tǒng)本身自帶硬盤存儲容量小，擴展性差散熱差，長期運行風險大數(shù)據(jù)分散，無法集中管理兩大弊端系統(tǒng)維護困難，成本高難以實現(xiàn)視頻圖像的集中檢索和查閱無法防止監(jiān)守自盜，內(nèi)外串通作案第33頁，共39頁，2023年，2月20日，星期二視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲－DAS

2/4/8/12/16

路視音頻輸入監(jiān)控客戶端監(jiān)控客戶端監(jiān)控客戶端監(jiān)控客戶端外掛磁盤柜PC式DVR第34頁，共39頁，2023年，2月20日，星期二視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲－DASADSLDVSDVSLAN/PPPOEVDSLDVR/DVSLAN/城域網(wǎng)DVR/DVS視頻服務器視頻服務器磁盤柜/DAS磁盤柜/DAS監(jiān)控客戶端實時視頻數(shù)據(jù)流視頻數(shù)據(jù)流存儲存儲視頻數(shù)據(jù)調(diào)閱嵌入式DVR/DVS第35頁，共39頁，2023年，2月20日，星期二采用DAS存儲方式的問題DAS（DirectAttachedStorage直接附加存儲）存儲架構(gòu)是比較早的存儲形式。在視頻監(jiān)控應用中，它是通過硬盤錄像機或服務器，直接連接磁盤陣列柜實現(xiàn)存儲的模式。擴展性差

在保證存儲系統(tǒng)性能的前提下，一般一臺服務器至多只能連接兩臺陣列，其擴展性無法滿足大規(guī)模監(jiān)控系統(tǒng)產(chǎn)生的海量數(shù)據(jù)存儲需要資源利用率低，無法實現(xiàn)存儲資源的共享

DAS方式的存儲使得存儲空間無法充分利用，存在浪費。部分應用的存儲空間不夠用，另一些卻有大量的存儲空間閑置的不均衡情況。可管理性差管理分散繁瑣，無法集中異構(gòu)化嚴重

DAS方式使得企業(yè)在不同階段采購了不同型號不同廠商的存儲設備，設備之間異構(gòu)化現(xiàn)象嚴重，維護成