視頻存儲(chǔ)基礎(chǔ)知識(shí)培訓(xùn)

第1頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)目標(biāo)硬盤技術(shù)RAID技術(shù)磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)1234第2頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月

硬盤結(jié)構(gòu)主軸馬達(dá)(SpindleMotor)磁頭基座(BasePlate)磁頭停放區(qū)(ParkingZone)盤片(Media)傳動(dòng)部件接口第3頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月容量：指硬盤能存儲(chǔ)的數(shù)據(jù)量大小，以字節(jié)為基本單位單碟容量：硬盤都是由一個(gè)或幾個(gè)盤片組成的，單碟容量就是指包括正反兩面在內(nèi)的單個(gè)盤片的總?cè)萘?/p>

轉(zhuǎn)速：即主軸馬達(dá)轉(zhuǎn)動(dòng)速度，單位為RPM（RoundPerMinute)，即每分鐘盤片轉(zhuǎn)動(dòng)圈數(shù)緩存：是硬盤控制器上的一塊內(nèi)存芯片，具有極快的存取速度，它是硬盤內(nèi)部盤片和外部接口之間的緩沖器常用指標(biāo)硬盤的主要指標(biāo)（一）常用指標(biāo)第4頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月平均訪問(wèn)時(shí)間：硬盤磁頭找到目標(biāo)數(shù)據(jù)所需的平均時(shí)間平均尋道時(shí)間：磁頭尋找目標(biāo)數(shù)據(jù)所在磁道所需的平均時(shí)間平均潛伏時(shí)間：當(dāng)磁頭移動(dòng)到數(shù)據(jù)所在的磁道后，等待指定的數(shù)據(jù)扇區(qū)轉(zhuǎn)動(dòng)到磁頭下方的時(shí)間數(shù)據(jù)傳輸率：內(nèi)部數(shù)據(jù)傳輸率：數(shù)據(jù)從盤片表面?zhèn)鬏數(shù)接脖P的緩存的速率外部數(shù)據(jù)傳輸率：數(shù)據(jù)從硬盤的緩存讀出到外部總線的速率MTBF：Mean

Time

Between

Failure，平均無(wú)故障時(shí)間硬盤的主要指標(biāo)（二）常用指標(biāo)第5頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月硬盤類型及接口SASSATAFCSCSIATA/IDELCSC硬盤類型接口視圖第6頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月硬盤發(fā)展歷史及趨勢(shì)時(shí)間點(diǎn)容量FC硬盤100GB300GB750GB1000GB146GB300GBSAS硬盤250GB400GB500GB750GB1000GBSATA硬盤73GB300GB146GB500GB73GB300GB146GB19982008SCSI硬盤73GB第7頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月硬盤接口發(fā)展趨勢(shì)SCSI-2SCSI-3FC-AL100MB/SperPortFC-AL200MB/SperPortSynchronousSCSI5MB/sFastWideSCSI10/20MB/sUltraSCSI20/40MB/sUltra2SCSI40/80MB/sUltra160SCSI160MB/sUltra320SCSI320/MB/sSAS300MB/sperportSATASATAIISerialATA150MB/sSerialATAII300MB/sFC-AL400MB/SperPort串行并行第8頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月硬盤各類接口間的對(duì)比ATASATASCSISASFC轉(zhuǎn)速（RPM）7,2007,20015,00015,00015,000緩存（兆）8/168/168/168/168/16串行/并行并行串行并行串行串行硬盤主流容量（GB）250750300300300MTBF600,0001,200,0001,400,0001,400,0001,400,000第9頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)目標(biāo)硬盤技術(shù)RAID技術(shù)磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)1234第10頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID出現(xiàn)原因計(jì)算機(jī)發(fā)展初期，大容量硬盤價(jià)格非常高，而需要存儲(chǔ)的數(shù)據(jù)量越來(lái)越大容量性能CPU運(yùn)算速度飛速提高，數(shù)據(jù)讀寫速度不應(yīng)該成為計(jì)算機(jī)系統(tǒng)處理的瓶頸信息時(shí)代，數(shù)據(jù)對(duì)企業(yè)和個(gè)人的重要性越來(lái)越大，數(shù)據(jù)存儲(chǔ)安全更需要保障RAID可靠性第11頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID定義RAID（RedundantArrayofIndependentDisks）即獨(dú)立磁盤冗余陣列，RAID技術(shù)將多個(gè)單獨(dú)的物理硬盤以不同的方式組合成一個(gè)邏輯硬盤，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性。根據(jù)不同的組合方式可以分為不同的RAID級(jí)別RAID0數(shù)據(jù)條帶化，無(wú)校驗(yàn)RAID1數(shù)據(jù)鏡像，無(wú)校驗(yàn)RAID3數(shù)據(jù)條帶化讀寫，校驗(yàn)信息存放于專用硬盤RAID5數(shù)據(jù)條帶化，校驗(yàn)信息分布式存放RAID10RAID0和RAID1的結(jié)合，同時(shí)提供數(shù)據(jù)條帶化和鏡像RAID50先做RAID5，后做RAID0，能有效提高RAID5的性能第12頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID、邏輯卷的形成過(guò)程物理磁盤RAID第13頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID、邏輯卷的形成過(guò)程物理磁盤邏輯卷RAIDLUN1LUN2LUN3分割第14頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID級(jí)別——RAID0DHLCGKBFJ定義：RAID0即沒(méi)有容錯(cuò)設(shè)計(jì)的條帶硬盤陣列（StripedDiskArraywithoutFaultTolerance），以條帶形式將RAID組的數(shù)據(jù)均勻分布在各個(gè)硬盤中ABCDEFGH數(shù)據(jù)……AEI第15頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID級(jí)別——RAID1RAID1定義：RAID1又稱鏡像（Mirror），數(shù)據(jù)同時(shí)一致寫到主硬盤和鏡像硬盤EDCBAEDCBAABCDE……=數(shù)據(jù)第16頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID級(jí)別——RAID3定義：RAID3即帶有校驗(yàn)的并行數(shù)據(jù)傳輸陣列（Paralleledtransferwithparity），數(shù)據(jù)條帶化分布在數(shù)據(jù)盤中，同時(shí)使用專用校驗(yàn)硬盤存放校驗(yàn)數(shù)據(jù)

D0C0B0A0D1C1A1B1D2C2A2B2PDPCPAPBABCD……異或運(yùn)算數(shù)據(jù)盤校驗(yàn)盤第17頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID級(jí)別——RAID5定義：RAID5與RAID3機(jī)制類似，但校驗(yàn)數(shù)據(jù)均勻分布在各數(shù)據(jù)硬盤上，RAID成員硬盤上同時(shí)保存數(shù)據(jù)和校驗(yàn)信息，數(shù)據(jù)塊和對(duì)應(yīng)的校驗(yàn)信息保存在不同硬盤上。RAID5是最常用的RAID方式之一……P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0異或運(yùn)算A0B0C0D0A1B1C1E1A2B2D2校驗(yàn)信息Px分布式存儲(chǔ)數(shù)據(jù)第18頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID組合級(jí)別——RAID10定義：RAID10是將鏡像和條帶進(jìn)行兩級(jí)組合的RAID級(jí)別，第一級(jí)是RAID1鏡像對(duì)，第二級(jí)為RAID0。RAID10也是一種應(yīng)用比較廣泛的RAID級(jí)別。ABCDEFGHAACBBCDDEEFFGGHH第19頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月RAID組合級(jí)別——RAID50P13F1定義：RAID50是將RAID5和RAID0進(jìn)行兩級(jí)組合的RAID級(jí)別，最低一級(jí)是RAID5，第二級(jí)為RAID0A2P02A1A0B2B1P01B0P03C1C0P00異或運(yùn)算A0B0D0E0A1C0D1F0B1……C1D2P12D1D0E2E1P11E0F0P10硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5異或運(yùn)算第20頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)目標(biāo)硬盤技術(shù)RAID技術(shù)

磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)1234第21頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月磁盤陣列包括兩大主要部件：控制器和磁盤柜控制器是磁盤陣列的“大腦”，主要部件為處理器和緩存，最先主要實(shí)現(xiàn)簡(jiǎn)單IO操作、RAID管理功能，隨著技術(shù)發(fā)展，能夠提供各種各樣的數(shù)據(jù)管理功能，如快照、鏡像、復(fù)制等磁盤柜包含了多塊的磁盤，本身既沒(méi)有處理器，也沒(méi)有緩存，RAID及數(shù)據(jù)管理功能通過(guò)控制器實(shí)現(xiàn)磁盤陣列控制器磁盤柜磁盤電纜第22頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月常見(jiàn)磁盤陣列常見(jiàn)的磁盤陣列組成部分：控制器模塊+磁盤柜控制器和磁盤柜一體磁盤陣列=控制器磁盤擴(kuò)展柜(JBOD)磁盤陣列=+控制器和磁盤柜分離第23頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月常見(jiàn)磁盤陣列分類按控制器數(shù)量JBOD：無(wú)控制器，通常用于擴(kuò)展柜或者與主機(jī)端RAID結(jié)合使用雙控制器陣列：如IX5000s多控制器陣列：如IX5000按對(duì)外接口SCSI陣列FC陣列iSCSI陣列……第24頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月控制器緩存工作模式前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存

寫緩存主機(jī)寫入數(shù)據(jù)流反饋寫OKWrite-back回寫主機(jī)寫入數(shù)據(jù)流反饋寫OKWrite-through透寫磁盤第25頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月控制器的緩存保護(hù)技術(shù)FC或IP(GE)緩存(Cache)CPUCPU后端總線磁盤FC或IP(GE)緩存(Cache)CPUCPU后端總線Cache電池FC或IP(GE)緩存(Cache)CPUCPU后端總線陣列內(nèi)置UPS三種常見(jiàn)控制器Cache保護(hù)設(shè)計(jì)電池保護(hù)Cache內(nèi)置UPS保護(hù)控制器外置UPS保護(hù)整機(jī)陣列外置UPS第26頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月控制器緩存鏡像前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存1、主機(jī)數(shù)據(jù)寫入緩存；2、緩存數(shù)據(jù)進(jìn)行異或運(yùn)算，產(chǎn)生校驗(yàn)數(shù)據(jù)；第27頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月控制器緩存鏡像前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存1、主機(jī)數(shù)據(jù)寫入緩存；2、緩存數(shù)據(jù)進(jìn)行異或運(yùn)算，產(chǎn)生校驗(yàn)數(shù)據(jù)；3、將校驗(yàn)數(shù)據(jù)添加到緩存；第28頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月控制器緩存鏡像前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存1、主機(jī)數(shù)據(jù)寫入緩存；2、緩存數(shù)據(jù)進(jìn)行異或運(yùn)算，產(chǎn)生校驗(yàn)數(shù)據(jù)；3、將校驗(yàn)數(shù)據(jù)添加到緩存；4、將緩存數(shù)據(jù)復(fù)制到目標(biāo)控制器；5、目標(biāo)控制器處理完數(shù)據(jù)和校驗(yàn)數(shù)據(jù)返回消息；6、源控制器返回主機(jī)消息，操作完畢。OK第29頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)目標(biāo)硬盤技術(shù)RAID技術(shù)

磁盤陣列視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)1234第30頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月存儲(chǔ)主要架構(gòu)存儲(chǔ)系統(tǒng)的分類如下：封閉系統(tǒng)的存儲(chǔ)封閉系統(tǒng)主要指大型機(jī)開(kāi)放系統(tǒng)的存儲(chǔ)內(nèi)置存儲(chǔ)外置存儲(chǔ)直接附加存儲(chǔ)（DAS）存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）網(wǎng)絡(luò)附加存儲(chǔ)（NAS）基于iSCSI協(xié)議的IPSAN基于FC協(xié)議的FCSAN開(kāi)放系統(tǒng)指基于包括Windows、UNIX、Linux等操作系統(tǒng)如：DVR的存儲(chǔ)方式第31頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)－內(nèi)置存儲(chǔ)

內(nèi)置存儲(chǔ)－DVR視頻數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)：目前所有嵌入式DVR和絕大部分PC式DVR采用的存儲(chǔ)架構(gòu)由于成本原因，多使用IDE硬盤和E－IDE硬盤總線（BUS）完成硬盤控制和擴(kuò)展功能。DVR根據(jù)硬盤地址順序規(guī)劃邏輯盤符。圖像數(shù)據(jù)根據(jù)盤符順序，依次寫入硬盤。

DVR的主控電路板視頻存儲(chǔ)數(shù)據(jù)流E－IDE1E－IDE2Master主盤Slave從盤Master主盤Slave從盤E－IDE3Master主盤Slave從盤E－IDE4Master主盤Slave從盤12345678DVR硬盤錄像機(jī)第32頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月采用內(nèi)置存儲(chǔ)(DVR)的問(wèn)題非專業(yè)不可靠桌面級(jí)IDE硬盤，可靠性差單塊硬盤壓力大，故障率高無(wú)RAID冗余技術(shù)，硬盤損壞后數(shù)據(jù)丟失不可恢復(fù)系統(tǒng)本身自帶硬盤存儲(chǔ)容量小，擴(kuò)展性差散熱差，長(zhǎng)期運(yùn)行風(fēng)險(xiǎn)大數(shù)據(jù)分散，無(wú)法集中管理兩大弊端系統(tǒng)維護(hù)困難，成本高難以實(shí)現(xiàn)視頻圖像的集中檢索和查閱無(wú)法防止監(jiān)守自盜，內(nèi)外串通作案第33頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)－DAS

2/4/8/12/16

路視音頻輸入監(jiān)控客戶端監(jiān)控客戶端監(jiān)控客戶端監(jiān)控客戶端外掛磁盤柜PC式DVR第34頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月視頻監(jiān)控系統(tǒng)的圖像數(shù)據(jù)存儲(chǔ)－DASADSLDVSDVSLAN/PPPOEVDSLDVR/DVSLAN/城域網(wǎng)DVR/DVS視頻服務(wù)器視頻服務(wù)器磁盤柜/DAS磁盤柜/DAS監(jiān)控客戶端實(shí)時(shí)視頻數(shù)據(jù)流視頻數(shù)據(jù)流存儲(chǔ)存儲(chǔ)視頻數(shù)據(jù)調(diào)閱嵌入式DVR/DVS第35頁(yè)，課件共39頁(yè)，創(chuàng)作于2023年2月采用DAS存儲(chǔ)方式的問(wèn)題DAS（DirectAttachedStorage直接附加存儲(chǔ)）存儲(chǔ)架構(gòu)是比較早的存儲(chǔ)形式。在視頻監(jiān)控應(yīng)用中，它是通過(guò)硬盤錄像機(jī)或服務(wù)器，直接連接磁盤陣列柜實(shí)現(xiàn)存儲(chǔ)的模式。擴(kuò)展性差

在保證存儲(chǔ)系統(tǒng)性能的前提下，一般一臺(tái)服務(wù)器至多只能連接兩臺(tái)陣列，其擴(kuò)展性無(wú)法滿足大規(guī)模監(jiān)控系統(tǒng)產(chǎn)生的海量數(shù)據(jù)存儲(chǔ)需要資源利用率低，無(wú)法實(shí)現(xiàn)存儲(chǔ)資源的共享

DAS方式的存儲(chǔ)使得存儲(chǔ)空間無(wú)法充分利用，存在浪費(fèi)。部分應(yīng)用的存儲(chǔ)空間不夠用，另一些卻有大量的存儲(chǔ)空間閑置的不均衡情況?？晒芾硇圆罟芾矸稚⒎爆?，無(wú)法集中異構(gòu)化嚴(yán)重

DAS方式使得企業(yè)在不同階段采購(gòu)了不同型號(hào)不同廠商的存儲(chǔ)設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴(yán)重，維護(hù)成