《存儲(chǔ)技術(shù)及原理》課件

存儲(chǔ)技術(shù)及原理數(shù)據(jù)存儲(chǔ)技術(shù)基礎(chǔ)課程課程概述課程目標(biāo)掌握存儲(chǔ)技術(shù)核心概念主要內(nèi)容存儲(chǔ)介質(zhì)、系統(tǒng)架構(gòu)、RAID技術(shù)學(xué)習(xí)方法第一部分：存儲(chǔ)基礎(chǔ)知識(shí)基本概念數(shù)據(jù)存儲(chǔ)定義與重要性發(fā)展歷程從早期設(shè)備到現(xiàn)代技術(shù)系統(tǒng)組成什么是數(shù)據(jù)存儲(chǔ)？定義保存數(shù)據(jù)的技術(shù)與過程重要性現(xiàn)代信息系統(tǒng)的基礎(chǔ)支撐應(yīng)用領(lǐng)域存儲(chǔ)系統(tǒng)的發(fā)展歷程1早期存儲(chǔ)打孔卡、磁帶、磁鼓2中期發(fā)展軟盤、硬盤、光盤3現(xiàn)代技術(shù)閃存、SSD、云存儲(chǔ)4未來趨勢(shì)DNA存儲(chǔ)、量子存儲(chǔ)存儲(chǔ)系統(tǒng)的基本組成存儲(chǔ)介質(zhì)實(shí)際存儲(chǔ)數(shù)據(jù)的物理媒介存儲(chǔ)控制器管理數(shù)據(jù)讀寫操作接口和協(xié)議連接主機(jī)和存儲(chǔ)設(shè)備存儲(chǔ)容量單位1比特(bit)數(shù)據(jù)最小單位，0或12字節(jié)(Byte)8比特組成一個(gè)字節(jié)3千字節(jié)(KB)1KB=1024字節(jié)4兆字節(jié)(MB)及以上GB、TB、PB等單位存儲(chǔ)性能指標(biāo)吞吐量單位時(shí)間內(nèi)數(shù)據(jù)傳輸量通常以MB/s計(jì)量IOPS每秒輸入輸出操作次數(shù)反映隨機(jī)訪問性能延遲數(shù)據(jù)請(qǐng)求與響應(yīng)之間的時(shí)間通常以毫秒計(jì)量第二部分：存儲(chǔ)介質(zhì)技術(shù)磁性存儲(chǔ)傳統(tǒng)硬盤技術(shù)固態(tài)存儲(chǔ)閃存與SSD技術(shù)光學(xué)存儲(chǔ)CD/DVD/藍(lán)光技術(shù)新興存儲(chǔ)先進(jìn)存儲(chǔ)技術(shù)研究磁性存儲(chǔ)介質(zhì)工作原理利用磁性材料記錄數(shù)據(jù)通過磁化方向表示0和1優(yōu)點(diǎn)容量大價(jià)格低技術(shù)成熟缺點(diǎn)機(jī)械部件易損壞讀寫速度較慢能耗較高硬盤驅(qū)動(dòng)器（HDD）結(jié)構(gòu)盤片存儲(chǔ)數(shù)據(jù)的磁性介質(zhì)磁頭讀寫數(shù)據(jù)的核心組件主軸電機(jī)驅(qū)動(dòng)盤片高速旋轉(zhuǎn)控制電路協(xié)調(diào)各部件工作4HDD工作原理磁道和扇區(qū)盤片上的同心圓為磁道每個(gè)磁道劃分多個(gè)扇區(qū)數(shù)據(jù)以扇區(qū)為單位存儲(chǔ)讀寫過程磁頭定位到指定位置讀?。焊袘?yīng)磁性變化寫入：改變介質(zhì)磁化方向HDD性能特征5-15ms尋道時(shí)間磁頭移動(dòng)到指定磁道所需時(shí)間4.16ms旋轉(zhuǎn)延遲7200RPM硬盤平均旋轉(zhuǎn)延遲150MB/s數(shù)據(jù)傳輸率連續(xù)讀寫速度固態(tài)存儲(chǔ)介質(zhì)閃存技術(shù)基礎(chǔ)基于浮柵晶體管存儲(chǔ)電荷優(yōu)點(diǎn)讀寫速度快，無機(jī)械部件缺點(diǎn)價(jià)格高，寫入次數(shù)有限固態(tài)硬盤（SSD）結(jié)構(gòu)1控制器核心處理單元閃存芯片存儲(chǔ)數(shù)據(jù)的主要介質(zhì)緩存提高性能的臨時(shí)存儲(chǔ)SSD工作原理讀操作直接電子訪問，速度快寫操作需先擦除再寫入垃圾回收整理碎片化數(shù)據(jù)塊磨損均衡分散寫入次數(shù)延長壽命SSD性能特征SSDHDD光學(xué)存儲(chǔ)介質(zhì)CD容量：650-900MB凹坑記錄數(shù)據(jù)DVD容量：4.7-17GB多層記錄技術(shù)藍(lán)光光盤容量：25-128GB藍(lán)紫色激光讀寫新興存儲(chǔ)技術(shù)3DXPoint英特爾與美光聯(lián)合開發(fā)非易失性存儲(chǔ)器MRAM磁性隨機(jī)存取存儲(chǔ)器利用磁隧道結(jié)構(gòu)ReRAM阻變隨機(jī)存取存儲(chǔ)器基于電阻變化記錄數(shù)據(jù)3第三部分：存儲(chǔ)系統(tǒng)架構(gòu)直連存儲(chǔ)(DAS)直接連接到主機(jī)的存儲(chǔ)設(shè)備網(wǎng)絡(luò)存儲(chǔ)(NAS/SAN)通過網(wǎng)絡(luò)訪問的集中式存儲(chǔ)分布式存儲(chǔ)數(shù)據(jù)分散在多個(gè)節(jié)點(diǎn)上對(duì)象存儲(chǔ)以對(duì)象為單位管理數(shù)據(jù)直連存儲(chǔ)（DAS）概念存儲(chǔ)設(shè)備直接連接到服務(wù)器無需通過網(wǎng)絡(luò)優(yōu)點(diǎn)成本低配置簡單性能好應(yīng)用場景小型辦公室個(gè)人電腦單臺(tái)服務(wù)器網(wǎng)絡(luò)附加存儲(chǔ)（NAS）原理通過文件共享協(xié)議訪問特點(diǎn)基于文件級(jí)訪問和共享優(yōu)勢(shì)易于部署，集中管理局限性性能受網(wǎng)絡(luò)影響，擴(kuò)展性有限存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）架構(gòu)專用高速網(wǎng)絡(luò)連接存儲(chǔ)設(shè)備工作機(jī)制塊級(jí)訪問，類似本地磁盤應(yīng)用優(yōu)勢(shì)高性能，易擴(kuò)展，資源池化統(tǒng)一存儲(chǔ)統(tǒng)一管理單一平臺(tái)管理多種存儲(chǔ)2多協(xié)議支持同時(shí)支持文件和塊訪問硬件整合減少物理設(shè)備數(shù)量分布式存儲(chǔ)系統(tǒng)基本原理數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)優(yōu)勢(shì)高擴(kuò)展性，強(qiáng)可靠性典型實(shí)現(xiàn)Ceph、HDFS、GlusterFS對(duì)象存儲(chǔ)概念以對(duì)象為基本單位包含數(shù)據(jù)、元數(shù)據(jù)和唯一標(biāo)識(shí)符特點(diǎn)扁平命名空間海量數(shù)據(jù)管理能力豐富的元數(shù)據(jù)應(yīng)用場景云存儲(chǔ)服務(wù)大數(shù)據(jù)分析內(nèi)容分發(fā)第四部分：存儲(chǔ)虛擬化技術(shù)資源抽象化物理資源池化靈活配置按需分配存儲(chǔ)高效管理簡化運(yùn)維流程數(shù)據(jù)保護(hù)提升數(shù)據(jù)安全性存儲(chǔ)虛擬化概述定義隱藏存儲(chǔ)物理特性，提供統(tǒng)一視圖目的提高利用率，簡化管理實(shí)現(xiàn)層次塊級(jí)、文件級(jí)、對(duì)象級(jí)虛擬化塊級(jí)虛擬化原理在塊存儲(chǔ)層面抽象化物理設(shè)備提供統(tǒng)一的塊設(shè)備接口優(yōu)勢(shì)高性能透明遷移異構(gòu)設(shè)備整合實(shí)現(xiàn)方式主機(jī)層網(wǎng)絡(luò)層存儲(chǔ)設(shè)備層文件級(jí)虛擬化概念統(tǒng)一管理多個(gè)文件系統(tǒng)特點(diǎn)提供全局命名空間，透明數(shù)據(jù)訪問應(yīng)用文件服務(wù)器整合，數(shù)據(jù)遷移存儲(chǔ)池技術(shù)資源整合集中管理物理存儲(chǔ)1邏輯分配創(chuàng)建虛擬存儲(chǔ)卷智能調(diào)度優(yōu)化數(shù)據(jù)布局動(dòng)態(tài)擴(kuò)展按需增減容量精簡配置概念按需分配物理空間虛擬容量大于實(shí)際容量工作機(jī)制只在寫入時(shí)分配實(shí)際空間動(dòng)態(tài)擴(kuò)展存儲(chǔ)池優(yōu)缺點(diǎn)提高利用率，降低成本風(fēng)險(xiǎn)：空間耗盡數(shù)據(jù)重復(fù)刪除識(shí)別重復(fù)數(shù)據(jù)計(jì)算數(shù)據(jù)塊哈希值刪除冗余保留一份數(shù)據(jù)，建立引用3優(yōu)化存儲(chǔ)節(jié)省空間，提高效率第五部分：RAID技術(shù)數(shù)據(jù)保護(hù)提高容錯(cuò)能力性能提升并行讀寫操作多種級(jí)別適應(yīng)不同需求RAID概述定義獨(dú)立磁盤冗余陣列目的提高性能和可靠性實(shí)現(xiàn)方式軟件RAID和硬件RAID基本方法條帶化、鏡像和校驗(yàn)4RAID0條帶化原理數(shù)據(jù)分條存儲(chǔ)在多個(gè)磁盤無冗余或校驗(yàn)信息性能特點(diǎn)讀寫性能最佳容量利用率100%無容錯(cuò)能力應(yīng)用場景臨時(shí)數(shù)據(jù)處理高性能計(jì)算有備份的非關(guān)鍵數(shù)據(jù)RAID1鏡像原理數(shù)據(jù)完全復(fù)制到多個(gè)磁盤至少需要兩個(gè)磁盤優(yōu)點(diǎn)容錯(cuò)能力強(qiáng)讀取性能好恢復(fù)簡單缺點(diǎn)容量利用率低(50%)寫入性能不提升成本高RAID5工作機(jī)制數(shù)據(jù)條帶化加分布式奇偶校驗(yàn)性能特點(diǎn)讀性能好，寫性能受校驗(yàn)影響可靠性可容忍一個(gè)磁盤失效適用場景文件服務(wù)器，小型數(shù)據(jù)庫RAID6雙重校驗(yàn)原理使用兩個(gè)獨(dú)立校驗(yàn)塊至少需要四個(gè)磁盤與RAID5比較可靠性更高寫性能略低可用容量略少應(yīng)用場景關(guān)鍵業(yè)務(wù)系統(tǒng)大容量存儲(chǔ)陣列長時(shí)間重建環(huán)境其他RAID級(jí)別容錯(cuò)能力性能評(píng)分容量效率%第六部分：存儲(chǔ)網(wǎng)絡(luò)技術(shù)連接技術(shù)光纖通道、以太網(wǎng)、InfiniBand協(xié)議棧FC、iSCSI、FCoE、NVMe-oF網(wǎng)絡(luò)拓?fù)渲边B、交換結(jié)構(gòu)、混合模式存儲(chǔ)網(wǎng)絡(luò)概述1網(wǎng)絡(luò)定義連接存儲(chǔ)設(shè)備與主機(jī)的專用網(wǎng)絡(luò)核心作用提供高效可靠的數(shù)據(jù)傳輸路徑發(fā)展歷程從SCSI總線到高速網(wǎng)絡(luò)架構(gòu)光纖通道（FC）原理高速串行網(wǎng)絡(luò)技術(shù)支持多種上層協(xié)議特點(diǎn)低延遲高帶寬長距離傳輸高可靠性應(yīng)用場景企業(yè)級(jí)SAN存儲(chǔ)網(wǎng)絡(luò)關(guān)鍵業(yè)務(wù)數(shù)據(jù)中心iSCSI技術(shù)1基于IP網(wǎng)絡(luò)利用現(xiàn)有以太網(wǎng)基礎(chǔ)設(shè)施SCSI命令封裝在TCP/IP協(xié)議上傳輸SCSI命令存儲(chǔ)設(shè)備虛擬化遠(yuǎn)程存儲(chǔ)呈現(xiàn)為本地設(shè)備FCoE（基于以太網(wǎng)的光纖通道）概念將FC幀封裝在以太網(wǎng)幀中無損以太網(wǎng)技術(shù)特點(diǎn)統(tǒng)一網(wǎng)絡(luò)基礎(chǔ)設(shè)施簡化布線和管理保留FC協(xié)議特性對(duì)比分析比FC：簡化硬件比iSCSI：性能更好NVMeoverFabrics基于NVMe協(xié)議專為閃存優(yōu)化的高效協(xié)議支持多種網(wǎng)絡(luò)InfiniBand、RDMA、光纖通道超低延遲接近本地NVMe設(shè)備性能發(fā)展趨勢(shì)未來企業(yè)存儲(chǔ)網(wǎng)絡(luò)主流技術(shù)第七部分：數(shù)據(jù)保護(hù)技術(shù)備份技術(shù)數(shù)據(jù)復(fù)制與歸檔快照技術(shù)時(shí)間點(diǎn)數(shù)據(jù)視圖復(fù)制技術(shù)數(shù)據(jù)遠(yuǎn)程同步災(zāi)難恢復(fù)業(yè)務(wù)連續(xù)性保障數(shù)據(jù)備份基礎(chǔ)備份類型完全備份、增量備份、差異備份備份策略備份周期、介質(zhì)輪換、保留期限恢復(fù)目標(biāo)RTO(恢復(fù)時(shí)間)、RPO(恢復(fù)點(diǎn))快照技術(shù)原理捕獲特定時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài)保存元數(shù)據(jù)和變化塊類型寫時(shí)復(fù)制(COW)重定向?qū)懭?ROW)克隆快照應(yīng)用場景快速恢復(fù)測試和開發(fā)備份源數(shù)據(jù)復(fù)制技術(shù)同步復(fù)制實(shí)時(shí)數(shù)據(jù)鏡像，零數(shù)據(jù)丟失異步復(fù)制延遲復(fù)制，性能影響小半同步復(fù)制兼顧性能和數(shù)據(jù)保護(hù)持續(xù)數(shù)據(jù)保護(hù)（CDP）概念實(shí)時(shí)捕獲所有數(shù)據(jù)變化工作機(jī)制記錄每次寫操作，支持任意時(shí)間點(diǎn)恢復(fù)優(yōu)勢(shì)最小數(shù)據(jù)丟失，快速恢復(fù)能力挑戰(zhàn)資源消耗大，管理復(fù)雜災(zāi)難恢復(fù)15分鐘恢復(fù)時(shí)間目標(biāo)關(guān)鍵業(yè)務(wù)RTO指標(biāo)<1小時(shí)恢復(fù)點(diǎn)目標(biāo)數(shù)據(jù)庫RPO要求99.999%可用性目標(biāo)五個(gè)九系統(tǒng)穩(wěn)定性第八部分：存儲(chǔ)管理和優(yōu)化資源管理分配、監(jiān)控、規(guī)劃性能優(yōu)化瓶頸分析與調(diào)優(yōu)3可靠性保障安全策略與故障恢復(fù)存儲(chǔ)資源管理（SRM）核心功能容量監(jiān)控性能分析配置管理管理工具廠商專用軟件第三方集成平臺(tái)開源解決方案最佳實(shí)踐自動(dòng)化巡檢預(yù)警閾值設(shè)置報(bào)表和趨勢(shì)分析存儲(chǔ)性能優(yōu)化瓶頸分析識(shí)別性能熱點(diǎn)和限制因素分層存儲(chǔ)根據(jù)訪問頻率分配存儲(chǔ)介質(zhì)緩存優(yōu)化調(diào)整緩存策略和大小I/O路徑優(yōu)化多路徑、隊(duì)列深度調(diào)整存儲(chǔ)容量規(guī)劃已用容量(TB)預(yù)測需求(TB)存儲(chǔ)安全威脅和風(fēng)險(xiǎn)數(shù)據(jù)泄露、勒索軟件、內(nèi)部威脅安全策略訪問控制、加密、審計(jì)技術(shù)措施數(shù)據(jù)加密、安全擦除、漏洞修復(fù)存儲(chǔ)自動(dòng)化和編排自動(dòng)化