閃存存儲(chǔ)技術(shù)應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)

1、閃存存儲(chǔ)技術(shù)應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)吳忠杰北京憶恒創(chuàng)源科技有限公司Agenda 閃存技術(shù) 存儲(chǔ)軟件面臨的挑戰(zhàn) 高速數(shù)據(jù)存儲(chǔ)管理系統(tǒng) 大數(shù)據(jù)存儲(chǔ)展望 Q&A閃存技術(shù)企業(yè)級(jí)SSD發(fā)展SATA/SAS SSD 接口及軟件協(xié)議棧是性能瓶頸 支持雙端口和企業(yè)級(jí)應(yīng)用PCIe SSD 高性能 采用私有的傳輸協(xié)議 NVMe SSD 高性能 國(guó)際標(biāo)準(zhǔn)SSD的優(yōu)勢(shì)SSD的性能優(yōu)勢(shì)2000 x18x HDD、SATA_SDD以及NVMe_SSD性能對(duì)比Memblaze NVMe SSD 國(guó)內(nèi)首款高性能NVMe SSDMemblaze SSD技術(shù)糾錯(cuò)碼技術(shù)糾錯(cuò)碼技術(shù)數(shù)據(jù)重讀技術(shù)（數(shù)據(jù)重讀技術(shù)（Read retry） BCH/L

2、DPC 解決NAND Flash的位誤碼問(wèn)題 確保數(shù)據(jù)從NAND Flash顆?？煽孔x取數(shù)據(jù)持久化技術(shù)數(shù)據(jù)持久化技術(shù)(Data Retention) NAND Flash間間RAID技術(shù)（技術(shù)（RAIN） 確保數(shù)據(jù)在SSD中長(zhǎng)期存儲(chǔ) 確保數(shù)據(jù)在NAND Flash顆粒間可靠存儲(chǔ)閃存轉(zhuǎn)換層技術(shù)閃存轉(zhuǎn)換層技術(shù)(FTL)磨損均衡技術(shù)（磨損均衡技術(shù)（Wear Leveling） 實(shí)現(xiàn)SSD盤邏輯地址（LBA）和NAND Flash物理地址之間的映射 平衡SSD中NAND Flash顆粒磨損壽命 Dynamic / statistic / global wear leveling存儲(chǔ)軟件面臨的挑戰(zhàn)傳統(tǒng)存

3、儲(chǔ)軟件設(shè)計(jì)目標(biāo)減低磁盤尋道延遲、隨機(jī)抖動(dòng)，提高數(shù)據(jù)訪問(wèn)性能CacheNCQIO SchedulerDisk oriented data layout傳統(tǒng)存儲(chǔ)軟件棧導(dǎo)出協(xié)議棧（FC、ISCSI、NFS）文件系統(tǒng)卷管理系統(tǒng)數(shù)據(jù)保護(hù)系統(tǒng)多路徑管理子系統(tǒng)IO 調(diào)度器/SCSI協(xié)議層HBA驅(qū)動(dòng)層傳統(tǒng)文件系統(tǒng)數(shù)據(jù)布局對(duì)SSD的影響Superblock組描述符塊位圖Inode位圖Inode表數(shù)據(jù)區(qū)0號(hào)塊組1號(hào)塊組元數(shù)據(jù)區(qū)Bitmap位圖操作、頻繁的元數(shù)據(jù)更新操作對(duì)SSD引入額外的寫放大，降低使用壽命，降低IO性能。改變！存儲(chǔ)介質(zhì)發(fā)生了變化高速存儲(chǔ)性能瓶頸分析CPU單核無(wú)法發(fā)揮SSD性能多核共享資源NUMA非

4、對(duì)稱訪存中斷大量中斷中斷均衡操作系統(tǒng)內(nèi)存拷貝上下文切換SSD特性順序?qū)憙?yōu)于隨機(jī)寫寫懲罰網(wǎng)絡(luò)IOPS/帶寬瓶頸存儲(chǔ)問(wèn)題高性能計(jì)算問(wèn)題演變面向高速存儲(chǔ)介質(zhì)的軟件革新NVMe 驅(qū)動(dòng)應(yīng)用面向高速介質(zhì)的存儲(chǔ)軟件（RISL architecture）數(shù)據(jù)服務(wù)系統(tǒng)FlashRAID存儲(chǔ)管理系統(tǒng)NVMe 驅(qū)動(dòng)應(yīng)用高速數(shù)據(jù)存儲(chǔ)管理系統(tǒng)NVMe時(shí)代數(shù)據(jù)保護(hù)、卷管理何去何從？傳統(tǒng)軟RAID低速存儲(chǔ)解決方案高速存儲(chǔ)解決方案面向高速介質(zhì)進(jìn)行架構(gòu)革新解決高速存儲(chǔ)介質(zhì)新的問(wèn)題充分利用高速介質(zhì)新的特征Memblaze的答案：FlashRAID是什么？ FlashRAID是一款針對(duì)NVMe SSD數(shù)據(jù)保護(hù)、卷管理系統(tǒng)普適NVM

5、e SSD高速存儲(chǔ)介質(zhì)與Pblaze產(chǎn)品配合提供絕佳性能與可靠性為NVMe SSD提供數(shù)據(jù)存儲(chǔ)管理為NVMe SSD數(shù)據(jù)可靠性保駕護(hù)航FlashRAID是什么？高速存儲(chǔ)解決方案LVM卷管理器RAID數(shù)據(jù)保護(hù)低速存儲(chǔ)介質(zhì)FlashRAID高速存儲(chǔ)介質(zhì)SCSI中間層/HBA驅(qū)動(dòng)NVMe驅(qū)動(dòng)數(shù)據(jù)庫(kù)文件系統(tǒng)數(shù)據(jù)庫(kù)文件系統(tǒng)FlashRAID 1.0產(chǎn)品主要特性數(shù)據(jù)保護(hù)（Data Protection）可擴(kuò)展性能（Scalable Performance） 為NVMe SSD數(shù)據(jù)可靠性保駕護(hù)航 充分發(fā)揮NVMe SSD的性能可擴(kuò)展存儲(chǔ)容量（Scalable Capacity）快速數(shù)據(jù)重構(gòu)（Fast Rec

6、onstruction） 存儲(chǔ)容量線性擴(kuò)展、簡(jiǎn)化存儲(chǔ)容量管理 確保用戶數(shù)據(jù)存儲(chǔ)的可靠性一致的數(shù)據(jù)訪問(wèn)性能（Consistent Performance）統(tǒng)一存儲(chǔ)資源管理（Unify Storage Management） 確保用戶IO訪問(wèn)性能的一致性 全面管理系統(tǒng)存儲(chǔ)資源，簡(jiǎn)化存儲(chǔ)管理簡(jiǎn)便的系統(tǒng)管理（easy system management）存儲(chǔ)資源精簡(jiǎn)配置（Thin provisioning） 人性化的系統(tǒng)管理 簡(jiǎn)化用戶存儲(chǔ)配置管理FlashRAID典型應(yīng)用通用服務(wù)器通用服務(wù)器FlashRAID技術(shù)架構(gòu)FlashRAID關(guān)鍵技術(shù)存儲(chǔ)資源池技術(shù)（Storage Pool）無(wú)鎖IO處理模型（

7、Lock-free IO handling model） 分離數(shù)據(jù)保護(hù)域與物理存儲(chǔ)資源域 加速數(shù)據(jù)重構(gòu)性能，增強(qiáng)數(shù)據(jù)可靠性 確保系統(tǒng)性能的線性可擴(kuò)展 提升CPU處理效率全局磨損均衡/逆均衡可變長(zhǎng)度條帶（Variable Stripe） 延長(zhǎng)SSD的使用壽命 避免多盤同時(shí)發(fā)生故障 減小SSD的數(shù)據(jù)寫放大智能數(shù)據(jù)重構(gòu)（Smart data reconstruction）偽隨機(jī)數(shù)據(jù)分配（Pseudo-random allocator） 確保數(shù)據(jù)可靠性 平衡SSD盤中存儲(chǔ)資源，減少數(shù)據(jù)遷移存儲(chǔ)對(duì)象管理（Storage object）可靠元數(shù)據(jù)管理（Reliable Superblock Managem

8、ent） 簡(jiǎn)化存儲(chǔ)資源管理 確保存儲(chǔ)數(shù)據(jù)可靠性創(chuàng)新架構(gòu)：Storage Pool緊耦合傳統(tǒng)RAID架構(gòu)SSDSSDSSDSSD資源分配器chunkRAID AlgorithmRAID Algorithm存儲(chǔ)對(duì)象數(shù)據(jù)保護(hù)域物理資源管理域創(chuàng)新技術(shù)：無(wú)鎖IO處理模型More CPUs, Higher Performance創(chuàng)新技術(shù)：全局磨損均衡/逆均衡Global Wear LevelingAnti Wear Leveling使得整體SSD使用壽命達(dá)到最長(zhǎng)避免SSD同時(shí)發(fā)生故障lifespanlifespan創(chuàng)新技術(shù)：智能數(shù)據(jù)重構(gòu)優(yōu)先級(jí)調(diào)度數(shù)據(jù)重構(gòu)算法數(shù)據(jù)感知重構(gòu)算法局部快速數(shù)據(jù)重構(gòu)算法提高數(shù)據(jù)可靠性，保證數(shù)據(jù)在極短的時(shí)間內(nèi)恢復(fù)，降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)FlashRAID性能評(píng)估（4 x Pblaze4）FlashRAID性能對(duì)比6X8.6X1.6X大數(shù)據(jù)存儲(chǔ)展望閃存在數(shù)據(jù)中心松耦合集群分布式存儲(chǔ)系統(tǒng)p Scale Outp Commodity Serverp All Flash總結(jié)SSDSSD將成為數(shù)據(jù)存儲(chǔ)的主流將成為數(shù)據(jù)存儲(chǔ)的主流價(jià)格不斷下降、存儲(chǔ)密度不斷提升、性能大幅度提升傳統(tǒng)存儲(chǔ)軟件技術(shù)無(wú)法適應(yīng)高速傳統(tǒng)存儲(chǔ)軟件技術(shù)無(wú)法適應(yīng)高速SSDSSD的應(yīng)用需求的應(yīng)用需求傳統(tǒng)存儲(chǔ)軟件成為性能瓶頸無(wú)法解決新介質(zhì)的問(wèn)題，同時(shí)造成新的問(wèn)題FlashRA