Compellent 技術(shù)細(xì)節(jié)一覽

Compellent技術(shù)細(xì)節(jié)一覽浮生一日之

DellCompellent數(shù)據(jù)頁(yè)：

DynamicCapacity,DataInstantReplay和DataProgression強(qiáng)大功能背后的秘密3Compellent流動(dòng)數(shù)據(jù)架構(gòu)簡(jiǎn)化管理虛擬化服務(wù)器理想的存儲(chǔ)平臺(tái)獨(dú)立于磁盤(pán)類(lèi)型,接口類(lèi)型和RAID方式存儲(chǔ)空間占用的“無(wú)浪費(fèi)”購(gòu)買(mǎi)更少的磁盤(pán)介質(zhì)節(jié)省電能損耗和占用空間成熟的數(shù)據(jù)遷移驅(qū)動(dòng)策略決策的數(shù)據(jù)移動(dòng)優(yōu)化數(shù)據(jù)的排列和存儲(chǔ)位置數(shù)據(jù)塊級(jí)的智能化數(shù)據(jù)卷內(nèi)管理數(shù)據(jù)跟蹤訪問(wèn)頻繁程度激活獨(dú)有的特性和優(yōu)勢(shì)虛擬化智能化自動(dòng)化空間優(yōu)化SSDFCSASSATARAID10RAID5RAID615K10K7.2KMETADATADataaboutthedata.Tier2Tier2Tier1Tier3DisksnotpurchasedUnusedallocationDataDataVolumePagepoolPagePool匯聚了已分配和未分配的數(shù)據(jù)塊眾多的頁(yè)組成了數(shù)據(jù)卷Metadata的維護(hù)缺省的頁(yè)大小是2MB(4,096blocks)自動(dòng)和成熟的數(shù)據(jù)塊管理依靠重定向到頁(yè)來(lái)改變RAID方式系統(tǒng)跨多種RAID方式管理數(shù)據(jù)的位置單個(gè)文件橫跨多個(gè)物理磁盤(pán)支持多種磁盤(pán)介質(zhì)和RAID方式增加新的磁盤(pán)會(huì)導(dǎo)致重新條帶化

PagePool按需擴(kuò)大和縮小獨(dú)立的碎片整理和性能分布Compellent流動(dòng)數(shù)據(jù)架構(gòu)45DataProgression的每日一次的數(shù)據(jù)移動(dòng)缺省的遷移時(shí)間7p.m.以頁(yè)為單位移動(dòng)歷史的Replay頁(yè)會(huì)立即被下沉到低層的介質(zhì)中12daysdown,3upDataProgression的數(shù)據(jù)移動(dòng)可以同時(shí)在多卷系統(tǒng)上實(shí)現(xiàn)發(fā)生RAID的重新條帶化的條件:增加新的磁盤(pán)當(dāng)頁(yè)的活動(dòng)頻繁程度低的時(shí)候Dataprogression$$$RAID10$$RAID10RAID5or6$RAID5RAID615KFibreChannelorSAS7.2KSASSSDTier1Tier2Tier3StorageProfiles67PagePool的RAID類(lèi)型是由數(shù)據(jù)層的冗余級(jí)別來(lái)定義的每個(gè)數(shù)據(jù)層都有自己的RAID方式，可以和其他層不一樣單冗余級(jí)別的RAID方式有RAID10,RAID5/5和RAID5/9雙冗余級(jí)別的RAID方式有RAID10DM,RAID6/6,andRAID6/10缺省來(lái)講，新系統(tǒng)任何數(shù)據(jù)層的900GB或者超過(guò)900GB的磁盤(pán)會(huì)被配置成雙冗余級(jí)別冗余級(jí)別可以在數(shù)據(jù)的移動(dòng)中改變可用的RAID類(lèi)型8兩種數(shù)據(jù)頁(yè):可訪問(wèn)的（具備指針意義）和歷史頁(yè)(Replay)

可訪問(wèn)頁(yè)可以被服務(wù)器同時(shí)讀寫(xiě)

歷史頁(yè)是只讀的（由InstantReplay產(chǎn)生的）DataProgression使用數(shù)據(jù)頁(yè)的可訪問(wèn)性來(lái)確定數(shù)據(jù)頁(yè)的存放數(shù)據(jù)層Compellent流動(dòng)數(shù)據(jù)架構(gòu)ABCDEC19Tiers Tier1,Tier2,Tier3DiskZones Fast和StandardRAIDLevels SingleRedundancyRAID10,RAID5-5(4+1),RAID5-9(8+1)DualRedundancyRAID10DM,RAID6-6(4+2),RAID6-10(8+2)PageSizes512KB,2MB,4MB性能優(yōu)化的級(jí)別10數(shù)據(jù)頁(yè)怎么協(xié)調(diào)各個(gè)功能模塊工作的存儲(chǔ)系統(tǒng)分三個(gè)數(shù)據(jù)層數(shù)據(jù)卷被缺省配置成使用推薦的StorageProfileTier1是單冗余級(jí)別，Tier3是雙冗余級(jí)別每天下午6點(diǎn)鐘會(huì)發(fā)生一次單獨(dú)的Replay并保留3天今天創(chuàng)建了一個(gè)數(shù)據(jù)卷數(shù)據(jù)卷容量1TB數(shù)據(jù)頁(yè)的生命周期TIER1RAID10TIER3RAID6TIER1RAID10TIER1RAID5BCDAPAGESE數(shù)據(jù)頁(yè)的生命周期116PMMon7PMDailyDataProgression6PMTueABCDEC1READAREADCWriteC1DATAReplayTIER1RAID10TIER3RAID6TIER1RAID5TIER1RAID10HistoricalReadsABCDEActiveWrites白天不斷寫(xiě)入數(shù)據(jù)周一的下午6點(diǎn)發(fā)生了一次Replay讀寫(xiě)依舊繼續(xù)只有數(shù)據(jù)變化的數(shù)據(jù)頁(yè)被重寫(xiě)周一下午7點(diǎn)，DataProgression開(kāi)始運(yùn)行周二下午6點(diǎn)的Replay發(fā)生讀寫(xiě)依舊繼續(xù)只有數(shù)據(jù)變化的數(shù)據(jù)頁(yè)被重寫(xiě)周二下午7點(diǎn)，DataProgression開(kāi)始運(yùn)行ABCDEC1C2E1ReplayREADC1WriteC2READEWriteE1ΔChangesΔChangesC1EHistoricalReadsHistoricalReads數(shù)據(jù)頁(yè):可訪問(wèn)的,歷史的12可訪問(wèn)的，最近可以被讀寫(xiě)的數(shù)據(jù)卷中被使用得頻繁的活動(dòng)數(shù)據(jù)頁(yè)可訪問(wèn)的，最近沒(méi)有被讀寫(xiě)的最近沒(méi)有被使用過(guò)的可讀寫(xiě)數(shù)據(jù)頁(yè)

歷史的，最近被訪問(wèn)過(guò)的

數(shù)據(jù)卷中被讀操作使用頻繁的只讀數(shù)據(jù)頁(yè)ThinkReplays歷史的，最近沒(méi)有被讀寫(xiě)的最近沒(méi)有被使用過(guò)的只讀數(shù)據(jù)頁(yè)歷史的，從來(lái)沒(méi)有被訪問(wèn)的數(shù)據(jù)卷中從來(lái)沒(méi)有被訪問(wèn)過(guò)的只讀數(shù)據(jù)頁(yè)也就是說(shuō)，這些數(shù)據(jù)被定義為陳舊的數(shù)據(jù)頁(yè)系統(tǒng)維護(hù)這些數(shù)據(jù)頁(yè)用于數(shù)據(jù)恢復(fù)的目的，并被下沉到最廉價(jià)的介質(zhì)層C2E1ABC數(shù)據(jù)頁(yè)的生命周期136PMMon7PMDailyDataProgression6PMTueREADADATAReplayTIER1RAID10TIER3RAID6TIER1RAID5TIER1RAID10HistoricalReadsActiveWrites周三下午6點(diǎn)的Replay發(fā)生周三下午7點(diǎn)的DataProgression運(yùn)行周一下午6點(diǎn)的Replay失效周二下午6點(diǎn)的Replay保留PageC被釋放回PagePoolCC2E1ReplayREADC1WriteC2READEWriteE1ΔChangesΔChangesC1ABDEHistoricalReadsHistoricalReadsReplayC2E1CC2E1READC2WriteC3…READE1WriteE2…6PMWed數(shù)據(jù)頁(yè)生命周期

恢復(fù)一個(gè)數(shù)據(jù)卷146PMTueREADADATAReplayTIER1RAID10TIER3RAID6TIER1RAID5TIER1RAID10HistoricalReadsActiveWritesC3E2ReplayΔChangesC1ABDEHistoricalReadsHistoricalReadsC2E1READC2WriteC3READE1WriteE2RecoveryofVolume1->

Volume2Volume1恢復(fù)一個(gè)ReplayReplay卷成為一個(gè)新的數(shù)據(jù)卷新的Replay卷共享只讀的數(shù)據(jù)頁(yè)ΔChanges6PMWed數(shù)據(jù)頁(yè)生命周期恢復(fù)一個(gè)數(shù)據(jù)卷15C3E2ABC1DE6PMTueC2E1READAREADC2WriteC3ReplayREADE1WriteE26PMWedTime3DATADATAC4E3Volume1Volume2READAREADC2WriteC4READE1WriteE3Time0ΔChangesRecoveryView數(shù)據(jù)頁(yè)生命周期

Unmap/空間回收16TIER1RAID10TIER3RAID6TIER1RAID5TIER1RAID10HistoricalReadsActiveWritesC3E2ReplayΔChangesHistoricalReadsHistoricalReadsC2E1ΔChangesUnmapUnmapE2C2E16PMTueDATAReplayC1ABDEUnmapPagesUnmap

請(qǐng)求

活動(dòng)Replay的pagesD&EReturnE2toPagepoolMarkblocksasunmapped周三下午6點(diǎn)的Replay作廢C2&E1的空間被釋放回Pagepool周二下午6點(diǎn)的Replay保留CoalesceReplay6PMWed17“OptimizedforFlashEnvironments”O(jiān)nDemandDataProgression優(yōu)化的全閃存環(huán)境引入了ReadIntensiveSSD數(shù)據(jù)層對(duì)傳統(tǒng)磁盤(pán)也有效DataProgression在每次Replay發(fā)生后就運(yùn)行被鎖定的只讀數(shù)據(jù)被迅速轉(zhuǎn)化為RAID5RAID5數(shù)據(jù)塊迅速地被轉(zhuǎn)移至全閃存環(huán)境的ReadIntensive(RI)MLC磁盤(pán)介質(zhì)中

對(duì)空間進(jìn)行管理的Replays監(jiān)控和管理Tier1的RAID10的存儲(chǔ)空間當(dāng)空間只剩下5%時(shí)初始化ReplayOndemanddataprogression在每次replay后就運(yùn)行StorageCenter6.4dataprogression的改進(jìn)$$$RAID10$$RAID5RAID5RISSDWISSDTier1Tier2TolearnaboutenhancementstoDataProgression,gosee:“DellCompellentStorageCenterSolidStateReferenceArchitecturesandUseCases”Thursday10amRoom210F18DellCompellent推薦遵循我們的系統(tǒng)最佳實(shí)踐，以充分發(fā)揮存儲(chǔ)特性的優(yōu)勢(shì)rReplay的最佳實(shí)踐所有的數(shù)據(jù)卷每天至少有一次定時(shí)的Replay對(duì)于log,swap,andpagefile卷，無(wú)須移動(dòng)數(shù)據(jù)數(shù)據(jù)卷的最佳實(shí)踐為所有的數(shù)據(jù)卷配置推薦的StorageProfile對(duì)于log,swap,andpagefile卷，推薦使用高優(yōu)先級(jí)的Tier1數(shù)據(jù)層相關(guān)資源:Presentationisavailableforregisteredattendeesat:最佳實(shí)踐Compellent的數(shù)據(jù)增效技術(shù)–FluidDataReduction20使用Dell的存儲(chǔ)技術(shù)可以最大限度地提高端到端的存儲(chǔ)效率最佳拍檔：DellFluidFileSystem+FluidDataReduction現(xiàn)有市場(chǎng)上的數(shù)據(jù)縮減技術(shù)使用FluidDataReduction有哪些不同技術(shù)簡(jiǎn)介重復(fù)數(shù)據(jù)刪除功能Read-modify-write進(jìn)程性能和效率的問(wèn)題Q&A議程

21使命:使用先進(jìn)的技術(shù)來(lái)最大限度地提高用戶IT環(huán)境的存儲(chǔ)使用率和投資回報(bào)率在DellFluidFS解決方案中引入數(shù)據(jù)縮減技術(shù)優(yōu)化數(shù)據(jù)移動(dòng)無(wú)論塊級(jí)和文件存儲(chǔ)都可以使用精簡(jiǎn)配置Scale-out架構(gòu):及時(shí)快速的數(shù)據(jù)縮減高投資回報(bào):領(lǐng)先的Dell數(shù)據(jù)縮減技術(shù)最大化的數(shù)據(jù)效率：

流動(dòng)數(shù)據(jù)架構(gòu)的核心技術(shù)BetterTogetherBestOwnershipExperienceInnovativeLicensingMaximumEfficiencyDynamic

TieringNativeCloud

IntegrationScaleOutDesignsSelfProtecting22自動(dòng)地將不活躍的數(shù)據(jù)塊下沉至低價(jià)磁盤(pán)將最活躍的數(shù)據(jù)存儲(chǔ)在磁盤(pán)最外道的柱面上充分發(fā)揮SSD的IO性能，不至造成磁盤(pán)資源的瓶頸數(shù)據(jù)效率–DataProgressionDIDYOUKNOW?84%ofourupgradeordersareforlow-cost,high-capacitydrives.TraditionalSANCompellent$$$RAID10$$RAID10RAID5or615KFibreChannelorSAS7.2KSASSSDTier1Tier2Tier3$RAID5RAID623無(wú)須預(yù)分空間快照的精簡(jiǎn)配置“Thin”data的遷移FluidFSv3發(fā)布后已經(jīng)可以支持文件級(jí)的精簡(jiǎn)配置數(shù)據(jù)效率–塊級(jí)和文件級(jí)精簡(jiǎn)配置UnusedAllocationDataUnusedAllocationDataDisksnotpurchasedUnusedAllocationDataDataVolBVolAVolBVolATraditionalStorageCompellentThinProvisioningDIDYOUKNOW?100%ofCompellentcustomersusethinprovisioning.24端到端虛擬化促進(jìn)了系統(tǒng)的靈活性和簡(jiǎn)約化LUNmappingStoragearrayLUNNLUN1LUN2ExportsharesviaCIFS/NFSFluidFSclusterNASpoolNASvolume1NASvolume2Share1Share2Share3SnapshotspaceShare4Compellent為FS8600

NASPool提供存儲(chǔ)空間;自動(dòng)分配StorageCentervolumes以NASvolume為粒度設(shè)置象DataReduction,snapshots,replication這樣的策略

管理員在NASPool中分配N(xiāo)ASvolumes并為之建立CIFSsharesandNFSexportsNASPool是虛擬化的存儲(chǔ)呈現(xiàn)，可以提供可擴(kuò)展空間高達(dá)2PB的單一命名空間的volumeTHISSLIDEUSESTRANSITIONS25FluidFSv3的新功能包含了業(yè)界唯一的策略驅(qū)動(dòng)、post-process重復(fù)數(shù)據(jù)刪除和可選的LZPS壓縮技術(shù)對(duì)于現(xiàn)有用戶而言FluidFSv3的升級(jí)沒(méi)有任何的硬件和License的費(fèi)用流動(dòng)數(shù)據(jù)縮減技術(shù)優(yōu)化文件存儲(chǔ)OBJECTIVEMaximizecapacityusagewhileincreasingreturnoninvestment.通過(guò)使用指針把重復(fù)的數(shù)據(jù)空間標(biāo)識(shí)成單一目標(biāo)，重復(fù)數(shù)據(jù)刪除技術(shù)減小了重復(fù)數(shù)據(jù)片段的存在概率壓縮技術(shù)減少了

FluidFSNAS的存儲(chǔ)空間InformationunderNDAuntilJune5,201326現(xiàn)有的數(shù)據(jù)重復(fù)刪除技術(shù)單一對(duì)象存儲(chǔ)尋找到重復(fù)文件，然后再轉(zhuǎn)變?yōu)閱我粊?lái)源文件級(jí)而不是塊級(jí)的重復(fù)刪除技術(shù)資源占用少但是dedupe的效果差mikes_doc.XLSmikes_doc.XLS定長(zhǎng)chunk的Dedupe技術(shù)將數(shù)據(jù)塊等分成相同大小的chunk，以chunk為單位實(shí)現(xiàn)唯一來(lái)源和數(shù)據(jù)空間刪除數(shù)據(jù)塊的變化可能導(dǎo)致定長(zhǎng)數(shù)據(jù)模式巨大的變化，從而降低dedupe效率資源占用少但是dedupe的效果差4KB4KB4KB4KB4KB4KBInformationunderNDAuntilJune5,201327可變長(zhǎng)塊的dedupe技術(shù)文件一旦滿足實(shí)現(xiàn)設(shè)定的壓縮標(biāo)準(zhǔn)就被dedupe使用改進(jìn)的智能數(shù)學(xué)模型，chunk的大小由數(shù)據(jù)型態(tài)和邏輯決定，大小不一Dedupeengine拆分和聚合文件，轉(zhuǎn)化為128KB+/-64KB不等長(zhǎng)的chunksFluidFS使用全新的數(shù)據(jù)dedupe技術(shù)64KB96KB128KB可變長(zhǎng)數(shù)據(jù)塊的重復(fù)數(shù)據(jù)刪除技術(shù)的刪除率高于單一文件來(lái)源和等長(zhǎng)chunk的重復(fù)刪除技術(shù)尤其適用于非結(jié)構(gòu)化數(shù)據(jù)THISSLIDEUSESTRANSITIONSInformationunderNDAuntilJune5,2013FingerprintistakenLookitupinthedictionarySeenitbefore?Yes,already

haveitObjectmapupdatedRefcount+1ChunkisgarbagecollectedFluidDataReductiondedupe的數(shù)理邏輯流程SystemselectschunkofdataChunkofdataissavedNo,it’s

newdataOptionallyCompressInformationunderNDAuntilJune5,201329對(duì)于已壓縮數(shù)據(jù)高效的讀操作FluidFSDatareductionserviceDedupedandcompressedfileClientreadsbyteXUnreducedBlockincacheIn-band,inmemoryrehydrationofblocksreadUpdatefilemetadata-AtimeTHISSLIDEUSESTRANSITIONSInformationunderNDAuntilJune5,201330對(duì)于已壓縮數(shù)據(jù)高效的讀寫(xiě)操作FluidFSDatareductionserviceDedupedandcompressedfileUpdateFilemetadata:A/MtimeUnreduced4KBblockClientmodifiesbyteXIn-band,inmemoryrehydrationofblocksreadTHISSLIDEUSESTRANSITIONSInformationunderNDAuntilJune5,201331分布式的數(shù)據(jù)縮減架構(gòu)以NASvolume為單位實(shí)現(xiàn)數(shù)據(jù)縮減策略和定時(shí)操作FluidFSclusterNASpoolNASvolume1NASvolume2Share1Share2Share3SnapshotspaceShare4FS8600NAScluster每個(gè)NAS控制器都參與對(duì)于NASVolume中數(shù)據(jù)的縮減單一NASVolume中的數(shù)據(jù)分布式橫跨在多個(gè)NAS控制器上數(shù)據(jù)縮減作業(yè)被高效均衡地分配到整個(gè)FluidFS系統(tǒng)ScopeofdatareductionTHISSLIDEUSESTRANSITIONSInformationunderNDAuntilJune5,201332Post-process架構(gòu)描述Policydefined:

M-time>30daysFluidFSFilemeetsM-time?inodeYesPerformdedupeandcompressionDataReductionServiceNASVolumeClientwritesfileFooFooData

StoreFooBlockMapTHISSLIDEUSESTRANSITIONSInformationunderNDAuntilJune5,201333對(duì)于不同的NASVolume實(shí)現(xiàn)不同的策略基于“l(fā)asttimeaccessed”

或者“

lasttimemodified”30-dayminimumdataageOR“archivemode”定時(shí)的datareduction周期設(shè)定在非高峰時(shí)段以避免對(duì)生產(chǎn)系統(tǒng)造成性能影響設(shè)定datareduction的頻率為每一個(gè)NASvolume選擇不同的壓縮數(shù)理邏輯Dedupeonly:低性能影響Dedupeandcompression:更節(jié)省空間使用良好優(yōu)化的縮減技術(shù)實(shí)現(xiàn)業(yè)務(wù)目標(biāo)良好的策略設(shè)定可以在信息的生命周期中實(shí)現(xiàn)存儲(chǔ)的SLA

InformationunderNDAuntilJune5,2013流動(dòng)數(shù)據(jù)縮減的性能原理

Hot

dataCold

dataIOPSFilesa-timeorm-timepolicysetting一般來(lái)講，只有少部分?jǐn)?shù)據(jù)是熱點(diǎn)數(shù)據(jù)，經(jīng)常被用戶訪問(wèn)不活躍和“冷”數(shù)據(jù)占據(jù)了絕大部分?jǐn)?shù)據(jù)容量將絕大部分的“冷”數(shù)據(jù)進(jìn)行縮減Post-process保證了較低的性能負(fù)載影響對(duì)于“熱”數(shù)據(jù)的影響為0%InformationunderNDAuntilJune5,201335讀性能優(yōu)化的縮減技術(shù)不影響從活躍文件讀取數(shù)據(jù)的性能從完全壓縮優(yōu)化的文件中讀取數(shù)據(jù)的性能降低10-40%數(shù)據(jù)優(yōu)化的設(shè)計(jì)就是為了盡量小地影響整體系統(tǒng)的性能性能敏感的用戶可以通過(guò)定時(shí)發(fā)生實(shí)現(xiàn)數(shù)據(jù)縮減優(yōu)化優(yōu)化的壓縮率和性能空間節(jié)?。▽?duì)于常見(jiàn)的家用數(shù)據(jù)環(huán)境）50%3-4TB壓縮率優(yōu)化（每appliance，每天）InformationunderNDAuntilJune5,201336快照快照技術(shù)完全集成于流動(dòng)數(shù)據(jù)縮減架構(gòu)對(duì)于NASvolume和其相應(yīng)的快照來(lái)講，數(shù)據(jù)縮減可以隨時(shí)被激活現(xiàn)有文件所包含的數(shù)據(jù)內(nèi)容被縮減在現(xiàn)有數(shù)據(jù)和快照數(shù)據(jù)間共享的數(shù)據(jù)也被縮減了在激活數(shù)據(jù)縮減機(jī)制之前，不需要?jiǎng)h除已存在的快照復(fù)制復(fù)制作用于本地?cái)?shù)據(jù)在數(shù)據(jù)縮減機(jī)制運(yùn)行之前，大部分的文件應(yīng)該被復(fù)制到遠(yuǎn)端數(shù)據(jù)中心源端NASVolume的縮減策略獨(dú)立于遠(yuǎn)端數(shù)據(jù)中心的復(fù)制NASVolumeNDMP備份NDMP只作用于本地?cái)?shù)據(jù)流動(dòng)數(shù)據(jù)縮減和數(shù)