vSphere 5 存儲空間回收

vSphere5.x存儲空間回收--用DELLEQL為例子近日，公司內(nèi)部很多案子都討論到空間回收這個話題起因，是客戶在EQL（其他存儲也一樣）的管理界面看到的可用空間和vmware內(nèi)部看到的不一致原因，EQL是block（塊）級別的存儲，它不是一個文件系統(tǒng)；當一個文件被刪除了，ESXi沒有告訴底層把這文件占用的塊清除掉；這個新的（相對于esxi4）名詞叫-unmap|』在esxi5.x已經(jīng)開始支持用一個工具手工的回收這些空間。所以在esxi看到的空間和存儲上顯示的不同。一般情況下，esxi看到的可用空間是比存儲上看到的可用空間要大解決辦法或者說工具在帖子后面ARRAY:GUIspaceusagediffersfromwhattheOSshowsQ:WhyisthereadiffereneebetweenwhatmyfilesystemshowsasspaceusedandwhatthePSarrayGUIshowsforin-useforthevolume?A:ThePSarrayisblock-storage,andonlyknowsaboutareasofavolumethathaveeverbeenwritten.ThePSSeriesGUIreportsthisinformationforeachvolume.Volumeallocationgrowsautomaticallyduetoapplicationdatawrites.Iflatertheapplicationfreesupspace,thespaceisnotmarkedasunusedinthePSSeriesGUI.HencethediffereneeinviewsbetweentheOS/filesystemandthePSSeriesGUI.Withthinprovisionedvolumes,thisperceptioncanbemorepronounced.Thinprovisioningisastoragevirtualizationandprovisioningmodelthatallowsadministratorstologicallyallocatelargeaddressablestoragespacetoavolume,yetnotphysicallycommitstorageresourcestothisspaceuntilitisusedbyanapplication.Forexample,usingthinprovisioningyoucancreateavolumethatanapplicationviewsas3TB,whileonlyallocatting300GBofphysicalstoragetoit.Astheoperatingsystemwritestothevolume,physicaldiskspaceisallocatedtothevolumebythestoragearray.Thisphysicaldiskspaceistakenfromtheavailablefreespaceinthepoolautomaticallyandtransparently.Asaresult,lessphysicalstorageisneededovertime,andthestrandedstorageproblemiseliminated.Theadministratorenjoysmanagementbenefitssimilartoover-provisioning,yetmaintainstheoperationalefficienciesofimprovedphysicalstorageutilization.Thismoreefficientuseofphysicalstorageresourcestypicallyallowsanorganizationtodeferorreducestoragepurchases.Thinprovisioningisaforwardplanningtoolforstorageallocationinwhichallthestorageanapplicationwillneedisallocatedupfront,eliminatingthetraumaofexpandingavailablestorageinsystemsthatdonotsupportonlineexpansion.Becausetheadministratorinitiallyprovisionstheapplicationwithallthestorageitwillneed,repeateddatagrowthoperationsareavoided.Mostimportant,becauseofthediffereneebetweenrealityandperception,anyoneinvolvedwiththinprovisionedstoragemustbeawareofthedualityinplay.Ifallplayersarenotvigilantsomeonecouldstartdrawingontheun-provisionedstorage一exceedingcapacity,disruptingoperations,orrequiringadditionalunplannedcapitalinvestments.Athin-provisionedvolumealsogrowsautomaticallyduetoapplicationdatawrites一thespaceisdrawnfromthepoolfreespace(ratherthanhavingbeenpre-allocatedinanormalvolume).Iflatertheapplicationfreesupspace,thespaceisfreeinthefilesystembutisnotreturnedtothefreespaceinthePSSeriespool.TheonlywaytoreducethephysicalallocationintheSANistocreateanewvolume,copytheapplicationdatafromtheoldvolumetothenew,andthendeletetheoldvolume.AsimilarproblemiswhentheinitiatorOSreportssignificantlymorespaceinusethanthearraydoes.ThiscanbepronouncedinsystemslikeVMWarethatcreatelarge,sparsefiles.InVMWare,ifyoucreateyourselfa10GBdiskforaVMasaVMDKfile,VMWaredoesnotwrite10GBofzerostothefile.Itcreatesanempty(sparse)10GBfile,andsubtracts10GBfromfreespace.TheactofcreatingtheemptyfileonlytouchesafewMBofactualsectorsonthedisk.SoVMWaresays10GBmissing,butthearraysays,perhaps,only2MBwrittento.neetheminimumvolumereserveforanyvolumeis10%,thefilesystemhasalongwaytogobeforetheMB-scalewritescatchupwiththeminimumreservationofavolume.Forinstanee,acustomerwitha100GBvolumemightcreate5VMswith10GBdisks.That's50GBusedaccordingtoVMWare,butonlyperhaps5x2MB(10MB)writtentothearray.UntilthecustomerstartsfillingtheVMDKfileswithactualdata,thearraywon'tknowanythingisthere.IfhasnoideawhatVMFSis;itonlyknowswhat'sbeenwrittentothevolume.Example:Afileshareisthin-provisionedwith1TBlogicalsize.Dataisplacedintothevolumesothatthephysicalallocationgrowsto500GB.Filesaredeletedfromthefilesystem,reducingthereportedfilesysteminuseto100GB.Theremaining400GBofphysicalstorageremainsallocatedtothisvolumeintheSAN.Thisissuecanalsooccurwithmaintenanceoperationsincludingdefragmentation,databasere-organization,andotherapplicationoperations.Inmostenvironments,filesystemsdonotdramaticallyreduceinsize,sothisissueoccursinfrequently.Alsosomefilesystemswillnotmakeefficientre-useofpreviouslyallocatedspace,andmaynotreusedeletedspaceuntilitrunsoutofunusedspace(thisisnotanissueforNTFS,VMFS).Arelatedquestionishowcanthispreviouslyused,butnownot-in-usespacebereclaimedintheSAN?Todaythiswouldrequirethecreationofanewvolumeandcopyingthevolumedatafromoldtonew.Thislikelywouldrequiretheapplication/usersthatusethefilesystemtobeoffline(aplannedmaintenancewindow).Inthefuture,filesystemssuchasNTFSinWindowsServer2008willallowonlineshrinkinadditiontotheexistingonlinegrowoperations.Theresultwiththisprocedurewouldbetheabilitytoreclaimfreespacewouldbedoneonline(perhapsduringnon-peaktimes),wherethefilesystemisshrunkonline,thenre-grownonlinetoitsoriginalsize.Thiswouldreclaimthevolumespace,howevertheremaybeadelayingainingthefreespacebacktothepoolfreespaceifsnapshotsarepresent,astheywouldholdthereleasedspaceuntilthesnapshotsage(andareautomaticallydeleted).InsomecasestheamountofspaceusedonthearraywillshowLESSthanwhatisshownbytheOS.Forexample,VMwareESX.WhenESX3.xcreatesa20GBVMDK,itdoesn'tactuallywrite20GBofdatatothevolume.Asmallfileiscreated,thenESXtellsthefileallocationtablethat20GBhasbeenallocated.Overtimeasdataisactuallywrittenanddeleted,thiswillswingbacktheotherway.WhereESXsaysthere'slessspaceallocatedthanwhatthearrayGUIindicates.先看機器翻譯的:數(shù)組：GUI空間使用不同于操作系統(tǒng)的顯示解決方案詳細信息問：為何會有我的文件系統(tǒng)空間使用的顯示和PS陣列GUI使用的卷中的顯示之間的區(qū)別?答：PS陣列是數(shù)據(jù)塊的存儲，并只知道以往任何時候都已寫入卷的領(lǐng)域°PS系列GUI報告此為每個卷的信息。卷分配自動增長，由于應(yīng)用程序的數(shù)據(jù)寫操作。如果稍后應(yīng)用程序來釋放空間，空間未標記為未使用PS系列GUI中。因此差異視圖之間的OS/文件系統(tǒng)和PS系列GUI。與薄資源調(diào)配的卷，這種看法可以會更明顯。精簡資源調(diào)配是存儲虛擬化和資源調(diào)配的模型，它允許管理員以邏輯上分配到一個卷，大的可尋址存儲空間但又沒有物理地存儲資源提交到此空間直到應(yīng)用程序使用它。例如，使用精簡資源調(diào)配您可以創(chuàng)建一個應(yīng)用程序視為3TB,同時只分配給它的物理存儲300GB的卷。作為操作系統(tǒng)寫入該卷，物理磁盤空間存儲陣列由分配給卷。自動、透明地，此物理磁盤空間是采取從池中的可用空間。其結(jié)果是，少的物理存儲需要隨著時間的推移和孤立的存儲問題中被淘汰。管理員享有類似于過度配置的情況，管理的好處，卻保持運營效率的提高物理存儲利用率。此更有效地使用物理存儲資源通常使組織能夠推遲或減少存儲購買。所以精簡資源調(diào)配是遠期規(guī)劃工具，存儲分配的應(yīng)用程序?qū)⑿枰乃写鎯Χ挤峙涮崆案犊?消除擴大可用存儲系統(tǒng)不支持在線擴展中的創(chuàng)傷。因為管理員最初規(guī)定用它將需要的所有存儲的應(yīng)用程序，可避免重復(fù)的數(shù)據(jù)增長業(yè)務(wù)。最重要的是，因為現(xiàn)實和感知，之間的區(qū)別涉及精簡調(diào)配的存儲與任何人必須意識到劇中的對偶。如果所有的角色都不警惕有人能啟動繪圖上的un-provisioned存儲 超過能力、中斷操作，或要求更多計劃外的資本投資。精簡資源調(diào)配的卷還自動增長由于應(yīng)用程序的數(shù)據(jù)寫操作——空間從池中的可用空間（而具有正常卷中已預(yù)分配）繪制。如果稍后應(yīng)用程序來釋放空間，在文件系統(tǒng)中是自由的空間，但不是會返回到池中的PS系列的可用空間。減少物理分配SAN中的唯一方法是創(chuàng)建新的卷將應(yīng)用程序數(shù)據(jù)從舊的卷復(fù)制到一個新的然后刪除舊的卷。類似的問題時，啟動器OS報告中使用數(shù)組不會超過相當多的空間。這可以明顯像VMWare創(chuàng)建大型、稀疏文件的系統(tǒng)中。在VMWare,如果您自己創(chuàng)建一個10GB的磁盤為VM為VMDK文件，VMWare不寫入10GB的文件到零。它創(chuàng)建一個空的（稀疏）10GB文件，并減去10GB的可用空間。創(chuàng)建空文件的行為只涉及到幾MB的磁盤上的實際部門。VMWare也這樣說失蹤10GB,但數(shù)組說，也許，只有2MB的寫入。由于任何卷的最小體積儲備金是10%,文件系統(tǒng)有很長的路要走之前MB規(guī)模寫入趕上最低保留的卷。例如，客戶提供100GB的卷可能具有10GB磁盤創(chuàng)建5Vm。這就是使用VMWare，但或許只有5x2MB（10MB）寫入陣列50GB。直到客戶開始用實際數(shù)據(jù)填充VMDK文件，該數(shù)組不知道任何東西都是有。如果根本不知道什么是VMFS；它只知道什么已寫入該卷。?示例：文件共享是精簡資源調(diào)配1TB邏輯大小。因此，物理分配增長到500GB數(shù)據(jù)放入卷。從文件系統(tǒng)中，減少到100GB的報告的文件系統(tǒng)使用中刪除文件。其余400GB的物理存儲仍然分配給該卷在SAN中。與維護操作包括碎片整理、數(shù)據(jù)庫重組和其他應(yīng)用程序的操作也會出現(xiàn)此問題。在大多數(shù)環(huán)境中，文件系統(tǒng)不急劇減少的大小，所以這一問題很少發(fā)生。此外有些文件系統(tǒng)不會使先前分配的空間，有效地重復(fù)使用和可不重新使用已刪除的空間，直到用完未使用的空間（這不是NTFS,VMFS的一個問題）。一個相關(guān)的問題是如何可以這個以前用過，但現(xiàn)在不在使用的空間回收在SAN中嗎？今天這將需要新的卷，并從舊的卷的數(shù)據(jù)復(fù)制到新的創(chuàng)作。這可能需要使用文件系統(tǒng)