HCNPCBDS大數(shù)據(jù)存儲系統(tǒng)高級特性InfoTier

大數(shù)據(jù)存儲系統(tǒng)高級特性

-InfoTier

2目標(biāo)學(xué)完本課程，您將能夠：描述OceanStor9000具有哪些高級特性及其作用理解OceanStor9000產(chǎn)品主要特性的工作原理掌握OceanStor9000產(chǎn)品主要特性的使用3InfoTier4InfoTier特性介紹InfoTier的定義：InfoTier特性稱為自動分級存儲，按照文件屬性將文件存放在不同性能的存儲設(shè)備上，并實現(xiàn)文件在存儲設(shè)備之間的自動遷移。InfoTier的價值：目的和受益描述提升系統(tǒng)存儲性能將訪問頻次和熱度較高的數(shù)據(jù)存儲在高速硬盤中。將訪問頻次和熱度較低的數(shù)據(jù)自動遷移至低速硬盤中。保證系統(tǒng)對熱點數(shù)據(jù)訪問的響應(yīng)速度，提升整個系統(tǒng)的存儲性能。降低總體部署成本使用大容量、低轉(zhuǎn)速的硬盤存儲訪問頻次和熱度較低、但占用大部分存儲空間的數(shù)據(jù)。綜合發(fā)揮不同存儲介質(zhì)的成本優(yōu)勢，有效降低部署和維護成本。實現(xiàn)數(shù)據(jù)智能管理系統(tǒng)可以根據(jù)用戶設(shè)置的文件存儲策略，自動統(tǒng)計文件大小、訪問時間、訪問頻次和熱度等屬性。根據(jù)文件屬性與不同存儲設(shè)備的對應(yīng)關(guān)系實現(xiàn)文件的自動遷移，降低手動管理的成本和復(fù)雜性。5InfoTier特性介紹（續(xù)）InfoTier的應(yīng)用場景：應(yīng)用于數(shù)據(jù)自動分類智能管理場景。在數(shù)據(jù)自動分類智能管理場景下，OceanStor9000允許將數(shù)據(jù)自動分類存儲到不同特性的硬件中，且自動根據(jù)文件屬性的變化調(diào)整其存儲位置。文件屬性：包括文件名、文件路徑、文件大小、修改時間、訪問時間、用戶/用戶組、I/O讀寫熱度等License支持：InfoTier是OceanStor9000的可選特性，需要獲得License許可才能獲得該特性的服務(wù)。6InfoTier特性-節(jié)點池版本號C10C30節(jié)點池的概念節(jié)點池是組成分級的基本單位，由多個節(jié)點組成。節(jié)點池是組成分級的基本單位，由多個節(jié)點組成。節(jié)點池的硬件類型Performancenode：通常應(yīng)用于文件讀寫頻繁且對讀寫速度要求較高的OPS密集型應(yīng)用場景。Mini-capacitynode：通常應(yīng)用于小容量場景。Capacitynode：通常應(yīng)用于對文件讀寫帶寬和存儲容量要求較高的大容量應(yīng)用場景。P12、P25和P36：高性能存儲節(jié)點，應(yīng)用于OPS密集型應(yīng)用場景。C36和C72：大容量歸檔節(jié)點，應(yīng)用于大容量應(yīng)用場景。節(jié)點池的構(gòu)成規(guī)則節(jié)點池中的節(jié)點類型必須相同。一個節(jié)點池中最少包含3個節(jié)點，最多包含20個節(jié)點。節(jié)點池中的節(jié)點類型必須相同。由P12、P25、P36和C36組成節(jié)點池時，一個節(jié)點池中最少包含3個節(jié)點，最多包含20個節(jié)點。由C72組成節(jié)點池時，一個節(jié)點池最少包含2個節(jié)點，最多包含10個節(jié)點。7InfoTier特性-DiskPoolDiskPool的概念和作用：將每個節(jié)點池中所有節(jié)點的硬盤按類型組成DiskPool，用于存儲元數(shù)據(jù)和數(shù)據(jù)。DiskPool的劃分原則：第2～n（n為配備的SSD硬盤個數(shù)）槽位的SSD硬盤組成一個DiskPool用于啟用SSD加速配置的小文件的存放。HDD硬盤組成一個DiskPool。8InfoTier特性-分級分級的概念分級由一個或多個節(jié)點池組成的邏輯分層。系統(tǒng)部署完成后，管理員可以根據(jù)業(yè)務(wù)需求設(shè)置存儲分級，并指定節(jié)點池與存儲級別的對應(yīng)關(guān)系。分級的劃分原則針對訪問熱度較高的數(shù)據(jù)，建議將硬盤處理能力強、響應(yīng)速度快的服務(wù)器所屬的節(jié)點池關(guān)聯(lián)到此分級，保證系統(tǒng)對熱點數(shù)據(jù)訪問的響應(yīng)速度，提升整個系統(tǒng)的存儲性能。針對訪問熱度較低的數(shù)據(jù)，建議將硬盤響應(yīng)速度較慢但總體存儲容量較大的服務(wù)器所屬的節(jié)點池關(guān)聯(lián)到此分級，綜合發(fā)揮不同存儲服務(wù)器的優(yōu)勢，有效降低部署和維護成本。建議同一個分級內(nèi)為同種類型的節(jié)點池。9InfoTier特性-分級（續(xù)）節(jié)點池、DiskPool、分級的關(guān)系：10InfoTier特性-重條帶化什么是重條帶化？是指將已存儲的數(shù)據(jù)遷移到其他分級或節(jié)點池中。重條帶化的作用：按照文件池策略更新數(shù)據(jù)存放的位置。11InfoTier特性-水位策略什么是水位？指節(jié)點池中已用空間占存儲空間總量的百分比，包括高水位和只讀水位。水位閾值的作用：通過水位閾值來限制文件的存放和重條帶化。同時通過設(shè)置節(jié)點池的溢出標(biāo)識（Spillover）來限制達(dá)到只讀水位時，是否可以向其他節(jié)點池寫入。水位策略的作用：InfoTier特性通過水位策略監(jiān)控節(jié)點池的存儲容量，以此為根據(jù)指引文件的存放。12InfoTier特性-水位策略（續(xù)）系統(tǒng)默認(rèn)的高水位為已用空間占節(jié)點池存儲空間總量的85%。系統(tǒng)默認(rèn)的只讀水位為已用空間占節(jié)點池存儲空間總量的90%。當(dāng)節(jié)點池的已用空間達(dá)到只讀水位且選中溢出標(biāo)識（Spillover）時，該節(jié)點池禁止寫入數(shù)據(jù)，但會將需要寫入該節(jié)點池的數(shù)據(jù)自動寫入到其他任意節(jié)點池或Spillover指定的節(jié)點池內(nèi)。13InfoTier特性-文件池策略文件池策略的作用：文件池策略將決定文件創(chuàng)建的存儲位置，以及文件重條帶化時的目標(biāo)分級。以配置為多個參數(shù)的組合，參數(shù)組合間為“與”的關(guān)系。文件參數(shù)時間參數(shù)性能參數(shù)存放位置文件名創(chuàng)建時間I/O次數(shù)指定分級文件路徑修改時間I/O熱度任意分級文件大小最后一次訪問時間是否啟用SSD加速指定節(jié)點池a用戶/用戶組---a:只有在文件池策略中只設(shè)置文件路徑、用戶/用戶組、文件名時存放位置可以指定節(jié)點池，否則只能是指定分級或任意分級。14InfoTier特性-文件池策略(續(xù))文件初次寫入已存儲文件重條帶化系統(tǒng)根據(jù)文件對應(yīng)的“文件路徑”、“文件名”、“用戶/用戶組”檢查文件池策略，決定文件初次存儲的位置。系統(tǒng)過監(jiān)控文件屬性的變化情況，將符合文件重條帶化策略的數(shù)據(jù)自動遷移到對應(yīng)的存儲級別。15InfoTier特性-文件池策略(續(xù))件池策略名稱文件池策略目標(biāo)分級文件池策略優(yōu)先級策略1文件大小＜100MBI/O次數(shù)＞20分級A最高策略2文件大小≥100MBI/O次數(shù)≤20分級B較高策略3文件路徑：/example所屬用戶：VIP分級A較低16InfoTier特性-文件池策略(續(xù))文件文件屬性文件池策略匹配結(jié)果A文件A是由VIP用戶創(chuàng)建的且指定存放于“/example”目錄匹配到“文件策略3”，初次寫入時應(yīng)存儲在分級A。B文件創(chuàng)建時文件B存放于“/abc”目錄未匹配到文件策略，初次寫入時應(yīng)存儲在當(dāng)前空閑空間最大的分級B。C文件創(chuàng)建時文件C存放于“/abc”目錄未匹配到文件策略，初次寫入時應(yīng)存儲在當(dāng)前空閑空間最大的分級B。文件文件大小I/O次數(shù)文件池策略匹配結(jié)果A150MB15匹配到“文件策略2”和“文件策略3”，但“文件策略