NVMe存儲(chǔ)性能瓶頸的主要來(lái)源：文件系統(tǒng)

-4-NVMe存儲(chǔ)性能瓶頸的主要來(lái)源：文件系統(tǒng)文件系統(tǒng)是存儲(chǔ)基礎(chǔ)架構(gòu)中的一個(gè)問題較大的部分。現(xiàn)在是供應(yīng)商重新考慮文件系統(tǒng)架構(gòu)的時(shí)候了，特殊是，他們必需修改文件系統(tǒng)與NVMe存儲(chǔ)的交互方式，以避開成為瓶頸。NVMe通過改進(jìn)物理接口、增加命令數(shù)量和隊(duì)列深度，使存儲(chǔ)基礎(chǔ)設(shè)施能夠充分利用閃存的優(yōu)勢(shì)。但是NVMe也帶來(lái)了一個(gè)挑戰(zhàn):NVMe的延遲特別低，它暴露了存儲(chǔ)基礎(chǔ)架構(gòu)中其他組件的弱點(diǎn)?；A(chǔ)架構(gòu)中的任何薄弱環(huán)節(jié)都會(huì)增加延遲并降低NVMe的價(jià)值。

文件系統(tǒng)是存儲(chǔ)基礎(chǔ)架構(gòu)中的一個(gè)問題較大的部分?，F(xiàn)在是供應(yīng)商重新考慮文件系統(tǒng)架構(gòu)的時(shí)候了，特殊是，他們必需修改文件系統(tǒng)與NVMe存儲(chǔ)的交互方式，以避開成為瓶頸。

為什么是文件系統(tǒng)?

服務(wù)于AI和高速工作負(fù)載的文件系統(tǒng)通常是可橫向擴(kuò)展的。一個(gè)橫向擴(kuò)展文件系統(tǒng)由多個(gè)存儲(chǔ)服務(wù)器或節(jié)點(diǎn)組成，文件系統(tǒng)聚合這些節(jié)點(diǎn)中的內(nèi)部存儲(chǔ)，將其表示為用戶和應(yīng)用程序可以訪問的單個(gè)存儲(chǔ)池。傳統(tǒng)的文件系統(tǒng)也可以橫向擴(kuò)展，但它們是串行的，這意味著全部I/O都要經(jīng)過一個(gè)主節(jié)點(diǎn)，而AI和高速工作負(fù)載很簡(jiǎn)單將其壓倒，從而造成瓶頸。這些工作負(fù)載依靠于一個(gè)并行文件系統(tǒng)結(jié)構(gòu)，該結(jié)構(gòu)允許集群中的任何節(jié)點(diǎn)向用戶或應(yīng)用程序供應(yīng)I/O服務(wù)，這使得網(wǎng)絡(luò)效率更加重要。

大多數(shù)NVMe存儲(chǔ)系統(tǒng)都是為塊存儲(chǔ)而設(shè)計(jì)的。因此，它們避開了文件系統(tǒng)架構(gòu)的性能開銷。然而，在大多數(shù)狀況下，文件系統(tǒng)會(huì)被添加到塊存儲(chǔ)系統(tǒng)中，以便這些AI和高速工作負(fù)載可以使用它。大多數(shù)現(xiàn)代應(yīng)用程序尤其是AI、機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析處理程序都依靠于文件系統(tǒng)。

添加了文件系統(tǒng)的設(shè)計(jì)良好、基于塊的NVMe存儲(chǔ)系統(tǒng)仍舊可能比基于塊的SAS存儲(chǔ)系統(tǒng)快，但是RAW塊存儲(chǔ)和文件系統(tǒng)掌握的存儲(chǔ)之間的性能下降是顯著的。所以，組織需要針對(duì)NVMe進(jìn)行過優(yōu)化的文件系統(tǒng)。

對(duì)于基準(zhǔn)測(cè)試，應(yīng)關(guān)注什么

供應(yīng)商經(jīng)常會(huì)使用幾個(gè)文件系統(tǒng)基準(zhǔn)測(cè)試來(lái)演示其功能。這些測(cè)試中的大多數(shù)使用帶有并行文件系統(tǒng)的NVMe塊存儲(chǔ)，供應(yīng)商可以輕松地使用各種配置來(lái)使某個(gè)參數(shù)達(dá)到圖表的頂部，然這可能具有肯定的誤導(dǎo)性。

例如，在當(dāng)前的標(biāo)準(zhǔn)性能評(píng)估公司SFS2022基準(zhǔn)測(cè)試中，頂級(jí)供應(yīng)商在測(cè)試環(huán)境中的驅(qū)動(dòng)器數(shù)量、驅(qū)動(dòng)器類型和存儲(chǔ)節(jié)點(diǎn)數(shù)量上存在顯著差異。在大多數(shù)狀況下，硬件供應(yīng)商試圖通過使用超出需求的硬件來(lái)削減文件系統(tǒng)架構(gòu)開銷，并將價(jià)格推高到超出對(duì)于大多數(shù)組織來(lái)說(shuō)較為合理的水平。

真正重要的是硬件和文件系統(tǒng)對(duì)組織的工作負(fù)載類型和預(yù)算的實(shí)施狀況，大多數(shù)公司沒有無(wú)限的資金來(lái)創(chuàng)建完善的NVMe-文件系統(tǒng)組合。IT專業(yè)人員應(yīng)當(dāng)查找能夠達(dá)到需求的最簡(jiǎn)潔的配置。

對(duì)于文件系統(tǒng)，應(yīng)關(guān)注什么

文件系統(tǒng)性能主要有三個(gè)限制因素:

文件系統(tǒng)與存儲(chǔ)節(jié)點(diǎn)的通信效率;

文件系統(tǒng)如何高效地管理連接各個(gè)存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)，以及如何高效地與客戶端通信;

文件系統(tǒng)如何有效地管理元數(shù)據(jù)訪問。

在大多數(shù)現(xiàn)代應(yīng)用程序環(huán)境中，元數(shù)據(jù)占全部I/O的80%以上。

文件系統(tǒng)通常通過操作系統(tǒng)I/O棧與存儲(chǔ)媒介通信。大多數(shù)高級(jí)文件系統(tǒng)都基于Linux，并通過該堆棧進(jìn)行通信，但是Linux堆棧增加了開銷。另一種方法是文件系統(tǒng)創(chuàng)建自己的I/O通道，以連接到基于NVMe的文件系統(tǒng)。從文件系統(tǒng)開發(fā)過程來(lái)看，與驅(qū)動(dòng)器的直接通信更加困難，但是它為文件系統(tǒng)用戶供應(yīng)了獲得最大性能的最佳機(jī)會(huì)，而不必使用昂貴的硬件進(jìn)行過度補(bǔ)償。

文件系統(tǒng)通常通過使用標(biāo)準(zhǔn)NFS協(xié)議與客戶端通信，但是NVMe有一個(gè)網(wǎng)絡(luò)變體(NVMe-oF)，現(xiàn)代文件系統(tǒng)應(yīng)當(dāng)供應(yīng)軟件支持并行，以及本地NVMe-oF訪問，以便在客戶端上運(yùn)行。NVMe-oF還可以用于互連各種存儲(chǔ)節(jié)點(diǎn)，這樣會(huì)使文件系統(tǒng)更易于訪問，以直連存儲(chǔ)的延遲。

在全NVMe文件系統(tǒng)架構(gòu)中，元數(shù)據(jù)訪問本質(zhì)上是快速的，但是元數(shù)據(jù)的布局方式必需是高效的，以便從NVMe的低延遲中獲益。優(yōu)化元數(shù)據(jù)性能，需要將其跨越文件系統(tǒng)集群中的全部節(jié)點(diǎn)，這樣就不會(huì)消失單個(gè)節(jié)點(diǎn)的性能瓶頸。

如何充分利用NVMe

與其他類型的工作負(fù)載相比，AI和高速負(fù)載可以更充分地利用NVMe。這些工作負(fù)載的挑戰(zhàn)通常是應(yīng)用程序通過文件系統(tǒng)訪問存儲(chǔ)，傳統(tǒng)的文件系統(tǒng)沒有為基于NVMe的驅(qū)動(dòng)器優(yōu)化它們的I/O。更快的節(jié)點(diǎn)硬件和NVMe驅(qū)動(dòng)器供應(yīng)了更好的性能，但是傳統(tǒng)文件系統(tǒng)的架構(gòu)無(wú)法使硬件充分發(fā)揮其潛力