到底什么是NVMe？它到底有啥用

NVMe的發(fā)展史NVMe發(fā)展的過(guò)程，就是不斷給SSD“開(kāi)綠燈”的過(guò)程。今天我們已經(jīng)知道，SSD的出現(xiàn)帶給存儲(chǔ)系統(tǒng)性能提升是革命性的，然而在當(dāng)時(shí)的年代里，SSD的性能想要完全發(fā)揮，卻面臨著諸多瓶頸。這是因?yàn)槭钱?dāng)時(shí)的存儲(chǔ)系統(tǒng)都是面向機(jī)械硬盤(pán)而設(shè)計(jì)的。舉例來(lái)說(shuō)，早期的全閃或混閃陣列中很多是在使用傳統(tǒng)的存儲(chǔ)技術(shù)——SATASSD，這類(lèi)存儲(chǔ)基于AHCI(AdvancedHostControllerInterface，高級(jí)主機(jī)控制器接口)命令協(xié)議。而AHCI是為機(jī)械硬盤(pán)而生，采用AHCI的SATAIII總線只允許數(shù)據(jù)傳輸速度達(dá)到600MB/s。因此，為了讓SSD在存儲(chǔ)中跑得更暢快，NVMe規(guī)范誕生了。NVMe全稱(chēng)是NonvolatileMemoryExpress（非易失性內(nèi)存標(biāo)準(zhǔn)），在它首次投放市場(chǎng)的時(shí)候，許多人認(rèn)為它只是一個(gè)新的、速度更快的SSD。但實(shí)際上，NVMe是一種基于性能并從頭開(kāi)始創(chuàng)建新存儲(chǔ)協(xié)議，它可以使我們能夠充分利用SSD和存儲(chǔ)類(lèi)內(nèi)存（SCM）的速度。NVMe替代了原有的AHCI規(guī)范，并且軟件層面的處理命令也進(jìn)行了重新定義，不再采用SCSI／ATA命令規(guī)范。并且NVMeSSD利用了計(jì)算機(jī)或服務(wù)器中的PCIe高速總線，將其直接連接到計(jì)算機(jī)，從而減少了CPU的開(kāi)銷(xiāo)，簡(jiǎn)化了操作，降低了延遲，提高了IOPS和吞吐量。隊(duì)列深度（QD）是NVMe相對(duì)于AHCI的另一個(gè)優(yōu)勢(shì)。SAS和AHCI只能是單個(gè)隊(duì)列，而且每個(gè)隊(duì)列的深度也比較低，分別是254和32的隊(duì)列深度。而NVMe協(xié)議設(shè)計(jì)之初就考慮了該問(wèn)題，它的最大隊(duì)列數(shù)量可以是65K，而且每個(gè)隊(duì)列的深度可以高達(dá)65K。除了減少延遲外，這對(duì)于提高服務(wù)器處理并發(fā)請(qǐng)求的能力至關(guān)重要。▉

什么是端到端NVMe？說(shuō)完了NVMe，再來(lái)說(shuō)說(shuō)端到端NVMe。聽(tīng)到描述一款產(chǎn)品特性的時(shí)候，我們會(huì)常常聽(tīng)到這款產(chǎn)品支持“端到端NVMe”這個(gè)詞匯。其實(shí)，支持端到端NVMe意味著SSD的性能還能得到進(jìn)一步的釋放。這是因?yàn)楫?dāng)時(shí)的全閃存陣列大部分是在存儲(chǔ)后端支持NVMeSSD，與使用SATA或SASSSD的全閃存陣列相比，確實(shí)帶來(lái)了性能的提升。然而，這并不意味NVMeSSD已經(jīng)發(fā)揮出了它的性能極限。事實(shí)上，NVMeSSD全閃存陣列理論上可以提供更大的性能提升——比使用SAS和SATASSD的全閃存陣列多10倍性能。這種巨大的性能差異源于這樣一個(gè)事實(shí)，即當(dāng)時(shí)的全閃存陣列控制器架構(gòu)也是為了適應(yīng)機(jī)械硬盤(pán)而設(shè)計(jì)的，而在使用NVMeSSD時(shí)，這種控制器就成為了阻礙，為此，陣列控制器以及存儲(chǔ)網(wǎng)絡(luò)協(xié)議必須不斷發(fā)展。而NVMeoverFabrics（簡(jiǎn)稱(chēng)NVMe-OF）的出現(xiàn)，就是將NVMe應(yīng)用到前端，作為存儲(chǔ)陣列與前端主機(jī)連接的通道，取代過(guò)去的FC、iSCSI。由此，主機(jī)可以使用本機(jī)NVMe協(xié)議直接與NVMeSSD通信，從而大幅降低了延遲。2016年EMC發(fā)布的DSSDD5存儲(chǔ)，它是業(yè)界第一款端到端NVMe存儲(chǔ)。這款存儲(chǔ)專(zhuān)為性能而生，其控制器、閃存模組到前端主機(jī)I/O卡全都是專(zhuān)屬規(guī)格，其性能可達(dá)到千萬(wàn)級(jí)的IOPS和100GB每秒的吞吐量，而且延時(shí)則降到100微秒的延時(shí)。這些性能數(shù)據(jù)足以秒殺當(dāng)前市面上任何一款存儲(chǔ)系統(tǒng)，可謂是不折不扣的性能怪獸。不過(guò)，也許是因?yàn)樵O(shè)計(jì)理念太過(guò)超前，這款產(chǎn)品并沒(méi)有延續(xù)下去，而是轉(zhuǎn)化為寶貴的技術(shù)資產(chǎn)，如今DellEMCPowerMax和PowerStore上所支持的端到端NVMe技術(shù)，實(shí)際上就有來(lái)自DSSD的技術(shù)積淀。▉

NVMe-oF傳輸類(lèi)型對(duì)于NVMe-oF，傳輸類(lèi)型有3種選擇，分別是使用光纖通道的NVMe-oF、TCP的NVMe-oF和使用RDMA的NVMe-oF。FibreChannel在光纖通道(FC)上使用NVMe的組合通常被稱(chēng)為FC-NVMe、NVMeoverFC，有時(shí)也稱(chēng)為NVMe/FC。光纖通道是存儲(chǔ)陣列和服務(wù)器之間傳輸數(shù)據(jù)的強(qiáng)大協(xié)議，大多數(shù)SAN存儲(chǔ)系統(tǒng)都使用它。在FC-NVMe中，SCSI命令被封裝在FC幀內(nèi)。它基于標(biāo)準(zhǔn)的FC規(guī)則，與支持訪問(wèn)共享NVMe閃存的標(biāo)準(zhǔn)FC協(xié)議相匹配。TCP這種傳輸類(lèi)型是NVMe-oF的最新發(fā)展之一。NVMeoverTCP(傳輸控制協(xié)議)使用NVMe-oF和TCP傳輸協(xié)議在IP(以太網(wǎng))網(wǎng)絡(luò)上傳輸數(shù)據(jù)。NVMe通過(guò)以太網(wǎng)作為物理傳輸，在TCP數(shù)據(jù)報(bào)內(nèi)進(jìn)行傳輸。盡管有RDMA和光纖通道，TCP提供了一個(gè)可能更便宜和更靈活的選擇。此外，與同樣使用以太網(wǎng)的RoCE相比，NVMe/TCP的表現(xiàn)更像FC-NVMe，因?yàn)樗鼈冊(cè)贗/O中使用了消息語(yǔ)義。RDMA該規(guī)范采用遠(yuǎn)程直接內(nèi)存訪問(wèn)(RDMA)，使數(shù)據(jù)和內(nèi)存能夠在計(jì)算機(jī)和存儲(chǔ)設(shè)備之間跨網(wǎng)絡(luò)傳輸。RDMA是一種在網(wǎng)絡(luò)中兩臺(tái)計(jì)算機(jī)的主存儲(chǔ)器之間交換信息的方式，不涉及任何一臺(tái)計(jì)算機(jī)的處理器、緩存或操作系統(tǒng)。由于RDMA避開(kāi)了操作系統(tǒng)，因此它通常是網(wǎng)絡(luò)傳輸數(shù)據(jù)的最快、開(kāi)銷(xiāo)最低的機(jī)制。RDMA上的NVMe-oF使用TCP傳輸協(xié)議在IP網(wǎng)絡(luò)上傳輸數(shù)據(jù)，典型的RDMA實(shí)現(xiàn)包括虛擬接口架構(gòu)、聚合以太網(wǎng)上的RDMA（RoCE）、InfiniBand、Omni-Path和iWARP。RoCE、InfiniBand和iWARP是目前使用最多的。將NVMe-oF與RDMA、光纖通道或TCP一起使用，就可以形成一個(gè)完整的端到端NVMe存儲(chǔ)解決方案。這些解決方案提供了顯著的高性能，同時(shí)保持了通過(guò)NVMe提供的極低延遲。今天，NVMe由于其低延遲和高吞吐量的多任務(wù)處理速度而變得越來(lái)越受歡迎。雖然NVMe也用于個(gè)人計(jì)算機(jī)中以改進(jìn)