為什么說CXL能重構(gòu)數(shù)據(jù)中心

在過去幾十年中，CPU一直是計算系統(tǒng)中的絕對核心，甚至連存儲、網(wǎng)絡(luò)等子系統(tǒng)的能力都是CPU說了算。比如，一個CPU能夠支持多大的內(nèi)存，CPU都是有嚴格要求的。甚至同樣一顆CPU，只是支持不同的內(nèi)容，都能賣兩個價格。而且更要命的是，隨著大內(nèi)存等應(yīng)用場景需求大增，想要擴展內(nèi)存容量，你只能通過買CPU的方式才能擴展內(nèi)存容量，想要在內(nèi)存上做點"手腳"那是被限制的死死的。但人算不如天算，在Intel按部就班的擠牙膏的時候，沒想到大數(shù)據(jù)AI、視覺渲染、基因分析以及EDR仿真等需求的突然爆發(fā)，給了NVIDIA的GPU帶了巨大增長空間。眼看著GPU越賣越多，NVIDIA的市值甚至遠遠超過了Intel，于是英特爾"揮刀自宮"，讓充滿黑科技意味的傲騰業(yè)務(wù)和3DXpoint走向終結(jié)，取而代之的是開始向CXL架構(gòu)發(fā)展。▉

推出CXL，Intel是為了什么？上文中提到，在當(dāng)前的系統(tǒng)架構(gòu)中，內(nèi)存子系統(tǒng)面臨諸多挑戰(zhàn)。如下面左圖所示，CPU技術(shù)的發(fā)展使得核心數(shù)量實現(xiàn)了比較快的增長，內(nèi)存通道數(shù)增速卻相對較慢。但從發(fā)展趨勢來看，每個CPU核心所擁有的內(nèi)存通道反而是在下降。這會帶來很多問題，很多CPU核心因為不能充分得到數(shù)據(jù)來處于滿負荷的運行狀態(tài)，會導(dǎo)致整體計算效率下降。是可忍孰不可忍，這么明顯的問題為何Intel在增加核心的時候也增加內(nèi)存通道呢？其實并不是英特爾不想，而是牽扯到了多方面原因。首先在CPU設(shè)計方面，內(nèi)存控制器是在CPU里的，如果增加內(nèi)存通道，則意味著會增加CPU的功耗，芯片面積也會變大，PCB走線距離增加，為了保證信號的完整性，對于PCB本身也提出更高要求，所以，如果增加內(nèi)存通道，CPU的成本和功耗都會增長。另外，從服務(wù)器整機的層面來看，在主板上增加內(nèi)存DIMM槽，插上更多的內(nèi)存后，整機的成本也會不可避免地增長，即使內(nèi)存成本降低，也不會無限度的降低下去，最終會導(dǎo)致整體成本的上升。所以，不能隨意的無限度地通過增加內(nèi)存通道來解決問題。既然增加內(nèi)存通道這條路走不通，那有沒有其他方式可以解決內(nèi)存互聯(lián)網(wǎng)問題呢？這個答案當(dāng)然是肯定的，為了解決內(nèi)存子系統(tǒng)的問題，幾種不同的傳輸和內(nèi)存語義協(xié)議逐漸出現(xiàn)--IBM的OpenCAPI內(nèi)存接口協(xié)議、Xilinx的CCIX協(xié)議、NVIDIA的NVLink協(xié)議、惠普企業(yè)版的Gen-Z協(xié)議，都是為了解決內(nèi)存池化方面的問題。雖然這幾種協(xié)議方式與后來的CXL協(xié)議其實類似。但這些明顯挖英特爾"墻角"的方式并沒有得到Intel的積極響應(yīng)。店大何止欺客，店大甚至可以決定產(chǎn)品的走向。但眼看著GPU賣的越來越多，Intel有點坐不住了，于是在2019年3月份Intel推出了CXL（ComputeExpressLink）協(xié)議接口，其與CAPI酷似，也是將CXL協(xié)議封裝到PCIE鏈路層數(shù)據(jù)包中傳送，并在CPU端的PCIE總控后端按照事務(wù)標(biāo)識分流CXL專屬事務(wù)給CXL處理邏輯處理。為何Intel突然會突然妥協(xié)，讓出這部分利益，推出CXL協(xié)議呢？借用DOIT朱朋博老師的一句話：擱置爭議，共同開發(fā)。商人總是尋求利益最大化，既然大內(nèi)存需求趨勢已經(jīng)來襲，堵不如疏，不如把GPU、DPU等用作一把刀，來與NVIDIA形成某種制衡，當(dāng)然，如今的NVIDIA也加入了CXL聯(lián)盟，但是所謂"此路是我開，要在此路過，留下買路財"。反正我建了通往內(nèi)存的"高速路"，你GPU怎么走都得聽我的。通過這種方式，也能進一步制衡GPU的發(fā)展，一如文章開頭Intel對內(nèi)存的制約，想支持幾個GPU，還得通過我的CPU說了算。值得注意的是，第四代英特爾至強可擴展處理器每一顆處理器支持最多4個CXL設(shè)備，支持CXLType1和CXLType2。）▉

CXL協(xié)議具體能干啥？從2019年發(fā)布CXL1.0/1.1，到2020年11月發(fā)布CXL2.0，如今Intel已經(jīng)發(fā)布了CXL3.0，它的功能一直在發(fā)生著變化。首先我們來看下CXL是什么？CXL要如何解決問題呢？如今，CXL有CXL.io、CXL.memory和CXL.cache三個協(xié)議：其中，CXL.io就是原來的PCIe，在CXL的建立連接、設(shè)備發(fā)現(xiàn)、配置等過程中發(fā)揮重要作用，連接建立后，CXL.cache協(xié)議負責(zé)做cache一致性的工作，CXL.cache和CXL.memory配合起來用來做內(nèi)存擴展。CXL.cache和CXL.memory對于latency的要求會比較高，尤其CXL.cache對延遲要求非常高，因為這關(guān)系到計算的效率。在CXL1.0和1.1規(guī)范定義了三種Device：Type1Device主要的應(yīng)用場景是高性能計算里的網(wǎng)卡（PGASNIC），它支持一些網(wǎng)卡的原子操作，主要利用的協(xié)議就是CXL.io和CXL.cache。Type2Device主要指的是帶有內(nèi)存的加速器，包括GPU、FPGA等加速器，它使用的協(xié)議包括用來做鏈接的CXL.io，做cache一致性的CXL.cache，用來做內(nèi)存擴展的CXL.memory。Type3Device主要用作內(nèi)存的Buffer，做內(nèi)存的擴展。它主要利用CXL.io和CXL.memory的協(xié)議。如圖所示，CPU除了可以用本地的DDR內(nèi)存，還可以通過CXL去擴展遠端內(nèi)存，遠端內(nèi)存可以是一個大的內(nèi)存池，這里的內(nèi)存可以共享給不同的CPU來用。CXL2.0規(guī)范實現(xiàn)了機架級別的資源池化。云計算強調(diào)資源可以像水和電一樣按需獲取，云計算的技術(shù)潮流下，追求不同資源之間的松耦合，為的是提高使用效率，為了提高使用效率，要實現(xiàn)的是相同資源的池化。隨著技術(shù)的發(fā)展，未來的服務(wù)器不再是傳統(tǒng)意義上的服務(wù)器，它不再具有現(xiàn)實的形態(tài)，用戶從云服務(wù)商那里申請云主機的時候，主機的CPU是從CPU池里拿出來的，內(nèi)存是從內(nèi)存池里拿出來的，CPU池和內(nèi)存池通過CXL連起來的。使用從資源池里拿出來資源組成邏輯上的服務(wù)器，這就是資源解耦和資源池化在未來能帶來的變化。CXL2.0規(guī)范在資源池化方面有所強化，同時，也還增加了CXLswitch功能，它可以在一個機架內(nèi)通過一套CXL交換機構(gòu)建成一個網(wǎng)絡(luò)。2022年，新發(fā)布的CXL3.0規(guī)范又新增很多特性。首先，CXL3.0PCIe6.0規(guī)范，它的速率從32GT提升到了64GT，在相同的鏈路時，帶寬翻倍。并且，Latency也沒有任何變化。第二，CXL3.0新增了對二層交換機的支持，也就是Leafspine網(wǎng)絡(luò)架構(gòu)，如此便可以更好地對資源進行解耦和池化，做更多的資源池，比如CPU資源池、內(nèi)存資源池、網(wǎng)卡資源池和加速器資源池等，Leaf與Spine之間通過Fabricmanager軟件構(gòu)建各種拓撲和各種路由方式。CXL3.0不但可以更好地在一個機柜內(nèi)實現(xiàn)計算資源和存儲資源的池化和解耦，而且，可以在多個機柜之間建立更大的資源池，如此一來，對于云計算服務(wù)商的資源管理效率和成本優(yōu)化都會帶來很大幫助。▉

CXL的未來發(fā)展方向？說了那么多CXL的優(yōu)勢和好處，那么CXL的未來發(fā)展方向如何呢？首先，CXL可以用來擴展內(nèi)存的容量和帶寬，這是非常重要的一個方面。在使用服務(wù)器本地內(nèi)存的同時，還可以通過CXL利用遠端內(nèi)存，遠端內(nèi)存的成本和價格相對更低，而且，它能讓CPU和內(nèi)存之間的配比變得更靈活。進一步發(fā)展之后，未來完全可以取消近端本地內(nèi)存，全部都使用遠端內(nèi)存，這有賴于摩爾定律的作用，讓計算芯片和存儲芯片都有更進一步的發(fā)展。與此同時，CPU上會有比DRAM更高速的內(nèi)存，比如可能會把HBM與處理器封裝到一個die里，使得CPU有更多的高速內(nèi)存。另外，還有一個趨勢在于遠端內(nèi)存的持久化。目前，英特爾就有傲騰持久內(nèi)存，但因為一些原因，英特爾宣布不再繼續(xù)研發(fā)了，不過，業(yè)界還有很多替代方案，比如NVDIMM，配合CXL將這些持久內(nèi)存作為遠端內(nèi)存，還能夠提供多種實用功能。除此之外，還能利用CXL技術(shù)實現(xiàn)ComputationalStorage，通過CXL利用內(nèi)存資源，在存儲上做一些壓縮或者解壓縮的操作，類似可以在遠端實現(xiàn)的功能還有很多。CXL帶來的改變從單節(jié)點開始，擴展到機架規(guī)模，而后是Tor級別，最終會影響到數(shù)據(jù)中心級別，CXL將要重構(gòu)未來的數(shù)據(jù)中心。數(shù)據(jù)中心利用CXL做解耦和池化，CXL技術(shù)能夠讓不同的資源從緊耦合變成松耦合，讓相同的資源變成池化資源，會形成CPU資源池、GPU資源池以及內(nèi)存資源池，各個資源池通過CXL連接。在未來發(fā)展中，隨著CXL技術(shù)的逐步落地，IPU承擔(dān)的任務(wù)也會越來越多，既作為CXL的端點，又作為以太網(wǎng)的端點，會有很多功能和負載卸載到IPU上，架構(gòu)上會有很多變化，將會有很多新的創(chuàng)新。比如