DPU金融行業(yè)發(fā)展白皮書 2023

DPU金融行業(yè)發(fā)展白皮書VI 1（一）發(fā)展趨勢 1（二）行業(yè)挑戰(zhàn) 5 11 11 17 19 24（一）統(tǒng)一部署彈性調(diào)度 25（二）計算實例高可用 28（三）加速云原生網(wǎng)絡(luò) 29（四）加速云原生存儲 31（五）加速微服務(wù)應(yīng)用 33（六）加速云原生安全 34（七）加速大模型訓(xùn)練 35 36 41（一）彈性裸金屬 41（二）零信任安全 43（三）高性能扁平化容器網(wǎng)絡(luò) 45（四）人工智能大模型 47 50 52 54 551一、云原生浪潮下金融行業(yè)云基礎(chǔ)設(shè)施的發(fā)展趨勢和挑戰(zhàn)在云原生技術(shù)快速發(fā)展、經(jīng)濟與商業(yè)模式正發(fā)生深刻變化的背景下，金融云平臺作為金融行業(yè)數(shù)字化轉(zhuǎn)型的依托，在金融行業(yè)生態(tài)格局中扮演著非常重要的角色。金融云包含平臺基礎(chǔ)設(shè)施（IaaS）、應(yīng)用平臺（PaaS）和金融生態(tài)（SaaS）3個層面（如圖1所示），其中基礎(chǔ)設(shè)施是構(gòu)建體系完備、規(guī)模超大、自主可控和靈活高效的金融云平臺的基石。1.綠色計算與低碳發(fā)展在碳達峰碳中和的雙碳背景下，金融機構(gòu)也在綠色轉(zhuǎn)型和數(shù)字化轉(zhuǎn)型升級中尋求突破，促進綠色計算和數(shù)字低碳技術(shù)創(chuàng)新。有數(shù)據(jù)顯示，我國數(shù)據(jù)中心年用電量在全社會用電量中的比2重正在逐年升高，為確保實現(xiàn)碳達峰碳中和目標(biāo)，就需要在數(shù)據(jù)中心建設(shè)模式、技術(shù)、標(biāo)準和可再生能源利用等方面進一步挖掘節(jié)能減排潛力。近年來，云計算發(fā)展迅猛，其本身就是一種綠色技術(shù)，提高了CPU的整體利用率。通過聚集計算資源和轉(zhuǎn)移工作負載，云的資源利用率持續(xù)得到提高。推動數(shù)據(jù)中心綠色可持續(xù)發(fā)展，加快節(jié)能低碳技術(shù)的研發(fā)應(yīng)用，提升能源利用效率，降低數(shù)據(jù)中心能耗，從而實現(xiàn)綠色計算與低碳的發(fā)展目標(biāo)。2.部署模式多樣化金融領(lǐng)域云計算部署模式主要包括私有云、團體云以及由其組成的混合云等。在實際的落地部署中，不論是采用私有云建設(shè)方式，還是采用與第三方合作的公有云建設(shè)方式，亦或混合云建設(shè)方式，越來越多的金融企業(yè)都在嘗試利用云計算技術(shù)來降低運營成本，促進產(chǎn)品創(chuàng)新。當(dāng)前，越來越多的金融機構(gòu)開始嘗試將IT業(yè)務(wù)搭建在云上，而未來這一趨勢還將不斷深化。私有云或者混合云的建設(shè)模式在傳統(tǒng)銀行、證券等企業(yè)中得到青睞，而公有云模式則成為大量新興互聯(lián)網(wǎng)金融企業(yè)的選擇，通過與第三方公有云廠商合作，得以實現(xiàn)自身業(yè)務(wù)的快速擴展，業(yè)務(wù)快速上線。金融業(yè)務(wù)上云呈現(xiàn)多樣化的趨勢，不同的金融企業(yè)也正在根據(jù)自身情況選擇適合自身發(fā)展的建設(shè)模式。3.穩(wěn)定與敏捷并存當(dāng)前金融業(yè)務(wù)的發(fā)展中，既有針對穩(wěn)態(tài)業(yè)務(wù)的高穩(wěn)定性、高3可靠性、高安全性要求，也有針對大數(shù)據(jù)、人工智能、區(qū)塊鏈等新數(shù)字化技術(shù)業(yè)務(wù)的敏捷支持要求。隨著金融業(yè)務(wù)規(guī)模的不斷擴大，以及面向互聯(lián)網(wǎng)業(yè)務(wù)場景的不斷豐富，傳統(tǒng)金融行業(yè)的信息管理系統(tǒng)已經(jīng)嚴重制約了金融行業(yè)向數(shù)字化轉(zhuǎn)型的發(fā)展。一方面，越來越多的用戶通過互聯(lián)網(wǎng)進行經(jīng)濟活動（例如查詢信息、購物和理財?shù)龋?。另一方面，金融行業(yè)也正在借助與互聯(lián)網(wǎng)技術(shù)的結(jié)合推出更多業(yè)務(wù)，增加用戶量及用戶黏性。因此對未來的金融云平臺提出了新的需求。在資源利用上，需要對資源進行池化管理，解耦計算、存儲、網(wǎng)絡(luò)和安全，從而實現(xiàn)對計算、存儲、網(wǎng)絡(luò)和安全資源的統(tǒng)一高效調(diào)度管理，進而實現(xiàn)透明、按需供給的資源管理模式。在安全上，不僅是現(xiàn)有的應(yīng)用層數(shù)據(jù)需要安全監(jiān)控和管理能力，隨著金融業(yè)務(wù)的不斷變化，虛擬化層的引入以及基于云原生的容器、微服務(wù)的應(yīng)用部署也需要依賴整個云原生平臺的安全監(jiān)控和管理能力?？傮w上，需要在實現(xiàn)保證具有高容災(zāi)和高可用性。4.安全可信與可控隨著金融業(yè)務(wù)上云的不斷深化，經(jīng)濟活動安全越來越受到國家和監(jiān)管部門的重視。金融行業(yè)對于數(shù)據(jù)的安全性和合規(guī)性要求非常高，金融云需要提供高度安全的數(shù)據(jù)存儲和傳輸機制，確保客戶敏感信息的保護和隱私安全。因為金融業(yè)務(wù)中涉及大量的資金、交易、用戶隱私信息等敏感數(shù)據(jù)，所以對數(shù)據(jù)和隱私保護有更高的安全要求，這直接關(guān)系到國家的經(jīng)濟安全，同時也影響著4老百姓生活的方方面面，使得金融云服務(wù)的安全可靠、可信、可控成為其發(fā)展必須滿足的條件。當(dāng)前，金融云發(fā)展所面臨的安全問題并沒有完全有效解決，已成為阻礙金融云發(fā)展的障礙之一。對數(shù)據(jù)加密性要求最高的金融行業(yè)將整體系統(tǒng)上云之后，建設(shè)更高的安全、可信、可控的金融云平臺是未來的必然趨勢。5.高可用需求金融行業(yè)對規(guī)劃、建設(shè)和運維的專業(yè)性要求也非常高，從規(guī)劃、建設(shè)到各個系統(tǒng)的遷移和管理，都與其他行業(yè)的云服務(wù)有著很大的不同，在行業(yè)和系統(tǒng)內(nèi)部都有著嚴格的規(guī)范要求。針對高可用性，規(guī)范就要求云計算平臺應(yīng)具備軟件、主機、存儲、網(wǎng)絡(luò)節(jié)點、數(shù)據(jù)中心等層面的高可用保障能力，能夠從嚴重故障或錯誤中快速恢復(fù)，保障應(yīng)用系統(tǒng)的連續(xù)正常運行，滿足金融領(lǐng)域業(yè)務(wù)連續(xù)性要求。由于金融行業(yè)的特殊性，高可用是金融云基礎(chǔ)設(shè)施建設(shè)中需要重點關(guān)注的問題。隨著金融應(yīng)用數(shù)量和類型的不斷增加，以及對網(wǎng)絡(luò)復(fù)雜度的要求也越來越高，高可用性成為金融云持續(xù)發(fā)展的重要保障。6.數(shù)據(jù)分析和AI能力支撐隨著AI的發(fā)展，金融行業(yè)越來越多地使用數(shù)據(jù)分析和人工智能來優(yōu)化業(yè)務(wù)決策和風(fēng)險管理。因此，金融云通常會提供數(shù)據(jù)分析和AI訓(xùn)練推理的能力。此外，通用人工智能（AGI）所取得的成果使人們看到了一種可能性，即依托基礎(chǔ)大模型的訓(xùn)練結(jié)果，5針對垂直領(lǐng)域特定場景和行業(yè)進行精細化模型訓(xùn)練，使AI在垂直領(lǐng)域?qū)崿F(xiàn)落地應(yīng)用，提高生產(chǎn)率。金融云平臺在這個層面也在逐步加大投入，為AI訓(xùn)練提供網(wǎng)絡(luò)和算力的基礎(chǔ)設(shè)施支撐?？傮w而言，在金融云基礎(chǔ)設(shè)施向云計算架構(gòu)的發(fā)展過程中，需要著力打造具有快速響應(yīng)、彈性伸縮、高可用、低成本和安全的云計算環(huán)境。在整體的演進過程中，也面臨著諸多挑戰(zhàn)需要一一克服，這些挑戰(zhàn)主要體現(xiàn)在以下方面。（二）行業(yè)挑戰(zhàn)1.資源利用率低為支撐應(yīng)用平臺（PaaS）和金融生態(tài)（SaaS）的服務(wù)功能，在基礎(chǔ)設(shè)施（IaaS）層需要對計算、網(wǎng)絡(luò)以及安全等基礎(chǔ)資源進行優(yōu)化和管理。目前在PaaS和SaaS層，金融云的應(yīng)用有著向以微服務(wù)為主，采用容器、K8s集群、ServiceMesh等管理框架實現(xiàn)管理和部署的趨勢。這種“容器+微服務(wù)”的方式將基礎(chǔ)設(shè)施的計算資源釋放給上層使用，容器技術(shù)擁有自身獨特的優(yōu)勢，尤其是在金融云平臺的生產(chǎn)環(huán)境中得到了廣泛應(yīng)用。然而容器技術(shù)的發(fā)展卻對基礎(chǔ)設(shè)施的資源管控提出了新的挑戰(zhàn)，通過微服務(wù)，將復(fù)雜系統(tǒng)拆分為易于開發(fā)和維護的服務(wù)單元，從而實現(xiàn)敏捷性開發(fā)，例如Kubernetes,Istio等框架和方案都是這種思想的應(yīng)用和實踐。但是，隨著各種應(yīng)用程序組件分布在不同的服務(wù)器和虛擬機之中，帶來了東西向流量業(yè)務(wù)激增。這些激增的東西向流量主要是來自不同虛擬機之間、不同容器應(yīng)用之間的通信流量。6這種微服務(wù)架構(gòu)帶來了分布式系統(tǒng)的復(fù)雜性，每個服務(wù)需要進行管理、調(diào)度和監(jiān)控，這些管理組件的引入，無疑加重了額外的資源管理開銷。隨著容器和微服務(wù)部署規(guī)模的擴大，Kubernetes、Istio組件消耗的主機HOST算力資源的比重將逐漸增大，最終將導(dǎo)致云計算平臺無法提供有效的算力資源給容器和微服務(wù)應(yīng)用，極大降低了金融云平臺對計算資源的有效利用。2.部署模式的挑戰(zhàn)在云計算技術(shù)金融用規(guī)范的要求中，明確金融云平臺在實際的部署過程中，首先必須秉持安全優(yōu)先、對用戶負責(zé)的原則，根據(jù)信息系統(tǒng)所承載業(yè)務(wù)的重要性和數(shù)據(jù)的敏感性、發(fā)生安全事件的危害程度等，充分評估可能存在的風(fēng)險隱患，謹慎選用與業(yè)務(wù)系統(tǒng)相適應(yīng)的部署模式。所以，如何選擇金融云平臺系統(tǒng)的部署模式是極具挑戰(zhàn)的任務(wù)。為了承載不同的業(yè)務(wù)需求就需要靈活的部署模式，這是未來的發(fā)展方向，但當(dāng)前面臨的問題是如何有效管理這種靈活多變的部署模式。從私有云的這個單點上來看，私有云是企業(yè)傳統(tǒng)數(shù)據(jù)中心的延伸和優(yōu)化，可以針對各種功能提供網(wǎng)絡(luò)、存儲、計算資源。在金融云領(lǐng)域，私有云是金融企業(yè)單獨使用并構(gòu)建的，對數(shù)據(jù)、安全和服務(wù)質(zhì)量有自身的要求，需要根據(jù)特定的應(yīng)用場景進行適配，這就對私有云部署過程中具體軟件和硬件的底層基礎(chǔ)設(shè)施技術(shù)的支撐提出了要求。通常，金融機構(gòu)和企業(yè)更加關(guān)注自身業(yè)務(wù)7的研發(fā)和應(yīng)用，對底層基礎(chǔ)設(shè)施技術(shù)的掌控和管理并不是強項。這就增加了金融企業(yè)在部署私有云過程中的成本和技術(shù)風(fēng)險，因為在實現(xiàn)自身私有云應(yīng)用需求的時候，很難根據(jù)來自不同軟硬件供應(yīng)商的軟件、硬件組件增加符合自身業(yè)務(wù)需求的功能。另一個層面，從私有云、團體云和混合云相組合的這個面上來看，也更具挑戰(zhàn)性。不同云部署模式下的管理和互聯(lián)互通也是目前面臨的挑戰(zhàn)之一。總體而言，金融云平臺在部署模式上的挑戰(zhàn)是沒有成熟和標(biāo)準的云平臺部署方案，需要金融企業(yè)投入大量的自有研發(fā)力量來進行定制化開發(fā)。3.資源彈性不足資源彈性不足主要體現(xiàn)在如下方面。一是金融云平臺面對的業(yè)務(wù)類型復(fù)雜多變，為了應(yīng)對不同的業(yè)務(wù)需求通常會存在多數(shù)據(jù)中心以及多集群部署情況，資源的調(diào)度和編排受到跨集群能力的限制。二是實際業(yè)務(wù)運行過程中存在峰值波動的情況，這就需要整個云平臺具有自動伸縮能力，當(dāng)前的資源管控在面對跨集群、跨資源（例如計算資源、存儲資源、網(wǎng)絡(luò)資源池化之后的管理和調(diào)度）管控時能力不足。三是裸金屬服務(wù)器的彈性不足，目前裸金屬服務(wù)器需要進行操作系統(tǒng)自動安裝，創(chuàng)建和回收速度較慢，并且無法遷移。四是受到容災(zāi)和高可用技術(shù)實現(xiàn)的限制，為了保證可靠的業(yè)8務(wù)服務(wù)能力，不得不采用折中的雙備份資源的方式，但是這樣的實現(xiàn)模式限制了資源的靈活調(diào)配能力。4.安全防護的挑戰(zhàn)云原生技術(shù)在金融云平臺的使用促進了金融云的數(shù)字化進程，以容器和微服務(wù)為代表的云原生技術(shù)得到了大力發(fā)展，同時基于云原生技術(shù)的安全性也得到了更多的關(guān)注。在基于容器和微這里的安全尤其指基于Docker和K8s的容器安全。從云原生平臺的架構(gòu)來看會面對來自不同層面的挑戰(zhàn)。首先，在容器及K8s層面，鏡像安全、容器運行時安全、容器網(wǎng)絡(luò)安全、權(quán)限安全等問題需要進行管理和監(jiān)控。其次，在平臺層面，集群隔離、租戶安全、用戶隔離等問題也對云平臺提出了要求，當(dāng)前云平臺對資源的分散管理更凸顯了這個問題。基于如上因素，一個典型的挑戰(zhàn)來自針對東西向流量的安全管控。如上所述，云原生技術(shù)的應(yīng)用大大增加了數(shù)據(jù)中心服務(wù)器之間的數(shù)據(jù)交換（東西向流量有數(shù)據(jù)表明東西向流量在數(shù)據(jù)中心總流量中的占比接近80%，這就面臨一個問題，一旦攻擊者繞過南北向流量的邊界防御，就可能在內(nèi)網(wǎng)中肆意蔓延，如何有效控制內(nèi)網(wǎng)中的東西向流量成為一個重要的安全問題。采取更嚴格的細粒度安全模型是解決這個挑戰(zhàn)的路徑之一，其中分布式防火墻技術(shù)可以將安全和工作負載在細粒度上聯(lián)系起來。但是，是9采用純軟件方式、還是其他軟硬一體的解決策略也需要具體分析和討論。這些因素都對金融云平臺在安全防護上提出了持續(xù)的挑5.高可用的挑戰(zhàn)云原生技術(shù)在企業(yè)實際場景中的實施落地，特別是在金融場景的實施落地，仍然面臨諸多挑戰(zhàn)。如何實現(xiàn)金融云平臺的高可用性是當(dāng)前的挑戰(zhàn)之一。金融云平臺的高可用是一個系統(tǒng)級平臺層面的要求，是分布式系統(tǒng)架構(gòu)設(shè)計中必須考慮的因素之一。架構(gòu)實現(xiàn)上可以通過冗余和自動故障遷移來實現(xiàn)，在故障遷移方面，首先就需要能夠識別故障，能夠在技術(shù)風(fēng)險事件中有全鏈路的監(jiān)控和管理能力。這就包括事件發(fā)生前、發(fā)展中、發(fā)生后的連續(xù)的業(yè)務(wù)監(jiān)控和追溯能力。具體到風(fēng)險事件發(fā)生前，就需要具備日常業(yè)務(wù)巡檢、故障演練、業(yè)務(wù)監(jiān)控，建立風(fēng)險發(fā)現(xiàn)等手段；在風(fēng)險事件發(fā)生時，需要具備應(yīng)急管理快速拉起應(yīng)急流程的能力，完成故障快速診斷，并通過應(yīng)急預(yù)案、容災(zāi)切換實現(xiàn)故障在風(fēng)險事件結(jié)束后，需要具備風(fēng)險管理回溯、復(fù)盤等機制，加固風(fēng)險事件發(fā)現(xiàn)和診斷能力。這些能力和手段保證了高可用性的實現(xiàn)，但這些功能的具體實現(xiàn)依托于具體的基礎(chǔ)設(shè)施（IaaS）所能提供的能力。在高可用層面一個有代表性的挑戰(zhàn)來自裸金屬的應(yīng)用，在裸金屬應(yīng)用中需要額外的網(wǎng)關(guān)服務(wù)器來承擔(dān)虛擬化網(wǎng)絡(luò)的開銷，在PXE裝機，本地盤遷移等能力上性能不高且耗時長?；谶@些基本的能力現(xiàn)狀，裸金屬服務(wù)器在出現(xiàn)硬件故障時，無法像虛擬機一樣在短時間內(nèi)恢復(fù)或遷移，不能滿足故障應(yīng)急需要，無法提供高可用能力。另外還有其他的情形，例如容器平臺的宿主節(jié)點使用了IaaS虛擬機且啟用了SDN網(wǎng)絡(luò)，當(dāng)容器平臺啟用CNI特性時，容器平臺上的應(yīng)用就可以和IaaS虛擬機的業(yè)務(wù)應(yīng)用直接通信。如果和傳統(tǒng)網(wǎng)絡(luò)中的舊應(yīng)用通信，則需要開啟IaaS的NAT特性或者為宿主節(jié)點配置EIP地址?？梢钥吹剑煌瑯I(yè)務(wù)部署和實現(xiàn)方法對保證高可用性需要提供針對性的功能實現(xiàn)，一方面增加了適配開發(fā)的工作量和維護成本，另一方面無法解耦軟件與軟件之間、軟件與硬件之間的耦合性。6.人工智能大模型訓(xùn)練難度大大模型通過海量數(shù)據(jù)的訓(xùn)練學(xué)習(xí)，具備了強大的語言理解和表達、思維鏈推理等能力，在文本圖像理解、內(nèi)容生成等人工智能任務(wù)中表現(xiàn)出顯著優(yōu)勢和巨大潛力。相較于傳統(tǒng)人工智能算法一事一議的建模方式，大模型具備更強的通用能力，可處理多種任務(wù)，可較好解決傳統(tǒng)模型的碎片化問題。大模型作為一種新型人工智能技術(shù)，在金融領(lǐng)域的應(yīng)用范圍涵蓋了風(fēng)險管理、欺詐檢測、語音識別和自然語言處理等方面。通過人工智能大模型可以提高金融行業(yè)的應(yīng)用效率，降低成本，提高精確性和安全性，并且為客戶和投資者提供更好的服務(wù)和體驗。訓(xùn)練一個大模型當(dāng)前主要面臨以下幾方面挑戰(zhàn)。（1）內(nèi)存墻。GPT3模型擁有1700億的參數(shù)，光內(nèi)存消耗需要近800GB。訓(xùn)練過程因為會有權(quán)重、激活、優(yōu)化器狀態(tài)，再加上自動微分所產(chǎn)生臨時變量，需要3500GB內(nèi)存，一個大模型的訓(xùn)練就需要100多塊具有32GB內(nèi)存的GPU。隨著大模型的發(fā)展，參數(shù)會變得越來越大。而GPU與GPU之間的內(nèi)存如何高效的進行交換，對大模型的訓(xùn)練效率有直接影響。（2）通信墻。大模型通過模型并行、流水線并行切分到大模型訓(xùn)練集群后，通訊便成了主要的性能瓶頸。對于大規(guī)模的深度學(xué)習(xí)模型，動輒需要幾百甚至幾千張GPU卡的算力，服務(wù)器節(jié)點多，跨服務(wù)器通信需求巨大，使得網(wǎng)絡(luò)性能成為GPU集群系統(tǒng)的瓶頸。傳統(tǒng)基于以太網(wǎng)絡(luò)的TCP通信方式，不僅時延高，而且極大消耗了寶貴的計算資源和內(nèi)存帶寬資源，不能滿足大規(guī)模的深度學(xué)習(xí)的網(wǎng)絡(luò)通信需求。（3）存儲墻。大模型訓(xùn)練過程中需要讀取和存放海量數(shù)據(jù)到磁盤中，如何高效存放這些數(shù)據(jù)，以及集群中的GPU如何共享這些數(shù)據(jù)將直接影響到大模型訓(xùn)練的時間。二、DPU發(fā)展與趨勢隨著云計算、虛擬化技術(shù)的發(fā)展，網(wǎng)卡也隨之發(fā)展，從功能和硬件結(jié)構(gòu)上基本可劃分為4個階段。1.傳統(tǒng)基礎(chǔ)網(wǎng)卡（NIC）。負責(zé)數(shù)據(jù)報文的收發(fā)，具有較少的硬件卸載能力。硬件上以ASIC硬件邏輯實現(xiàn)網(wǎng)絡(luò)物理鏈路層，以及MAC層的報文處理，后期NIC標(biāo)卡也支持了，諸如CRC校驗的功能。不具有編程能力。2.智能網(wǎng)卡（SmartNIC）。具備一定的數(shù)據(jù)平面硬件卸載能力，例如OVS/vROuter硬件卸載。硬件結(jié)構(gòu)上以FPGA或者是帶有FPGA和處理器內(nèi)核的集成處理器（這里處理器功能較弱）來實現(xiàn)數(shù)據(jù)面硬件卸載。3.FPGA+CPU的DPU網(wǎng)卡（FPGA-BasedDPU）。兼具智能網(wǎng)卡功能的同時，可以支持數(shù)據(jù)面和控制面的卸載以及一定的控制平面與數(shù)據(jù)平面的可編程能力。硬件結(jié)構(gòu)的發(fā)展上，基于FPGA增加了通用CPU處理器，例如IntelCPU。4.DPUSOC網(wǎng)卡（Single-ChipDPU）。單芯片的通用可編程DPU芯片，具備豐富的硬件卸載加速和可編程能力，支持不同云計算場景和資源統(tǒng)一管理特性。硬件上，采用單芯片的SOC形態(tài)，兼顧性能和功耗。FPGA-BasedDPU在硬件設(shè)計上的挑戰(zhàn)主要來自芯片面積和功耗。面積上，PCIe接口的結(jié)構(gòu)尺寸限定了板上的芯片面積；功耗上，板卡的散熱設(shè)計與芯片和整板的功耗密切相關(guān)。這兩個因素制約著FPGA方案的持續(xù)發(fā)展。DPUSOC方案吸取了從NIC到FPGA-BasedDPU的發(fā)展過程的軟硬件經(jīng)驗和成果，是目前以DPU為中心的數(shù)據(jù)中心架構(gòu)的重要演進路徑。DPU作為軟件定義芯片的典型代表，基于“軟件定義、硬件加速”的理念，是集數(shù)據(jù)處理為核心功能于芯片的通用處理器。DPU通用處理單元用來處理控制平面業(yè)務(wù)，專用處理單元保證了數(shù)據(jù)平面的處理性能，從而達到了性能與通用性的平衡。DPU專用處理單元用來解決通用基礎(chǔ)設(shè)施虛擬化的性能瓶頸，通用處理單元則保證DPU的通用性，使得DPU能夠廣泛適用于云基礎(chǔ)設(shè)施的各種場景中，實現(xiàn)虛擬化軟件框架向DPU的平滑遷移。1.NIC的發(fā)展和應(yīng)用傳統(tǒng)基礎(chǔ)網(wǎng)卡NIC，又稱網(wǎng)絡(luò)適配器，是構(gòu)成計算機網(wǎng)絡(luò)系統(tǒng)中最基本和最重要的連接設(shè)備，其主要工作是將需要傳輸?shù)臄?shù)據(jù)轉(zhuǎn)換為網(wǎng)絡(luò)設(shè)備能夠識別的格式（如圖2所示）。在網(wǎng)絡(luò)技術(shù)發(fā)展的帶動下，傳統(tǒng)基礎(chǔ)網(wǎng)卡的功能也更加豐富，LSO/LRO、VLAN等支持SR-IOV和流量管理QoS，傳統(tǒng)基礎(chǔ)網(wǎng)卡的網(wǎng)絡(luò)接口帶寬也由原來的百兆、千兆發(fā)展到10G、25G乃至在云計算虛擬化網(wǎng)絡(luò)中，傳統(tǒng)基礎(chǔ)網(wǎng)卡向虛擬機提供網(wǎng)絡(luò)接入的方式主要分為以下3種。（1）網(wǎng)卡接收流量經(jīng)操作系統(tǒng)內(nèi)核協(xié)議棧轉(zhuǎn)發(fā)至虛擬機。（2）由DPDK用戶態(tài)驅(qū)動接管網(wǎng)卡，讓數(shù)據(jù)包繞過操作系統(tǒng)內(nèi)核協(xié)議棧直接拷貝到虛擬機內(nèi)存。（3）使用SR-IOV技術(shù)，將物理網(wǎng)卡PF虛擬化成多個具有網(wǎng)卡功能的虛擬VF，再將VF直通到虛擬機中。隨著VxLAN等隧道協(xié)議以及OpenFlow、OVS等虛擬交換技術(shù)的應(yīng)用，網(wǎng)絡(luò)處理的復(fù)雜度在逐漸增大，需要消耗更多的CPU資源，因此智能網(wǎng)卡SmartNIC誕生了。2.SmartNIC的發(fā)展和應(yīng)用智能網(wǎng)卡SmartNIC除了具備傳統(tǒng)基礎(chǔ)網(wǎng)卡的網(wǎng)絡(luò)傳輸功能外，還提供豐富的硬件卸載加速能力，能夠提升云計算網(wǎng)絡(luò)的轉(zhuǎn)發(fā)速率，釋放主機CPU計算資源（如圖3所示）。智能網(wǎng)卡SmartNIC上沒有通用處理器CPU，需要主機CPU進行控制面管理。智能網(wǎng)卡SmartNIC主要卸載加速對象是數(shù)據(jù)但是隨著云計算應(yīng)用中網(wǎng)絡(luò)速率的不斷提高，主機仍會消耗大量寶貴的CPU資源對流量進行分類、跟蹤和控制，如何實現(xiàn)主機CPU的“零消耗”成了云廠商下一步的研究方向。3.FPGA-BasedDPU網(wǎng)卡的發(fā)展和應(yīng)用相比智能網(wǎng)卡SmartNIC，F(xiàn)PGA-BasedDPU網(wǎng)卡在硬件架構(gòu)上增加了通用CPU處理單元，組合成FPGA+CPU的架構(gòu)形態(tài)，從而便于實現(xiàn)對網(wǎng)絡(luò)、存儲、安全和管控等通用基礎(chǔ)設(shè)施的加速和在這個階段中，DPU的產(chǎn)品形態(tài)主要以FPGA+CPU為主。基于FPGA+CPU硬件架構(gòu)的DPU具有良好的軟硬件可編程性，在DPU發(fā)展初期大部分DPU廠商都選擇了這個方案。該方案開發(fā)時間相對較短且迭代快速，能夠迅速完成定制化功能開發(fā)，便于DPU廠商快速推出產(chǎn)品，搶占市場。但是隨著網(wǎng)絡(luò)帶寬從25G向100G的遷移，基于FPGA+CPU硬件架構(gòu)的DPU受到芯片制程和FPGA結(jié)構(gòu)的限制，導(dǎo)致在追求更高吞吐能力時，難以做到對芯片面積和功耗的很好控制，從而制約了這種DPU架構(gòu)的持續(xù)發(fā)展。4.DPUSOC網(wǎng)卡的發(fā)展和應(yīng)用DPUSOC是基于ASIC的硬件架構(gòu)，結(jié)合了ASIC和CPU的優(yōu)勢，兼顧了專用加速器的優(yōu)異性能和通用處理器的可編程靈活性的單芯片DPU技術(shù)方案，是驅(qū)動云計算技術(shù)發(fā)展的重要因素。如前一段所述，雖然DPU在云計算扮演著重要的作用，但傳統(tǒng)的DPU方案多以FPGA-based方案呈現(xiàn)，隨著服務(wù)器從25G向下一代100G服務(wù)器遷移，其成本、功耗、功能等諸多方面受到了嚴重的挑戰(zhàn)。單芯片的DPUSOC不僅在成本、功耗方面有著巨容器的應(yīng)用管理部署，也支持裸金屬應(yīng)用（如圖5所示）。隨著DPU技術(shù)的不斷發(fā)展，通用可編程的DPUSOC正在成為云廠商在數(shù)據(jù)中心建設(shè)中的關(guān)鍵部件。DPUSOC可以實現(xiàn)對數(shù)據(jù)中心中的計算資源和網(wǎng)絡(luò)資源的經(jīng)濟高效管理，具備豐富功能和可編程能力的DPUSOC可以支持不同云計算場景和資源統(tǒng)一管理，優(yōu)化數(shù)據(jù)中心計算資源利用率。（二）DPU生態(tài)發(fā)展可以看到DPU技術(shù)是由需求驅(qū)動，然后快速發(fā)展起來的新技術(shù)形態(tài)。近幾年來，經(jīng)過國內(nèi)外互聯(lián)網(wǎng)公司在不同應(yīng)用場景下的嘗試和驗證，取得了不錯的成本收益。例如在國外AWS使用NiDPU系統(tǒng)把網(wǎng)絡(luò)、存儲、安全和監(jiān)控等功能分解并轉(zhuǎn)移到專用的硬件和軟件上，將服務(wù)器上幾乎所有資源都提供給服務(wù)實例，降低了數(shù)據(jù)中心總體的運行成本；在國內(nèi)阿里云發(fā)布了云基礎(chǔ)設(shè)施處理器CIPU，實現(xiàn)了網(wǎng)絡(luò)、存儲、虛擬化全硬件卸載。隨著DPU技術(shù)的不斷完善和功能定位的逐步明晰，DPU的生態(tài)建設(shè)也在積極推進，在行業(yè)內(nèi)取得了很大的進展。在國外，首先Nvidia推動DOCA軟件棧的發(fā)展，促進和降低終端用戶對DPU的使用門檻。從CUDA軟件生態(tài)之于NvidiaGPU的作用，可以看到DPU軟件生態(tài)對DPU技術(shù)發(fā)展的重要性，因此DOCA廣泛受到了業(yè)界的持續(xù)關(guān)注。其次，除了DOCA之外，OPI（OpenProgrammableInfrastructure，開放可編程基礎(chǔ)設(shè)施在2022年6月由Linux基金會發(fā)布，旨在為基于DPU/IPU等可編程硬件承載的軟件開發(fā)框架培育一個由社區(qū)驅(qū)動的開放生態(tài)，簡化應(yīng)用程序中的網(wǎng)絡(luò)、存儲和安全API，從而在開發(fā)運維、安全運維以及網(wǎng)絡(luò)運維之間的云和數(shù)據(jù)中心中實現(xiàn)更具可移植性和高性能的應(yīng)用程序。進行了發(fā)布，在DPU管理、計算卸載、存儲卸載、網(wǎng)絡(luò)卸載、安全卸載和RDMA支持等方面提供通用軟件開發(fā)框架和兼容性接口。與此同時，如中國信息通信研究院、中國通信標(biāo)準化協(xié)會等部門和組織，也在制定積極制定相應(yīng)的標(biāo)準，從多個維度，例如兼容性規(guī)范、硬件編程規(guī)范、應(yīng)用生態(tài)接口規(guī)范等維度，來實現(xiàn)DPU的軟硬件解耦和互聯(lián)互通的互操作能力。當(dāng)前，國內(nèi)外都在圍繞著DPU這個新興技術(shù)積極推進相關(guān)軟硬件生態(tài)的開發(fā)和迭代。并且，立足于國內(nèi)，無論從行業(yè)本身還是來自政策的引導(dǎo)，都在積極推動著DPU的生態(tài)建設(shè)和標(biāo)準化進程。不過需要強調(diào)的是，目前DPU的生態(tài)發(fā)展還處在早期。軟硬件都還面臨諸多挑戰(zhàn)。例如在硬件層面，服務(wù)器中的電源管理、BMC帶外管控邏輯與DPU的需求并不完全匹配；在軟件層面還沒有形成統(tǒng)一的軟件棧（包括SDK和運行時環(huán)境也沒有完善的定義清晰的API接口實現(xiàn)與云平臺軟件系統(tǒng)的兼容性對接；在操作系統(tǒng)層面，例如Linux、windows、VMware以及各類國產(chǎn)操作系統(tǒng)（openEuler等），也面臨適配的需求。長期來看，DPU生態(tài)建設(shè)是一個不斷迭代長期完善的過程。（三）DPU典型案例在DPU的設(shè)計、開發(fā)和使用中，國內(nèi)外芯片巨頭和頭部云服務(wù)商都投入了大量的研發(fā)資源，經(jīng)過不斷探索和實踐，取得了很好的成本收益。1.DPU在AWS（亞馬遜云）中的應(yīng)用AWS是全球領(lǐng)先的云計算服務(wù)和解決方案提供商，AWSNitroDPU系統(tǒng)已經(jīng)成為AWS云服務(wù)的技術(shù)基石。AWS借助NitroDPU系統(tǒng)把網(wǎng)絡(luò)、存儲、安全和監(jiān)控等功能分解并轉(zhuǎn)移到專用的硬件和軟件上，將服務(wù)器上幾乎所有資源都提供給服務(wù)實例，極大地降低了成本。NitroDPU在亞馬遜云中的應(yīng)用可以使一臺服務(wù)器每年可以多獲得幾千美元的收益。20NitroDPU系統(tǒng)主要分為以下幾個部分（如圖6所示）。（1）Nitro卡。一系列用于網(wǎng)絡(luò)、存儲和管控的專用硬件，以提高整體系統(tǒng)性能。（2）Nitro安全芯片。將虛擬化和安全功能轉(zhuǎn)移到專用的硬件和軟件上，減少攻擊面，實現(xiàn)安全的云平臺。（3）Nitro控制卡。一種輕量型Hypervisor管理程序，可以管理內(nèi)存和CPU的分配，并提供與裸機無異的性能。NitroDPU系統(tǒng)提供了密鑰、網(wǎng)絡(luò)、安全、服務(wù)器和監(jiān)控等功能支持，釋放了底層服務(wù)資源供客戶的虛擬機使用，并且DPU使AWS可以提供更多的裸金屬實例類型，甚至將特定實例的網(wǎng)絡(luò)性能提升到100Gbps。2.NvidiaDPU的應(yīng)用Nvidia是一家以設(shè)計和銷售圖形處理器GPU為主的半導(dǎo)體公司，GPU產(chǎn)品在AI和高性能計算HPC領(lǐng)域被廣泛應(yīng)用。2020年4月，Nvidia以69億美元的價格收購了網(wǎng)絡(luò)芯片和設(shè)備公司Mellanox，隨后陸續(xù)推出BlueField系列DPU。21DPU的先進特性，是首款為AI和加速計算而設(shè)計的DPU。BlueField-3DPU提供了最高400Gbps網(wǎng)絡(luò)連接，可以卸載、加速和隔離，支持軟件定義網(wǎng)絡(luò)、存儲、安全和管控功能。3.IntelIPU的應(yīng)用IntelIPU是一種具有硬化加速器和以太網(wǎng)連接的高級網(wǎng)絡(luò)設(shè)備，可使用緊密耦合的專用可編程內(nèi)核來加速和管理基礎(chǔ)設(shè)施功能。IPU提供完整的基礎(chǔ)設(shè)施卸載，并充當(dāng)運行基礎(chǔ)設(shè)施應(yīng)用的主機控制點，以提供額外的安全層。使用IntelIPU，可以將全部基礎(chǔ)設(shè)施業(yè)務(wù)從服務(wù)器卸載到IPU上，釋放服務(wù)器CPU資源，也為云服務(wù)提供商提供了一個獨立且安全的控制點。222021年，Intel在IntelArchitectureDay上發(fā)布了oakSpringsCanyon和MountEvansIPU產(chǎn)品（如圖8所示）。其中，oakSpringsCanyon是基于FPGA的IPU產(chǎn)品，MountEvansInteloakSpringsCanyonIPU配備了IntelAgilexFPGA和Xeon-DCPU。IntelMountEvansIPU是Intel與Google共同設(shè)計的SoC(System-on-a-Chip)，MountEvans主要分為Io子系統(tǒng)和計算子系統(tǒng)兩個部分。網(wǎng)絡(luò)部分用ASIC進行數(shù)據(jù)包處理，性能相比FPGA高很多，且功耗更低。計算子系統(tǒng)使用了16個ARMNeoverseN1核心，擁有極強的計算能力。4.DPU在阿里云中的應(yīng)用阿里云也在DPU的技術(shù)上不斷進行著探索。2022年阿里云峰會上，阿里云正式發(fā)布了云基礎(chǔ)設(shè)施處理器CIPU，CIPU的前23身是基于神龍架構(gòu)的MoC卡（MicroServeronaCard），從功能和定位符合DPU的定義。MoC卡擁有獨立的IO、存儲和處理單元，承擔(dān)了網(wǎng)絡(luò)、存儲和設(shè)備虛擬化的工作。第一代和第二代MoC卡解決了狹義上的計算虛擬化零開銷問題，網(wǎng)絡(luò)和存儲部分的虛擬化仍由軟件實現(xiàn)。第三代MoC卡實現(xiàn)了部分網(wǎng)絡(luò)轉(zhuǎn)發(fā)功能硬化，網(wǎng)絡(luò)性能大幅提升。第四代MoC卡實現(xiàn)了網(wǎng)絡(luò)、存儲全硬件卸載，還支持了RDMA能力。阿里云CIPU作為一顆為飛天系統(tǒng)設(shè)計的數(shù)據(jù)中心處理器系統(tǒng)，對于阿里云構(gòu)建新一代完整的軟硬件云計算架構(gòu)體系有著重大意義。5.DPU在火山引擎中的應(yīng)用火山引擎同樣在不斷探索自研DPU的道路，其自研DPU采用軟硬一體虛擬化技術(shù)，旨在為用戶提供可彈性伸縮的高性能計算服務(wù)。在火山引擎彈性計算產(chǎn)品中，第二代彈性裸金屬服務(wù)器和第三代云服務(wù)器都搭載了自研DPU，在產(chǎn)品能力和應(yīng)用場景上進行了廣泛驗證。2022年正式對外商用的火山引擎第二代EBM實例首次搭載火山自研DPU，在整體性能上既保留了傳統(tǒng)物理機的穩(wěn)定性和安全性優(yōu)勢，能夠?qū)崿F(xiàn)安全物理隔離，又兼具虛擬機的彈性和靈活性優(yōu)勢，是新一代多優(yōu)勢兼具的高性能云服務(wù)器。2023年上半年發(fā)布的火山引擎第三代ECS實例同樣結(jié)合了火山引擎自研最新DPU的架構(gòu)和自研虛擬交換機、虛擬化技術(shù)，網(wǎng)絡(luò)及存儲IO性能均實現(xiàn)了大幅提升。24三、基于DPU構(gòu)建綠色低碳金融云近年來，為落實雙碳等國家重大戰(zhàn)略，金融業(yè)積極實施綠色發(fā)展轉(zhuǎn)型。數(shù)據(jù)中心作為金融業(yè)的關(guān)鍵基礎(chǔ)設(shè)施以及數(shù)字經(jīng)濟的重要基礎(chǔ)，是金融業(yè)發(fā)展和數(shù)字化轉(zhuǎn)型中的重要抓手。而在數(shù)字化轉(zhuǎn)型中，數(shù)據(jù)中心一方面需要支撐大量數(shù)據(jù)吞吐和運算能力，另一方面還要面對來自服務(wù)器等IT產(chǎn)品的散熱與功耗挑戰(zhàn)，需要大量運維成本和能源消耗，已經(jīng)成為金融機構(gòu)的主要開支。黨的二十大報告最新提出，要加快發(fā)展方式綠色轉(zhuǎn)型，完善支持綠色發(fā)展的金融政策和標(biāo)準體系，發(fā)展綠色低碳產(chǎn)業(yè)。如何讓金融業(yè)數(shù)據(jù)中心建設(shè)既滿足大量數(shù)據(jù)吞吐和運算能力的要求，又滿足綠色低碳的發(fā)展方針成為當(dāng)前一大難題。當(dāng)前金融云計算平臺架構(gòu)體系可分為基礎(chǔ)硬件設(shè)施與設(shè)備、DPU具備高效數(shù)據(jù)處理、內(nèi)置安全、網(wǎng)絡(luò)可編程、彈性資源25調(diào)度等能力，作為資源調(diào)度的中心，可以將計算、存儲、網(wǎng)絡(luò)等硬件設(shè)備與云計算架構(gòu)中的資源抽象層有機結(jié)合起來（如圖10所示），充分利用軟件定義計算、軟件定義網(wǎng)絡(luò)、軟件定義存儲等技術(shù)提升資源利用率，使得金融云更加靈活彈性，從而助力金融業(yè)建設(shè)綠色、安全和高效的數(shù)據(jù)中心，積極踐行國家戰(zhàn)略。（一）統(tǒng)一部署彈性調(diào)度隨著云原生技術(shù)的快速發(fā)展和大規(guī)模應(yīng)用，當(dāng)前云原生在金融行業(yè)中的落地應(yīng)用也越來越多，通過將云計算、大數(shù)據(jù)、區(qū)塊鏈等技術(shù)和云原生理念有機結(jié)合在一起，以實現(xiàn)數(shù)據(jù)中心計算、存儲、網(wǎng)絡(luò)等資源的彈性調(diào)度和彈性伸縮，從而構(gòu)建跨層級、跨區(qū)域的智能化云原生數(shù)據(jù)中心，最終提升金融行業(yè)的運營效率。云原生技術(shù)平臺可以通過混合云對接多種基礎(chǔ)設(shè)施，例如容器、虛擬機、裸金屬服務(wù)器等計算資源。用戶可以通過申請或釋26放云化的計算資源來實現(xiàn)成本的最優(yōu)化，同時通過云原生的混合調(diào)度能力實現(xiàn)各種資源的個性化配置，做到業(yè)務(wù)的多樣化部署。在傳統(tǒng)的數(shù)據(jù)中心中，要滿足云原生架構(gòu)下不同業(yè)務(wù)對計算資源的個性化需求，一般需要對整個數(shù)據(jù)中心的資源進行預(yù)先分配，劃分出容器、虛擬機、裸金屬服務(wù)器所占資源的比例，并以此比例注冊相應(yīng)的計算資源。同時，為了實現(xiàn)裸金屬服務(wù)器和虛擬化平臺或者容器云平臺的互通，一般需要為裸金屬服務(wù)器單獨劃定專用的物理交換機來實現(xiàn)裸金屬服務(wù)器與虛擬化網(wǎng)絡(luò)的互在這種架構(gòu)下，虛擬機、容器、裸金屬服務(wù)器所使用的資源都是預(yù)先固定的，因此計算資源的類型屬于不可調(diào)度狀態(tài)，并不符合云原生的理念。在云原生時代，應(yīng)用的發(fā)展非常迅速，而計算資源實例類型的使用是不可預(yù)測的，很可能出現(xiàn)虛擬化資源不夠滿足需求的情況，而為了滿足虛擬化資源就只能通過增加虛擬化服務(wù)器來解決資源不足的問題。而此時，若裸金屬或者容器所預(yù)先分配的資源處于空閑狀態(tài)，但因為物理上的預(yù)先限制而無法轉(zhuǎn)換為虛擬化所需要的資源，依然會占用數(shù)據(jù)中心的空間和運維等成本，導(dǎo)致計算資源沒有完全充分利用，最終出現(xiàn)數(shù)據(jù)中心的整體利用率不高，而所消耗的運維和能源成本卻很高的情況。27為使云原生技術(shù)在金融行業(yè)實現(xiàn)標(biāo)計算資源標(biāo)準化和更加靈活的彈性調(diào)度，并能更好地支撐對計算、網(wǎng)絡(luò)和存儲等資源進行彈性伸縮，同時又降本增效，讓數(shù)據(jù)中心的計算資源發(fā)揮更大的價值，DPU應(yīng)運而生。在以DPU為中心構(gòu)建云原生金融數(shù)據(jù)中心的架構(gòu)下（如圖12所示），數(shù)據(jù)中心的建設(shè)從一開始就不需要從硬件層面預(yù)分配虛擬機、容器、裸金屬服務(wù)器等計算資源，特別是裸金屬服務(wù)器不再需要為其單獨配置專用的交換機以及相應(yīng)的裸金屬鏡像PXE服務(wù)器。通過DPU特有的云盤啟動能力支持，能夠以分鐘級提供裸金屬計算實例，同時DPU能夠為裸金屬實例提供彈性磁盤內(nèi)置虛擬交換機，用戶可以根據(jù)自己的需要配置相應(yīng)的虛擬網(wǎng)絡(luò)，實現(xiàn)原先需要專用交換機才能實現(xiàn)的功能。28通過DPU對數(shù)據(jù)中心的計算資源虛擬機、容器、裸金屬服務(wù)器進行統(tǒng)一并池管理，可以大幅提升數(shù)據(jù)中心空間利用率，降低數(shù)據(jù)中心能耗，使得數(shù)據(jù)中心運維更加簡單方便，實現(xiàn)從數(shù)據(jù)中心建設(shè)層面踐行云原生的理念，打造符合金融行業(yè)綠色、高效、靈活、高度集成的云原生數(shù)據(jù)中心。（二）計算實例高可用金融云平臺對外提供的計算實例主要包括虛擬機、容器、裸金屬。在以DPU為中心構(gòu)建的數(shù)據(jù)中心，通過DPU的云盤啟動能力，每臺服務(wù)器可以進行分鐘級別的靈活調(diào)整，切換角色。根據(jù)該特性，云平臺對裸金屬實例進行生命周期管理，當(dāng)發(fā)現(xiàn)服務(wù)器故障或裸金屬實例不可達時，首先通過云平臺的高可用機制將業(yè)務(wù)引導(dǎo)到正常狀態(tài)節(jié)點，同時利用DPU提供的云盤啟動方式將故障的裸金屬實例在另外的服務(wù)器迅速拉起恢復(fù)業(yè)務(wù)集群到正常29狀態(tài)，實現(xiàn)裸金屬實例的高可用。在虛擬機實例方面，DPU提供硬件級熱遷移能力，可以將使用Passthrough技術(shù)的虛擬機根據(jù)云平臺在監(jiān)控到宿主機異?；蛱摂M機異常后，對虛擬機進行熱遷移以實現(xiàn)虛擬機實例對外業(yè)務(wù)的高可用。在容器實例方面，通過把servicemesh卸載到DPU將多個由DPU提供網(wǎng)絡(luò)和存儲的容器構(gòu)建為一個服務(wù)網(wǎng)格，通過服務(wù)鏈的方式提供對外服務(wù)，當(dāng)出現(xiàn)容器故障時，利用servicemesh的自動選路功能保證對外服務(wù)正常工作，同時利用云原生平臺提供的容器副本監(jiān)控機制可以快速的將故障容器進行重建，在這兩種機制的配合下保證容器實例的高可用。（三）加速云原生網(wǎng)絡(luò)隨著云計算和容器化技術(shù)的發(fā)展，云原生架構(gòu)已經(jīng)成為現(xiàn)代應(yīng)用程序的主流架構(gòu)之一。云原生網(wǎng)絡(luò)是一種專門為云原生應(yīng)用程序設(shè)計的網(wǎng)絡(luò)架構(gòu)，是指在云環(huán)境下構(gòu)建、管理和運行應(yīng)用程序的網(wǎng)絡(luò)。這種網(wǎng)絡(luò)的特點是高度自動化和可編程，以適應(yīng)云原生下快速變化的應(yīng)用需求和規(guī)模。在云原生網(wǎng)絡(luò)中，網(wǎng)絡(luò)功能通常以虛擬化的方式存在，以提供更好的靈活性并做到兼容原有的物理網(wǎng)絡(luò)設(shè)備。在云原生大浪潮下，金融業(yè)務(wù)相較于傳統(tǒng)金融業(yè)務(wù)更加多元化和規(guī)模化，需要更靈活、敏捷的業(yè)務(wù)和技術(shù)架構(gòu)來支撐。傳統(tǒng)的集中式單體業(yè)務(wù)架構(gòu)和多層架構(gòu)已經(jīng)無法滿足業(yè)務(wù)變化和行30業(yè)發(fā)展的需求。云原生的應(yīng)用程序通常采用分布式微服務(wù)架構(gòu)，一個應(yīng)用程序由多個微服務(wù)組成，這些微服務(wù)之間會頻繁地通信和交換，這種架構(gòu)的特點是能夠提升應(yīng)用程序的可伸縮性和靈活性，這就對網(wǎng)絡(luò)提出了更高的要求，要做到穩(wěn)定、高帶寬和低時目前主流的網(wǎng)絡(luò)方案還是基于內(nèi)核協(xié)議?；蛘咛摂M交換機，當(dāng)業(yè)務(wù)對帶寬和時延的要求比較高時，當(dāng)前架構(gòu)就無法滿足應(yīng)用程序?qū)W(wǎng)絡(luò)的需求。特別是在統(tǒng)一資源管理的需求下，容器、虛擬機、裸金屬服務(wù)器需要在同一網(wǎng)絡(luò)平面下，若虛擬機使用虛擬網(wǎng)卡的方式接入網(wǎng)絡(luò)，網(wǎng)絡(luò)的帶寬和時延都不能得到保證。為了滿足應(yīng)用程序的網(wǎng)絡(luò)需求，只能增加更多的工作負載，這在另一種程度上降低了數(shù)據(jù)中心的真實利用率，并帶來了更多的運維和DPU作為數(shù)據(jù)處理的核心，借由半虛擬化幾乎能夠達到物理設(shè)備性能的特性，DPU為主機側(cè)提供硬件實現(xiàn)的半虛擬化設(shè)備virtio-net，使容器、裸金屬服務(wù)器和虛擬機都使用統(tǒng)一的網(wǎng)絡(luò)設(shè)備類型進行通信。另外，DPU內(nèi)置硬件包處理引擎，可以做到完全卸載虛擬交換機的快速路徑到硬件，實現(xiàn)高帶寬、低時延的可編程虛擬網(wǎng)絡(luò)（如圖13所示）。31（四）加速云原生存儲云原生存儲是一種針對云原生應(yīng)用設(shè)計的存儲架構(gòu)，可更好地適應(yīng)動態(tài)的云環(huán)境，提高應(yīng)用的可用性和可伸縮性。云原生存儲通常采用分布式存儲技術(shù)，將數(shù)據(jù)分散存儲在多個節(jié)點上，提高存儲系統(tǒng)的可靠性和可用性，并支持動態(tài)擴展和收縮。常見的云原生存儲技術(shù)包括如下幾種。1.對象存儲（objectStorage）。對象存儲是一種分布式存適用于存儲非結(jié)構(gòu)化數(shù)據(jù)。2.分布式塊存儲（DistributedBlockStorage）。分布式塊存儲將數(shù)據(jù)分割成塊，然后將塊分散存儲在多個節(jié)點上，可以提供高可靠性和高性能，適用于存儲結(jié)構(gòu)化數(shù)據(jù)和虛擬機磁盤。3.分布式文件系統(tǒng)（DistributedFileSystem）。分布式文件系統(tǒng)將文件分散存儲在多個節(jié)點上，并提供文件系統(tǒng)接口，32支持多個客戶端訪問，可以提供高可靠性和高性能，適用于存儲大型文件和共享文件。其中虛擬機、裸金屬服務(wù)器以及一些應(yīng)用對塊存儲的性能和普遍的做法是優(yōu)化存儲協(xié)議、緩存，采用支持多種存儲協(xié)議和接口的分布式存儲系統(tǒng)。但隨著數(shù)據(jù)規(guī)模和數(shù)量越來越大，各種應(yīng)用對存儲的帶寬、時延等性能指標(biāo)的要求越來越高，存儲系統(tǒng)也變得越來越龐大和復(fù)雜。DPU作為數(shù)據(jù)處理的核心，一方面可以對裸金屬服務(wù)器、虛擬機提供標(biāo)準的半虛擬化設(shè)備virtio-blk和nvme設(shè)備，同時這RBD等從而節(jié)省大量的非計算損耗。另一方面，通過DPU提供的RDMA技術(shù)和內(nèi)置的存儲協(xié)議加速引擎，為計算實例提供高帶寬、低時延的數(shù)據(jù)讀寫，提升數(shù)據(jù)中心存儲資源的效率，降低數(shù)據(jù)中心存儲資源的運維和能耗等成本（如圖14所示）。33（五）加速微服務(wù)應(yīng)用伴隨著云原生和微服務(wù)的技術(shù)在金融行業(yè)的普及，以及服務(wù)網(wǎng)格（ServiceMesh）技術(shù)的逐漸成熟，解決了金融行業(yè)分布式系統(tǒng)的歷史包袱。服務(wù)網(wǎng)格架構(gòu)引入SideCar使現(xiàn)有的服務(wù)可以在不改造的情況下引入了服務(wù)治理能力，大大降低了中間件的研發(fā)投入和演進成本，也降低了業(yè)務(wù)和中間件的耦合，基礎(chǔ)架構(gòu)與業(yè)務(wù)架構(gòu)可以獨立演進。服務(wù)網(wǎng)格架構(gòu)也為多語言棧提供了服務(wù)治理能力。面向大規(guī)模金融級的微服務(wù)應(yīng)用，引入新系統(tǒng)架構(gòu)服務(wù)網(wǎng)格以實現(xiàn)分布式平臺的架構(gòu)轉(zhuǎn)型和技術(shù)組件能力進化。服務(wù)網(wǎng)格通過SideCar接管業(yè)務(wù)進程的出入口流量，將微服務(wù)治理的邏輯從業(yè)務(wù)中獨立出來，由服務(wù)網(wǎng)格框架提供服務(wù)鑒定、過載保護、負載均衡等分布式服務(wù)治理的功能。盡管Sidecar在服務(wù)網(wǎng)格中帶來許多好處，但它也可能會帶來一些缺點。其中一種常見的缺點是延遲，這主要是因為許多服務(wù)網(wǎng)格解決方案需要通過Sidecar來處理網(wǎng)絡(luò)流量、域名解析和負載均衡等復(fù)雜的工作。當(dāng)本來應(yīng)該直接在進程內(nèi)部完成的工作被轉(zhuǎn)移到了Sidecar中可能成為瓶頸，導(dǎo)致服務(wù)的性能下降。并且，隨著微服務(wù)規(guī)模不斷擴大，服務(wù)網(wǎng)格資源占用量較大的問題逐漸凸顯，同時由于服務(wù)網(wǎng)格代理進程與業(yè)務(wù)進程部署在一起共享資源，也存在相互影響的情況。34利用DPU異構(gòu)計算進行卸載和加速的技術(shù)正不斷發(fā)展和演進，通過將SideCar卸載到DPU上，業(yè)務(wù)和服務(wù)網(wǎng)格的關(guān)系從“邏輯隔離”演進為“物理隔離”，服務(wù)器上只運行業(yè)務(wù)邏輯。在保持多語言的RPCSDK向業(yè)務(wù)輸出能力的同時，對于卸載到DPU上的SideCar部分，通過軟硬件結(jié)合等方式，將SideCar重復(fù)性、高頻的操作用硬件卸載和加速，從而解決了服務(wù)網(wǎng)格鏈路延遲和資源隔離的問題。（六）加速云原生安全云原生作為一種新的軟件開發(fā)和部署理念，它強調(diào)應(yīng)用程序的可移植性、可擴展性和彈性。云原生環(huán)境中有許多不同的組件和服務(wù)，包括容器、微服務(wù)、自動化部署工具等。這些新的組件和服務(wù)使得安全方面的需求也發(fā)生了變化。金融行業(yè)是對安全性要求最高的行業(yè)之一，因此金融行業(yè)的云原生架構(gòu)需要具備高可用、高可靠、高安全等特點，需要采用一系列安全解決方案來保證整個云原生平臺的安全性。在云原生網(wǎng)絡(luò)中，mTLS是確保云原生應(yīng)用程序中微服務(wù)之間的通信安全的首選協(xié)議。DPU作為云原生架構(gòu)中數(shù)據(jù)處理的核心，對虛擬機、容器、裸金屬網(wǎng)絡(luò)進行卸載加速的同時，可以將防火墻等安全軟件部署在DPU上并使用DPI硬件引擎進行加速，將計算實例產(chǎn)生的流量導(dǎo)入到這些安全軟件中，從而構(gòu)建零信任的網(wǎng)絡(luò)解決方案，對東西向流量進行節(jié)點級的防護。同時，DPU35支持國密硬件引擎，能夠為數(shù)據(jù)的加解密提供更高安全的防護。（七）加速大模型訓(xùn)練隨著AI模型的規(guī)模越來越大，分布式訓(xùn)練成為AI大模型訓(xùn)練的主要方式。所謂分布式訓(xùn)練，即跨越單臺GPU服務(wù)器的算力限制，使用數(shù)據(jù)中心不同的物理服務(wù)器的GPU算力卡，通過高速低延遲網(wǎng)絡(luò)及存儲構(gòu)建GPU計算集群，實現(xiàn)更大規(guī)模的、多機多卡的GPU并行計算。通過GPU分布式訓(xùn)練技術(shù)，可以在更短時間內(nèi)將模型訓(xùn)練到滿足工業(yè)級應(yīng)用的精度。GPU分布式訓(xùn)練優(yōu)化涉及計算、網(wǎng)絡(luò)、存儲硬件層面，也包括數(shù)據(jù)并行、模型并行、GPU參數(shù)同步通信的算法和軟件實現(xiàn)層面，GPU集群任何一點出現(xiàn)性為了解決“內(nèi)存墻”與“通信墻”，通常會使用RDMA技術(shù)和100G帶寬的網(wǎng)卡。傳統(tǒng)的RDMA網(wǎng)卡通過SR-IOV技術(shù)可以拆分出多個VF以供虛擬機使用。在云原生架構(gòu)下，為了資源利用率的最大化，大模型的訓(xùn)練需要做到快速部署訓(xùn)練，需要每個容器、虛擬機都有使用RDMA設(shè)備的能力，DPU通常可以支持上千個RDMA設(shè)備可以充分滿足通信需求。同時，通過基于DPU的內(nèi)存和存儲交換方案，可以加速GPU與存儲設(shè)備之間，GPU與GPU之間的信息交換，降低通信時延，從而降低大模型訓(xùn)練的消耗時36（八）提升計算資源利用率虛擬化和容器化是云原生技術(shù)的核心技術(shù)之一，通過虛擬化技術(shù)和容器化技術(shù)提供的計算資源是云計算基礎(chǔ)設(shè)施的核心組成部分，也是計算能力的基礎(chǔ)。充分利用計算資源是云計算技術(shù)一直努力的方向。當(dāng)前主要通過以下途徑來提升計算資源的利用1.資源虛擬化。通過虛擬化技術(shù)，可以將物理計算資源劃分為多個虛擬計算資源，從而使得計算資源可以更好地被多個租戶共享，提高計算資源的利用率。2.彈性計算。通過資源動態(tài)調(diào)度技術(shù)，根據(jù)應(yīng)用程序的需要動態(tài)調(diào)整計算資源的分配，從而實現(xiàn)計算資源的最大化利用，減少計算資源浪費，提高計算資源利用率。3.自動化管理。通過自動化管理技術(shù)，減少人工操作和管理通過自動化方式完成計算資源的管理和調(diào)度，提高計算資源的利用率。隨著云原生業(yè)務(wù)的發(fā)展和應(yīng)用，云原生業(yè)務(wù)也變得越來越龐大和復(fù)雜，各個應(yīng)用對網(wǎng)絡(luò)和存儲等IO的需求也越來越高，單臺服務(wù)的帶寬需求開始從10Gb到25Gb甚至100Gb、200Gb開始轉(zhuǎn)變。為了應(yīng)對網(wǎng)絡(luò)和存儲對帶寬的挑戰(zhàn)，各種解決方案也應(yīng)運而生（如圖15所示），比如網(wǎng)絡(luò)使用XDP技術(shù)加速內(nèi)核協(xié)議棧，使用DPDK技術(shù)旁路內(nèi)核協(xié)議棧，存儲采用ROCEv2來加速存儲提供更低的帶寬和時延等。37但這些軟件方案隨著云原生業(yè)務(wù)對帶寬的要求越來越高，也逐漸面臨很多問題。以一臺56核的服務(wù)器，采用DPDK技術(shù)對網(wǎng)絡(luò)進行加速為例：單服務(wù)器帶寬需求為10Gb時，需要消耗大概4個核作為網(wǎng)絡(luò)轉(zhuǎn)發(fā)、52核作為業(yè)務(wù)，計算資源利用率為92%；單服務(wù)器帶寬需求為25Gb時，需要消耗大概10個核作為網(wǎng)絡(luò)轉(zhuǎn)發(fā)、46核作為業(yè)務(wù)，計算資源利用率為82%；當(dāng)服務(wù)器帶寬需求為100Gb時，可能需要消所有的CPU核作為網(wǎng)絡(luò)轉(zhuǎn)發(fā)，已經(jīng)沒有資源留給業(yè)務(wù)了（如圖16所示）。38圖12基于HOST轉(zhuǎn)發(fā)的CPU利用率從以上案例中可以看到，隨著IO的越大，傳統(tǒng)的各種IO加速方案已引入新的解決方案，那么只能靠更多、更強的服務(wù)器來滿足業(yè)務(wù)的IO需求，這使得數(shù)據(jù)中心的真實計算資源利用率十分低下，并大幅提升數(shù)據(jù)中心的能耗和運維成本。DPU作為數(shù)據(jù)處理的核心，內(nèi)置可編程報文處理引擎，可以將網(wǎng)絡(luò)、存儲所消耗的IO資源全部卸載到DPU上，完全釋放服務(wù)器的CPU資源，讓云原生業(yè)務(wù)可以100%利用服務(wù)器的計算資39在以DPU為中心的數(shù)據(jù)中心架構(gòu)下，所有IO由DPU來處理和加速，一方面因為DPU低功耗的特點，數(shù)據(jù)中心IO的能耗可以大幅降低。另一方面，計算資源可以100%用于計算，這提升了單臺服務(wù)器的計算密度，與同等規(guī)模的數(shù)據(jù)中心相比，該架構(gòu)可以提供更多的計算資源，提升數(shù)據(jù)中心的計算資源利用率。的硬件配置為例，每臺服務(wù)器要預(yù)留出20%左右的資源給虛擬機的網(wǎng)絡(luò)、存儲和虛擬機生命周期管理。當(dāng)前服務(wù)器的網(wǎng)絡(luò)帶寬一般在100萬pps左右，按照2vcore，4G內(nèi)存的虛擬機規(guī)格可以分出30個左右網(wǎng)絡(luò)帶寬為5MB（3萬pps）帶寬的虛擬機。宿主機CPU支持超分的能力，一般按1比2或者更多但是由于網(wǎng)絡(luò)IO瓶頸的存在，無法充分利用CPU的能力。DPU可以提供超過1000萬pps的網(wǎng)絡(luò)性能，可以將虛擬機的超分比40基于以上，綜合硬件和運維等成本因素，可以從兩個方面計算DPU所帶來的收益：在提供同等算力的情況下DPU可以節(jié)省20%的服務(wù)器數(shù)量，與之對應(yīng)的成本下降13%，功耗下降28%，空間收益30%。在1000臺服務(wù)器數(shù)量不變的情況下，虛擬機的超分比可以進一步提升，可以新增40%的虛擬機售賣資源（如圖18金融行業(yè)普遍都使用Kubernetes作為容器編排平臺，來管理容器化應(yīng)用程序。盡管這些組件對于Kubernetes的正常運行至關(guān)重要，但它們也會占用大量的計算資源和存儲空間。在以DPU為中心的數(shù)據(jù)中心架構(gòu)下，通過將節(jié)點組件（如kubelet、containerd和runtime）卸載到DPU上，可以釋放出較多計算資源和大量的存儲空間，從而提升主機資源售賣率。41在云原生應(yīng)用中，runV容器是一種基于輕量級虛擬機技術(shù)的容器化解決方案。它利用虛擬化技術(shù)提升了容器的隔離性、穩(wěn)定性和安全性等，同時也支持彈性計算和自動化管理技術(shù)，可以根據(jù)應(yīng)用程序的需要動態(tài)調(diào)整計算資源的分配，從而實現(xiàn)計算資源的最大化利用，減少計算資源浪費。并且runV容器與傳統(tǒng)虛擬機相比，具有單節(jié)點實例密度高的特點：傳統(tǒng)虛擬機一般最小的虛擬機，進而使得單節(jié)點有著更高的實例密度；通過將runV容器卸載到DPU上，可以實現(xiàn)更高效的網(wǎng)絡(luò)通信和存儲訪問，減少網(wǎng)絡(luò)和存儲對主機CPU的占用，從而提高容器實例密度以及提高計算資源的售賣率。四、DPU在金融云的應(yīng)用分析DPU作為一種專用于數(shù)據(jù)處理的芯片，能夠在金融行業(yè)云計算架構(gòu)中實現(xiàn)高效的數(shù)據(jù)處理和分析，為彈性裸金屬、零信任安全等多種應(yīng)用提供支撐，同時也帶來多種優(yōu)勢（例如高性能扁平化容器網(wǎng)絡(luò)、人工智能大模型加速、微服務(wù)應(yīng)用加速等）。（一）彈性裸金屬基于虛擬機加容器的方案，相比裸金屬服務(wù)器中間多了Hypervisor層，可能會導(dǎo)致很多硬件創(chuàng)新無法及時、高效地提供給應(yīng)用使用，性能也會存在10%—20%的損耗。因此，越來越多的應(yīng)用選擇直接部署在裸金屬服務(wù)器上。42可以提供高帶寬低時延的高性能網(wǎng)絡(luò)，但存在裸金屬實例部署交付周期長、運維復(fù)雜、架構(gòu)僵化等問題，同時需要額外的配套設(shè)施對服務(wù)器進行管理以實現(xiàn)VPC、SLB等云平臺業(yè)務(wù)。在傳統(tǒng)裸金屬的生命周期管理中，運維交付涉及大量的手工操作，產(chǎn)品靈活性較低，一旦物理機出現(xiàn)故障，就無法像虛擬機一樣進行遷移快速恢復(fù)業(yè)務(wù)。DPU能夠在云計算場景實現(xiàn)全卸載，作為服務(wù)器的數(shù)據(jù)出入口，使用硬件為服務(wù)器提供標(biāo)準的virtio網(wǎng)絡(luò)和存儲設(shè)備，并將網(wǎng)絡(luò)和存儲的數(shù)據(jù)面和控制面下移，釋放主機CPU算力資源的同時提升IO性能（如圖19所示）。DPU支持掛載遠端云盤，通過該盤作為服務(wù)器的啟動盤實現(xiàn)裸金屬的快速拉起，實現(xiàn)像虛擬機一樣管理裸金屬實例。因此，基于DPU的彈性裸金屬具備如下關(guān)鍵特征。431.分鐘級交付。DPU支持云盤啟動的能力，彈性裸金屬在交付時不再需要經(jīng)過漫長的PXE裝機服務(wù)，通過DPU直接掛載遠端云盤，服務(wù)器啟動所需要的時間就是裸金屬實例交付的時間，實現(xiàn)分鐘級交付。2.兼容VPC/SLB等云平臺全業(yè)務(wù)?；贒PU的彈性裸金屬可以完全兼容現(xiàn)有云平臺的業(yè)務(wù)。以VPC為例，彈性裸金屬可以做到和虛擬機保持完全一致的虛擬化網(wǎng)絡(luò)接入能力和安全隔離能3.兼容虛擬機鏡像。實現(xiàn)物理機和虛擬機之間的相互平滑切換，提升業(yè)務(wù)部署的彈性和靈活性。4.網(wǎng)絡(luò)和存儲設(shè)備動態(tài)熱插拔。支持裸金屬實例根據(jù)需要對存儲和網(wǎng)絡(luò)設(shè)備進行熱插拔操作，無需像傳統(tǒng)服務(wù)器一樣需要人工運維增加網(wǎng)卡或者硬盤等硬件。通過將該服務(wù)器的云盤在另外一臺裸金屬拉起的方式，實現(xiàn)業(yè)務(wù)的快速遷移恢復(fù)。（二）零信任安全傳統(tǒng)的網(wǎng)絡(luò)安全方案是在業(yè)務(wù)的網(wǎng)絡(luò)邊緣部署相關(guān)的安全設(shè)備，主要對南北向流量進行掃描監(jiān)控。隨著虛擬化云計算等技術(shù)的普及，基于虛擬化安全的解決方案應(yīng)運而生，通過將原有物理安全設(shè)備的功能虛擬化，按需部署到計算實例中或者構(gòu)建一個虛擬化安全資源池，將特定的流量導(dǎo)入其中實現(xiàn)對網(wǎng)絡(luò)的保護。44云原生架構(gòu)下，容器的生命周期非常短暫，其網(wǎng)絡(luò)配置也在不斷變化，虛擬化安全資源池的網(wǎng)絡(luò)安全防護已經(jīng)無法滿足云原生網(wǎng)絡(luò)的安全需求，通過微分段防火墻可以實現(xiàn)容器之間的網(wǎng)絡(luò)隔離，防止未經(jīng)授權(quán)的訪問和橫向移動的威脅。微分段防火墻可以提供容器粒度的訪問控制，做到根據(jù)單個容器進行安全策略定義和執(zhí)行。當(dāng)前容器網(wǎng)絡(luò)微分段防火墻也面臨較大的挑戰(zhàn)，一方面，對于高密度容器環(huán)境，微分段防火墻需要處理大量的網(wǎng)絡(luò)流量和執(zhí)行復(fù)雜的安全策略，這會帶來額外的性能開銷，影響容器網(wǎng)絡(luò)的帶寬和時延。另一方面，隨著容器數(shù)量的不斷增加，微分段防火墻本身也會擠占容器業(yè)務(wù)的資源（如圖20所示）。DPU能夠為云原生網(wǎng)絡(luò)提供以下能力。1.安全監(jiān)測。對數(shù)據(jù)流的安全監(jiān)測，通過監(jiān)測網(wǎng)絡(luò)流量、檢測入侵攻擊、發(fā)現(xiàn)漏洞等安全事件，保護云原生應(yīng)用的安全。452.數(shù)據(jù)保護。DPU提供加密、解密和壓縮的硬件加速引擎，保護敏感數(shù)據(jù)機密性和完整性的同時，提高計算資源的利用效率。3.信息分析。DPU作為每一個計算節(jié)點的數(shù)據(jù)入口，可以對整個系統(tǒng)進行安全分析和風(fēng)險評估，從而識別和解決潛在的安全威脅。在以DPU為基礎(chǔ)構(gòu)建的高性能、高密度的容器網(wǎng)絡(luò)中，可以將微分段防火墻、入侵防御、防病毒等安全業(yè)務(wù)部署到DPU中，宿主機上容器所產(chǎn)生的網(wǎng)絡(luò)流量都會先經(jīng)過DPU進行處理，DPU上運行的安全業(yè)務(wù)利用硬件加速引擎提升業(yè)務(wù)處理能力，減少微分段防火墻、入侵防御等安全業(yè)務(wù)對容器網(wǎng)絡(luò)的性能影響，構(gòu)建零信任的網(wǎng)絡(luò)架構(gòu)。同時，將主機側(cè)的安全業(yè)務(wù)下沉到DPU側(cè)，可以釋放更多的資源，運行更多的容器業(yè)務(wù)。容器是通過Linux的Cgroup和namespace來實現(xiàn)底層基礎(chǔ)資源隔離的一種輕量級虛擬化技術(shù)，每一個容器都擁有屬于自己的命名空間，包括網(wǎng)絡(luò)堆棧、接口、路由表、套接字和iptable規(guī)則表等。一個網(wǎng)絡(luò)接口只能屬于一個命名空間，多個容器就需要多個接口。通常使用虛擬化技術(shù)來實現(xiàn)硬件資源共享，通過將虛擬化設(shè)備連接到真實的物理設(shè)備上，具體分為3種實現(xiàn)方式1.虛擬網(wǎng)橋。創(chuàng)建一個虛擬網(wǎng)卡對（vethpair），一端在46或者OVS來連接兩個不同的namespace內(nèi)的網(wǎng)卡對，這樣容器內(nèi)發(fā)出的數(shù)據(jù)包就可以通過網(wǎng)橋進入宿主機網(wǎng)絡(luò)，發(fā)往容器的數(shù)據(jù)包也可以經(jīng)過網(wǎng)橋進入容器，實現(xiàn)容器間的網(wǎng)絡(luò)通信。2.多路復(fù)用。使用一個中間網(wǎng)絡(luò)設(shè)備，暴露多個虛擬網(wǎng)卡接口，容器網(wǎng)卡都可以接入到這個中間設(shè)備，并通過mac地址、ip地址來區(qū)分報文應(yīng)該轉(zhuǎn)發(fā)給哪一個容器網(wǎng)卡。3.硬件直通。大多數(shù)網(wǎng)卡都支持SR-IOV的功能，該功能可以將物理網(wǎng)卡虛擬成多個VF接口，每一個VF接口都有單獨虛擬PCIe通道，這些虛擬PCIe通道共用物理設(shè)備的PCIe，可以將VF直接分配給容器，實現(xiàn)容器和容器之間近乎物理網(wǎng)絡(luò)的通信。隨著云原生的不斷發(fā)展，越來越多的應(yīng)用都在往容器化轉(zhuǎn)變，這對容器網(wǎng)絡(luò)提出了很高的要求?，F(xiàn)有的基于虛擬網(wǎng)橋、多路復(fù)用的網(wǎng)絡(luò)方案在滿足大規(guī)模容器網(wǎng)絡(luò)高帶寬、低時延的需求方面存在一定困難，而基于硬件直通的方案雖然能夠帶來更好的網(wǎng)絡(luò)性能，但由于普通網(wǎng)卡硬件自身的限制，一方面網(wǎng)卡的SR-IOV能力不足以滿足單臺計算節(jié)點承載上千個容器的需求，另一方面47SR-IOV的網(wǎng)絡(luò)功能相對比較簡單，無法支撐比較復(fù)雜的容器網(wǎng)絡(luò)功能。DPU充分結(jié)合了SR-IOV和虛擬網(wǎng)橋的優(yōu)勢，能夠提供超過提供的每一個VF的后端都是掛載在DPU上OVS的端口，可以通過標(biāo)準的Openflow對網(wǎng)絡(luò)流量進行編程，為容器提供扁平化的網(wǎng)絡(luò)架構(gòu)，在這種架構(gòu)下可以實現(xiàn)百萬級可編程、高性能、扁平化的容器網(wǎng)絡(luò)（如圖22所示）。（四）人工智能大模型AI模型越龐大，模型參數(shù)越多，訓(xùn)練過程中參數(shù)同步的通信消耗越大。一些大型AI模型訓(xùn)練過程，其參數(shù)同步的通信時間消耗占比已經(jīng)超過50%，很容易因為網(wǎng)絡(luò)擁塞造成性能急劇下48降。為解決GPU分布式訓(xùn)練過程中的“通信墻”，使用DPU提供的DDPR（DataDirectPathRDMA）技術(shù)是非常有效的性能優(yōu)化方案（如圖23所示），通過DDPR技術(shù)調(diào)用RDMA通信庫，服務(wù)器節(jié)點上的GPU可以直接將數(shù)據(jù)從GPU內(nèi)存發(fā)送到目標(biāo)服務(wù)器節(jié)點的GPU內(nèi)存中，而不需要經(jīng)過兩個節(jié)點上的系統(tǒng)內(nèi)存。AI訓(xùn)練過程中的每一個數(shù)據(jù)字節(jié)，不需要繞路到系統(tǒng)內(nèi)存進行嚴重拉低性能的內(nèi)核拷貝，從而顯著提升計算效率。AI訓(xùn)練過程需要加載外置存儲系統(tǒng)中的數(shù)據(jù)到GPU，將存儲數(shù)據(jù)加載到GPU中需要消耗大量的CPU同時涉及存儲到host內(nèi)存再到GPU內(nèi)存的搬移，會產(chǎn)生較大的通信時延，影響AI訓(xùn)練性能。利用DPU提供的DDPS（DataDirectPathStorage）技術(shù)（如圖24所示），可以將存儲于外置存儲系統(tǒng)中的訓(xùn)練數(shù)據(jù)直接加載到GPU內(nèi)存進行預(yù)處理和后續(xù)的訓(xùn)練計算，縮短了訓(xùn)練數(shù)據(jù)加載的流程通路，同時可以降低對CPU的處理開銷。49單機多卡訓(xùn)練，可以通過GPU服務(wù)器本地配置高性能NVMESSD或者SSD硬盤，對服務(wù)器運維要求較高。在AI的分布式訓(xùn)練集群環(huán)境，當(dāng)部署幾十張到上百張GPU卡規(guī)模，會有更大數(shù)據(jù)規(guī)模的存儲空間要求，掛載遠端存儲可以滿足需要，但會消耗較多的CPU資源，通過DPU掛載遠端磁盤，并為Host提供彈性virtio-blk/Nvme設(shè)備，不再需要服務(wù)器上插很多物理磁盤（如降低AI集群的運維復(fù)雜度，同時提升AI訓(xùn)練效率。5