數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告

數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD1數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD1版權(quán)聲明ODCC（開放數(shù)據(jù)中心委員會）發(fā)布的各項成果，受《著作權(quán)法》保護(hù)，轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應(yīng)注明對于未經(jīng)著作權(quán)人書面同意而實施的剽竊、復(fù)制、修改、銷售、改編、匯編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法律責(zé)任，感謝各單位I數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD編寫組黃一元數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD通用人工智能離我們越來越近，全世界的關(guān)注和投入正在帶來日新“周”異的變化?；仡櫲斯ぶ悄艿恼Q生和發(fā)展歷程，人類計算能力的進(jìn)步幾乎牽動了每一次的重大技術(shù)突破，當(dāng)前的大模型熱潮更是如此，只是動輒千萬億參數(shù)級的模型體量，所需計算資源遠(yuǎn)超單顆芯片的上限，因此超大規(guī)模的計算集群成為支撐技術(shù)發(fā)展和應(yīng)超大規(guī)模智算集群對整個數(shù)據(jù)中心基礎(chǔ)設(shè)施提出了非常高的要求，能耗、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施首當(dāng)其沖。其中數(shù)據(jù)中心物理網(wǎng)絡(luò)的迭數(shù)據(jù)中心網(wǎng)絡(luò)交換機的單芯片容量即將進(jìn)入100Tbps時代，SerDes速率也將躍至每通道200Gbps水平，ODCC2023年網(wǎng)絡(luò)工作組立項了本課題，旨在為下一代數(shù)據(jù)中心物理網(wǎng)絡(luò)構(gòu)建所需的相關(guān)數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD I II III 1 3 3 5 13 16 16 23 31 32 32 34 50 50 53 54數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODV數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD數(shù)據(jù)中心224G可插拔模塊交換機方案研究隨著云計算作為社會基礎(chǔ)設(shè)施進(jìn)入普惠化階段、AIGC為代表的人工智能掀起的新技術(shù)浪潮，數(shù)據(jù)中心網(wǎng)絡(luò)作為核心競爭力和基礎(chǔ)設(shè)施底座，仍然保持著更加快速的發(fā)展，在帶寬、性能、穩(wěn)定性方的需求再次加速。商業(yè)網(wǎng)絡(luò)芯片和商業(yè)互聯(lián)方案進(jìn)入更加繁榮的時核心觀點二：站在今天，通用計算時代的數(shù)據(jù)中心網(wǎng)絡(luò)，和AI計算所需求的網(wǎng)絡(luò)不可同日而語。大帶寬（芯片容量）、大規(guī)模（芯片容量、鏈路帶寬）、高性能、高穩(wěn)定性（AI分布式并行計算對網(wǎng)絡(luò)故障的容忍度極低），這些指標(biāo)在以以太網(wǎng)為代表的通用計核心觀點三：網(wǎng)絡(luò)各層次的技術(shù)生態(tài)、產(chǎn)業(yè)生態(tài)需要更多的開源、開放，以此來提高整個產(chǎn)業(yè)的生產(chǎn)效率、惠普性，來解決能源核心觀點四：大帶寬、大端口數(shù)、可插拔（模塊）系統(tǒng)的網(wǎng)絡(luò)交換機能更好滿足未來智算數(shù)據(jù)中心的網(wǎng)絡(luò)需求，除非電通道完全1數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD無法滿足224G-PAM4信號的系統(tǒng)內(nèi)有效傳輸長度需求，且除非CPO或NPO等非可插拔系統(tǒng)能夠滿足可運維性、部署成本、開放生態(tài)、預(yù)計2025年將有102Tbps容量的商用芯片面世，預(yù)計2數(shù)據(jù)中心網(wǎng)絡(luò)將迭代至基于102Tbps容量的800G/1.6T網(wǎng)絡(luò)。本研究報告旨在研究未來面向224G-PAM4的可插拔（模塊）系統(tǒng)的設(shè)計方案。以典型的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計需求為出發(fā)點，嘗2數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD數(shù)據(jù)中心網(wǎng)絡(luò)對交換機性能的渴求直接推動了以太網(wǎng)交換芯片的飛速發(fā)展。以Broadcom為數(shù)據(jù)中心開發(fā)的數(shù)據(jù)中心交換芯片Tomahawk系列為例，第一代Tomahaw者128個25G端口；2022年下半年，Tomahawk5發(fā)布，單芯片帶寬高達(dá)51.2Tbps，采用112GbpsSERDES技術(shù)，支持64個800G端口芯片性能的急劇飆升必然帶動芯片總體能量消耗的增加。盡管新的5nm制程的過程，以及芯片工作電壓的持續(xù)降低已經(jīng)有效地幫助復(fù)雜芯片大幅降低功率，但是16倍的性能提升預(yù)計依然片增加4到6倍的能量消耗（參考RakeshChopra，“CuBeyond巨大的能量消耗使得芯片的散熱面臨嚴(yán)峻挑戰(zhàn)。從公開的信息可以看出，為了降低芯片的熱阻，降低芯片散熱難度，與Tomahawk3相比，Tomahawk5去除了芯片的金屬頂蓋，采用Bare-Die的封裝形式，使得散熱器可以直接與芯片Die接觸。這樣做有效降低了芯片核心與外界的溫差，但也將最脆弱的Die暴露在外，3數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD芯片的封裝改變還體現(xiàn)在尺寸上。一方面，8年芯片帶寬擴大提升，而另外4倍增長則源于SERDESPIN數(shù)量增加的貢獻(xiàn)；其次，多的地PIN用來做保護(hù)和信號回流；最后，芯片功率的提升和工作電壓的下降意味著需要更多的電源和地PIN用于芯片供電。這一切都意味著芯片尺寸將顯著增加。當(dāng)然，也有反向因素。為了改善高速信號的信號完整性水平，高速信號PIN與地PIN之間的距離需要縮小，這會減小芯片PIN之間的間距（Pitch有助于部份環(huán)節(jié)芯112Gbps”估算而且還有繼續(xù)增長的趨勢。這將給芯片的焊接帶4數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD基于相關(guān)信息，我們預(yù)測下一代的以太網(wǎng)交換換芯片很有可能將繼續(xù)沿用112GbpsSerDes作為102.4T容量的方芯片帶寬繼續(xù)翻倍，達(dá)到102.4Tbps。這意味著將需要1024-理尺寸將進(jìn)一步變大，芯片物理封裝方式、裝配方案將進(jìn)一步受到盡管可以預(yù)期使用3nm工藝節(jié)點，芯片電壓進(jìn)一步降低，但芯片的功率將依然不可避免地進(jìn)一步增加，存在單芯片超過1000w的隨著交換機SerDes速率的迭代，光互聯(lián)技術(shù)一直在進(jìn)行快速的迭代，這從各種層出不窮的MSA協(xié)議，以及對光口速率的不斷提升5數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD的要求，和對功耗降低的訴求等都可以看的出來。當(dāng)前階段光口的224G/lane的800G或1.6T帶寬的可插拔模塊以后，號完整性性能以及模塊功耗密度的挑戰(zhàn)進(jìn)一步提高，對用戶來說合適的模塊封裝類型和交換機端口類型選擇將越來越收斂。不過隨著技術(shù)的進(jìn)步，產(chǎn)品的單bit功耗也在逐步降低，系統(tǒng)散熱技術(shù)也有一方面部分設(shè)備廠家認(rèn)為可插拔光模塊可以支持到1.6T甚至3.2T，尤其是LPO方案（功耗大為降低）面世以來以及有些廠家提供了強大的SerDes，業(yè)界對于可插拔模塊的應(yīng)用更為樂觀。但市場上仍然陸續(xù)有廠家推出CPO原型機進(jìn)行相關(guān)技術(shù)的實踐探索。對于CPO的優(yōu)劣勢分析已經(jīng)持續(xù)很多年，CPO是否會終結(jié)可插拔或者部分應(yīng)用采用CPO方案，就目前的情況來看，還需要生態(tài)、技6數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD來源：SomeslidesonQSFP-DD1600motivation，MarkNowell，Cisco光模塊產(chǎn)品的功耗一直是數(shù)據(jù)中心交換網(wǎng)絡(luò)部分功耗的主要來源，占比約為40%~50%。因此降低光模塊的功耗也是業(yè)界的共識和耗的功耗約占光模塊總功耗的50%。當(dāng)前業(yè)界對于降低DSP功耗的7數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD由于硅光技術(shù)的引入，在降低了光源的使用數(shù)量的同時，也采分光器的TXPIC或者薄膜鈮酸鋰方案進(jìn)行800GDR8的設(shè)計，部分廠家優(yōu)化了工藝和設(shè)計可以繼續(xù)降低總體插損，這樣總體功耗可以通過提高鏈路的通道速率（比如112G/lane—>224G/lane降來源：800Gand1.6TOptics，AndreasBechtolsheim，Arista，ECOC20228數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD來源：LinearDrivePluggableOptics(LPO)，AndreasBechtolsheim，Arista光模塊技術(shù)的演進(jìn)趨勢可以拆解為DSP、模擬電芯片和光芯片5nm代際，近期部分廠家也已經(jīng)可以提供樣品。滿足光口(TP2)為224G/lane的模塊樣品目前已經(jīng)有部分廠家推出。這個類別的光模塊目前需要Gearbox作為中介，跟112GSerDes進(jìn)行連通。另外個模擬電芯片：光模塊所需要的模擬電芯片，主要指的是Driver和TIA。這兩個類別的產(chǎn)品，已經(jīng)有部分廠家推出了可以滿足224G9數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODPre-emphasis的功能。這兩個功能在沒有DSP的情況下，可以一定比如VCSEL，DML，硅光等目前224G應(yīng)用均還不成熟。甚至受限于的機會。由于薄膜鈮酸鋰具有帶寬優(yōu)勢，其作為調(diào)制器的光芯片解LPO技術(shù)：當(dāng)前行業(yè)對Lineardriverpluggableoptics（也就是線性模塊，也叫LPO模塊）熱潮正起。主要受惠于Host端DSP-based112GSerDes的超預(yù)期能力，讓數(shù)據(jù)中心級別的光互聯(lián)方案有了Linear方案的可行性。224G/lane是否存在LPO模式的可行性尚待驗證。眾多設(shè)備廠家、模塊廠家和芯片廠家，以及OIF等標(biāo)準(zhǔn)組織，均在積極推動該項技術(shù)向前發(fā)展。對于LPO來說，其主要優(yōu)勢有低功耗、低成本、低延時等。這些特性對于AI智算應(yīng)用來說，是非常有吸引力的。不過目前尚未解決LPO光模塊跟設(shè)備之間的解耦問題，相應(yīng)的一致性界面指標(biāo)問題將是關(guān)系到LPO產(chǎn)業(yè)化的數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODCPO：CPO（co-packageoptics）光電共封裝的概念和樣機推出已經(jīng)有一段時間了。這期間OIF也推出了相應(yīng)的行業(yè)標(biāo)準(zhǔn)。CPO有其優(yōu)點，比如可以大幅縮短電通道長度來提供高速率信號所需的帶寬，大為降低功耗，可以節(jié)約前面板空間等。也不停的有廠家推出CPO交換機原型機。但其固有缺點也暫時沒有很好的解決，比如：由于其不可插拔特性，非常不利于維護(hù)和更換，這在用戶角度是難以接受的痛點，更還有成本問題。另外，CPO與交換機主芯片緊密相關(guān)，目前CPO的整個部件基本被交換機芯片廠家掌握，對于傳統(tǒng)可插拔模塊廠家來說參與感很低。這非常不利于設(shè)備關(guān)鍵部件的解數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD來源：PerspectiveonLinearDirectDrivePluggableOptics，JanetChen，META當(dāng)前數(shù)據(jù)中心應(yīng)用的光模塊主要采用非氣密方案。制程工藝大和金線鍵合（wirebond）是至關(guān)重要的工藝，這兩項工藝已經(jīng)非常成熟，對于行業(yè)應(yīng)用沒有什么障礙。不過由于光模塊通道數(shù)和單通裝到基板上，這樣可以降低芯片成本，節(jié)約布板面積，縮短信號路載板或類載板。由于baredie的pinpitch越來越小，傳統(tǒng)因此需要采用載板或者類載板工藝制作baredie基本，采用FC工數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD混合封裝。為了在現(xiàn)有封裝內(nèi)部安裝更多芯片和部件，出現(xiàn)了MCM（multichipmodule）設(shè)計。這個設(shè)計允許芯片進(jìn)行堆疊，進(jìn)行2.5D的設(shè)計。這其中可能會用到Interposer和載板等中轉(zhuǎn)層。通過MCM，可以實現(xiàn)光電混合堆疊封裝，以更高的密度，向垂直方向延伸光電封裝。甚至將來可能會觸及到在Flash領(lǐng)域已經(jīng)很成熟224G-PAM4速率下電通道帶寬進(jìn)一步受到挑戰(zhàn)。前面板可插拔數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODNCC方案為線纜飛線方式，從IO連接器尾部直接出線纜接到ASIC附近，整個鏈路只有較短的PCB走線，可以降低整個鏈路的損耗。該方案的關(guān)鍵點為PCB板內(nèi)空間緊張，板內(nèi)端子需要高密度連線纜雖然可以代替PCB到提供更低的損耗，但是在224G-PAM4通道上也同時帶來了多個連接器處的阻抗不連續(xù)性挑戰(zhàn)。更多的線束同時也帶來系統(tǒng)內(nèi)風(fēng)阻的影響，進(jìn)一步調(diào)整了高功率模塊、芯片數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODCPC方案使用的ASIC芯片與常規(guī)芯片不同，在芯片上需要預(yù)留該方案特點是高速信號不走PCB，對PCB板材損耗沒有特別要求，此方案的目標(biāo)是和CPO技術(shù)共用界面。其相比NCC方案的電通道更具連續(xù)性，但是最大的挑戰(zhàn)是高密度銅線封裝問題、線纜本身數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD較低速率下，基于PCB的互聯(lián)能夠滿足盒式設(shè)備的損耗要求；通過銅纜降低損耗，銅纜進(jìn)入設(shè)備框內(nèi)帶來的新的硬件架構(gòu)，例如數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD傳輸線的轉(zhuǎn)換，包括PCB/基板換層、焊接、壓接，金手指連接等，224G背板(KR)和銅纜(CR)應(yīng)用的損耗預(yù)算，802.3最新定義為應(yīng)用提出兩種可能的損耗目標(biāo)。中等損耗(MediumLoss)目標(biāo)為bump2bump<22dBat53GHz，高損耗(Highloss)目標(biāo)bump2bump<CR(7dB@26.5Ghz)相當(dāng)；224GHighloss給設(shè)備PCB鏈路損耗預(yù)算數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD傳輸線損耗包括介質(zhì)損耗和銅箔損耗，介質(zhì)損耗一般可由介電常數(shù)虛部Df表征，銅箔損耗和銅箔的粗糙度相關(guān)。隨著介質(zhì)材料的料最小Df下降到0.0003，介質(zhì)損耗不斷下降，等級越高的材料銅箔損耗占比越高，降低損耗最有效的方式是增加銅的橫截面周長，介質(zhì)損耗和銅箔損耗將信號能量轉(zhuǎn)換為熱能，對差分信號，差模能量轉(zhuǎn)換為共模會造成信號損失。224GPAM4信號UI<19ps，對差數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD電信號速率224G-PAM4意味著信道上對信號產(chǎn)生畸變影響的物理結(jié)構(gòu)尺寸臨界值更低。同時，反射和串?dāng)_帶來的信號失真相比ISI更難被接收機的EQ進(jìn)行補償和恢復(fù)。系統(tǒng)中傳輸線之間的轉(zhuǎn)換數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD各連接位置對信號的影響包括：反射損耗、帶寬不足引起的損耗、多次反射噪聲以及串?dāng)_；通常會涉及到不同供應(yīng)商涉及領(lǐng)域的交界面，需要不同廠家共同進(jìn)行拉通設(shè)計。一如圖18所示，Stub的多徑效應(yīng)會造成輸入信號時域展寬形成ISI。Stub越長，時域脈沖展寬越寬，頻域諧振頻率越低。在Pluggable鏈路中，不可避免的Stub效應(yīng)很多，包括：背鉆過孔殘留，過孔孔環(huán)，金手指插入等；這些Stub效應(yīng)，都和工藝結(jié)構(gòu)公差數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD同軸線纜截止頻率如下，其中d1和d2分別為同軸線纜的內(nèi)外徑，可見同軸的截止頻率和線徑成反比，減小介電常數(shù)也能提高截224G鏈路中，連接處的SI設(shè)計，信號模式盡量接近于同軸模式。例如同軸連接器在PCB的過孔，需要外圈GND回流過孔；可以把信號過孔對比為同軸結(jié)構(gòu)的內(nèi)徑，外圈回流孔對比為外徑。差分過孔換層，以及BGA封裝和扇出也類似。因此，GND回流過孔的數(shù)4．芯片封裝損耗數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD在224G速率下，HostASIC封裝損耗在整個鏈路中的損耗占比越來越大，預(yù)估的最大損耗可達(dá)到8dB@53.125GHz以上，同時在Module端的封裝損耗也可達(dá)到2.5dB@53.125GHz，所以留給系統(tǒng)內(nèi)數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD覆銅板是PCB的材料核心，它是由樹脂、玻璃布和金屬銅箔三者結(jié)合而成，三者的性能指標(biāo)都會影響覆銅板的電氣特性。224G板0.5db/inch@28GHz以內(nèi)，插損性能提升28%。例如，樹脂采用P碳?xì)錁渲M合，搭配Rz在0.3~0.5μm的HVLP4銅箔，優(yōu)先選用數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODPCB內(nèi)層走線在加工制程中，損耗控制關(guān)鍵在于銅箔粗糙度的控制。而棕化流程是對銅箔進(jìn)行表面處理的最后一步，也是對銅箔粗糙度影響的關(guān)鍵步驟。棕化流程通過對銅箔表面的咬蝕增加銅箔粗糙度，通過增加銅箔粗糙度來增加PP與銅箔的結(jié)合進(jìn)而保證產(chǎn)品可靠性，然而該做法必然導(dǎo)致?lián)p耗的增加。這對224G高速互聯(lián)PCB是必須解決的一個矛盾。所以棕化工藝對此的發(fā)展趨勢是增加化學(xué)結(jié)合力，減少對銅箔粗糙度的增加。新一代及下一代的棕化藥水會在銅箔表面形成一層有機膜，有機膜通過化學(xué)鍵與PP結(jié)合，增加結(jié)合力，同時對銅面的粗化效果更小，達(dá)到保證可靠性的情況下保障插損能力的提升。不同的棕化藥水對插損的影響如下圖所示，目前業(yè)界較為成熟的是HF&SF級別的棕化藥水，Glicap與Novabond各種形態(tài)的過孔是PCB的Z向連接不可避免的形態(tài)，也是限制數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD鉆孔及焊盤尺寸掃描結(jié)果示例：數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD通過遍歷不同的信號孔鉆孔直徑和過孔焊盤PAD尺寸，觀察過掃描變量：DHS=8mil，10mil，12mil；Pad直徑=12mil，14mil，掃描結(jié)果：Drill=8mil的小孔和PAD=12mil，SI性能較好，通過遍歷不同的信號孔間距，觀察過孔In數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD通過遍歷不同的信號孔Antipad尺寸，觀察過孔Insertion掃描變量：AntiPad直徑=28mil，32mil，36mil，40mil；ViaStub=0mil，2mil，4mil，6m數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD通過遍歷不同的信號地孔數(shù)量，觀察過孔I掃描變量：GNDQty=1，2，3，4，6數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD綜合以上仿真結(jié)果，從過孔損耗維度和PCB工藝能力分析，最基于高速差分過孔帶寬最優(yōu)模型仿真結(jié)果，同時兼顧PCB的可制造性，并綜合PCB行業(yè)主流制造商的工藝能力水平，224G高速224G的PCB損耗要求極低，從系統(tǒng)角度分析，需要達(dá)到約1dB@53.125GHz的水準(zhǔn)，板材需用M9或同等級材料為了解決大電流的問題，可能會需要N+M的疊構(gòu)，將電源部分使用M板獨立出來，通過二次壓合完成N+M的單板設(shè)計，甚至為N+M+M、階梯板等復(fù)雜疊構(gòu)設(shè)計。224G的系統(tǒng)主板層次預(yù)計可達(dá)到40層以上，同時可兼顧高速損耗和電源通流要求，板厚最多可達(dá)到6mm左右，過孔的Stub控制、層偏控制將挑戰(zhàn)極大224GPluggable高速互聯(lián)系統(tǒng)對應(yīng)可能演進(jìn)新的產(chǎn)品架構(gòu)，可能對PCB的工藝提出更多新的要求，數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD下圖為當(dāng)前狀態(tài)下的224GOSFP銅纜的測試情況，相對于112G銅纜，224G銅纜插損的滾降頻率向后推到了55GHz以上數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODOSFP1600、OSFP-XDQSFP224數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD端口IO連接器（OSFP，QSFP，QSFP-DD重點優(yōu)化連接器與不連續(xù)最小化；最小化mating時的金手指pad處stub長度；減少數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD考慮到高速接口I/O需要對模塊向下兼容，并且兼顧可靠性與SI性能，因此在向更高速率演進(jìn)的過程中，電接口I/O的可優(yōu)化空結(jié)果來看，針對更高帶寬的支持比較困難。需要光、電器件相關(guān)廠受19英寸機架寬度的限制，在使用雙層連接器使用Belly-to-數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD使用64×QSFP-DD或64×OSF）；態(tài)，支持512×224Gbps規(guī)格的芯片，單口3.2Tbps（224Gbps×）；數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD）；I/O數(shù)量受限，如果需要更多端口，通常需要采用break-out來源：/cp/jh-shjzhx-sjzxjr/s652064cq/單PCB方案的通道阻抗連續(xù)性相對較好，其實現(xiàn)難點仍然是如何最大限度減少PCB損耗，可從兩個方面重點考慮，一種是使用更先進(jìn)的PCB材料，使得單位長度損耗足夠低，另外一種為通過合理數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD要求高的系統(tǒng)。通常采用扣板或插卡的形式。以下一代102.4Tbps塊。使用64×OSFP-XD的形態(tài)，支持1024×112Gbps規(guī)格的芯片，數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD來源：/cp/jh-shjzhx-sjzxhx/s69204cxf/數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD多PCB方案的難點在于如何板間連接器的性能能否支持到224G信號的傳輸，在整個通道中增加一個板間連接器，相當(dāng)于增加了多處阻抗不連續(xù)點，會使得扣板端口的信號急劇惡化。高密度的壓接板間連接器形式，能否保持較高的一致性，可能會是系統(tǒng)成敗的關(guān)部份或者全部的高速信號通過軟板/電纜的在I/O側(cè)能夠得到更好的信號質(zhì)量，能夠有效提高多端口復(fù)雜系統(tǒng)因為電纜/軟板的靈活性，整個交換系統(tǒng)的端口組合更為靈活多40數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD電纜的PCB方案，在芯片四周會有若干電纜連接器的座子，高密度的連接器座子是PCB布局的關(guān)鍵，所有座子總帶寬需達(dá)到41數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD形態(tài)，而是采用Vertical的形式，這就使得光模塊可以垂直于PCB的方向插入系統(tǒng)，而不是傳統(tǒng)的平行于PCB方向。這種形態(tài)帶來的一個好處是，將原本只能沿PCB一條邊擺放I/O連接器的一維端口布置方式，升級成了二維，可以將I/O安置在整個PCB表面上。因此，只要PCB足夠大，就可以容納相當(dāng)多的I/O端口；而且，因為可以在一張PCB上容納所有的I/O連接器，高速信號也不需要像多PCB方案或者電纜/軟板方案那樣跨多個連接器傳輸，減少了傳輸通道上阻抗不連續(xù)點、stub等結(jié)構(gòu)的數(shù)量，對于改善信號頻帶內(nèi)通道42數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD基于以上分析，該連接器方案可以承載多種基于102.4Tbps芯43數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD2)64×QSFP-DD或64×OSFP的形態(tài)，單口1.6Tbps（224GbpsVertical連接器的物理長度，相對于RightAngle連接器要更44數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD基于假設(shè)構(gòu)建的一種支持64×1.6TbpsSpine交換機，Spine全風(fēng)冷系統(tǒng)風(fēng)量預(yù)估在700CFM以上也可以考慮多熱管VC復(fù)合拉遠(yuǎn)等方案，以應(yīng)對Bare-die芯片風(fēng)險方面的風(fēng)險。單PCB板方案支持64個OSFP1600散熱，有限前45數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告ODVerticalI/O方案前面板，可能使用OSFP1600風(fēng)冷+SwitchASIC去離子水冷板流量需達(dá)到1.8LPM，為降低設(shè)計流量和供液功耗，提高冷板內(nèi)換熱效率較為關(guān)鍵；同時ASIC冷板方案下，46數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD因此交換芯片需要考慮使用冷板方式或虹吸熱管的方式進(jìn)行散熱，OSFP1600光模塊的功率推演，整機系統(tǒng)功耗預(yù)估將達(dá)到4500W，其中PSU所需輸出功率約4200W。同時節(jié)能低碳政策驅(qū)動PSU效率持續(xù)提升，部分國家和地區(qū)已經(jīng)強制要求滿足鈦金能效標(biāo)準(zhǔn)，鈦金PSU產(chǎn)業(yè)鏈正在加速催熟，當(dāng)前業(yè)界大量應(yīng)用的鉑金CPRS電源面臨升級?；诂F(xiàn)有連接方式，預(yù)估通流損耗占比＜3%，綜合成本和效3）效率從當(dāng)前鉑金94%提升至鈦金96%，同時伴隨GaN等器件47數(shù)據(jù)中心224G可插拔模塊交換機方案研究報告OD板載供電的挑戰(zhàn)來源于不斷增加的交換芯片和光模塊功耗。預(yù)PCB空間，進(jìn)一步增加了PCB設(shè)計難度。基于上述挑戰(zhàn)，參考AI超算產(chǎn)業(yè)，供電器件可能從傳統(tǒng)分立器件演進(jìn)至集成模組方案降低占板空間，供電形態(tài)可能從傳統(tǒng)橫向供電演進(jìn)至垂直供電形態(tài)降低來源：/en/products/power-modules/intelli-module.html來源：/zh-cn/industries-and-innovations/power-on-pack