開放數(shù)據(jù)中心委員會-伯努利融合型機柜技術(shù)白皮書

11版權(quán)聲明ODCC（開放數(shù)據(jù)中心委員會）發(fā)布的各項成果，受《著作權(quán)法》保護，轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應注明對于未經(jīng)著作權(quán)人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法律責任，感謝各單位I編寫組隨著互聯(lián)網(wǎng)和云計算技術(shù)的發(fā)展，業(yè)界對于服務器的算力需求呈現(xiàn)更高性能、更高能效和多元化趨勢，CPU、GPU、DPU等不同算力平臺帶來技術(shù)創(chuàng)新的同時，對于基礎(chǔ)設(shè)施硬件的散熱和能效等方面的挑戰(zhàn)越來越大。作為基礎(chǔ)設(shè)施硬件三大核心的服務器、機房、機柜，在當下的產(chǎn)業(yè)結(jié)構(gòu)中采用分層解耦設(shè)計，各層級主要聚焦在各自的層級進行相關(guān)技術(shù)探索和優(yōu)化。從過往的經(jīng)驗來看，這種分層設(shè)計在促進產(chǎn)業(yè)鏈做大、做精、做細等方面做出了很大貢獻，但是因為產(chǎn)業(yè)分工、投入等的方面的差異，導致各層級之間的技術(shù)能力無法同時提高或者對齊，從而表現(xiàn)出明顯的“木桶效應”。對應層級的技術(shù)短板在更強調(diào)基礎(chǔ)設(shè)施硬件綜合能力的需求下變的更為OCP為代表的行業(yè)組織，幾乎同時對機柜技術(shù)展開技術(shù)探索，以天蝎、方升和OpenRack為代表，在機柜的結(jié)構(gòu)設(shè)計、空間設(shè)計、標準化等方面獲得了顯著的成果，積累了非常有價值的經(jīng)驗。但是相比服務器層級和機房層級的投入和成果，作為連接服務器和機房的機柜技術(shù)探索仍然偏少。比如：服務器可以通過上蓋開孔提高系統(tǒng)散熱能力，機房冷熱通道溫差的擴大可以降低能耗，但是因為機柜設(shè)計的原因，冷熱通道的溫差擴大和上蓋開孔可能會導致熱風回流伯努利融合型機柜技術(shù)白皮書為了解決分層設(shè)計帶來的機柜技術(shù)短板問題，美團、騰訊等具備垂直整合能力的互聯(lián)網(wǎng)廠商倡導基于跨層級的系統(tǒng)化設(shè)計理念對服務器機柜進行優(yōu)化，機柜將承擔更多的系統(tǒng)功能需求，不僅具備結(jié)構(gòu)承載能力，還將承擔散熱能力提升、能效優(yōu)化等多方面的系統(tǒng)需求。從本項目的實踐結(jié)果來看，架構(gòu)改動小、實際收益大，體現(xiàn)了跨層級系統(tǒng)化設(shè)計思想對于當下基礎(chǔ)設(shè)施領(lǐng)域優(yōu)化的指導意義，ODCC設(shè)施組內(nèi)相關(guān)單位和專家的大力支持，同時對支持本項目落地的廣州南盾通訊設(shè)備有限公司、普洛斯普瑞數(shù)據(jù)科技（上海）有限公司、德州歐瑞電子通信設(shè)備制造有限公司等單位和專家，在此一由于時間倉促，水平所限，錯誤和不足之處在所難免，歡迎各伯努利融合型機柜技術(shù)白皮書 V伯努利融合型機柜技術(shù)白皮書 伯努利融合型機柜技術(shù)白皮書伯努利融合型機柜技術(shù)白皮書本白皮書主要介紹伯努利融合型機柜架構(gòu)設(shè)計思想和參考設(shè)計并對參考設(shè)計方案中的各種尺寸、設(shè)計建議、安裝要求等進行明確OpenUnit,1OU=48mm，OCP（Open隨著互聯(lián)網(wǎng)和云計算技術(shù)的發(fā)展，業(yè)界對于服務器的算力需求呈現(xiàn)更高性能、更高能效和多元化趨勢，CPU、GPU、DPU等不同算力平臺帶來技術(shù)創(chuàng)新的同時，對于基礎(chǔ)設(shè)施硬件的散熱和能效等方面的挑戰(zhàn)越來越大。作為基礎(chǔ)設(shè)施硬件三大核心的服務器、機房、機柜，在當下的產(chǎn)業(yè)結(jié)構(gòu)中以分層解耦設(shè)計為主，各層級主要聚焦在各自的層級進行相關(guān)技術(shù)探索和優(yōu)化，其中服務器層級和機房層級的投入和成果更多，而作為連接服務器和機房的機柜技術(shù)探索則1伯努利融合型機柜技術(shù)白皮書相對較少，機柜技術(shù)領(lǐng)域在當下已經(jīng)成為基礎(chǔ)設(shè)施硬件的短板，呈為了解決基礎(chǔ)設(shè)施分層設(shè)計帶來的機柜技術(shù)短板，美團、騰訊等具備垂直整合能力的互聯(lián)網(wǎng)廠商倡導基于跨層級的系統(tǒng)化設(shè)計理念對服務器機柜進行優(yōu)化，充分吸收現(xiàn)有機柜標準的設(shè)計經(jīng)驗，對現(xiàn)有機柜架構(gòu)進行優(yōu)化設(shè)計，提供一款基于伯努利散熱架構(gòu)（機柜前端開放+后端封閉的散熱架構(gòu)）的融合型機柜參考設(shè)計，該機柜具備40KW+的單柜散熱能力，25℃+的冷熱通道支持能力，兼容前后出線，兼容通用服務器和云服務器部署，兼容風冷和冷板式液冷混合部署，兼容標準機柜和整機柜出貨，兼容CRPS和集中供電等特點?？梢杂行Ы鉀Q的當前機柜技術(shù)面臨的兼容性和能效問題，是一款非伯努利融合型機柜采用熱端封閉+冷端開放的創(chuàng)新散熱架構(gòu)，相比業(yè)界現(xiàn)有的機柜架構(gòu)，在提升機柜系統(tǒng)散熱能力和能效方面優(yōu)勢），2設(shè)計，又強化機柜在基礎(chǔ)設(shè)施中對能效提升的作用，型機柜的參考設(shè)計，并對該機柜的所有設(shè)計進行開源是，該參考設(shè)計主要為架構(gòu)層面的要求，工程人員可（1）熱端封閉：機柜后方孔條與后立柱之間實現(xiàn)結(jié)構(gòu)封堵；后方孔條與服務器之間通過泡棉實現(xiàn)熱端封堵；服務器上下間隙通過3伯努利融合型機柜技術(shù)白皮書（2）冷端開放：機柜的前方孔條與前立柱之間的間隙打開；服4伯努利融合型機柜技術(shù)白皮書伯努利融合型通用機柜參考設(shè)計高度2500mm，配置支撐柱，不配置腳輪。該機柜高度保持機柜架構(gòu)保持一致的基礎(chǔ)上，可以根據(jù)伯努利融合機柜架構(gòu)本身可以兼容不同的U高設(shè)計標準，原則上兼容業(yè)界常用的4種U高標準，包含RU/AU/SU/OU。本文的機柜參考設(shè)計采用SU標準，可安裝服務器空間為52SU，兼容RU/AU標56伯努利融合型機柜技術(shù)白皮書（3）機柜前后方孔條距離720mm，允許公差+2mm/-2mm，此尺寸也可以根據(jù)實際需要進行調(diào)整，如果兼容更小深度的服務器，建議通過移動前方孔條的方式實現(xiàn)，后方孔條和后立柱不建議移動，（7）L型支架安裝面距離可根據(jù)實際使用需求做定制設(shè)計，參考設(shè)計方案為了兼容通用服務器，該尺寸建議為350mm，允許公差（8）PDU固定支架端面距離機柜后端面125mm，允許公差為0mm/+2mm，此空間內(nèi)專為PDU預留，可以支持PDU前后出線和左右機柜內(nèi)部空間定義如下圖所示，機柜后方孔條不得占用，不能7伯努利融合型機柜技術(shù)白皮書（三）機柜標識機柜方孔條機柜U數(shù)從下至上標識，從1開始。是否噴涂漆面不做嚴格約束，可以根據(jù)實際使用環(huán)境和需求決定，如果方孔條不做漆面噴涂，可以直接用鍍鋅表面處理，同時相關(guān)切口需要做好防腐處理。后側(cè)方孔條粘貼封堵泡棉的位置要求不做噴涂，以保證粘（四）腳輪與支柱機柜本身兼容配置腳輪和不配置腳輪設(shè)計，如果配置腳輪，腳動，需要可以通過20mm寬的窄縫隙。通用機柜輪，但是配置調(diào)平支架，要求腳杯底座可旋轉(zhuǎn)，在調(diào)平時對地面無8伯努利融合型機柜技術(shù)白皮書（五）機柜承載能力定義機柜可承載服務器最大重量1.2T（帶輪動載要求），機柜最大（六）機柜并柜定義機柜支持單柜部署以及并柜部署，參考設(shè)計的機柜上并柜孔定頂部穿線孔在49U下U線向上開1個，穿線開孔機柜左右對稱，機柜前后均預留并柜橫向穿線開孔，自帶毛刷封堵。機柜上中下分布有3個并柜鎖固孔，機柜前后均配置。相關(guān)尺寸和位置示意圖參考9（七）機柜布線定義與約束機柜兼容前后出線，機柜前后同時保留理線板，前出線理線板設(shè)計深度100mm，左右兩側(cè)安裝，后理線板設(shè)計深度≥140mm，左右部兩開孔70*100mm，方孔角需要處理為圓形，配置毛刷，機柜后端底部開2個下線孔，用于下走線和液冷管路預留，每個開孔（八）設(shè)備供電定義與機柜接地PDU安裝與機柜后部，支持2條全高PDU同時安裝，或者4條半高PDU同時安裝，PDU的安裝方式比較靈活，可以支持PDU出線端面朝向機柜后面，也可以支持PDU出線端面朝向機柜側(cè)面；PDU兼容國標和IEC標準，可以根據(jù)業(yè)務需求自行定制，PDU和對應的固定支架做好適配設(shè)計即可。參考設(shè)計中PDU的參考尺寸如下圖所機柜后部頂部和底部均部署有接地銅柱，盡量靠近機柜后部，PDU安裝支架通過螺絲固定后理線板兩側(cè)，全高和半高PDU均可以固定，固定支架同時具備電源線理線架的功能，PDU固定支架在配置冷板兼容場景下，建議為無孔設(shè)計，起到液電隔離的作用，純風冷場景下，可以根據(jù)成本和減重做適當簡化處理。為了保持兼此時PDU只支持左右各配置1條全高或者2條半高，PDU可用深度空間為125mm，電源線在PDU固定支架上專設(shè)的理線孔處做固定，較長的電源線則靠支架內(nèi)側(cè)捆扎，盡量遠離弱電綁線區(qū)域。需要確保電源線走線整潔，不影響服務器的運維和使用。這種出線方式為伯努利融合型機柜推薦的參考設(shè)計，可以支持950mm+深度尺寸此安裝方案為常規(guī)方案，可通過更換PDU固定支架實現(xiàn)，此時PDU支持兩側(cè)部署或者單側(cè)2條部署，電源線通過后理線區(qū)域理線（十）服務器安裝支架機柜支持多種安裝支架，抽拉滑軌，伸縮式L型滑軌和固定式L型支架，對于以上三種安裝方式下，取支撐架的地面與機箱的最低點，保持與方升架構(gòu)一致，要求其距離機柜標準U節(jié)線距離固定式L型支架，通過側(cè)面打螺釘與機柜固定，通過支架底部托架拖住服務器。L型支架安裝面距離不做嚴格約束，可以根據(jù)各伯努利融合型機柜技術(shù)白皮書自的實際情況進行定制，本參考設(shè)計中的推薦L型支架安裝面距離（十一）交換機專用封堵框設(shè)計因為伯努利融合機柜采用熱端封閉方案，所以對于深度尺寸較小的MOR和TOR，建議額外增加交換機專用封堵框用于實現(xiàn)熱端封閉，封堵框需要保證交換機順利拔插，運維方便，同時不影響交換（2）內(nèi)部凈高度為46mm，公差0mm/+（3）含后部掛耳寬度477mm,公差+1mm/-1mm;不含后部掛耳寬度伯努利融合型機柜技術(shù)白皮書交換機封堵機框安裝方式為從機柜后端向前安裝，機框的L型卡扣與機柜的固定式L型支架實現(xiàn)滑動卡接限位，機框在后方孔條處配置有鎖固掛耳，用于機框固定。對于封堵機框設(shè)計的幾個注意（1）L型卡扣的位置與機柜L型支架的尺寸相關(guān)，需要根據(jù)實（2）后端上蓋需要可拆卸，便于交換機維護；（3）交換機內(nèi)部盡量光滑，如有必要推薦覆膜，盡量減少對交（4）為保證封堵框和交換機的適配，交換機封堵框高度尺寸可（十二）熱端封堵毛刷板設(shè)計為了在機柜熱端封堵條件下支持交換機后出線場景，所以交換伯努利融合型機柜技術(shù)白皮書（十三）熱端封堵盲板設(shè)計按照伯努利散熱架構(gòu)要求，機柜的熱端封堵方案在機柜后方孔封堵盲板推薦采用塑膠材質(zhì)，通過卡條的形式實現(xiàn)嚴格的熱端氣流（十四）機柜熱端封堵泡棉設(shè)計按照伯努利散熱架構(gòu)要求，機柜的熱端封堵方案在機柜后方孔），（2）膠面要求使用：3M468，0.1mm的膠面，粘性需要滿足10（3）封堵位置為后方孔條內(nèi)側(cè)，同時避讓后方孔條開孔，方孔伯努利融合型機柜技術(shù)白皮書（4）左右后方孔條各粘貼1PCS，高度保持與后方孔條等高，封堵泡棉的具體尺寸主要取決于適配的服務器寬度尺寸，同時（十五）服務器上下間隙封堵設(shè)計本機柜采用的U高標準為SU，所以在部署服務器的時候，服務器上下之間存在間隙，此間隙原則上均建議做封堵，1RU的OEM服務器如果間隙較小，可以根據(jù)機房和服務器的實際情況決定。封堵材料仍然推薦YU356材質(zhì)的泡棉，OEM可以通過額外增加封堵條，ODM機器建議直接在服務器上蓋后方孔條對應位置進行泡棉粘貼實），（2）膠面要求使用：3M468，0.1mm的膠面，粘性需要滿足10伯努利融合型機柜技術(shù)白皮書（3）結(jié)構(gòu)支撐件：鈑金或者塑膠均可。（4）泡棉根據(jù)封堵間隙的大小，有幾種規(guī)格，ODM自研服務器推薦直接在服務器上蓋貼附，高度參考為C，寬度與服務器等寬，深度10mm即可；OEM服務器可以采用額外的擋風條設(shè)計。相關(guān)參考BCDEF14238242（十六）冷板式液冷兼容設(shè)計伯努利融合型機柜兼容冷板式液冷方案，分水器的位置配置靈活，可以根據(jù)自身服務器的配置需求進行靈活調(diào)整，服務器深度尺寸低于850mm，可以采用目前業(yè)界常見的電液分離的部署方案，服務器深度大于850mm以上，如果要支持前出線和風液兼容設(shè)計，建伯努利融合型機柜技術(shù)白皮書參考設(shè)計中，冷熱分水