Mellanox4036QDR交換機(jī)白皮書

MellanoxGD4036高性能QDRInfiniBand交換機(jī)Mellanox公司是全球網(wǎng)格骨干解決方案的領(lǐng)導(dǎo)者，致力于為下一代數(shù)據(jù)中心網(wǎng)絡(luò)化計(jì)算提供最為全面的解決方案。Mellanox公司的產(chǎn)品涵蓋了從服務(wù)器到網(wǎng)絡(luò)交換到存儲(chǔ)互聯(lián)的各個(gè)領(lǐng)域，憑借先進(jìn)的架構(gòu)設(shè)計(jì)以及嚴(yán)謹(jǐn)?shù)馁|(zhì)量控制，Mellanox公司的軟硬件產(chǎn)品在全球用戶市場(chǎng)獲得了廣泛的好評(píng)，通過IBM、HP、SGI、NEC、SUN等合作伙伴建立了OEM合作關(guān)系，Mellanox公司的產(chǎn)品以及解決方案正在被部署在各行各業(yè)。作為業(yè)高性能InfiniBand交換解決方案，MellanoxGD4036為高性能計(jì)算集群和網(wǎng)格提供了水平空前的性能和擴(kuò)展性。GD4036交換機(jī)能使高性能應(yīng)用運(yùn)行在分布式的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)資源上。MellanoxGD4036對(duì)單個(gè)機(jī)箱中的36個(gè)節(jié)點(diǎn)精心設(shè)計(jì)并提供了QDR規(guī)格的40Gb/s通訊帶寬，多臺(tái)GD4036或者與Mellanox其他產(chǎn)品配合，我們可以搭建更大規(guī)模的集群運(yùn)算系統(tǒng)，可配置的節(jié)點(diǎn)數(shù)量范圍從十幾個(gè)到幾千個(gè)，內(nèi)部無(wú)阻塞的交換設(shè)計(jì)最大限度的為集群運(yùn)算系統(tǒng)提供了可靠高效的通訊環(huán)境一、MellanoxGD4036模塊介紹MellanoxGD4036主要由主機(jī)箱、sPSU電源模塊以及相應(yīng)的系統(tǒng)散熱模塊構(gòu)成，整機(jī)采用模塊化設(shè)計(jì)、無(wú)線纜接插件緊密連接結(jié)構(gòu)，大大提高了設(shè)備的可靠性，同時(shí)方便了系統(tǒng)安裝以及以后的維護(hù)工作。GD4036機(jī)箱及相關(guān)部件MellanoxGD4036機(jī)箱采用工業(yè)標(biāo)準(zhǔn)設(shè)計(jì)完全符合19英寸機(jī)柜的安裝，支持網(wǎng)絡(luò)機(jī)柜和服務(wù)器機(jī)柜安裝使用；高度為1U，在一個(gè)標(biāo)準(zhǔn)42U機(jī)柜中可以輕松部署多臺(tái)MellanoxGD4036；MellanoxGD4036提供了機(jī)架導(dǎo)軌，更方便機(jī)箱的機(jī)柜安裝；對(duì)外端口MellanoxGD4036機(jī)箱提供了36個(gè)QDR40Gb/s端口，總計(jì)可以提供2.88Tb/s吞吐量;管理模塊MellanoxGD4036內(nèi)置了子網(wǎng)管理器，無(wú)須在服務(wù)器上安裝子網(wǎng)管理器軟件；管理模塊提供了標(biāo)準(zhǔn)的DB9串口以及以太網(wǎng)連接接口提供遠(yuǎn)程管理。同時(shí)還提供了一個(gè)標(biāo)準(zhǔn)的USB接口用于軟件及微碼的升級(jí)。GD4036除了標(biāo)準(zhǔn)的36端口交換芯片外，還設(shè)計(jì)有由一個(gè)低功耗的CPU以及相應(yīng)的緩存組成的板載監(jiān)控系統(tǒng)，通過搭載相應(yīng)的固件，可以實(shí)時(shí)監(jiān)控電源模塊、風(fēng)扇散熱工作狀況以及系統(tǒng)工作溫度等詳細(xì)信息；對(duì)于交換機(jī)端口可以實(shí)現(xiàn)啟用、禁用以及速率調(diào)整等功風(fēng)扇模塊MellanoxGD4036機(jī)箱標(biāo)準(zhǔn)配置了一個(gè)散熱模塊，內(nèi)部包含兩個(gè)冗余風(fēng)扇，支持熱插拔更換維護(hù)，提高了高可用性和可維護(hù)性。ICaptiveFasteners電源模塊ICaptiveFasteners隨機(jī)箱配置2個(gè)最大功率為350Watt的電源模塊，確保系統(tǒng)能夠?qū)崿F(xiàn)N+1,N+N電源供電，每個(gè)電源模塊提供對(duì)機(jī)箱內(nèi)所有模塊的供電，用戶不必?fù)?dān)心出現(xiàn)競(jìng)爭(zhēng)友商產(chǎn)品中的分區(qū)供電故障問題。所有電源模塊均位于機(jī)箱兩側(cè)支持熱插拔更換，并且與外部線纜連接模塊不在同側(cè)，這樣的設(shè)計(jì)充分考慮了線纜布線對(duì)未來(lái)電源系統(tǒng)維護(hù)帶來(lái)的挑戰(zhàn)，大大方便系統(tǒng)維護(hù)。二、MellanoxGD4036可靠性MellanoxGD4036全部采用模塊化設(shè)計(jì)，部件連接均采用先進(jìn)可靠的連接模塊來(lái)實(shí)現(xiàn)，從根本上保證了系統(tǒng)內(nèi)部通訊鏈路的可靠性；在管理方面，MellanoxGD4036內(nèi)置子網(wǎng)管理器、集成DeviceManager，可實(shí)現(xiàn)設(shè)備硬件監(jiān)控功能、完全支持UnifiedFabricManager（UFM）軟件管理；在系統(tǒng)供電方面，MellanoxGD4036支持N+1以及N+N的冗余供電配置，所有電源模塊均提供對(duì)整個(gè)機(jī)箱供電，平均負(fù)擔(dān)整機(jī)負(fù)載，電源模塊支持熱插拔更換維護(hù)，確保整個(gè)系統(tǒng)不間斷運(yùn)行；MellanoxGD4036提供了一個(gè)散熱模塊，散熱模塊具備兩個(gè)散熱風(fēng)扇，兩路散熱風(fēng)扇互為備份；同時(shí)，先進(jìn)的機(jī)箱模塊設(shè)計(jì)使得系統(tǒng)散熱效率最大化；MellanoxGD4036通過了國(guó)際FCC、UL、CB、VCCI等多項(xiàng)認(rèn)證，在產(chǎn)品設(shè)計(jì)、運(yùn)行可靠性、電磁穩(wěn)定性等多方面獲得權(quán)威機(jī)構(gòu)的認(rèn)可！三、MellanoxGD4036性能MellanoxGD4036采用全互連無(wú)阻塞架構(gòu)，總計(jì)提供2.88Tbps的吞吐率，同一個(gè)內(nèi)部交換模塊的兩個(gè)端口之間的延遲小于100納秒；、MellanoxGD4036管理MellanoxGD4036提供了命令行管理方式以及先進(jìn)的UFM管理軟件，借助MellanoxUFM管理軟件，InfiniBand網(wǎng)絡(luò)不再是個(gè)神秘的黑盒子，整個(gè)網(wǎng)絡(luò)的監(jiān)控與管理將變得透明化、系統(tǒng)化。：；：：：；：：(，。八.：心以應(yīng)用軟件為中心的網(wǎng)絡(luò)管理；?無(wú)限可擴(kuò)展性提供對(duì)應(yīng)用軟件、數(shù)據(jù)庫(kù)以及存儲(chǔ)系統(tǒng)的無(wú)縫支持；?直觀的展現(xiàn)網(wǎng)絡(luò)交通以及設(shè)備運(yùn)行狀況，確保用戶清晰并深度掌握網(wǎng)絡(luò)工作?先進(jìn)的網(wǎng)絡(luò)阻塞狀況發(fā)現(xiàn)與分析優(yōu)化處理功能；?基于應(yīng)用軟件工作流以及網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的通訊路由優(yōu)化功能；?可設(shè)定與調(diào)節(jié)的故障預(yù)警機(jī)制，使用戶對(duì)網(wǎng)絡(luò)通訊狀況了如指掌；?提供網(wǎng)絡(luò)分區(qū)以及多服務(wù)等級(jí)的分區(qū)功能，方便用戶設(shè)定與調(diào)整；?提供在一個(gè)共享的網(wǎng)絡(luò)中實(shí)現(xiàn)多個(gè)基于應(yīng)用軟件的獨(dú)立通訊區(qū)域設(shè)定；集中化的InfiniBand網(wǎng)絡(luò)設(shè)備管理使得大型網(wǎng)絡(luò)中設(shè)備管理更為便捷；?安全可靠的HA架構(gòu)設(shè)計(jì)確保UFM管理系統(tǒng)的高可用性；

提供API接口，方便用戶將UFM管理納入現(xiàn)有的綜合管理系統(tǒng)中。MellanoxUFM網(wǎng)絡(luò)狀況發(fā)現(xiàn)與控制MellanoxUFM集成了先進(jìn)的網(wǎng)絡(luò)監(jiān)控引擎，對(duì)InfiniBand網(wǎng)絡(luò)交換機(jī)以及連接到InfiniBand網(wǎng)絡(luò)的主機(jī)提供實(shí)時(shí)的監(jiān)控。MellanoxUFM提供了一個(gè)可自行設(shè)定的公告牌界面，可以提供網(wǎng)絡(luò)健康狀況以及主機(jī)CPU、內(nèi)存、磁盤等資源的使用狀況，通過公告牌界面，我們可以方便的看到服務(wù)器中網(wǎng)絡(luò)通訊帶寬開銷最大的Top10（數(shù)量可以自行設(shè)定），網(wǎng)絡(luò)中阻塞最多的Top10，網(wǎng)絡(luò)中故障報(bào)警的實(shí)時(shí)列表，網(wǎng)絡(luò)中阻塞問題的熱點(diǎn)出現(xiàn)在哪里等等，UnifiedFabncManagerI，I6l尊4\I'I■.OMttetAlII<A*.IMnvICM??I牧.“”網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)自動(dòng)發(fā)現(xiàn)，網(wǎng)絡(luò)瓶頸實(shí)時(shí)顯示MellanoxUnifiedFabncManagerI，I6l尊4\I'I■.OMttetAlII<A*.IMnvICM??I牧.“”網(wǎng)絡(luò)分區(qū)優(yōu)化與路由通訊優(yōu)化MellanoxUFM提供先進(jìn)的網(wǎng)絡(luò)通訊優(yōu)化功能，針對(duì)不同需求的計(jì)算群組（低延遲、高帶寬等等）可以創(chuàng)建相應(yīng)的邏輯計(jì)算機(jī)資源組，在同一個(gè)組內(nèi)的計(jì)算節(jié)點(diǎn)之間通訊會(huì)自動(dòng)根據(jù)所設(shè)定的網(wǎng)絡(luò)需求類型進(jìn)行優(yōu)化，確保網(wǎng)絡(luò)通訊能夠分層進(jìn)行，大大提高網(wǎng)絡(luò)通訊效率；

LowLatencyApplication(e.g.MPI)LowLatencyNetworkSLO(HighPriorityVL)HighThroughputNetworkSL1(LowPriorityVL)CaseACoSBCoSIPCLowLatencyApplication(e.g.MPI)LowLatencyNetworkSLO(HighPriorityVL)HighThroughputNetworkSL1(LowPriorityVL)CaseACoSBCoSIPC(A)LatencyMaxJustIPCtraffic0None1.2us1.7usIPC+StorageusethesameCoS0018us20usIPC+StorageseparateCoS011.5us2us5.全網(wǎng)絡(luò)通訊日志收集與保存5.全網(wǎng)絡(luò)通訊日志收集與保存MellanoxUFM會(huì)自動(dòng)收集并保存整個(gè)網(wǎng)絡(luò)（包括交換機(jī)端、計(jì)算節(jié)點(diǎn)I/O節(jié)點(diǎn)端）的通訊日志，為系統(tǒng)通訊狀況分析以及故障排查提供強(qiáng)有力的資源支持。端）的通訊日志，為系統(tǒng)通訊狀況分析以及故障排查提供強(qiáng)有力的資源支持。6.MellanoxUFM支持的InfiniBand網(wǎng)絡(luò)設(shè)備以及主機(jī)平臺(tái)MellanoxUFM支持的硬件交換機(jī)平臺(tái)：MellanoxGD2004/2012系列MellanoxVantage系列MellanoxGD4000系列MellanoxIS5000系列MellanoxUFM支持的主機(jī)平臺(tái)：Redhat5.1/5.2/5.3/5.4/5.5/5.6/6.0Centos5.1/5.2/5.3/5.4/5.5/5.6/