高密度光電集成與e-hpc互連網(wǎng)絡(luò)

國防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院博士、研究專注于HPC互連網(wǎng)絡(luò)研究16年，國內(nèi)高性能系統(tǒng)互連網(wǎng)絡(luò)領(lǐng)域知名家 為TH系列HPC持續(xù)獲國際Top500第一名做出了重要貢獲國家科技進(jìn)步特等獎(jiǎng)1項(xiàng) 科技進(jìn)步一等獎(jiǎng)22013年入選教育部“二十一世紀(jì)科技創(chuàng)新人才面向E級(jí)高性能計(jì)算機(jī)的新型高性能互連網(wǎng)絡(luò)技術(shù)研國 計(jì)算所 交大+西安交大+湖南大本人出任項(xiàng)目首席科EHPC及其設(shè)計(jì)二、二、HPC互連網(wǎng)絡(luò)：現(xiàn)狀與趨勢(shì)三、光電集成三、光電集成HPC互連網(wǎng)絡(luò)E級(jí)Exascale1018=百億億（102×108×1082017年啟動(dòng)研制，2020年左10萬結(jié)點(diǎn)，約20MW功相比TH2，性能提升20倍，功耗基本不變，或者說提升性能功耗20大型科學(xué)與工程計(jì)算“高性能計(jì)算機(jī)的計(jì)算速度每十年提高一千倍大規(guī)模應(yīng)用表現(xiàn) 的E級(jí)計(jì)算能力需E級(jí)計(jì)算生命科 核 氣候環(huán) 航空航制

天體物2010年4月，IBM公司《SomeChallengesonfromPetascaletoExascale 3D54008050001000204 BlueBlueGene/L:2.9TianHe-1A:4.04puter:

如此發(fā)

E級(jí)系統(tǒng)功耗將3.5GW過三峽水電站2008年平均供目前頂級(jí)的超級(jí)計(jì)算機(jī)的能效為2~4E級(jí)計(jì)算系統(tǒng)（~1018Flops）能 EHPC及其設(shè)計(jì)二、二、HPC互連網(wǎng)絡(luò)：現(xiàn)狀與趨勢(shì)三、光電集成三、光電集成HPC互連網(wǎng)絡(luò)

結(jié)點(diǎn)內(nèi)互 系統(tǒng)級(jí)互高速率、低功耗、低成更優(yōu) 性更長的傳輸距恒電流驅(qū) PhysicalProblems(athighSignalElectromagneticHighPowerHighLatency(RCSuccessfullong-haul municationsystembasedonfiberopticsCapabletoprovidelargeFreefromelectricalshort-Low-losstransmissionathighImmunetoelectromagneticEssentiallynocrosstalkbetweenadjacentNoimpedancematching產(chǎn)品性能遠(yuǎn)高于主 互連產(chǎn)s

TH-60MB/s

IB

IBFDR

YH-

YH-

IBSDR

TH2 32000In XeonCPUs+48000XeonPhis+ 4096FTCPUs Proprietaryhigh-speedinterconnectionnetworkTHExpress-2 1PBin Globalsharedparallelstoragesystem,12.4PB 17.8MW ClosedAircoolingTH2系統(tǒng)互連網(wǎng)絡(luò)：主要技術(shù)指9互連（Serdes×N）+交換 IB-EDR：36端口，100G=4×25G，100W,交換機(jī)648端5T每結(jié)點(diǎn)，20萬結(jié)點(diǎn)，網(wǎng)絡(luò)支持20Tree12341Router648交換1IB更高性TreeIB更高性Tree4Router648交換更高性更高集成密 更低功 EHPC及其設(shè)計(jì)二、二、HPC互連網(wǎng)絡(luò)：現(xiàn)狀與趨勢(shì)三、光電集成三、光電集成HPC互連網(wǎng)絡(luò)板間板間板上電互板上背板背板 板間板上板上

板上電互

板間

板上

背板

板間

MOB背板

板上電互

板上

板間板上電互板上MOBvs On-BoardvsEdge4LaneAOC→當(dāng)前國際最高密提高互連密度3單提高互連密度3包括VCSEL光發(fā)送部分、PD光接收部分、MCU微控制器、 硅光子集成將用光互連完全取代電互連，從而根本

間光互

SerdestoModule距離<5cmor1cmOIFSerdes20pJto信號(hào)傳輸完整性更交 中可以集 密度更高、功耗更系統(tǒng)集成密度更高、信號(hào)完整性更顯著提升系統(tǒng)能效

CircaCirca光光3D 以色列CompassEOS公司的R10004RouterChip封裝168路8Gbps光鏈路（VCSEL+PD），單吞吐率功耗較高：1.5Wper4Lane Serdes 的主要功耗當(dāng)前Serdes功耗，20pj/bit，需要降低到減小Serdes傳輸距離是最主要Step2：分立光電單片集成光源、調(diào)制器、探測(cè)器、驅(qū)動(dòng)IC、放大Step2.1：分立光Serdes信號(hào)直接去掉驅(qū)動(dòng)+放器件密度：4Lane/器 ：集成器件密度→12Lane/模塊→32Lane/模 集成PAM、多芯光纖、CWDMMIPvsEdgeMIP存在單點(diǎn)故障無法顯著降低可靠性、增加設(shè)計(jì) 成增加冗余鏈1條鏈路故障，可以通過光交換技術(shù)切換到其它鏈

CCompleteDataPat

CCompleteDataPatNoNodeBoar

NodNodeBoarNodeChipintheFuturToday’sNodeChip

網(wǎng)絡(luò)

/

處理16xPCI-E

獨(dú)立NIC架構(gòu)端-端延遲約其中PCI-E延遲

mm

計(jì)算與通信融合架NIC嵌入處理目標(biāo)端-端延遲約

用戶應(yīng)用程文件用戶應(yīng)用程文件系統(tǒng)操作調(diào)度優(yōu)設(shè)備管網(wǎng)絡(luò)協(xié)議棧網(wǎng)絡(luò)操作調(diào)度優(yōu)網(wǎng)絡(luò)設(shè)備管現(xiàn)行服務(wù)現(xiàn)行服務(wù)器硬

優(yōu)化

用用戶應(yīng)用程文融合設(shè)備設(shè)備管 內(nèi)存數(shù) 網(wǎng)

內(nèi)