淺談搭載20片寒武紀芯片的神經(jīng)元計算服務器的獨到之處-1

Word淺談搭載20片寒武紀芯片的神經(jīng)元計算服務器的獨到之處

曙光在過去幾年當中，高度重視人工智能技術(shù)和產(chǎn)品發(fā)展。據(jù)報道，曙光和（寒武紀）簽約了戰(zhàn)略合作，兩個研發(fā)團隊研發(fā)出了一款“PHANERON”推理專用服務器，這是世界首款在推理應用上采用神經(jīng)元計算的服務器產(chǎn)品。

10月24日，2021中科曙光智能峰會在青島盛大開幕。包括中國工程院原常務副院長、院士潘云鶴，中國工程院院士、曙光公司董事長李國杰、中國工程院院士潘德爐在內(nèi)的一大批專家和企業(yè)界代表參加大會。在大會上，曙光發(fā)布了全球首款在推理應用上采用神經(jīng)元計算的服務器產(chǎn)品；以及能夠快速釋放計算能力的人工智能管理平臺Sothis（AI）。那么，這款搭載了20片寒武紀芯片的服務器有何獨到之處呢？人工智能管理平臺SothisAI又用怎樣的用武之地？我們邀請了曙光公司副總裁沙超群為大家答疑解惑。

潘云鶴院士

科工力量：作為服務器廠商，曙光為何這么重視人工智能？

沙超群：了解曙光的朋友們都知道，曙光這家公司從李院士和歷軍總裁創(chuàng)立之初，我們專注于計算，在過去的高性能計算、云計算、（大數(shù)據(jù)）處理等通用計算，我們都是專注在計算領(lǐng)域，別得也干不了，計算我們干得還不錯。今年國務院也印發(fā)了我國人工智能的發(fā)展規(guī)劃，人工智能技術(shù)是信息產(chǎn)業(yè)發(fā)展的新方向，也是我們曙光所從事的高性能（計算機）發(fā)展的未來新的應用領(lǐng)域。曙光在未來大型計算機的研發(fā)和應用過程中，人工智能也一定是最重要的發(fā)展方向。

科工力量：曙光已經(jīng)有哪些應用和產(chǎn)品？

沙超群：曙光在過去幾年當中，高度重視人工智能技術(shù)和產(chǎn)品發(fā)展。我們已經(jīng)在一些超級計算機的應用方面，大量采用了人工智能的技術(shù)。比如新疆的云計算中心通過超級計算機進行實時視頻圖像的分析和處理，以便為平安城市等帶來社會效益。同時，曙光的百城百行云計算發(fā)展計劃當中，城市數(shù)據(jù)已經(jīng)經(jīng)過了近十年的積累，形成了比較大規(guī)模的數(shù)據(jù)量。在曙光的發(fā)布會上，我們公布了三款產(chǎn)品，分別是“PHANERON”推理專用服務器、曙光的X860-LE全浸沒式液冷的AI訓練專用服務器和曙光人工智能管理平臺SothisAI。

在2021年數(shù)據(jù)中國（加速計）劃的會議上，曙光和寒武紀簽約了戰(zhàn)略合作，經(jīng)過一年的時間，兩個研發(fā)團隊研發(fā)出了一款“PHANERON”推理專用服務器，這是世界首款在推理應用上采用神經(jīng)元計算的服務器產(chǎn)品，這個名字的意思大概是這樣的，是取自“顯生宙”的詞頭，象征著采用神經(jīng)元進行在線推理計算。

科工力量：這款“PHANERON”推理專用服務器有什么特別之處么？

沙超群：這樣一款產(chǎn)品在4U空間中部署20個人工智能前端推理模塊，能夠為推理提供強大的計算支持，單位節(jié)點峰值推理計算能力達到120TFlops，還通過提高密度來降低總體服務器的部署數(shù)量，可顯著降低項目總體投資。今天推理用的在線服務器產(chǎn)品，由于它的應用模式，大概一臺機器可以頂上20臺通用的服務器產(chǎn)品，也就是1：20，大家可以想象在成本空間的節(jié)約上，優(yōu)勢非常大。

其實更讓我個人興奮的不是這款產(chǎn)品，而是計劃明年年底推出PHANERON2這個產(chǎn)品，性能提升5-6倍，那時候一臺這樣的服務器可以頂上100臺通用的服務器產(chǎn)品。

李國杰院士

科工力量：能介紹下曙光的X860-LE全浸沒式液冷的AI訓練專用服務器么？

沙超群：在（機器學習）方面，我們由于需要大量圖片深度分析，最早從提供2U，到現(xiàn)在是8U，一個2U的設備空間基本沒有辦法解決散熱。數(shù)據(jù)中心42U可以放20臺這樣的設備，功耗是60千瓦，大概在一個柜子里面，500瓦的電爐子，可以放120個電爐子。風冷解決方案對該量級的散熱問題已經(jīng)束手無策。

曙光的X860-LE全浸沒式液冷的AI訓練專用服務器就是專門解決能耗和噪音的問題，我們把它浸沒在液體當中，通過蒸發(fā)把熱量帶走。這個產(chǎn)品有兩個特點：第一個是業(yè)界最高密度的（GPU）的訓練平臺。它是世界上PUE（注：PowerUsageEffecTIveness的簡寫，是評價數(shù)據(jù)中心能源效率的指標）最低的訓練的服務器產(chǎn)品，它的PUE能到1.02。剛剛談到了噪音的問題，這個系統(tǒng)第二個特點就是零噪音。

回到PUE的問題，今天我們的數(shù)據(jù)中心大概PUE會在1.6-2.0，我們這個產(chǎn)品的PUE是1.02。大概算一下，一個300瓦的GPU，在制冷方面的能耗節(jié)約大概180瓦，如果現(xiàn)在PUE是1.6的話，一個GPU每年省電是1200元。今天很多客戶這