淺談搭載20片寒武紀(jì)芯片的神經(jīng)元計(jì)算服務(wù)器的獨(dú)到之處-1

Word淺談搭載20片寒武紀(jì)芯片的神經(jīng)元計(jì)算服務(wù)器的獨(dú)到之處

曙光在過(guò)去幾年當(dāng)中，高度重視人工智能技術(shù)和產(chǎn)品發(fā)展。據(jù)報(bào)道，曙光和（寒武紀(jì)）簽約了戰(zhàn)略合作，兩個(gè)研發(fā)團(tuán)隊(duì)研發(fā)出了一款“PHANERON”推理專(zhuān)用服務(wù)器，這是世界首款在推理應(yīng)用上采用神經(jīng)元計(jì)算的服務(wù)器產(chǎn)品。

10月24日，2021中科曙光智能峰會(huì)在青島盛大開(kāi)幕。包括中國(guó)工程院原常務(wù)副院長(zhǎng)、院士潘云鶴，中國(guó)工程院院士、曙光公司董事長(zhǎng)李國(guó)杰、中國(guó)工程院院士潘德?tīng)t在內(nèi)的一大批專(zhuān)家和企業(yè)界代表參加大會(huì)。在大會(huì)上，曙光發(fā)布了全球首款在推理應(yīng)用上采用神經(jīng)元計(jì)算的服務(wù)器產(chǎn)品；以及能夠快速釋放計(jì)算能力的人工智能管理平臺(tái)Sothis（AI）。那么，這款搭載了20片寒武紀(jì)芯片的服務(wù)器有何獨(dú)到之處呢？人工智能管理平臺(tái)SothisAI又用怎樣的用武之地？我們邀請(qǐng)了曙光公司副總裁沙超群為大家答疑解惑。

潘云鶴院士

科工力量：作為服務(wù)器廠商，曙光為何這么重視人工智能？

沙超群：了解曙光的朋友們都知道，曙光這家公司從李院士和歷軍總裁創(chuàng)立之初，我們專(zhuān)注于計(jì)算，在過(guò)去的高性能計(jì)算、云計(jì)算、（大數(shù)據(jù)）處理等通用計(jì)算，我們都是專(zhuān)注在計(jì)算領(lǐng)域，別得也干不了，計(jì)算我們干得還不錯(cuò)。今年國(guó)務(wù)院也印發(fā)了我國(guó)人工智能的發(fā)展規(guī)劃，人工智能技術(shù)是信息產(chǎn)業(yè)發(fā)展的新方向，也是我們曙光所從事的高性能（計(jì)算機(jī)）發(fā)展的未來(lái)新的應(yīng)用領(lǐng)域。曙光在未來(lái)大型計(jì)算機(jī)的研發(fā)和應(yīng)用過(guò)程中，人工智能也一定是最重要的發(fā)展方向。

科工力量：曙光已經(jīng)有哪些應(yīng)用和產(chǎn)品？

沙超群：曙光在過(guò)去幾年當(dāng)中，高度重視人工智能技術(shù)和產(chǎn)品發(fā)展。我們已經(jīng)在一些超級(jí)計(jì)算機(jī)的應(yīng)用方面，大量采用了人工智能的技術(shù)。比如新疆的云計(jì)算中心通過(guò)超級(jí)計(jì)算機(jī)進(jìn)行實(shí)時(shí)視頻圖像的分析和處理，以便為平安城市等帶來(lái)社會(huì)效益。同時(shí)，曙光的百城百行云計(jì)算發(fā)展計(jì)劃當(dāng)中，城市數(shù)據(jù)已經(jīng)經(jīng)過(guò)了近十年的積累，形成了比較大規(guī)模的數(shù)據(jù)量。在曙光的發(fā)布會(huì)上，我們公布了三款產(chǎn)品，分別是“PHANERON”推理專(zhuān)用服務(wù)器、曙光的X860-LE全浸沒(méi)式液冷的AI訓(xùn)練專(zhuān)用服務(wù)器和曙光人工智能管理平臺(tái)SothisAI。

在2021年數(shù)據(jù)中國(guó)（加速計(jì)）劃的會(huì)議上，曙光和寒武紀(jì)簽約了戰(zhàn)略合作，經(jīng)過(guò)一年的時(shí)間，兩個(gè)研發(fā)團(tuán)隊(duì)研發(fā)出了一款“PHANERON”推理專(zhuān)用服務(wù)器，這是世界首款在推理應(yīng)用上采用神經(jīng)元計(jì)算的服務(wù)器產(chǎn)品，這個(gè)名字的意思大概是這樣的，是取自“顯生宙”的詞頭，象征著采用神經(jīng)元進(jìn)行在線推理計(jì)算。

科工力量：這款“PHANERON”推理專(zhuān)用服務(wù)器有什么特別之處么？

沙超群：這樣一款產(chǎn)品在4U空間中部署20個(gè)人工智能前端推理模塊，能夠?yàn)橥评硖峁?qiáng)大的計(jì)算支持，單位節(jié)點(diǎn)峰值推理計(jì)算能力達(dá)到120TFlops，還通過(guò)提高密度來(lái)降低總體服務(wù)器的部署數(shù)量，可顯著降低項(xiàng)目總體投資。今天推理用的在線服務(wù)器產(chǎn)品，由于它的應(yīng)用模式，大概一臺(tái)機(jī)器可以頂上20臺(tái)通用的服務(wù)器產(chǎn)品，也就是1：20，大家可以想象在成本空間的節(jié)約上，優(yōu)勢(shì)非常大。

其實(shí)更讓我個(gè)人興奮的不是這款產(chǎn)品，而是計(jì)劃明年年底推出PHANERON2這個(gè)產(chǎn)品，性能提升5-6倍，那時(shí)候一臺(tái)這樣的服務(wù)器可以頂上100臺(tái)通用的服務(wù)器產(chǎn)品。

李國(guó)杰院士

科工力量：能介紹下曙光的X860-LE全浸沒(méi)式液冷的AI訓(xùn)練專(zhuān)用服務(wù)器么？

沙超群：在（機(jī)器學(xué)習(xí)）方面，我們由于需要大量圖片深度分析，最早從提供2U，到現(xiàn)在是8U，一個(gè)2U的設(shè)備空間基本沒(méi)有辦法解決散熱。數(shù)據(jù)中心42U可以放20臺(tái)這樣的設(shè)備，功耗是60千瓦，大概在一個(gè)柜子里面，500瓦的電爐子，可以放120個(gè)電爐子。風(fēng)冷解決方案對(duì)該量級(jí)的散熱問(wèn)題已經(jīng)束手無(wú)策。

曙光的X860-LE全浸沒(méi)式液冷的AI訓(xùn)練專(zhuān)用服務(wù)器就是專(zhuān)門(mén)解決能耗和噪音的問(wèn)題，我們把它浸沒(méi)在液體當(dāng)中，通過(guò)蒸發(fā)把熱量帶走。這個(gè)產(chǎn)品有兩個(gè)特點(diǎn)：第一個(gè)是業(yè)界最高密度的（GPU）的訓(xùn)練平臺(tái)。它是世界上PUE（注：PowerUsageEffecTIveness的簡(jiǎn)寫(xiě)，是評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo)）最低的訓(xùn)練的服務(wù)器產(chǎn)品，它的PUE能到1.02。剛剛談到了噪音的問(wèn)題，這個(gè)系統(tǒng)第二個(gè)特點(diǎn)就是零噪音。

回到PUE的問(wèn)題，今天我們的數(shù)據(jù)中心大概PUE會(huì)在1.6-2.0，我們這個(gè)產(chǎn)品的PUE是1.02。大概算一下，一個(gè)300瓦的GPU，在制冷方面的能耗節(jié)約大概180瓦，如果現(xiàn)在PUE是1.6的話，一個(gè)GPU每年省電是1200元。今天很多客戶這