計(jì)算機(jī)行業(yè)專(zhuān)題報(bào)告：華為昇騰國(guó)產(chǎn)AI算力“扛旗者”

計(jì)算機(jī)行業(yè)專(zhuān)題報(bào)告：華為昇騰，國(guó)產(chǎn)AI算力“扛旗者”1AI算力需求快速提升，未來(lái)市場(chǎng)大有可觀(guān)1.1數(shù)據(jù)量增長(zhǎng)帶來(lái)算力需求提升，智能算力規(guī)模有望快速增長(zhǎng)數(shù)據(jù)海量增加，算法模型愈加復(fù)雜，應(yīng)用場(chǎng)景的深入和發(fā)展，帶來(lái)了對(duì)算力需求的快速提升。根據(jù)白皮書(shū)數(shù)據(jù)顯示，從2012年開(kāi)始的6年中,Al計(jì)算的需求增加了30萬(wàn)倍。1）根據(jù)IDC測(cè)算，國(guó)內(nèi)智能算力規(guī)模正在高速增長(zhǎng)，2021年中國(guó)智能算力規(guī)模達(dá)155.2每秒百億億次浮點(diǎn)運(yùn)算（EFLOPS），2022年智能算力規(guī)模將達(dá)到268.0EFLOPS，預(yù)計(jì)到2026年智能算力規(guī)模將進(jìn)入每秒十萬(wàn)億億次浮點(diǎn)計(jì)算（ZFLOPS）級(jí)別，達(dá)到1,271.4EFLOPS。2021-2026年期間，預(yù)計(jì)中國(guó)智能算力規(guī)模年復(fù)合增長(zhǎng)率達(dá)52.3%。2）通用算力規(guī)模也正在高速增長(zhǎng)，根據(jù)IDC測(cè)算，2021年中國(guó)通用算力規(guī)模達(dá)47.7EFLOPS，預(yù)計(jì)到2026年通用算力規(guī)模將達(dá)到111.3EFLOPS。2021-2026年期間，預(yù)計(jì)中國(guó)通用算力規(guī)模年復(fù)合增長(zhǎng)率為18.5%。1.2AI芯片是提供算力的基礎(chǔ)，國(guó)內(nèi)市場(chǎng)22-24年增速有望超40%AI包括人工智能芯片、服務(wù)器、計(jì)算架構(gòu)、算法及應(yīng)用等方面，本文主要關(guān)注算力層面，即AI芯片和服務(wù)器。1）全球市場(chǎng)：全球人工智能技術(shù)發(fā)展逐漸成熟，數(shù)字化基礎(chǔ)設(shè)施不斷建設(shè)完善，推動(dòng)全球人工智能芯片市場(chǎng)高速增長(zhǎng)。IDC全球范圍調(diào)研顯示，人工智能芯片搭載率（attachrate）將持續(xù)增高。根據(jù)Tractica、寒武紀(jì)招股書(shū)相關(guān)數(shù)據(jù)，全球人工智能芯片2022年市場(chǎng)規(guī)模預(yù)計(jì)約395億美金，預(yù)計(jì)到2025年將達(dá)到726億美金，年復(fù)合增長(zhǎng)率達(dá)到22%。2）國(guó)內(nèi)市場(chǎng)：22-24年復(fù)合增速有望達(dá)到46%。隨著大數(shù)據(jù)的發(fā)展和計(jì)算能力的提升，根據(jù)寒武紀(jì)招股書(shū)，2022年中國(guó)人工智能芯片市場(chǎng)規(guī)模預(yù)計(jì)達(dá)368億元，預(yù)計(jì)2024年市場(chǎng)規(guī)模將達(dá)到785億元，復(fù)合增速有望達(dá)到46%。AI服務(wù)器市場(chǎng)保持快速發(fā)展：國(guó)內(nèi)2021年市場(chǎng)規(guī)模超300億元，增速近70%。1）全球市場(chǎng)：根據(jù)IDC發(fā)布的《全球人工智能市場(chǎng)半年度追蹤報(bào)告》顯示，2021年全球人工智能服務(wù)器市場(chǎng)規(guī)模達(dá)156.3億美元，約合人民幣1045億元，全球年度人工智能服務(wù)器市場(chǎng)首次突破千億元人民幣，同比2020年增速達(dá)39%。其中，浪潮信息、戴爾、HPE分別以20.9%、13.0%、9.2%的市占率位列前三，三家廠(chǎng)商總市場(chǎng)份額占比達(dá)43.1%。人工智能服務(wù)器市場(chǎng)預(yù)計(jì)將繼續(xù)高速增長(zhǎng)，預(yù)計(jì)2026年全球人工智能服務(wù)器市場(chǎng)規(guī)模將達(dá)到347.1億美元，五年復(fù)合增長(zhǎng)率為17.3%。2）國(guó)內(nèi)市場(chǎng)：根據(jù)IDC數(shù)據(jù)，2021年中國(guó)人工智能服務(wù)器市場(chǎng)規(guī)模達(dá)到59.2億美元，與2020年相比增長(zhǎng)68.2%，其中，浪潮信息、新華三、寧暢、安擎、華為等諸多中國(guó)廠(chǎng)商正加速推動(dòng)人工智能基礎(chǔ)設(shè)施產(chǎn)品的優(yōu)化更新。預(yù)計(jì)到2026年，中國(guó)人工智能服務(wù)器市場(chǎng)規(guī)模將達(dá)到123.4億美元。從工作負(fù)載角度而言：企業(yè)將把精力更多從人工智能訓(xùn)練轉(zhuǎn)移到人工智能推理工作負(fù)載上，根據(jù)IDC數(shù)據(jù)，2021年中國(guó)數(shù)據(jù)中心用于推理的服務(wù)器的市場(chǎng)份額占比已經(jīng)過(guò)半，達(dá)到57.6%，預(yù)計(jì)到2026年，用于推理的工作負(fù)載將達(dá)到62.2%。2昇騰生態(tài)羽翼漸豐，芯片扛旗者初露鋒芒2.1昇騰AI軟硬件平臺(tái)，構(gòu)建智能世界基石全棧AI軟硬產(chǎn)品，覆蓋“端邊云”。昇騰計(jì)算產(chǎn)業(yè)憑借著以昇騰AI處理器為核心，通過(guò)系列硬件和基礎(chǔ)軟件構(gòu)建全棧AI計(jì)算基礎(chǔ)設(shè)施，為各行各業(yè)賦能。在硬件方面，包括模塊、標(biāo)卡、小站、服務(wù)器、集群等產(chǎn)品形態(tài)；在軟件層面，包括

異構(gòu)計(jì)算架構(gòu)、AI框架、應(yīng)用使能、全流程開(kāi)發(fā)工具鏈等產(chǎn)品。2.1.1硬件是AI體系的基礎(chǔ)，提供強(qiáng)大計(jì)算能力基于達(dá)芬奇架構(gòu)的兩顆“芯”。2018年10月，代號(hào)為310和910的昇騰處理器系列產(chǎn)品推出。1）昇騰310處理器：本質(zhì)上是人工智能片上系統(tǒng)，主要應(yīng)用于邊緣計(jì)算產(chǎn)品和移動(dòng)端設(shè)備等低功耗的領(lǐng)域。該芯片采用12nm制造工藝，最大功耗僅為8W，半精度（FP16）算力可達(dá)8TFLOPS，整數(shù)精度（INT8）算力可達(dá)16TOPS，同時(shí)還集成了16通道全高清視頻解碼器。2）昇騰910處理器：該芯片計(jì)算密度大，領(lǐng)先全球，相比于同時(shí)代的英偉達(dá)TeslaV100GPU還要高出一倍，其主要應(yīng)用于云端，可以為深度學(xué)習(xí)的訓(xùn)練算法提供強(qiáng)大算力。在算力方面，昇騰910表現(xiàn)非常出色，半精度（FP16）算力可達(dá)320TFLOPS，整數(shù)精度（INT8）算力可達(dá)640TOPS，功耗只有310W，同時(shí)采用了7nm先進(jìn)工藝進(jìn)程，支持128通道全高清視頻解碼。從算力上看，昇騰910和英偉達(dá)A100性能基本上相當(dāng)。行業(yè)性能領(lǐng)先的服務(wù)器。昇騰AI服務(wù)器具有超強(qiáng)算力，適用于中心側(cè)AI推理以及深度學(xué)習(xí)模型開(kāi)發(fā)和訓(xùn)練場(chǎng)景。1）Atlas800推理服務(wù)器（型號(hào)：3000）：具有高算力和高能效特點(diǎn)。最大可支持8個(gè)Atlas300I/VPro，提供強(qiáng)大的實(shí)時(shí)推理能力，廣泛應(yīng)用于中心側(cè)AI推理場(chǎng)景。2）Atlas800推理服務(wù)器（型號(hào)：3010）：具有靈活配置，適配多項(xiàng)負(fù)載特點(diǎn)。最大可支持7個(gè)Atlas300I/VPro，廣泛應(yīng)用于中心側(cè)AI推理場(chǎng)景。3）Atlas800訓(xùn)練服務(wù)器（型號(hào)：9000）：具有高算力密度等特點(diǎn)。擁有4顆鯤鵬

920芯片，廣泛應(yīng)用于深度學(xué)習(xí)模型開(kāi)發(fā)和訓(xùn)練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。4）Atlas800訓(xùn)練服務(wù)器（型號(hào)：9010）：具有高算力密度等特點(diǎn)?？商峁?.24PFLOPSFP16算力，廣泛應(yīng)用于深度學(xué)習(xí)模型開(kāi)發(fā)和訓(xùn)練。5）Atals800TA2訓(xùn)練服務(wù)器：具有高速帶寬等特點(diǎn)。雙向互聯(lián)帶寬達(dá)392GB/s，廣泛應(yīng)用于深度學(xué)習(xí)模型開(kāi)發(fā)和訓(xùn)練。6）Atlas500Pro智能邊緣服務(wù)器：具有易于部署維護(hù)和支持云邊協(xié)同等特點(diǎn)。最大支持3張Atlas300I/VPro推理卡，單卡功耗僅72W，發(fā)揮鯤鵬架構(gòu)多核、低功耗優(yōu)勢(shì)，在邊緣場(chǎng)景中廣泛部署。華為昇騰超強(qiáng)算力推理+訓(xùn)練標(biāo)卡。訓(xùn)練及推理標(biāo)卡融合“通用處理器、AICore、編解碼”于一體，需要安裝到服務(wù)器上，通過(guò)服務(wù)器提供運(yùn)算和模型，為數(shù)據(jù)中心提供強(qiáng)勁算力。1）推理卡：包括Atlas300V視頻解析卡、Atlas300VPro視頻解析卡、Atlas300IPro推理卡、Atlas300IDuo推理卡。其中，Atlas300IDuo推理卡在配置下可以輸出整數(shù)精度（INT8）達(dá)到280TOPS，半精度（FP16）算力達(dá)到140TOPS。2）訓(xùn)練卡：主要以Atlas300TPro訓(xùn)練卡（型號(hào)：9000）、Atlas300TA2訓(xùn)練卡為主，可廣泛應(yīng)用于智慧城市、智慧交通、智慧園區(qū)、智慧金融等諸多AI行業(yè)場(chǎng)景。性能領(lǐng)先的訓(xùn)練集群。華為昇騰面向人工智能計(jì)算中心等重算力場(chǎng)景，構(gòu)筑性能領(lǐng)先的訓(xùn)練集群，目前主要包含Atlas900PoD（型號(hào)：9000）、Atlas900A2PoD、Atlas900AI集群三種產(chǎn)品，廣泛應(yīng)用于深度學(xué)習(xí)模型開(kāi)發(fā)和訓(xùn)練。1）Atlas900PoD（型號(hào)：9000）：可提供20.4PFLOPSFP16算力，能效比最高可達(dá)20.4PFLOOPS/46kW，搭載32顆超強(qiáng)算力的鯤鵬920處理器，全節(jié)點(diǎn)100G網(wǎng)絡(luò)互聯(lián)，可實(shí)現(xiàn)高效加速應(yīng)用。2）Atlas900A2PoD：提供25.6/24PFLOPSFP16算力，最大可拓展至3.2EFLOPS，全節(jié)點(diǎn)200G網(wǎng)絡(luò)互聯(lián)，能效比可達(dá)25.6PFLOPS/47.5kW，具有極致算力密度、極高A級(jí)能效、極簡(jiǎn)交付部署等特點(diǎn)。3）Atlas900AI：其總算力達(dá)到256P~1024PFLOPSFP16，相當(dāng)于50萬(wàn)臺(tái)高性能PC的計(jì)算能力，讓人類(lèi)更高效地探索宇宙奧秘、預(yù)測(cè)天氣、勘探石油，加速自動(dòng)駕駛的商用進(jìn)程。其他華為昇騰超高算力集成產(chǎn)品。1）開(kāi)發(fā)者套件：Atlas200IDKA2開(kāi)發(fā)者套件開(kāi)發(fā)板集成了昇騰310B處理器，半精度為4TFLOPS@FP16，整數(shù)精度可達(dá)8TOPS@INT8，功耗為24W。可以直接為開(kāi)發(fā)者提供運(yùn)算和模型等，能滿(mǎn)足視頻圖像分析、自然語(yǔ)言處理、機(jī)器人等多個(gè)領(lǐng)域的需求。2）智能小站：Atlas500AI邊緣推理小站算力可達(dá)10TFLOPS@FP16或20TOPS@INT8，在有盤(pán)配置情況下，功耗為44.5W，無(wú)盤(pán)配置時(shí)，功耗32.3W?？瑟?dú)立部署，易于維護(hù)和支持云邊協(xié)同。3）模塊：Altas200AI加速模塊僅有半張信用卡大小，卻能提供22TOPS的INT8算力。具有在邊端側(cè)實(shí)現(xiàn)人臉識(shí)別、圖像分類(lèi)等功能，因此廣泛應(yīng)用于智能攝像機(jī)、機(jī)器人、無(wú)人機(jī)等邊端側(cè)AI場(chǎng)景。2.1.2軟件釋放硬件性能，推動(dòng)AI生態(tài)繁榮華為針對(duì)AI場(chǎng)景，設(shè)計(jì)了異構(gòu)計(jì)算架構(gòu)CANN、AI計(jì)算框架MindSpore和第三方適配以及全流程開(kāi)發(fā)工具鏈MindStudio。本文主要關(guān)注CANN、MindSpore和MindStudio。CANN是一種異構(gòu)計(jì)算架構(gòu)，功能類(lèi)似英偉達(dá)CUDA。CANN位于計(jì)算資源層和應(yīng)用層之間，即芯片使能層，實(shí)現(xiàn)了在高性能計(jì)算硬件和AI應(yīng)用之間架起一座橋梁。部署在昇騰服務(wù)器，包含統(tǒng)一的編程語(yǔ)言、統(tǒng)一網(wǎng)絡(luò)構(gòu)圖接口、高性能計(jì)算引擎以及算子庫(kù)。通過(guò)AscendCL對(duì)外提供Device管理、Context管理、Stream管理、內(nèi)存管理、模型加載與執(zhí)行、算子加載與執(zhí)行、媒體數(shù)據(jù)處理等API，幫助開(kāi)發(fā)者實(shí)現(xiàn)在CANN平臺(tái)上進(jìn)行深度學(xué)習(xí)推理計(jì)算、圖像預(yù)處理、單算子加速計(jì)算。在離線(xiàn)推理場(chǎng)景和訓(xùn)練場(chǎng)景都有應(yīng)用。CANN釋放AI硬件的極致性能，其高性能算子庫(kù)和調(diào)優(yōu)引擎，支撐快速部署神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)框架構(gòu)建的模型是由一個(gè)個(gè)計(jì)算單元組成，這些計(jì)算單元被稱(chēng)為算子，對(duì)應(yīng)著特定的計(jì)算邏輯，構(gòu)成了加速神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)和核心。CANN支持超過(guò)1400個(gè)高性能算子，并提供900多種優(yōu)選模型，并且覆蓋了80%的DSL算子，其DSL算子相比業(yè)界其他的產(chǎn)品，提升了70%開(kāi)發(fā)效率。正是這些豐富的算子，筑起了澎湃的算力源泉。此外，CANN還提供了新一代智能調(diào)優(yōu)工具AOE，取代了繁瑣的手動(dòng)優(yōu)化操作，降低了調(diào)優(yōu)的門(mén)檻，并提高了調(diào)優(yōu)的效率。以ResNet50網(wǎng)絡(luò)為例，使用AOE進(jìn)行調(diào)優(yōu)的效率比上一代工具提升了一倍以上，并且性能提升超過(guò)100%。在CANN6.0版本下，模型遷移成功率可達(dá)90%。CANN在各領(lǐng)域深受認(rèn)可。1）在學(xué)術(shù)領(lǐng)域方面：2022年3月，基于CANN的AI論文PLGAN強(qiáng)勢(shì)上榜2022CVPR，5月榮獲“軟件行業(yè)示范案例”，12月，在第八屆中國(guó)國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽中，“基于昇騰算力及CANN的創(chuàng)新應(yīng)用”突破“互聯(lián)網(wǎng)+”國(guó)賽金獎(jiǎng)。2）在科研領(lǐng)域方面：分子動(dòng)力學(xué)模擬服務(wù)在CANN的助力下成功商用，AI預(yù)測(cè)性能達(dá)到現(xiàn)有產(chǎn)品的1.5+倍，可預(yù)測(cè)規(guī)模較傳統(tǒng)方法提升10000+倍，為光伏材料、新能源電池、半導(dǎo)體材料研究帶來(lái)巨大的商業(yè)應(yīng)用價(jià)值。此外，昇騰AI平臺(tái)端到端使能蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)基于CANN進(jìn)行多維度性能優(yōu)化，使得AI預(yù)測(cè)效率較Baseline提升2+倍，同時(shí)具備長(zhǎng)序列推理能力，2022年底已支持3800+長(zhǎng)度的蛋白質(zhì)氨基酸序列，達(dá)到業(yè)界領(lǐng)先水平。MindSpore是華為推出的支持云邊端靈活部署的深度學(xué)習(xí)框架。人工智能領(lǐng)域的發(fā)展，離不開(kāi)深度學(xué)習(xí)框架。從2012年以前的Torch、OpenNN等原始深度學(xué)習(xí)框架的發(fā)布，到后面形成了TensorFlow和PyTorch雙頭壟斷，再到現(xiàn)在中國(guó)國(guó)產(chǎn)框架有了一席之地，深度學(xué)習(xí)框架市場(chǎng)新品更新不斷。2020年，華為研制的MindSpore正式開(kāi)源，和TensorFlow、PyTorch、飛槳等框架共同為人工智能領(lǐng)域發(fā)力。MindSpore幫助開(kāi)發(fā)者孵化出各種AI創(chuàng)新算法和應(yīng)用，大幅提升效率。在2018年“華為全聯(lián)接大會(huì)“上提出了人工智能面臨的十大挑戰(zhàn)，其中提到長(zhǎng)部署周期，高開(kāi)發(fā)成本、高技術(shù)門(mén)檻等問(wèn)題，為了應(yīng)對(duì)這些問(wèn)題，昇騰MindSpore專(zhuān)注于實(shí)現(xiàn)開(kāi)發(fā)友好、運(yùn)行高效、全場(chǎng)景按需協(xié)同三大目標(biāo)，以有效降低開(kāi)發(fā)門(mén)檻。一般而言，開(kāi)發(fā)深度學(xué)習(xí)軟件框架能夠把程序員從煩瑣細(xì)致的具體編程工作中解放出來(lái)，從而將主要精力集中在人工智能算法的調(diào)優(yōu)和改進(jìn)上。昇思MindSpore作為新一代全場(chǎng)景AI框架，亦是如此，同時(shí)具有圖算融合、分布式并行、企業(yè)安全可信等功能，能夠?qū)崿F(xiàn)模型的訓(xùn)練-推理-全場(chǎng)景部署。MindSpore易用性和性能全國(guó)領(lǐng)先。根據(jù)Omdia發(fā)布的2023年《中國(guó)人工智能框架市場(chǎng)調(diào)研報(bào)告》可知，有40%的開(kāi)發(fā)者將“易用性”作為選擇框架的首選因素，35%的開(kāi)發(fā)者將”性能“作為選擇框架的首選因素。其易用性是指產(chǎn)品被用戶(hù)使用時(shí)，能夠被用戶(hù)理解、學(xué)習(xí)、使用和吸引用戶(hù)的能力，易用性是產(chǎn)品的基本自然屬性，標(biāo)志著最終產(chǎn)的可用性和成熟度。MindSpore在易學(xué)習(xí)低門(mén)檻、易開(kāi)發(fā)高效率、問(wèn)題快速閉環(huán)三方面，提升易用性，并且成立了易用性SIG?！吨袊?guó)人工智能框架市場(chǎng)調(diào)研報(bào)告》中提到，在國(guó)外的端到端框架中，開(kāi)發(fā)者認(rèn)為T(mén)ensorFlow，PyTorch的易用性更好，而本土框架昇思MindSpore和飛槳PaddlePaddle在易用性方面緊隨其后。在端到端人工智能框架性能方面，MindSpore以13%的占比排名第三。MindSpore在全球AI框架使用率方面處于第一梯隊(duì)。根據(jù)Om