2024信創(chuàng)+AI趨勢洞察報告

2024中國信創(chuàng)+AI趨勢洞察報告maymaymaymaymaymaymaymaymay

中國信創(chuàng)+Al落地情況分析2.1基礎(chǔ)硬件層2.2基礎(chǔ)軟件層2.3大模型層2.4生態(tài)應(yīng)用層

中國信創(chuàng)+Al發(fā)展趨勢洞察3.1

中美AI基建軍備競賽正面交鋒,Al產(chǎn)業(yè)自主安全愈加重要3.2后訓(xùn)練+推理擴展開啟新范式,

國產(chǎn)推理模型性能比肩openAIolmaymaymaymaymaymaymaymaymay面對目前大模型發(fā)展浪潮下算力需求的爆炸式增長以及能力的革命性躍升,

為了在全球科技

競爭中占據(jù)主動地位并確保核心技術(shù)自主安全,

我國信創(chuàng)產(chǎn)業(yè)積極擁抱技術(shù)變革。生成式的崛起,

不僅對硬件基礎(chǔ)設(shè)施提出了更

高的算力要求

,還對基礎(chǔ)軟件的資源管理能力提

出挑戰(zhàn),更考驗對大模型的設(shè)計能力和生態(tài)應(yīng)用能力

為此,我國信創(chuàng)產(chǎn)業(yè)亟需在技術(shù),質(zhì)量以

及規(guī)模上進行突破,以應(yīng)對生成式全面井噴的

巨量需求。Al產(chǎn)業(yè)在為社會生產(chǎn)力帶來提升的同時也向人類提出了前所未有的安全挑戰(zhàn)

目前已知的能夠由

Al技術(shù)實現(xiàn)的安全威脅包括:由Al增強的網(wǎng)絡(luò)詐

騙

,用于網(wǎng)絡(luò)攻擊的破壞性代碼生成,

以及由目

標偏差導(dǎo)致的破壞性行為。我國信創(chuàng)產(chǎn)業(yè)通過推動關(guān)鍵技術(shù)的自主安全、構(gòu)

建本土化技術(shù)生態(tài)強化數(shù)據(jù)安全與隱私保護

,

為AI產(chǎn)業(yè)提供了安全的發(fā)展環(huán)境與關(guān)鍵的政策和

資金支持,同時加速了Al產(chǎn)業(yè)鏈的完善與升級,

共同推動了Al技術(shù)創(chuàng)新和商業(yè)化落地。u當前,

人工智能技術(shù)范式變革和全球數(shù)智化的加速轉(zhuǎn)型為算力基礎(chǔ)設(shè)施業(yè)務(wù)提供了新的成長動能,也為我國信創(chuàng)產(chǎn)業(yè)提供了新的發(fā)展方向。u從1993年中軟推出第一代基于UNIX為底層的國產(chǎn)Linux操作系統(tǒng)"COSIX1.0"

,到2013年浪潮天梭K1小型機系統(tǒng)上市,再到飛騰、鯤鵬等芯片技u如今,生成式Al的爆發(fā)將信創(chuàng)產(chǎn)業(yè)推向關(guān)鍵的技術(shù)升級拐點:更高的算力需求、更高效的算法優(yōu)化、更龐大的數(shù)據(jù)規(guī)模提供了可觀的產(chǎn)業(yè)升級機會。

另一方面,要解決Al領(lǐng)域備受關(guān)注的安全性問題,需要依托自主安全的產(chǎn)業(yè)鏈和生態(tài)環(huán)境。在未來,信創(chuàng)產(chǎn)業(yè)與Al產(chǎn)業(yè)有望深度融合,共促發(fā)展。信創(chuàng)生成式Al爆發(fā)信創(chuàng)產(chǎn)業(yè)迎來關(guān)鍵拐點Al的安全發(fā)展離不開自主安全的產(chǎn)業(yè)鏈條與生態(tài)環(huán)境數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay3深入推進數(shù)字經(jīng)濟創(chuàng)新發(fā)展:深化大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用,開展"人工智能+"行動,打造具有國際競爭力的數(shù)字產(chǎn)業(yè)集群。適度超前建設(shè)數(shù)字基礎(chǔ)設(shè)施,加快形成全國一體化算

力體系,培育算力產(chǎn)業(yè)生態(tài)。積極培育新興產(chǎn)業(yè)和未來產(chǎn)業(yè):加快智能網(wǎng)聯(lián)新能源汽車、前沿新興氫能、新材料、創(chuàng)新藥

等產(chǎn)業(yè)發(fā)展,積極打造生物制造、商業(yè)航天、低空經(jīng)濟等新增長引擎。制定未來產(chǎn)業(yè)發(fā)展規(guī)

劃,開辟量子技術(shù)、生命科學(xué)等新賽道。積極擴大有效投資:重點支持科技創(chuàng)新、新型基礎(chǔ)設(shè)施、

節(jié)能減排降碳,加強民生等經(jīng)濟社會薄弱領(lǐng)域補短板,推動各類生產(chǎn)設(shè)備、服務(wù)設(shè)備更新和技術(shù)改造。2024年中央預(yù)算內(nèi)投資

擬安排7000億元。u2024年《政府工作報告》

明確提出"適度超前建設(shè)數(shù)字基礎(chǔ)設(shè)施,加快形成全國一體化算力體系,培育算力產(chǎn)業(yè)生態(tài)",為數(shù)字經(jīng)濟的深化發(fā)展

奠定了堅實基礎(chǔ)。在政府工作報告中被首次提出的"人工智能+"行動,核心在于推動人工智能技術(shù)與各行各業(yè)的深度融合,創(chuàng)造新的產(chǎn)品、服務(wù)

和商業(yè)模式,從而推動傳統(tǒng)行業(yè)的轉(zhuǎn)型升級和社會經(jīng)濟結(jié)構(gòu)的變革。u在產(chǎn)業(yè)下游,"人工智能+"行動通過將Al技術(shù)與制造、醫(yī)療、

教育、

交通等傳統(tǒng)行業(yè)深度融合。例如,Al在制造業(yè)中的應(yīng)用已涵蓋精細化生產(chǎn)、GPU、

NPU等異構(gòu)芯片的國產(chǎn)化,還帶動了液冷技術(shù)等高效散熱方案的創(chuàng)新,進一步降低了算力成本與能耗。這種上下聯(lián)動的產(chǎn)業(yè)升級模式,正在

加速全要素生產(chǎn)率的提升,為經(jīng)濟高質(zhì)量發(fā)展注入新動能。首次提出"人工智能+"行動形成以人工智能為引擎的新質(zhì)生產(chǎn)力數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay4寧夏自治區(qū)人民政

府辦公廳《自治區(qū)人民政府辦公廳關(guān)于促進全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點寧夏樞紐建設(shè)若干政策的意見》加大信創(chuàng)企業(yè)扶持力度,對基礎(chǔ)軟硬件實現(xiàn)國產(chǎn)化

率90%以上的數(shù)據(jù)中心,

給予企業(yè)最高不超過1000萬元獎勵。

重點加強基礎(chǔ)芯片、

自主指令集的產(chǎn)學(xué)研及配套產(chǎn)業(yè)建設(shè)寧夏自治區(qū)發(fā)展改

革委《全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點寧

夏樞紐建設(shè)2023年工作要點》推動龍芯中科、中電子、

中興、

華為等自主安全產(chǎn)

業(yè)園區(qū)落地,鼓勵億國產(chǎn)化CPU、

GPU、操作系統(tǒng)

等自主安全產(chǎn)品為底座的信創(chuàng)云平臺自主研發(fā),

打

造安全可信計算、網(wǎng)絡(luò)和存儲能力。青島人工智能產(chǎn)業(yè)園《青島"海之心"人工智能計算中心項目》要求國產(chǎn)人工智能加速卡占比≥70%成都市經(jīng)信局《成都市圍繞超算智算加快算力產(chǎn)業(yè)發(fā)展的政策措施》鼓勵智算中心建設(shè)國產(chǎn)自主安全、

安全可靠的人工

智能算力基礎(chǔ)設(shè)施和技術(shù)路線生態(tài)。南京麒麟科創(chuàng)園《南京智能計算中心算力推廣辦法

(試行)

》以"算力券"和"算力折扣"兩種形式為廣大企業(yè)

提供更優(yōu)質(zhì)的算力資源、更有力的服務(wù)保障。北京市人民政府《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實施方案(2023-2025

》在人工智能產(chǎn)業(yè)聚集區(qū)新建或改建升級人工智能商

業(yè)化算力中心,加強國產(chǎn)芯片部署應(yīng)用,推動自主

安全軟硬件算力生態(tài)建設(shè)成都市經(jīng)信局《成都市加快大模型創(chuàng)新應(yīng)用推進人工

智能產(chǎn)業(yè)高質(zhì)量發(fā)展的若干措施》引導(dǎo)國家超算成都中心、

成都智算中心合理擴容,

支持鯤鵬、

異騰、

海光等自主安全芯片部署,提高

自主研發(fā)算力設(shè)備比例。u2023年10月工業(yè)和信息化部等六部門聯(lián)合印發(fā)

《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》,將算力定義為集信息計算力、網(wǎng)絡(luò)運載力、

數(shù)據(jù)存儲力于

一體的新型生產(chǎn)力。

主要目標包括2025年計算力規(guī)模超過300EFLOPS,智能算力占比達到35%,重點應(yīng)用場所光傳送網(wǎng)

(OTN)覆蓋率達到80%,

存儲總量超過1800EB,

先進存儲容量占比達30%以上。u各省市政府發(fā)布引導(dǎo)智算中心發(fā)展相關(guān)政策,大力推動Al基礎(chǔ)設(shè)施國產(chǎn)化進程。

其中寧夏政府對國產(chǎn)化率90%以上的數(shù)據(jù)中心給予補貼獎勵,青島

人工智能產(chǎn)業(yè)園要求國產(chǎn)人工智能加速卡占比≥70%。億歐智庫:《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》

量化指標億歐智庫:我國引導(dǎo)智算中心發(fā)展相關(guān)政策算力規(guī)模

(EFLOPS2202603002智能計算中心

(個)3智能算力占比

(%)2535運載力4重點應(yīng)用場所光傳送網(wǎng)(OTN)覆蓋率

(%)5SRV6等創(chuàng)新技術(shù)使用占比

(%)國家樞紐節(jié)點數(shù)據(jù)中心

集群間網(wǎng)絡(luò)時延達標率(%75存儲力7存儲總量

(EB)1200150018008先進存儲容量占比

(%2528數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay5u從市場公開資料來看,2024年中國大模型市場規(guī)模與2023同比增速達到140%。在構(gòu)成方面,純硬件采購占主要成分,純硬件采購部分約占60%

(增速達到122%)

,服務(wù)部分約占23%,軟件部分約占17%。u從招投標市場來看,圍繞大模型技術(shù)的基礎(chǔ)設(shè)施建設(shè)和技術(shù)應(yīng)用正同步推進,其中服務(wù)應(yīng)用呈現(xiàn)指數(shù)級增長,基礎(chǔ)設(shè)施建設(shè)則朝著專用化發(fā)展。其

中,硬件設(shè)備(大模型專用)占比達28%,從2023年9月起,大模型專用的硬件設(shè)備需求開始上漲。企業(yè)用戶在2024年將開始大量釋放大模型預(yù)算,

規(guī)劃中大模型占Al預(yù)算約10%,預(yù)算規(guī)模大多為數(shù)百萬元。億歐智庫:

2023-2024中國大模型市場規(guī)模及構(gòu)成(單位:億元)億歐智庫:

2024年中國大模型中標項目數(shù)量與金額mm項目數(shù)量披露項目金額(萬元)數(shù)據(jù)來源：專家訪談，智能超參數(shù)

純硬件采購

w服務(wù)

w軟件maymaymaymaymaymaymaymaymay占比情況13062024,8中國移動2024年至2025年新型智算中心集采項目7994超191億元2024.7中國電信中國電信服務(wù)器

(2024

2025年)集中采

購項目1.3萬229億元2024.4上海浦東發(fā)展銀行金融云基礎(chǔ)平臺異構(gòu)SDDC建設(shè)項目之鯤

鵬芯片服務(wù)器1.31億元2024.4海通證券股份有限公司證券垂直領(lǐng)域大模型項目Al算力服務(wù)器345萬元2024.3中國聯(lián)通2024年人工智能服務(wù)器公開集采2053超20億元2024.3招商銀行信創(chuàng)AI推理服務(wù)器采購項目2023.9-2024.1中國移動2023年至2024年新型智算中心(試驗網(wǎng))

采購1250超7億元2023.8中國電信Al算力服務(wù)器(2023

2024年)集采項目4175超80億元2023.8江蘇銀行股份有限公司高算力GPU服務(wù)器433萬元2023.1中國交通銀行國產(chǎn)GPU服務(wù)器(寒武紀)

選型項目u在算力角逐駛?cè)?快車道"的關(guān)鍵階段,三大運營商出手"闊綽",

耗資百億元"加碼"智算中心建設(shè)。

作為國內(nèi)通信基礎(chǔ)設(shè)施建設(shè)的

"國家隊"

,

三大運營商基于自身強大的網(wǎng)絡(luò)資源和遍布全國的運維團隊,加上充足的現(xiàn)金流,運營商沖在建設(shè)智算中心的第一線。u國產(chǎn)化率方面,中國移動與中國聯(lián)通在2024mm2025年的Al服務(wù)器集采項目中的國產(chǎn)化率均達到100%,中標公司均為華為異騰合作伙伴。中國電信Al服務(wù)器采購國產(chǎn)化率達到52%,較上一年度增加5%。三大運營商整體Al服務(wù)器集采國產(chǎn)化率達到73%。億歐智庫:

2023-2024三大運營商Al服務(wù)器集采國產(chǎn)化率億歐智庫:

2023-2024央國企Al服務(wù)器招標情況資料來源：中原證券；億歐智庫maymaymaymaymaymaymaymaymay

2023w20247功能舉例政務(wù)金融能源電信交通教育醫(yī)療消費智能客服知識庫管理智能創(chuàng)作智能推薦智能風控智能審核Al視覺數(shù)據(jù)分析如實時交互、分配人工客服、統(tǒng)計監(jiān)測等如專家知識管理

(外掛知識庫、

自建RAG)如音視頻、圖文改寫、代碼生成、會

議紀要生成、個性化內(nèi)容生成如精準營銷、內(nèi)容推薦/廣告預(yù)見性維護、財務(wù)安全監(jiān)控如財務(wù)審核、合同審核如人臉識別、票據(jù)識別、場景識別、智能質(zhì)檢決策優(yōu)化u從功能應(yīng)用的多樣性來看,金融行業(yè)對大模型技術(shù)的應(yīng)用最為多樣化,范圍涵蓋了所有的應(yīng)用類別,其次是能源和消費行業(yè)。知識庫管理和Al視覺

是各行業(yè)采納最多的應(yīng)用類別,分別被六個行業(yè)所采納使用。u從廣泛程度來看,金融行業(yè)對Al應(yīng)用最為廣泛,尤其是智能客服,知識庫管理,智能創(chuàng)作以及智能風控。

其中,智能客服是全行業(yè)應(yīng)用最為廣泛的

Al應(yīng)用。億歐智庫:

Al大模型各行業(yè)應(yīng)用情況

以顏色深淺表示應(yīng)用的廣泛程度數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay8國家電投

天樞一號

智慧能源系統(tǒng)我國首個可以實現(xiàn)數(shù)十種能源同時管理的智慧大腦。該系統(tǒng)橫向貫通源、網(wǎng)、荷、儲,全域物聯(lián)場景,縱向融合c云大物移智鏈"先進技術(shù),集能源監(jiān)視、

預(yù)測、調(diào)控、分析、運

維和服務(wù)等近百項功能、千項應(yīng)用于一體,擁有800個以上核心智能算法,實現(xiàn)數(shù)十種不同能源的綜合管控。南方電網(wǎng)自主安全電力大模型大瓦特電力行業(yè)首個跨NLP/CV模態(tài)大模型產(chǎn)品,實現(xiàn)算力、算法、應(yīng)用全過程自主安全。已經(jīng)在智能客服、輸變配、電力調(diào)度和安監(jiān)等垂直領(lǐng)域得到應(yīng)用。中國聯(lián)通元景大模型2.0元景大模型2.0已形成37個行業(yè)大模型和100多個標桿應(yīng)用,賦能經(jīng)濟社會新質(zhì)發(fā)展成效顯著。如基于元景大模型構(gòu)建的南京港5g安全生產(chǎn)智能管控平

臺,深入6大港口場景14個生產(chǎn)作業(yè)環(huán)節(jié),開發(fā)集成了人員安全行為識別、港區(qū)安全環(huán)境監(jiān)測、作業(yè)合規(guī)監(jiān)測3大類共41個典型場景的Al算法中國農(nóng)業(yè)銀行金融Al大模型應(yīng)用

chat

ABCchatABC依托農(nóng)業(yè)銀行的人工智能服務(wù)體系,結(jié)合內(nèi)部知識庫和數(shù)據(jù)進行訓(xùn)練,實現(xiàn)了金融知識理解和問答能力,并支持自由閑聊、內(nèi)容摘要等多任

務(wù)處理。1.0版本擁有百億級參數(shù),

已在行內(nèi)多個渠道試用,并可通過Maas方式提供決策輔助服務(wù),未來將形成大模型服務(wù)生態(tài)。中國建設(shè)銀行大模型"方舟計劃"建設(shè)銀行于2023年3月成立"方舟計劃"專項工作組,依托算力資源打造千億大模型基座,并利用高質(zhì)量文本數(shù)據(jù)進行預(yù)訓(xùn)練、微調(diào)和強化學(xué)習(xí),使

其能更好地理解金融知識和建設(shè)銀行業(yè)務(wù)。目前已初步具備信息總結(jié)、信息推斷、

信息擴展、

文本轉(zhuǎn)換、安全與價值觀、

復(fù)雜推理、

金融知識7項一級

能力和26項二級能力。u

動整個產(chǎn)業(yè)結(jié)構(gòu)的升級和優(yōu)化。

未來,中央企業(yè)在人工智能領(lǐng)域的投資可能會不斷增加。u推進行業(yè)大模型高質(zhì)量發(fā)展及邊緣算力協(xié)同部署和應(yīng)用。

央企作為代表將持續(xù)深化大模型在行業(yè)中的應(yīng)用并向社會開放場景,有望加速Al商業(yè)化

落地進程,實現(xiàn)投資回報的正向循環(huán)。億歐智庫:

部分央國企垂類Al大模型應(yīng)用案例升20%。

與主流大模型對比,

專業(yè)能力平均高出15%。數(shù)據(jù)來源：公開資料，億歐智庫光明電力大模型maymaymaymaymaymaymaymaymay國家電網(wǎng)9

中國信創(chuàng)+Al發(fā)展趨勢洞察3.1

中美AI基建軍備競賽正面交鋒,Al產(chǎn)業(yè)自主安全愈加重要3.2后訓(xùn)練+推理擴展開啟新范式,

國產(chǎn)推理模型性能比肩openAIol

中國信創(chuàng)+Al發(fā)展動能分析1.1信創(chuàng)+AI發(fā)展背景1.2信創(chuàng)+AI驅(qū)動因素分析maymaymaymaymaymaymaymaymayu其中,基礎(chǔ)硬件層和模型層決定了Al大模型的核心基礎(chǔ)能力,而基礎(chǔ)軟件層和生態(tài)應(yīng)用層則推動了大模型的落地,幫助企業(yè)實現(xiàn)與業(yè)務(wù)的結(jié)合。當

前AI大模型浪潮爆發(fā),這四個層次各自面臨不同的技術(shù)挑戰(zhàn)和發(fā)展趨勢。?算法:"Fine-tune"

和"prompt工程"應(yīng)用量下滑;

"RAG"應(yīng)用量上升;研發(fā)路線以"后訓(xùn)練"

,

"推理計算","多模態(tài)

世界模型"為方向發(fā)展?

數(shù)據(jù):合成數(shù)據(jù)提供高質(zhì)量訓(xùn)練語料?

成本:使用蒸餾,剪枝等技術(shù),壓縮模型參數(shù)量?

研發(fā):利用AI技術(shù)在材料,藥物,軟件,游戲等領(lǐng)域輔助研發(fā)?

生產(chǎn):數(shù)字孿生,機器視覺,人形機器人深入工廠?

運營:運營自動化,Al知識庫管理?

營銷:Al客戶畫像分析,Al個性化營銷?

芯片:片內(nèi)、片間互聯(lián)性能;高帶寬,低延遲的存

儲芯片;多精度混合算力?

服務(wù)器:超大計算集群組網(wǎng);

冷板式與浸沒式液冷?

PC:支持AI模型本地部署;支持Al軟硬件生態(tài)和

應(yīng)用?

操作系統(tǒng):微內(nèi)核架構(gòu);AIOS;

LL

MOS?

數(shù)據(jù)庫:

向量數(shù)據(jù)庫;低延遲,高吞吐,高并發(fā)的

數(shù)據(jù)處理能力?

中間件:針對大模型數(shù)據(jù)與應(yīng)用集成,知識庫融合等需求的自動化工具?

資源調(diào)度:巨量計算資源以及模型工具的管理

調(diào)度?

安全性:模型運行所需的大量數(shù)據(jù)將很大程度

涉及企業(yè)隱私和商業(yè)機密?

系統(tǒng)集成:模型與現(xiàn)有工作流的無縫集成?

算力:大模型對矩陣運算的海量需求,帶來算

力需求的指數(shù)級增長?

網(wǎng)絡(luò)&存儲:

巨量矩陣運算對網(wǎng)絡(luò)與存儲的帶

寬和延遲提出了更高要求?

散熱:硬件的功率密度及熱流密度大幅升高?

幻覺:模型時常生成錯誤且具有誤導(dǎo)性的回答?

黑箱:模型決策過程缺乏透明度,用戶難以與之建立信任?

監(jiān)管:責任歸屬和安全監(jiān)管機制有待完善?

算法:算法創(chuàng)新加速,技術(shù)路線頻繁更迭?

數(shù)據(jù):

高質(zhì)量數(shù)據(jù)開始匱乏?

成本:

隨著基礎(chǔ)模型不斷擴大,模型的訓(xùn)推成本持續(xù)攀升數(shù)據(jù)來源：公開資料，億歐智庫HY

GONmaymaymaymaymaymaymaymaymay超云器u11u

Al芯片層面:近年來隨著大數(shù)據(jù)與Al技術(shù)的發(fā)展,芯片算力的增長速度已經(jīng)遠超過存儲和網(wǎng)絡(luò)帶寬的增長速度。

因此在面對大模型算力需求爆發(fā),

大規(guī)模并行計算網(wǎng)絡(luò)成為行業(yè)趨勢之際,Al芯片的主要發(fā)展瓶頸在于數(shù)據(jù)傳輸速度以及硬件互聯(lián)能力而非單卡晶體管數(shù)量。

目前,更大的存儲容

量,更高的存儲和互聯(lián)帶寬,更強的片內(nèi)/片間互聯(lián)是芯片廠商的發(fā)力重點。u

Al服務(wù)器層面:隨著大模型對算力需求呈指數(shù)級增加,芯片與計算網(wǎng)絡(luò)向高度集成化方向發(fā)展,服務(wù)器的功率和功率密度大幅上升。

同時,大模

型的訓(xùn)練/推理需求也對服務(wù)器的大規(guī)模組網(wǎng)能力提出更高要求。u

Al

PC層面:硬件成本,端側(cè)模型的承載能力,產(chǎn)品生態(tài)建設(shè)以及用戶對于數(shù)據(jù)安全方面的考慮是行業(yè)需要攻克的主要挑戰(zhàn)?；ヂ?lián)與存儲能力:發(fā)展chiplet,C2c,光電共

封裝,存算一體等技術(shù)以提高片內(nèi)互聯(lián)以及片間互聯(lián)能力,以打破數(shù)據(jù)傳輸速度瓶頸。發(fā)展3D封

裝,硅通孔等先進封裝技術(shù),

擴展存儲容量和帶

寬,以突破內(nèi)存墻問題。生態(tài)兼容:兼容CUDA,Rocm等加速計算生態(tài),

原生支持Tensorflow,pytorch等主流深度學(xué)習(xí)框架,以降低開發(fā)者遷移成本。端云結(jié)合:構(gòu)建端云結(jié)合的產(chǎn)品生態(tài),以彌補

本地算力不足。個人大模型:個性化本地數(shù)據(jù)庫,將用戶的個

人數(shù)據(jù)加入模型以提供個性化Al服務(wù)。Al智能體:具有強大泛化能力的Al智能體仍有

待突破技術(shù)難關(guān)。點狀垂類功能有望率先打開

市場。性能:國產(chǎn)AI芯片在算力、存儲、帶寬、功耗等

核心指標上與國外頭部企業(yè)普遍存在差距,

且在芯片設(shè)計、制造工藝和軟件生態(tài)方面有待突破。成本:盡管憑借片間互聯(lián),超大集群等技術(shù),國產(chǎn)Al芯片具有"以量取勝"

的潛力,但TCO仍然較高,

在效率為王的大模型訓(xùn)推場景下,滿足主

流企業(yè)的訓(xùn)推需求仍具有一定困難。模型承載能力:目前主流的本地算力解決方案

難以獨立支撐大模型所需的算力。生態(tài)建設(shè):本地大模型需要與硬件,下游應(yīng)用,

用戶進行操作上的打通,構(gòu)建完整產(chǎn)品生態(tài)

隱私安全:AI

PC應(yīng)用對于海量個人數(shù)據(jù)的需求

將使得用戶的個人數(shù)據(jù)安全將面臨更高挑戰(zhàn)。擴展/組網(wǎng)能力:發(fā)展多卡并行方案,RDMA,ROCE等節(jié)點間通信技術(shù),提高算力硬件的線性擴展能力。構(gòu)建超大服務(wù)器集群以應(yīng)對算力需求的爆發(fā)式增長以及單卡算力不足的挑戰(zhàn)。散熱性能:為高功率密度服務(wù)器配備冷板式液

冷與浸沒式液冷等技術(shù),解決芯片級散熱問題

以及整體機柜散熱問題。互聯(lián):針對大模型的超大規(guī)模組網(wǎng)需求對服務(wù)器集群的網(wǎng)絡(luò)帶寬以及延遲提出了更高要求。散熱:Al應(yīng)用對算力需求的顯著上升要求服務(wù)

器能夠承載更高的功率以及更高的功率密度因此下一代Al服務(wù)器亟需更好的冷卻解決方案

以應(yīng)對服務(wù)器的發(fā)熱問題。數(shù)據(jù)來源：公開資料，億歐智庫技術(shù)挑戰(zhàn)發(fā)展趨勢maymaymaymaymaymaymaymaymay12HCCS片間互聯(lián):華為cache一致性總線(HCCS)實現(xiàn)

920多芯片的兩兩互連,為內(nèi)核、設(shè)備、集群提供

系統(tǒng)內(nèi)存的一致訪問,以支持云計算工作負載的擴展。u華為鯤鵬920是華為自主研發(fā)的高性能數(shù)據(jù)中心處理器,

專為大數(shù)據(jù)處理和分布式存儲等應(yīng)用而設(shè)計。u鯤鵬920基于ARMV8.2架構(gòu),7納米工藝制造,使用chiplet技術(shù),能夠集成2個cpudie,最多64顆核心。

由Hydra接口提供的片間互聯(lián)能夠?qū)崿F(xiàn)最

多4個鯤鵬920處理器C2C互聯(lián),256個物理核的NUMA架構(gòu),片間帶寬最高可達480Gbps

u鯤鵬920的大部分性能提升來自于優(yōu)化的分支預(yù)測算法、

更多的運算單元,以及內(nèi)存子系統(tǒng)架構(gòu)的改進。憑借鯤鵬920,華為現(xiàn)在已經(jīng)進入了一個

以多核、異構(gòu)為代表的多元化計算時代。數(shù)據(jù)來源：《Kunpeng920:The

First7-nmChiplet-Based64-CoreARMSoCfor

Cloud

Services》JingXia，公開資料，億歐智庫maymaymaymaymaymaymaymaymay13KX-7000集成高性能GPU顯卡,支持DX12

openGL4.6、opencL1.2、雙路4K硬件解碼輸

出,

還升級支持DDR5/DDR4內(nèi)存、pcle4.0通道、USB4/USB3接口等主流高速lo。與上一代產(chǎn)品相比,開先KX-7000系列計算性能提升2倍,圖形性能提升4

倍。聯(lián)想開天基于兆芯開先KX-7000系列處理器平臺

推出了pgozG1t臺式機,作為信創(chuàng)首款A(yù)IPC,以

及聯(lián)想開天N8

pro系列筆記本。清華同方,紫光計算機等也推出了搭載KX-7000

的信創(chuàng)產(chǎn)品。KH-40000采用"永豐"自主內(nèi)核微架構(gòu),支

持自主互連技術(shù)ZPI3.0,單顆處理器集成最高32核心,具備64MB高速緩存,支持8通道

DDR4內(nèi)存,提供多達128Lane

pcle通道,

以

及SATA、

USB等主流

接口,支持片上互連

和多路互連,可構(gòu)建64核服務(wù)器整機系統(tǒng),以更好滿足服務(wù)器應(yīng)用對多核心、

多內(nèi)存、

多pcle擴展等AI需求?；陂_勝KH-40000處理器的聯(lián)想開天服務(wù)器

有單機64核的強大計算能力和豐富的擴展能

力,能夠支持云計算、OA、數(shù)據(jù)庫等多種應(yīng)用類型,

并特別支持Al加速卡、推理卡等擴展應(yīng)用。u兆芯開先kxmm7000系列面向pc電腦及嵌入式市場,采用全新設(shè)計的自主微架構(gòu)"世紀大道"

,以及先進的chiplet互連架構(gòu),主頻最高達3.7GHZ,

創(chuàng)下國產(chǎn)CPU的新高。u兆芯開勝KH

mm40000面向云計算、大數(shù)據(jù)分析、高并發(fā)、高性能存儲、超融合等云端應(yīng)用場景,具備高核心性能、高集成度、

高效互連、

豐富10等產(chǎn)品特點,集成最多32個高性能核心,

支持雙路互連構(gòu)建64核服務(wù)器整機,同時支持8通道DDR4內(nèi)存、128路pcle3.0數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay14羲云GPU全面兼容CUDA生態(tài),

可實現(xiàn)用戶零成本遷移;通過自主知識產(chǎn)權(quán)的MetaxLink實現(xiàn)單機8卡GPU全互聯(lián),提供構(gòu)建高密度算力和云計算部署的優(yōu)秀國

產(chǎn)GPU解決方案;可廣泛應(yīng)用于千億參數(shù)Al大模型訓(xùn)練與推理、AIGC內(nèi)容生成、推薦系統(tǒng)、自動語音識別、語音合成、圖像分割檢測,以及科學(xué)計算、數(shù)據(jù)庫加

速等多種場景。FP32:36TFLOPS

FP32:19.5T

FLOPSTF32:

140T

FLOP

S

TF32:156T

FLOPS算力

FP16:280TFLOPS

FP16:312T

FLOPSBF16:280TFLOPS

BF16:312TFLOPSINT8:560TOP

S

INT8:

624TOPSu沐曦致力于為異構(gòu)計算提供全棧GPU芯片及解決方案,可廣泛應(yīng)用于人工智能、

智慧城市、

數(shù)據(jù)中心、云計算、自動駕駛、

數(shù)字孿生、元宇宙等前

沿領(lǐng)域,為數(shù)字經(jīng)濟發(fā)展提供強大的算力支撐。u曦云C500基于自主研發(fā)的高性能GPU

IP,具有多精度混合算力、64GB大容量高帶寬內(nèi)存、多卡互聯(lián)技術(shù)、全兼容主流GPU生態(tài)的軟件

棧,適合千億參數(shù)Al大模型的訓(xùn)練和推理。內(nèi)容規(guī)格64GB

HBM2e,

帶寬1.8TB/S80GB

HBM2e,

帶寬

TB/S視頻/JPEG解碼160路1080P30FPS視頻/JPEG解碼12路1080P30FPS互聯(lián)MetaxLink8卡全互聯(lián)NV

Link虛擬化示例1/2/4/8功耗

450W

400Wu曦云C500千億參數(shù)Al大模型訓(xùn)練及通用計算GPU與智譜Al開源的中英雙語對話語言模型chatGLM2mm6B完成適配。

測試結(jié)果顯示,曦云C500在智譜Al的升級版大模型上充分兼容、高效穩(wěn)定運行。產(chǎn)品代號羲云C500OAM

Nvidia

A100自主軟件棧

MX

MACA自主知識產(chǎn)權(quán)

GP

GPU高精度及混合

精度算力片間互聯(lián)

Meta

xLink數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay15海光完整軟件棧支持u

海光DCU深算一號產(chǎn)品FP64性能可達到英偉達2020年推出的A100和AMD2020年u框架及應(yīng)用庫函數(shù)編譯器驅(qū)動與工具硬件u海光DCU以GPGPU架構(gòu)為基礎(chǔ),兼容通用的"類CUDA"環(huán)境,可廣泛應(yīng)用于大數(shù)據(jù)處理、人工智能、

商業(yè)計算等應(yīng)用領(lǐng)域。u海光DCU在強大的通用計算性能基礎(chǔ)上,

打造出自主開放的完整軟件棧,包括"DTK(DCUToolkit)"、開發(fā)工具鏈、

模型倉庫等,完全兼容CUDA"、"Rocm

生態(tài),支持TensorFlow、

pytorch和paddlepaddle等主流深度學(xué)習(xí)框架、應(yīng)用軟件。HY

GON數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay16u受益于云端服務(wù)供應(yīng)商(CSP)及品牌客戶對建設(shè)A基礎(chǔ)設(shè)施的強勁需求,全球Al服務(wù)器市場蓬勃增長。其中,超云已率先成為國內(nèi)少有的能夠提

供萬卡集群落地的服務(wù)器廠商,既可以很好地配合客戶做好組網(wǎng)、性能調(diào)優(yōu),將訓(xùn)練性能進行數(shù)倍的提升,也能提供先進的冷板式液冷技術(shù),以

應(yīng)對Al應(yīng)用龐大的散熱需求。u隨著大模型算力scalinglaw逐漸從訓(xùn)練轉(zhuǎn)至推理,超云的Al戰(zhàn)略也隨著大模型的發(fā)展進行了轉(zhuǎn)變。據(jù)IDC數(shù)據(jù)顯示,2021年中國數(shù)據(jù)中心用于推理

的服務(wù)器的市場份額占比已達到57.6%,預(yù)計到2026年,用于推理的工作負載占比將達到62.2%。因此,超云將"爭做推理業(yè)務(wù)的第一品牌"提升

至公司戰(zhàn)略地位,

立下了"推理之巔、

超云為先"的目標。萬卡集群落地:超云已成為國內(nèi)少數(shù)具備萬卡集群部署能力的服

務(wù)器廠商之一,

能夠為客戶提供從組網(wǎng)到性能優(yōu)化的全方位支持,顯著提升訓(xùn)練效率,

最高可實"

"

了包括R8428系列在內(nèi)的近千臺高性能GPU服

務(wù)器,成功構(gòu)建了新一代人工智能數(shù)據(jù)中心(AIDC)

,為寧夏地區(qū)打造人工智能算力中心

提供了強有力的基礎(chǔ)設(shè)施支撐。R8428A13是超云針對AI市場推出的一款高性能GPU服務(wù)器,

基于AMD

EPYC處理器設(shè)計,采用7nm先進制程工藝,最高支

持單顆CPU

64核性能輸出。

在4U空間內(nèi)集成8塊雙寬AI加速

卡液冷整機柜服務(wù)器:基于超

云全自研液冷技術(shù),

采用先

進的冷板式液冷技術(shù),

集中

散熱設(shè)計模式,高密度節(jié)點

部署。

機架式和柜式CDU覆

蓋10-200KW,液冷覆蓋整

機柜80%散熱量。超云Al數(shù)據(jù)中心選擇使用冷板式液冷的主要原因是其能夠更

加精準地針對CPU和GPU芯片進行散熱,從而有效降低

核心工作溫度。作為一種新興技術(shù),液體散熱系統(tǒng)相比

傳統(tǒng)空氣散熱系統(tǒng)具有更低能耗,實現(xiàn)更低PUE

(電源

使用效率)。另外,采用冷板式方案無需對傳統(tǒng)數(shù)據(jù)中

心的物理架構(gòu)進行大幅改動,

只需在機電設(shè)計上做一些調(diào)整即可,這使得其具有天然優(yōu)勢。而浸沒式則需要改

變整個機柜結(jié)構(gòu),不適合現(xiàn)有數(shù)據(jù)中心的改造升級。冷板式液冷將液體于冷板中循環(huán)。

冷板與主要發(fā)熱源(如

GPU)直接接觸,最低可將PUE降低至1.1X。浸沒式液冷將服務(wù)器浸入液體中,

達到控制服務(wù)器整體溫

度的效果,最低可將PUE降低至1.02X。超云器數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay17個人智能體反饋新的prompt返回操作結(jié)果聯(lián)想開天P90zG1tu

硬件方面,聯(lián)想開天AIPC元啟版搭載兆芯開

先KX-7000處理器。u

軟件方面,搭載面向信創(chuàng)用戶深度定制的操u信創(chuàng)AI

PC,即搭載國產(chǎn)Al芯片等軟硬件的信創(chuàng)PC,相較于傳統(tǒng)PC,AI

PC具有強大的本地處理能力、高效的A算法執(zhí)行、出色的隱私保護特性以及

個性化的服務(wù),為信創(chuàng)用戶創(chuàng)造本地個性化Al體驗,同時也推動了計算機硬件和軟件產(chǎn)業(yè)的升級換代。u聯(lián)想開天基于兆芯開先kxmm7000系列處理器平臺推出了pgozG1t臺式機,作為信創(chuàng)首款A(yù)I

PC,配備聯(lián)想開天自研的"小天智能體",內(nèi)嵌本地大

模型,為用戶搭建專屬的個人知識庫,并支持異構(gòu)GPU加速。在本地大模型的加持下,打造了端云無縫協(xié)同的全棧Al能力,在聯(lián)網(wǎng)狀態(tài)下,云側(cè)

大模型將賦予用戶更強的內(nèi)容生成,

知識檢索,提煉分析及安全檢測能力,

全方位提升用戶Al體驗。標配本地混合云端算力:u

CPU+GPU+NPU本地算力u

個人終端和家庭主機

企業(yè)主機協(xié)

同運算開放的Al應(yīng)用生態(tài):u

AIAgent&本地大模型接口開放,

接入第三方Al應(yīng)用,

可被個人Agent調(diào)度。u

為Al應(yīng)用開發(fā)者提供高效、便捷、

低成本的混合Al算力開發(fā)及適配平個人agent自然語言交互:u

多模態(tài)自然語言交互ulu

基于本地大模型的意圖理解和任務(wù)調(diào)度內(nèi)嵌個人大模型:u

能夠運行經(jīng)壓縮和性能優(yōu)化的本地大模型u

具備更大存儲,

覆蓋個人全生命周期數(shù)據(jù)的

本地個人知識庫設(shè)備級個人數(shù)據(jù)&隱私安全防護:u

本地化隱私推理&非敏感任務(wù)調(diào)用

云端大模型u

硬件級安全芯片保護&個人數(shù)據(jù)加

密/脫敏傳輸。數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay操作設(shè)備功能應(yīng)用API調(diào)用模型調(diào)用模型調(diào)用反饋結(jié)果反饋結(jié)果反饋結(jié)果18u操作系統(tǒng)層面:大模型的訓(xùn)練和推理需要數(shù)以千計的GPU集群,操作系統(tǒng)必須能夠高效管理這些異構(gòu)算力資源。此外,隨著A引領(lǐng)物聯(lián)網(wǎng)和邊緣計

算的興起,輕量化和模塊化的操作系統(tǒng)將成為趨勢。u數(shù)據(jù)庫層面:大模型的技術(shù)發(fā)展推動SQL與AI走向一體化。開發(fā)者將能夠使用Al輔助開發(fā),

Al性能優(yōu)化等功能,提升數(shù)據(jù)庫使用體驗和工作效率。u中間件:作為打通Al應(yīng)用落地的最后一公里,中間件在企業(yè)構(gòu)建知識庫,落地過程中的數(shù)據(jù)集成、應(yīng)用集成、知識庫與大模型融合等環(huán)節(jié)起到關(guān)

鍵作用。輕量化與模塊化:隨著AI引領(lǐng)物聯(lián)網(wǎng)和邊

緣計算的興起,輕量化和模塊化的操作系統(tǒng)

將成為趨勢。微內(nèi)核架構(gòu)的靈活性和模塊化

特性或?qū)⑹蛊涑蔀橹匾l(fā)展方向,以滿足不

同設(shè)備對資源和功能的定制化需求。智能化管理:操作系統(tǒng)將內(nèi)嵌更多的智能

化管理能力,例如使用機器學(xué)習(xí)算法進行自

我優(yōu)化和故障預(yù)測。構(gòu)建企業(yè)知識庫:幫助企業(yè)形成自由的知識空

間中的數(shù)據(jù)集成。集成:Al應(yīng)用與第三方saas軟件的無縫集成。數(shù)據(jù)安全:企業(yè)需要將私有數(shù)據(jù)發(fā)送給公有云

大模型,因此具有一定安全隱患。資源管理與調(diào)度:隨著AI工作負載變得越來越密集和復(fù)雜,操作系統(tǒng)需要更精細的資

源管理和任務(wù)調(diào)度策略來確保系統(tǒng)性能和穩(wěn)定性。安全性:

由于Al系統(tǒng)處理的數(shù)據(jù)往往包含敏感信息,操作系統(tǒng)的安全性問題也日益突出。SQL+Al一體化:支持多模態(tài)數(shù)據(jù)融合查詢。Al賦能數(shù)據(jù)庫:讓開發(fā)者能夠借助智能代碼輔助功能、

代碼補全和直接在編輯器中提

供的指導(dǎo),輕松生成和匯總SQL代碼。同時,

內(nèi)容感知聊天界面也可幫助開發(fā)者使用自然語言更快地構(gòu)建數(shù)據(jù)庫應(yīng)用。統(tǒng)一接口:也包括為大模型提供統(tǒng)一的接口來

訪問外部數(shù)據(jù),例如語義檢索,混合查找等。應(yīng)用集成:實時知識庫構(gòu)建,Al應(yīng)用集成,大

模型插件,以及無代碼構(gòu)建Al應(yīng)用的中間件。簡化開發(fā):大模型中間件目前為開發(fā)者提供的支持包括提供多模型訪問、prompt封裝、多數(shù)據(jù)源接口,從而簡化開發(fā)者構(gòu)建Al應(yīng)用的過一體化:隨著互聯(lián)網(wǎng)技術(shù)與Al的融合,

數(shù)據(jù)庫正走向一體化,并開始提供多模數(shù)據(jù)的支數(shù)據(jù)庫+Al:Al向量數(shù)據(jù)庫,向量融合查詢,

實時處理數(shù)據(jù),快速構(gòu)建Al應(yīng)用的能力。數(shù)據(jù)來源：公開資料，億歐智庫技術(shù)挑戰(zhàn)產(chǎn)品趨勢maymaymaymaymaymaymaymaymay19銀河麒麟桌面操作系統(tǒng)Al版的核心價值在于通過打造kylinAlmmsDK、kylinDLA框架,

并與操作系統(tǒng)深度融合,同源支Al桌面環(huán)境日程管理記憶地圖

智能搜索Al右鍵

Al剪切板持不同的Al芯片,

實現(xiàn)不同Al芯片之上混合推理,為產(chǎn)業(yè)提供一致的Al生態(tài)支持。意圖識別模型圖像模型語音模型大語言模型XXX模型kylinDLACPU

GPU

NPU

VPU

u2024年8月8日,在北京召開的2024中國操作系統(tǒng)產(chǎn)業(yè)大會上,國產(chǎn)桌面操作系統(tǒng)銀河麒麟推出了首個AI

PC版本。

這款系統(tǒng)將人工智能與操作系統(tǒng)

深度融合,彌補了我國在操作系統(tǒng)端側(cè)推理能力研發(fā)領(lǐng)域的空白。u通過應(yīng)用與模型解耦、模型與Al芯片解耦,同源支持CPU

GPU等異構(gòu)算力創(chuàng)新發(fā)展,AI

PC

OS操作系統(tǒng)實現(xiàn)對多種模型的統(tǒng)一管理和調(diào)度,幫助

生態(tài)伙伴省去全棧調(diào)校的步驟,同時讓用戶在一個硬件設(shè)備中方便地運行多種模型,把PC打造成可用、

好用、并實用的生產(chǎn)力工具。AISDK桌面操作系統(tǒng)內(nèi)核云端模型云端推理引擎云端模型調(diào)度器云端算力資源池統(tǒng)一異構(gòu)資源管理云端管理平臺模型切換模型推理模型優(yōu)化數(shù)據(jù)來源：公開資料，億歐智庫本地模型調(diào)度器maymaymaymaymaymaymaymaymay20oceanBase數(shù)據(jù)庫一體機是基于自研金融級分布式數(shù)據(jù)庫和

可信硬件打造的軟硬一體化數(shù)據(jù)庫產(chǎn)品。oceanBase數(shù)據(jù)庫一體機提供以oceanBase數(shù)據(jù)庫為核心的

軟硬一體化系統(tǒng),集成自動化交付部署、監(jiān)控工具。

其內(nèi)嵌

了oceanBase管理者工具OAT、oceanBase數(shù)據(jù)庫和oceanBase云平臺ocp三大核心數(shù)據(jù)庫軟件,

旨在為用戶提

供數(shù)據(jù)庫遷移上云、

數(shù)據(jù)庫開發(fā)管理、運維管理等數(shù)據(jù)庫全

生命周期的一站式接入與管理服務(wù)。u基于完全自主產(chǎn)權(quán),oceanBase數(shù)據(jù)庫已服務(wù)全部政策性銀行、

2/3國有大行,浦發(fā)銀行、

民生銀行等股份制商業(yè)銀行,以及北京銀行、寧波銀行

等近百家銀行。除此之外,oceanBase在保險、證券、基金、期貨等金融子領(lǐng)域目前,全國已有1/4的頭部金融客戶將oceanBase作為核心系統(tǒng)

升級首選。u10月23日,獨立數(shù)據(jù)庫廠商oceanBase在2024年度發(fā)布會上推出oceanBase4.3.3GA版本,升級向量檢索與索引功能,實現(xiàn)SQL+Al一體化。

該版

本深度融合Al與數(shù)據(jù)庫處理能力,支持多模態(tài)數(shù)據(jù)的融合查詢,幫助企業(yè)簡化Al技術(shù)棧,提升Al應(yīng)用構(gòu)建效率。數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay21TongLMM支持私有化模型方式部署,作為應(yīng)用與大模型之間的橋梁,

TongLMM融入消息中間件、緩存中間件、數(shù)據(jù)交換、自然語言處理等

現(xiàn)有組件,能解決大模型落地過程中數(shù)據(jù)集成、

應(yīng)用集成、

知識庫與

大模型融合、數(shù)據(jù)不精準、

安全隱患等問題。傳統(tǒng)軟件

云計算人工智能u中間件作為應(yīng)用與大模型之間的橋梁,是推動A技術(shù)落地和產(chǎn)業(yè)升級的重要力量,東方通作為中國中間件領(lǐng)域的開拓者和領(lǐng)導(dǎo)者,率先在Al領(lǐng)域布

局探索,從技術(shù)角度解耦大模型對接能力并做強中間層,推出了大模型中間件TonglLMM產(chǎn)品。u通過推動大模型中間件發(fā)展,

東方通充分解決用戶在使用大模型能力過程中存在模型生成的內(nèi)容與現(xiàn)實世界事實不一致、訓(xùn)練專屬模型投資大、現(xiàn)

有應(yīng)用難與大模型全面融入、

存在安全隱患等普遍性難題,

讓更多行業(yè)客戶能夠更簡單、便捷的構(gòu)建大模型應(yīng)用。數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay22u根據(jù)openAl提出的AGl發(fā)展路線圖,

目前行業(yè)主流大模型均處于L1聊天機器人階段。

目前的各類大模型應(yīng)用,無論是文案撰或是代碼助手,依然是以進行對話為主要原理機制所衍生出的應(yīng)用,其本質(zhì)仍以預(yù)測語言模式為基礎(chǔ),而未達到真正意義上的通用理解和推理。而近期新發(fā)布的openAl

o1以及DeepseekR1等強化學(xué)習(xí)

(RL)模型通過慢思考(增加推理時間)

以及思維鏈技術(shù)正在向L2推理者進發(fā)。u

目前AI大模型的主流技術(shù)發(fā)展路線包括RAG,長上下文,強化學(xué)習(xí),多模態(tài)/世界模型。這四種技術(shù)路線由于各自不同的性質(zhì)和能力,目前面臨著不

同的技術(shù)挑戰(zhàn)和發(fā)展趨勢。強化學(xué)習(xí)模型由于其出色的邏輯推理能力,

目前在數(shù)學(xué),

物理,

生物,編程等理工科

能力上表現(xiàn)優(yōu)秀。通過推理階段的計算量擴展以及思維鏈回

溯,

未來有望在慢思考場景,例如策略,

規(guī)劃等,通過更長時間的思考獲得明顯的為了解決大模型缺乏對世界認知的問題,

世界模型成為了目前Al領(lǐng)域最熱門的研

究方向之一。無論世界模型采用自回歸或是JEPA方式,多模態(tài)模型都是不可或缺的一部分。

目前多模態(tài)模型的研究大致可以分為對RAG方案目前來看是金融機構(gòu)的首選。因其對于大數(shù)據(jù)庫抽取,細節(jié)性問題、簡單問題的表現(xiàn)更好,模型自身的準確

率更高,可解釋性更強,符合金融機構(gòu)

的低容錯需求。

另外,RAG可以在預(yù)算

僅有幾十張甚至幾張GPU的情況下運行,RAG方案時常會出現(xiàn)落地冷啟動問題。尤其在目前大部分傳統(tǒng)行業(yè)都沒有成熟

的Al技術(shù)棧(向量檢索引擎、多模態(tài)數(shù)

據(jù)庫等)且業(yè)務(wù)訴求較為復(fù)雜的情況下,

很難使用通用的落地方案。需要協(xié)同整

個生態(tài)通過多層的能力解決部署問題。在客服/銷售agent等領(lǐng)域,

目前長文本

在簡單知識庫中具有相對優(yōu)勢。并且在面對用戶側(cè)的刁鉆問題時表現(xiàn)更好。隨著推理優(yōu)化方案進一步發(fā)展以及計算

成本越來越低,文本窗口將越來越長,

未來應(yīng)用場景將不斷擴大。強化學(xué)習(xí)模型的推理成本高且響應(yīng)速度慢,需要大量的計算資源和時間。在泛化到更抽象的任務(wù)或管理狀態(tài)復(fù)雜時

仍存在挑戰(zhàn),特別是當問題上下文變得更加抽象時,在泛化方面存在一定困難。長文本方案目前的技術(shù)挑戰(zhàn)主要為推理

成本高以及響應(yīng)速度慢兩方面:模型的并發(fā)性能會隨著文本長度的增加而反比下降。

預(yù)填充的延遲也會隨文本

長度的增長而平方級別的增長。總體發(fā)展尚處于初級階段。

目前的問題

包括模型的感知能力有限導(dǎo)致視覺信息不完整或不正確,多模態(tài)大模型的指令跟隨性不足,微調(diào)方法和數(shù)據(jù)集無法完全覆蓋模型所需的各種指令場景等。推理者具有人類級別的問

題解決能力聊天機器人具有會話語言能力

的AI組織能夠完成組織級別

的工作代理能夠采取行動的系統(tǒng)創(chuàng)新者能夠輔助發(fā)明創(chuàng)造大模型能力等級數(shù)據(jù)來源：公開資料，億歐智庫技術(shù)挑戰(zhàn)發(fā)展趨勢maymaymaymaymaymaymaymaymay23值得重點關(guān)注的是,

在數(shù)學(xué)能力方面,

訊

飛星火4.0Turbo已完成強化學(xué)習(xí)的超長思

維鏈、樹搜索和自我反思評價等算法驗證

,預(yù)計今年底可實現(xiàn)類似openAI

ol模型

的高難度數(shù)學(xué)能力。同時,訊飛星火4.0Turbo也推出了星火代

碼7B版本,主打端側(cè)本地運行,能夠滿足

文本編輯,代碼生成、代碼補全等任務(wù)。86.4%83.2%79.9%77.4%75.5%73.7%70.4%68.8%67.4%u2024年10月24日科大訊飛全球1024開發(fā)者節(jié)上,科大訊飛正式發(fā)布"訊飛星火4.0Turbo"。模型性能迎來全新升級,七大能力全面超越GPTmm4Turbo,數(shù)學(xué)能力、代碼能力超過GPTmm40。與此同時,國產(chǎn)超大規(guī)模智算平臺"飛星二號"正式啟動。自2023年第一款國產(chǎn)萬卡算力集群

"飛星

一號"

上線以來,飛星二號將帶來新模型新算法的持續(xù)適配和智算集群規(guī)模的再次躍遷。u在6月25日,openAl正式通知將開始終止所有來自中國的API申請的背景下,科大訊飛董事長劉慶峰說,只有自主安全的繁榮生態(tài),才有中國通用

人工智能的大未來。

自去年5月6日發(fā)布以來,訊飛星火大模型正成為國家能源集團、中國石油、

中國移動、

中國人保、

太平洋保險、交通銀行、

奇

瑞汽車、

中國一汽、大眾汽車、

江汽集團、海爾集團等多領(lǐng)域頭部企業(yè)的首選。數(shù)據(jù)來源：公開資料，億歐智庫79.8%

80.0%80.8%

80.5%maymaymaymaymaymaymaymaymay84.0%84.0%85.2%83.6%78.9%78.5%75.3%73.8%24360zhinao2-7B在中文和數(shù)學(xué)方面優(yōu)勢明顯ce

valC3中文大模型評估基準:C-EVAL,

C3,

數(shù)學(xué)能力評估基準:math,

gsm8klcstslcsts

gemma2-9bmath Llama3.1-8Bgsm8k

360zhin

ao2-7Bu三六零持續(xù)圍繞"Al和安全"兩條主線,保持高研發(fā)投入。公司聚焦大模型前沿技術(shù)和A安全問題,保障國產(chǎn)大模型的發(fā)展"自主安全。2024年來,

公司相繼發(fā)布了"納米搜索

(原360Al搜索)"

、

"360Al瀏覽器"和"360Al辦公"三大Al原生產(chǎn)品。同時,公司將大模型與安全結(jié)合,融合大模

型技術(shù)、

方法論、全網(wǎng)數(shù)據(jù)和專家知識,發(fā)布行業(yè)首個免費安全大模型—-"360安全大模型"。u開源模型360zhinao

mm7B使用了包含3.4萬億個標記的高質(zhì)量語料庫

(主要包括中文、

英文和代碼)

,具備強大的聊天能力,并支持三種上下文長度:

4k、

32k和360k。

其中,360k(約50萬漢字)是截至2024年4月11日發(fā)布時中文開源模型中最長的上下文長度。而升級版360zhinao2mm7B采用流

行的兩階段訓(xùn)練方法,總訓(xùn)練數(shù)據(jù)量達10.1萬億個token,在CEval、

C3和LCSTS等中文基準測試中取得了良好成績。其中文基準測試的平均分排

名第一,

同時在具有挑戰(zhàn)性的數(shù)學(xué)競賽數(shù)據(jù)集Math上也位居第一。數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay25u隨著A大模型能力的不斷演進提升,大模型的應(yīng)用方案正在深度嵌入各個行業(yè)企業(yè)運營的每項環(huán)節(jié),

大致可分為研發(fā),

生產(chǎn),運營和營銷四個方面。u嵌入式Al產(chǎn)品能夠進一步提升用戶與產(chǎn)品的交互體驗,并可以根據(jù)非標準問題提供針對性分析,深入洞察企業(yè)運營、識別潛在的業(yè)務(wù)風險和機會,

為企業(yè)決策提供針對性建議?？蛻舢嬒穹治?

Al技術(shù)通過深度挖

掘客戶的購買記錄、描繪出更為精

準的客戶畫像,幫助企業(yè)制定銷售

策略。個性化營銷:

通過引入Al客服技

術(shù),

并基于個性化推薦系統(tǒng),

企

業(yè)能夠深入挖掘客戶的需求和偏好,為客戶提供個性化的產(chǎn)品推薦以

及服務(wù)。生成結(jié)果的測試和評審:

針對Al生

成結(jié)果的評審標準尚不完善,例如

在藥物研發(fā)中,Al生成的化合物需要經(jīng)過多輪實驗和臨床評審,但AI評審標準尚未完全統(tǒng)一。與傳統(tǒng)研發(fā)方法的融合:

Al輔助研

發(fā)需要與傳統(tǒng)研發(fā)方法無縫銜接,但兩者的流程和工具可能存在差異。運營自動化:將大模型融入企業(yè)

日常運營,協(xié)助數(shù)據(jù)錄入、郵件

的分類與總結(jié)、合同管理與審核

,會議的主持與總結(jié)等,幫助減

少人工錯誤,提高工作效率。Al知識管理:利用RAG技術(shù)將大

模型與已有知識檢索相結(jié)合,實現(xiàn)企業(yè)智能客服、企業(yè)智能文檔

、專家顧問助理等商業(yè)場景。軟硬適配:制造業(yè)生產(chǎn)場景十分豐

富,

企業(yè)對于智能產(chǎn)線、智能工廠

的需求往往都是非標準化的,

因此

Al技術(shù)的融合會面臨硬件平臺和應(yīng)

用軟件適配問題。數(shù)據(jù)處理:融入Al進行諸如機器視

覺、預(yù)測性維護應(yīng)用過程中,需要

處理大規(guī)模數(shù)據(jù)和高并發(fā)請求。Al制造:通過數(shù)字孿生技術(shù)模擬真實工廠的生產(chǎn)環(huán)境,通過3D可視化

呈現(xiàn)出整個制造過程,幫助企業(yè)評

估制造流程的效率、

優(yōu)化生產(chǎn)線布

局并降低成本。通過機器視覺,智

能聲學(xué)等技術(shù)實現(xiàn)生產(chǎn)過程優(yōu)化,包括無序分揀、缺陷檢測、

倉儲自

動化等方式賦能企業(yè)的生產(chǎn)制造。缺乏個性化:

目前Al生成的銷售

文案往往缺乏個性化,導(dǎo)致客戶的回應(yīng)率遠低于人類銷售人員。版權(quán)糾紛:生成式營銷所使用的

算法通常是基于大量現(xiàn)有數(shù)據(jù)進

行訓(xùn)練的,容易引發(fā)版權(quán)糾紛,

面臨法律風險。Al技術(shù)研發(fā):Al目前在材料、藥物、軟件和游戲等領(lǐng)域均有較好的表現(xiàn)和發(fā)展前景。

例如使用圖神

經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)新材料,使用AlphaFold建模蛋白和DNA,使用

大語言模型進行編程,軟件研發(fā)等。集成與兼容性:Al系統(tǒng)需要與企

業(yè)現(xiàn)有的營銷工具、

CRM系統(tǒng)、

知識庫系統(tǒng)等進行集成。然而,

現(xiàn)有系統(tǒng)可能缺乏或無法識別相

應(yīng)API接口,導(dǎo)致調(diào)用數(shù)據(jù)困難。數(shù)據(jù)來源：公開資料，億歐智庫技術(shù)挑戰(zhàn)落地場景maymaymaymaymaymaymaymaymay26u

yonGPT是用友商業(yè)創(chuàng)新平臺用友BIP的重要組成。

為順應(yīng)Al普及應(yīng)用浪潮,用友在2023年春的用友BIP技術(shù)大會上宣布啟動企業(yè)服務(wù)大模型訓(xùn)練。u

yonGPT底層適配文心一言等業(yè)界主流的通用語言大模型,通過上下文記憶、知識

庫表索引、prompt工程、Agent執(zhí)行、通用工具集等擴充大模型

的存儲記憶、

適配應(yīng)用和調(diào)度執(zhí)行能力,再結(jié)合財稅、

人力、

供應(yīng)鏈、研發(fā)等領(lǐng)域的知識和最佳實踐擴充大模型專業(yè)能力,從而形成體系化的企業(yè)

服務(wù)大模型。u基于大模型的人工智能在企業(yè)服務(wù)領(lǐng)域的應(yīng)用主要集中在4個方向上:智能化的業(yè)務(wù)運營、

自然化的人機交互、智慧化的知識生成、語義化的應(yīng)用生成。用友企業(yè)服務(wù)大模型yonGPT圍繞這四個方向推進模型訓(xùn)練和產(chǎn)品效果優(yōu)化。數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay27u平臺方面:得助大模型平臺2.0通過算力統(tǒng)一調(diào)度、一站式模型

訓(xùn)推和應(yīng)用快速構(gòu)建,實現(xiàn)了分鐘級構(gòu)建大模型應(yīng)用的能力,并

且將行業(yè)和領(lǐng)域主流場景的業(yè)務(wù)流程、

話術(shù)、

規(guī)則、

內(nèi)容等核心

要素進行統(tǒng)一封裝,沉淀出上百套全場景套件,讓企業(yè)在部署同

類場景大模型應(yīng)用時做到開箱即用。u應(yīng)用方面:得助大模型平臺2.0面向智能營銷、智能客服、

智能

運營和知識管理四大核心場景,推出了多款大模型應(yīng)用。在智能

營銷場景中,大模型外呼。通過綜合運用增強RAG和多Agent協(xié)同等多種大模型技術(shù),該系統(tǒng)實現(xiàn)了高擬人度和高水準的專業(yè)度,

在營銷轉(zhuǎn)化話術(shù)上展現(xiàn)出實戰(zhàn)技巧。u服務(wù)方面:中關(guān)村科金構(gòu)建了端到端的價值交付體系,確保企業(yè)

大模型落地的最后一公里。

這一體系圍繞大模型價值實現(xiàn)的全流

程,從客戶咨詢到平臺、應(yīng)用再到運營的各個環(huán)節(jié)都提供了全方

位的支持。據(jù)悉,中關(guān)村科金通過豐富的行業(yè)服務(wù)經(jīng)驗積累,已

經(jīng)服務(wù)了1600余家行業(yè)頭部企業(yè),與銀行、

政務(wù)、

央國企、保險、

財富管理、制造、

零售、

家裝等頭部企業(yè)在大模型應(yīng)用落地上合服務(wù)應(yīng)用平臺u中關(guān)村科金自研的得助大模型平臺通過算力統(tǒng)一調(diào)度、一站式模型訓(xùn)推和應(yīng)用快速構(gòu)建三大核心能力,幫助企業(yè)快速構(gòu)建和部署大模型應(yīng)用,顯著

降低企業(yè)大模型落地成本。u平臺+應(yīng)用服務(wù),推動大模型落地:中關(guān)村科金的"三級引擎戰(zhàn)略"是

"平臺+應(yīng)用+服務(wù)"

,全方位助力大模型解決方案落地。數(shù)據(jù)來源：公開資料，億歐智庫maymaymaymaymaymaymaymaymay28

01

中國信創(chuàng)+Al發(fā)展動能分析1.1信創(chuàng)+AI發(fā)展背景1.2信創(chuàng)+AI驅(qū)動因素分析

02

中國信創(chuàng)+Al落地情況分析2.1基礎(chǔ)硬件層2.2基礎(chǔ)軟件層2.3大模型層2.4生態(tài)應(yīng)用層maymaymaymaymaymaymaymaymay032022年10月美國商務(wù)部工業(yè)和安全局(BIS)

更新出口管制規(guī)則,明確禁止向中國出口算力大于4800且?guī)挻笥?00GB/S的

高性能Al芯片英偉達A100及H100GPU等2023年1月美、

日、荷達成秘密協(xié)議對華設(shè)限,美國政府向荷蘭發(fā)出強制指令,限制對中國的深紫外(DUV)光刻機及其部

件出口深紫外(DUV)光刻機及其部件2023年10月美國商務(wù)部發(fā)布《先進計算芯片及相關(guān)物項規(guī)則》修訂版,擴大了管制物項范圍,

取消了"互連帶寬"作為識

別高性能芯片的標準,改為以總計算能力和性能密度為

核心指標英偉達A800、

H800、

L40SGPU等2024年12月美國商務(wù)部工業(yè)和安全局(BIS發(fā)布出口管制的"強化版"

新規(guī)(IFR,Interimfinalrule)

、

(Finalrule)

,

主要針對高帶寬存儲芯片以及半導(dǎo)體制造設(shè)備及軟件H

BM2e

HBM3

HBM3e等東數(shù)西算工程建設(shè)8個國家算力樞紐節(jié)點和10個國家數(shù)據(jù)中心集群,新建數(shù)據(jù)中心規(guī)模超過110

標準機架總投資額超過4000億元中國銀行支持人工智能產(chǎn)業(yè)鏈發(fā)展行動方案重點支持智算中心及配套設(shè)施和園區(qū)基礎(chǔ)

設(shè)施建設(shè)五年不低于1萬

億元金融支持國家大基金三期重點投向集成電路全產(chǎn)業(yè)鏈,如先進封裝,

高端存儲

(如HBM)基金注冊資本3440億元美國星際之門計劃建設(shè)下一代人工智能所需的物理與虛擬基

礎(chǔ)設(shè)施,包括數(shù)據(jù)中心、計算資源、網(wǎng)絡(luò)