科技行業(yè)龍頭巡禮專題(一)：如何看待華為盤(pán)古大模型5.0

Q1盤(pán)古大模型為何能在AI領(lǐng)域中脫穎而出？生態(tài)建設(shè)與合作伙伴華為云的全棧AI能力盤(pán)古大模型盤(pán)古大模型集成了華為云團(tuán)隊(duì)在AI領(lǐng)域數(shù)十項(xiàng)研究成果，并且受益于華為的全棧式AI解決方案，與昇騰（Ascend）芯片、昇思（MindSpore）語(yǔ)言、ModelArts平臺(tái)深度結(jié)合。技術(shù)創(chuàng)新與突破 計(jì)算能力與應(yīng)用場(chǎng)景盤(pán)古大模型在處理復(fù)雜、不均勻的3D

氣象數(shù)據(jù)時(shí)，創(chuàng)造性地提出了適應(yīng)地球坐標(biāo)系統(tǒng)的三維神經(jīng)網(wǎng)絡(luò)（3DEarth-Specific

Transformer），并使用了層次化時(shí)域聚合策略來(lái)減少預(yù)報(bào)迭代次數(shù)，從而減少迭代誤差。這一創(chuàng)新使得盤(pán)古大模型在氣象預(yù)報(bào)領(lǐng)域取得了顯著成果，并在《Nature》正刊上發(fā)表了相關(guān)研究成果?；谌A為自研達(dá)芬奇架構(gòu)廣泛的應(yīng)用場(chǎng)景三維神經(jīng)網(wǎng)絡(luò)與層次化時(shí)域聚合策略全系列、多模態(tài)、強(qiáng)思維與鴻蒙系統(tǒng)的協(xié)同ISV生態(tài)建設(shè)華為云在

to

B

和to

G

領(lǐng)域有著深厚積累，同時(shí)多年來(lái)致力于ISV（獨(dú)立軟件提供商）的生態(tài)建設(shè)。中軟動(dòng)力、軟通動(dòng)力、南威軟件等深耕各行業(yè)的軟件服務(wù)商都是華為云的合作伙伴，共同推動(dòng)了盤(pán)古大模型的行業(yè)落地和應(yīng)用。華為云構(gòu)建了包括AI原生的云基礎(chǔ)設(shè)施、數(shù)據(jù)湖和數(shù)據(jù)治理、算子庫(kù)、算法框架以及AI開(kāi)發(fā)平臺(tái)和大模型的全棧工業(yè)AI能力。其云基礎(chǔ)設(shè)施架構(gòu)

CloudMatrix

將CPU、NPU、DPU、存儲(chǔ)和內(nèi)存等資源進(jìn)行了全面互聯(lián)和池化，為AI應(yīng)用提供了強(qiáng)大的算力支持。鴻蒙系統(tǒng)作為華為面向萬(wàn)物互聯(lián)時(shí)代的原生操作系統(tǒng)，與盤(pán)古大模型形成了良好的協(xié)同效應(yīng)。資料來(lái)源：華為官網(wǎng)、Nature、鳳凰網(wǎng)、中國(guó)基金報(bào)、網(wǎng)易、CSDN134盤(pán)古礦山大模型、盤(pán)古政務(wù)大模型、盤(pán)古氣象大模型、盤(pán)古汽車(chē)大模型、盤(pán)古醫(yī)學(xué)大模型、盤(pán)古數(shù)字人大模型、盤(pán)古研發(fā)大模型盤(pán)古自然語(yǔ)言大模型、盤(pán)古多模態(tài)大模型、盤(pán)古視覺(jué)大模型、盤(pán)古預(yù)測(cè)大模型、盤(pán)古科學(xué)計(jì)算大模型L2層是盤(pán)古大模型的最上層，包含了可以讓用戶自主訓(xùn)練的更多細(xì)化場(chǎng)景模型。這些模型是基于L1層行業(yè)通用大模型進(jìn)一步細(xì)化和定制化的結(jié)果。L1層是基于L0層基礎(chǔ)大模型進(jìn)一步開(kāi)發(fā)的行業(yè)2 通用大模型。這些模型針對(duì)特定行業(yè)進(jìn)行了優(yōu)化和微調(diào)，以適應(yīng)不同行業(yè)的特定需求。L0層是盤(pán)古大模型的基石，包含了五個(gè)基礎(chǔ)大模型，這些模型是構(gòu)建更高級(jí)別模型的基礎(chǔ)。解決行業(yè)難題，釋放AI生產(chǎn)力L0、L1、L2三層架構(gòu)重塑行業(yè)技術(shù)扎根開(kāi)放同飛傳送帶異物檢測(cè)、重介選煤洗選、政務(wù)熱線、城市事件處理、臺(tái)風(fēng)路徑預(yù)測(cè)、自動(dòng)駕駛研發(fā)、車(chē)輛輔助設(shè)計(jì)、輔助醫(yī)療、數(shù)字人直播、智能運(yùn)維等資料來(lái)源：每日經(jīng)濟(jì)新聞L2

場(chǎng)景模型L0

基礎(chǔ)大模型盤(pán)古大模型L1

行業(yè)大模型根據(jù)OpenAI自己發(fā)布的最新測(cè)試結(jié)果，從這個(gè)評(píng)測(cè)看，數(shù)學(xué) 例方面，GPT-4-turbo-2024-04-09版本的模都有不同程度的提高，最高可以提升

19%主要優(yōu)勢(shì)抓住機(jī)遇啟示GPT-4-Turbo的優(yōu)勢(shì)GPT-4-Turbo的優(yōu)勢(shì)包括：增強(qiáng)的上下文處理能力（可處理高達(dá)128K個(gè)token），更新的知識(shí)庫(kù)（包含至2023年12月的信息），更低的成本效益，以及新功能集（如JSON模式、可復(fù)現(xiàn)輸出等），這些使其

處理復(fù)雜任務(wù)時(shí)更準(zhǔn)確、高效，并吸引更多開(kāi)發(fā)者使用。啟示抓住機(jī)遇主要優(yōu)勢(shì)上下文處理能力模 規(guī)模知識(shí)庫(kù)成本效益新功能集AI技術(shù)快速發(fā)展市 需求OpenAI品牌影響力資料來(lái)源：OpenAI、數(shù)據(jù)學(xué)習(xí)、網(wǎng)易、電子技術(shù)設(shè)計(jì)對(duì)盤(pán)古大模 的啟示華為盤(pán)古大模 可從GPT-4-Turbo的成功中汲取經(jīng)驗(yàn)，注重技術(shù)創(chuàng)新與升級(jí)，緊密貼合市

需求，加強(qiáng)品牌建設(shè)，并積極推動(dòng)應(yīng)用落

。Q2盤(pán)古大模型推出的背景和發(fā)展如何？行業(yè)應(yīng)用廣泛定制化需求增加新興應(yīng)用場(chǎng)景不斷涌現(xiàn)技術(shù)融合與創(chuàng)新AI技術(shù)逐漸成熟市場(chǎng)需求多元化小數(shù)據(jù)與優(yōu)質(zhì)數(shù)據(jù)應(yīng)用、人機(jī)對(duì)齊技術(shù)、可解釋性模型增強(qiáng)、大規(guī)模預(yù)訓(xùn)練模型優(yōu)化、全模態(tài)大模型發(fā)展、具身智能與實(shí)體AI系統(tǒng)、以及量子計(jì)算與AI的結(jié)合等，這些創(chuàng)新正引領(lǐng)AI技術(shù)邁向新高度。競(jìng)爭(zhēng)格局多元化技術(shù)創(chuàng)新與突破數(shù)字化轉(zhuǎn)型趨勢(shì)資料來(lái)源：人民網(wǎng)、前瞻網(wǎng)、CSDN、《瞭望》（郭方達(dá)）、澎湃新聞、中國(guó)科學(xué)技術(shù)協(xié)會(huì)、網(wǎng)易國(guó)內(nèi)市場(chǎng)：大模型發(fā)展勢(shì)頭尤為迅猛。大型語(yǔ)言模型可分為四大競(jìng)爭(zhēng)派系：互聯(lián)網(wǎng)公司(如百度、阿里、騰訊、華為等)、AI公司(如瀾舟科技、昆侖萬(wàn)維等)、學(xué)術(shù)及科研機(jī)構(gòu)(如清華、北大、中科院等)以及行業(yè)專家團(tuán)隊(duì)初創(chuàng)公司。目前國(guó)內(nèi)已經(jīng)有300多個(gè)AI大模型，同臺(tái)競(jìng)技。2024年10月，世界經(jīng)濟(jì)論壇

(WEF)

公布我國(guó)有72家入選“燈塔工廠”，占全球“燈塔工廠”總數(shù)的42%，位居全球首位。截至2023年，我國(guó)AI大模型行業(yè)規(guī)模已達(dá)到147億元，且近三年復(fù)合增速高達(dá)114%。金融、政府、影視游戲和教育領(lǐng)域是大模型滲透率最高的四大行業(yè)，滲透率均超過(guò)50%。預(yù)計(jì)到2028年，我國(guó)AI大模型行業(yè)的市場(chǎng)規(guī)模將突破千億元，五年復(fù)合增速將超過(guò)50%。產(chǎn)業(yè)生態(tài)構(gòu)建華為基于鯤鵬與昇騰兩大基礎(chǔ)芯片族，構(gòu)建了包括歐拉、鴻蒙等基礎(chǔ)軟硬件在內(nèi)的開(kāi)源開(kāi)放生態(tài)。其中，鯤鵬面向通用計(jì)算，昇騰面向人工智能計(jì)算。20232020202120222023立項(xiàng)與研發(fā)華為開(kāi)始在華為云內(nèi)部立項(xiàng)盤(pán)古大模型項(xiàng)目。首次發(fā)布盤(pán)古大模型正式對(duì)外發(fā)布。盤(pán)古大模型2.0版本發(fā)布。華為與能源集團(tuán)等合作伙伴開(kāi)始將大模型初步應(yīng)用于企業(yè)、工業(yè)和科學(xué)研究。技術(shù)深化與領(lǐng)域拓展面向行業(yè)的全面升級(jí)華為云盤(pán)古大模型3.0正式發(fā)布。盤(pán)古大模型3.0是完全面向行業(yè)的大模型，采用了“5+N+X”的三層架構(gòu)包含L0基礎(chǔ)大模型、L1行業(yè)大模型及L2場(chǎng)景模型三層架構(gòu)。持續(xù)優(yōu)化華為云以昇騰AI云服務(wù)為算力底座，以盤(pán)古大模型聯(lián)合創(chuàng)新為基礎(chǔ)，以模型社區(qū)和全面升級(jí)的云學(xué)堂為雙引擎，攜手伙伴、開(kāi)發(fā)者合作共建“百模千態(tài)”。持續(xù)創(chuàng)新與突破2024年6月21日，盤(pán)古大模型5.0正式發(fā)布。該版本在全系列、多模態(tài)、強(qiáng)思維三個(gè)方面進(jìn)行了全面升級(jí)。盤(pán)古大模型是由華為公司開(kāi)發(fā)的一款基于深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)的中文AI模型，涵蓋了自然語(yǔ)言處理（NLP）、計(jì)算機(jī)視覺(jué)（CV）和科學(xué)計(jì)算等多個(gè)領(lǐng)域，擁有超過(guò)1.7萬(wàn)億個(gè)參數(shù)，是目前世界上最大的中文AI模型之一。盤(pán)古大模型采用完全的分層解耦設(shè)計(jì)，包括L0層的5個(gè)基礎(chǔ)大模型、L1層的N個(gè)行業(yè)通用大模型、以及L2層可以讓用戶自主訓(xùn)練的更多細(xì)化場(chǎng)景模型。2024資料來(lái)源：華為官網(wǎng)、環(huán)球科技網(wǎng)、百度百科、CSDNQ3盤(pán)古大模型5.0有什么優(yōu)勢(shì)？華為自研盤(pán)古大模型，跳級(jí)迭代：

Pangu3.0Pangu5.0包含了不同參數(shù)規(guī)格的模型，以適配不同的業(yè)務(wù)場(chǎng)景。從十億級(jí)參數(shù)的Pangu

E系列到萬(wàn)億級(jí)參數(shù)的Pangu

S系列，分別適用于手機(jī)、PC端側(cè)智能應(yīng)用、低時(shí)延推理場(chǎng)景、復(fù)雜任務(wù)處理及跨領(lǐng)域多任務(wù)處理，滿足多樣化的業(yè)務(wù)需求。

不僅支持文本、圖片、視頻等常見(jiàn)模態(tài)，還新增了對(duì)雷達(dá)、紅外、遙感等模態(tài)的支持，且在多模態(tài)理解和生成能力上均有顯著提升，尤其在自動(dòng)駕駛、工業(yè)制造等領(lǐng)域有廣泛應(yīng)用前景。復(fù)雜任務(wù)及調(diào)用各種工具和資源，從而成為更高效的行業(yè)助手。華為云已經(jīng)從盤(pán)古3.0時(shí)代的3T

Tokens的數(shù)據(jù)，演進(jìn)到了盤(pán)古5.0的10T

Tokens的高質(zhì)量數(shù)據(jù)，其中合成數(shù)據(jù)占比超過(guò)了30%。盤(pán)古大模型5.0采用了優(yōu)質(zhì)的、面向高階能力的數(shù)

據(jù)

合

成

方

法

。

這

種

方

法

以

弱

模

型

輔

助

強(qiáng)

模

型

的weak2strong方式，通過(guò)迭代式合成高質(zhì)量數(shù)據(jù)，確保數(shù)據(jù)的完整性、相關(guān)性和知識(shí)性不弱于真實(shí)數(shù)據(jù)。數(shù)據(jù)高效參

盤(pán)古大模型5.0提出了基于Transformer架構(gòu)的新型大語(yǔ)言模數(shù)

型架構(gòu)盤(pán)古π。這一新架構(gòu)通過(guò)增廣殘差連接和改造激活函高

數(shù)等方式，解決了Transformer架構(gòu)中的特征坍塌問(wèn)題，提效

升了模型的精度。華為云通過(guò)優(yōu)化昇騰AI云服務(wù)，顯著提升了模型訓(xùn)練的穩(wěn)定性和效率，如萬(wàn)億參數(shù)模型訓(xùn)練可40天無(wú)中斷，集群故障恢復(fù)時(shí)間縮短至10分鐘。此外，華為云創(chuàng)新推出CloudMatrix云基礎(chǔ)設(shè)施，實(shí)現(xiàn)多元算力對(duì)等全互聯(lián)，將AI算力從單體提升至矩陣級(jí)別。為解決“內(nèi)存墻”問(wèn)題，華為云還發(fā)布了EMS彈性內(nèi)存存儲(chǔ)服務(wù)，利用顯存擴(kuò)展等技術(shù)釋放極致算力。算力高效全系列升級(jí)多模態(tài)升級(jí)強(qiáng)思維升級(jí)在數(shù)學(xué)能力、復(fù)雜任務(wù)規(guī)劃能力和工具調(diào)用能力上均有所增強(qiáng)，能夠更好地處理數(shù)學(xué)問(wèn)題、規(guī)劃盤(pán)古大模型5.0的訓(xùn)練過(guò)程Pangu5.0資料來(lái)源：華為云、新華網(wǎng)、騰訊網(wǎng)、觀察者網(wǎng)、中國(guó)日?qǐng)?bào)網(wǎng)、中國(guó)發(fā)展改革百家號(hào)、東興證券研究所PanguEmbeded十億級(jí)手機(jī)/PC/車(chē)PanguProfessional百億級(jí)單卡可推PanguUltra千億級(jí)復(fù)雜推理PanguSuper萬(wàn)億級(jí)跨領(lǐng)域多任務(wù)盤(pán)古自然語(yǔ)言大模型盤(pán)古多模態(tài)大模型盤(pán)古視覺(jué)大模型盤(pán)古預(yù)測(cè)大模型盤(pán)古科學(xué)計(jì)算大模型5.0版本不再局限于單一模型，而是推出了不同參數(shù)規(guī)格的模型，以適配不同的業(yè)務(wù)場(chǎng)景。包括PG-Alpha、PG-Beta、PG-Gamma、PG-Delta等不同規(guī)格的模型，以適配不同的業(yè)務(wù)場(chǎng)景。結(jié)合物理世界：盤(pán)古大模型5.0在全系列升級(jí)中，更加注重與物理世界的結(jié)合。例如，推出了PG-Radar系列模型，將AI與物理世界更好地結(jié)合起來(lái)，實(shí)現(xiàn)智能的萬(wàn)物互聯(lián)。這一技術(shù)創(chuàng)新不僅提升了模型對(duì)物理世界的理解能力，也為邊緣智能等特定場(chǎng)景提供了更好的解決方案。資料來(lái)源：華為開(kāi)發(fā)者大會(huì)2024、華為官網(wǎng)精準(zhǔn)理解可控生成在內(nèi)容生成方面，盤(pán)古大模型5.0采用了業(yè)界首創(chuàng)的STCG（SpatioTemporalControllableGeneration，可控時(shí)空生成）技術(shù)，能夠生成更加符合物理規(guī)律的多模態(tài)內(nèi)容。這一技術(shù)使得盤(pán)古大模型在自動(dòng)駕駛、工業(yè)制造、建筑等多個(gè)行業(yè)場(chǎng)景中都有廣泛的應(yīng)用前景。5.0

版本不僅支持文本、圖片、視頻等常見(jiàn)模態(tài)，還新增了對(duì)雷達(dá)、紅外、遙感等模態(tài)的支持，且在多模態(tài)理解和生成能力上均有顯著提升，尤其在自動(dòng)駕駛、工業(yè)制造等領(lǐng)域有廣泛應(yīng)用前景。大規(guī)模生成和實(shí)際場(chǎng)景相一致的內(nèi)容大模型+行業(yè)知識(shí)理解物理規(guī)律除文本、圖片、視頻外，5.0版本還增加了雷達(dá)、紅外、遙感等更多模態(tài)。盤(pán)古大模型5.0版本演進(jìn)了模型架構(gòu)，提出了基于Transformer

架構(gòu)的新型大語(yǔ)言模型架構(gòu)盤(pán)古π（PanGu-π），通過(guò)增廣殘差連接和新的級(jí)數(shù)激活函數(shù)等方式，大幅提升了模型的精度。資料來(lái)源：華為、騰訊網(wǎng)、機(jī)器之心華為云提出基于多步生成和策略搜索的MindStar方法。該方法首先把復(fù)雜推理任務(wù)分解成多個(gè)子問(wèn)題，每個(gè)子問(wèn)題都會(huì)生成多個(gè)候選方案，通過(guò)搜索和過(guò)程反饋的獎(jiǎng)勵(lì)模型，來(lái)選擇最優(yōu)多步回答的路徑。在華為自建的難例評(píng)測(cè)集中，MindStar方法使模型的平均能力提升了30分，使用了MindStar的百億模型達(dá)到業(yè)界主流千億模型的推理能力，這相當(dāng)于使用慢思考能帶來(lái)10倍以上的參數(shù)量的加成。目前在單步任務(wù)和文本記憶類任務(wù)，例如知識(shí)問(wèn)答和考試上，大模型已經(jīng)展現(xiàn)出超過(guò)人類的卓越表現(xiàn)。而在多步推理和復(fù)雜任務(wù)的處理上，AI還沒(méi)有達(dá)到人類的平均水平，這一方面涉及到的任務(wù)包括代碼生成、數(shù)學(xué)運(yùn)算、邏輯推理等。這體現(xiàn)了人類在知識(shí)的抽象和推理上的能力難以替代。技術(shù)挑戰(zhàn)關(guān)鍵結(jié)果關(guān)鍵技術(shù) MindStar資料來(lái)源：華為官網(wǎng)、騰訊網(wǎng)90%任務(wù)成功率加速模型開(kāi)發(fā)10分鐘快恢：集群故障恢復(fù)時(shí)長(zhǎng)40天長(zhǎng)穩(wěn)：千億模型訓(xùn)練中無(wú)中斷時(shí)長(zhǎng)使能百模千態(tài)目前昇騰AI云服務(wù)已全面適配行業(yè)主流的100多個(gè)大模型，以云服務(wù)的方式協(xié)助客戶開(kāi)發(fā)，訓(xùn)練，托管和應(yīng)用模型，打造百模千態(tài)的“黑土地”。100+全面適配主流大模型服務(wù)優(yōu)勢(shì)高效的遷移工具鏈AIgallery生態(tài)繁榮極致的資源利用生態(tài)兼容與易用性領(lǐng)先的昇騰達(dá)芬奇架構(gòu)資料來(lái)源：華為云、觀察者網(wǎng)、網(wǎng)易Q