2024人工智能開源大模型生態(tài)研究

Part Part Part Part Part

執(zhí)

機(jī) 神 深邏 學(xué) 網(wǎng) 學(xué)

決 推

感

202020212022 Deep模型方模型方 工 格 格 處 基礎(chǔ)設(shè) 基礎(chǔ)設(shè) 基礎(chǔ)架 Paddle Hadoop

人類文明演進(jìn)依次走過了原始時(shí)代、農(nóng)業(yè)時(shí)代、工業(yè)時(shí)代、信息時(shí)代、數(shù)字時(shí)代，到今天的數(shù)智時(shí)代，每個(gè)時(shí)代的代表性生產(chǎn)工具都不同。所有生產(chǎn)工具反映的都是生產(chǎn)效率的提升能力。數(shù)字時(shí)代的云、網(wǎng)、端、芯、鏈等數(shù)字工具，除了體力效率的提升之外，還有腦力效率的輔助作用，ChatGTGC工具的出現(xiàn)，標(biāo)志著人類生產(chǎn)效率出現(xiàn)了第二次腦力效率飛躍，是新一輪生產(chǎn)力的躍遷，真正實(shí)現(xiàn)從體力效率提升向腦力效率提升的轉(zhuǎn)變，這將推動(dòng)人類社會(huì)發(fā)生深遠(yuǎn)變革，其意義不亞于新時(shí)代的蒸汽機(jī)。

PC/PC/

原始時(shí) 農(nóng)業(yè)時(shí) 工業(yè)時(shí) 信息時(shí) 數(shù)字時(shí) 數(shù)智時(shí)人工智能進(jìn)入時(shí)代拐點(diǎn)，大模型開源生態(tài)成為推動(dòng)AIPart Part Part Part Part

邏輯推理為主，聚焦決策，認(rèn)知能 以概率統(tǒng)計(jì)的建模、學(xué)習(xí)和計(jì)

機(jī) 神學(xué) 網(wǎng)

機(jī)器學(xué)習(xí) 認(rèn)知科學(xué)

Decoder-onlyencoder-decoderbaichuan-7BDecoder-onlyencoder-decoder

ChatGLM開源大模型在Hugging

ERNIEPanguAlpha ERNIEPanguERNIE ERNIE Pangu YuanStableDiffusionGPUGPU

持續(xù)學(xué)習(xí)

大小大小15個(gè)開放數(shù)據(jù)集，如DuReader、BaiDuQA、CAIL2018、Sogou-CACommon20181202012CommonCrawl1992—2011

模型文心ERNIE1.0，此后在語言與跨模態(tài)的理解和生成等領(lǐng)域取得一系列技術(shù)突破，并對(duì)外開源與開放了系列模型，助力大模型研究與產(chǎn) 大模 百度文心大模 百度文心大模 通用大模 ERNIE Llama 行業(yè)大模 Stable 元象數(shù)據(jù)管 模型調(diào) 推理服務(wù)部 Prompt工 插件 2.4.2

通義曉 通義點(diǎn)

通義千 通義萬高質(zhì)量數(shù)據(jù) 領(lǐng)先的算法框 豐富的行業(yè)知識(shí)與生2.5大模型企業(yè)發(fā)展面臨的問題與困境算力短 能耗巨ooatG個(gè)英0GPU訓(xùn)練ZFlops，的3％左右，到2025年，人工智能將消耗全球2.5大模型企業(yè)發(fā)展面臨的問題與困境數(shù)據(jù)規(guī)模與質(zhì)量待提 資金緊以Meta大語音模型LLaMA1.4萬億的數(shù)據(jù)集上，使用2000多個(gè)英偉達(dá)A100GPU，訓(xùn)練了21天，花費(fèi)或高達(dá)1000萬美元。根據(jù)華為公布的消息，開發(fā)和訓(xùn)練一次人工智能大模型的成本高達(dá)在大模型的投資方面，根據(jù)美國(guó)斯坦福大學(xué)22年的報(bào)告，美國(guó)和中國(guó)位列全球投資總額的前兩位，但美國(guó)的投資是中國(guó)的3倍，中國(guó)在資金投入方面還有較大差距。2.5大模型企業(yè)發(fā)展面臨的問題與困境技術(shù)存在差 頂尖人才嚴(yán)重不Part Part Part Part Part

OpenAIAnthropicInflection

minimaxbaichuan

MistralAIHuggingFace智譜 stability.aitogether.ai

Part Part Part Part Part 國(guó)產(chǎn)大模型地圖分 國(guó)產(chǎn)開源大模型（部分

84山西河北

黑龍江遼寧

智普AI春田知韻（抖音浪潮信息：源零一萬物：Yi，Yi-1.5Yi- 西藏

中科聞歌：雅意

湖北

臺(tái)灣

澳門香港

據(jù)統(tǒng)計(jì)，截至2024年6月，我國(guó)1025420122全國(guó)首位，約占全國(guó)的一半按模型類型分析，北京擁有通用大模型廠商及高校院所3730%，以百度、智譜華章、百川智能等為代表;行業(yè)大模型85家，以第四范式、云知聲、遠(yuǎn)科技等為代表。人工智能領(lǐng)域的獨(dú)角獸企業(yè)和初創(chuàng)公司，其中智譜華章、云知聲、曠視等AI獨(dú)角獸企業(yè)，已跑通自研大模型的閉環(huán)全流程，可提供MaaSAI解決方案：百川智能、零一萬物、銜遠(yuǎn)科技等AI大模型初創(chuàng)公司，迅速布局入場(chǎng)激發(fā)大模型創(chuàng)新活力。

ERNIE ERNIE文心一

大語言模 多模態(tài)大模 向量大模 編程大模 AI

laa4.3

智源研究院推出了包括lgAIFageFagvlFagDta、FlgBot和FaSioFaOp飛智

gpFlagl（）

4.4

億參數(shù)量的c-和億參數(shù)量的

Part Part Part Pa