ChatGPT-AI模型框架研究

ChatGPT：AI模型框架研究——AI行業(yè)深度報(bào)告行業(yè)評(píng)級(jí)：看好2023年3月25日證券研究報(bào)告一、AI框架重要性日益突顯，框架技術(shù)發(fā)展進(jìn)入繁榮期，國內(nèi)AI框架技術(shù)加速發(fā)展：1、AI框架作為銜接數(shù)據(jù)和模型的重要橋梁，發(fā)展進(jìn)入繁榮期，國內(nèi)外框架功能及性能加速迭代；2、Pytorch、Tensorflow占據(jù)AI框架市場主導(dǎo)地位，國內(nèi)大廠加速布局AI框架技術(shù)；3.AI框架技術(shù)從工具逐步走向社區(qū)，生態(tài)加速形成，未來圍繞安全可信、場景落等維度呈現(xiàn)顯著發(fā)展趨勢；二、GPT開啟AI大模型時(shí)代，國內(nèi)外大廠發(fā)力布局，商業(yè)化空間加速打開：1、數(shù)據(jù)、算法、模型三輪驅(qū)動(dòng)AI發(fā)展，大模型優(yōu)勢顯著，成為AI主流方向；2、GPT開啟千億參數(shù)級(jí)AI大模型時(shí)代，語言、視覺、科學(xué)計(jì)算等大模型快速發(fā)展；3.微軟加速AI商用化進(jìn)程，國內(nèi)大廠發(fā)力布局，看好在細(xì)分場景下的應(yīng)用落地；三、建議關(guān)注標(biāo)的：1、基礎(chǔ)層：AI算力：中科曙光；大模型：360，科大訊飛2、應(yīng)用層：AI+工具：金山辦公；AI+建筑：廣聯(lián)達(dá)；AI+法律：通達(dá)海；AI+醫(yī)療：創(chuàng)業(yè)慧康，久遠(yuǎn)銀海；AI+教育：科大訊飛；AI+網(wǎng)安：安恒信息、奇安信；AI+金融：同花順；AI+交通：佳都科技風(fēng)險(xiǎn)提示：1、AI技術(shù)發(fā)展不及預(yù)期；2.版權(quán)、倫理和監(jiān)管風(fēng)險(xiǎn)；摘要2AI框架3人工智能基礎(chǔ)設(shè)施物理資源調(diào)度、I/O設(shè)備管理

數(shù)據(jù)準(zhǔn)備環(huán)境安裝算法實(shí)現(xiàn)模型訓(xùn)練模型驗(yàn)證

數(shù)據(jù)準(zhǔn)備

環(huán)境安裝 算法實(shí)現(xiàn) 模型訓(xùn)練深度學(xué)習(xí)框架人工智能開發(fā)

鏈條長且復(fù)雜深度學(xué)習(xí)框架:人工智能時(shí)代的操作系統(tǒng)分布式硬件資源數(shù)據(jù)

支持AI領(lǐng)域的快速變化

開發(fā)者使用簡單

推理訓(xùn)練模型支持計(jì)算機(jī)視覺應(yīng)用使用主流編程語言GPU加速拓展包通用模型架構(gòu)使用深度學(xué)習(xí)框

架工具進(jìn)行開發(fā)使用深度學(xué)習(xí)框

架工具進(jìn)行開發(fā)資料來源:北京日報(bào)，認(rèn)知計(jì)算與云安全公眾號(hào)，華為云，浙商證券研究所45資料來源:中國信息通信研究院《2022年AI框架技術(shù)白皮書》，浙商證券研究所算子優(yōu)化統(tǒng)一標(biāo)準(zhǔn)端云一體大模型大任務(wù)全場景

隱私與公平……人工智能框架技術(shù)發(fā)展進(jìn)入繁榮期生態(tài)友好分布式支持效率優(yōu)化可拓展編譯層優(yōu)化多場景任務(wù)支持豐富套件支持使用簡單多GPU支持復(fù)雜網(wǎng)絡(luò)支撐API復(fù)雜無GPU支持手動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)2000年~萌芽階段2019-2020年~深化階段2015-2018年穩(wěn)定階段2012年~成長階段未來01指令式聲明式PythonLua，Python(new)C++PythonC++Lua，Python(new)PythonC++、CUDA.PythonPythonLua，Python(new)C++PythonC++Lua，Python(new)PythonC++、CUDA.PythonPythonLua，Python(new)C++PythonC++Lua，Python(new)PythonC++、CUDA.PythonPythonLua，Python(new)C++PythonC++Lua，Python(new)PythonC++、CUDA.PythonPythonLua，Python(new)C++PythonC++Lua，Python(new)PythonC++、CUDA.Python2013201420152016201720202020202x國內(nèi)外深度學(xué)習(xí)框架國際主流深度學(xué)習(xí)框架:互聯(lián)網(wǎng)巨頭主導(dǎo)開發(fā)01資料來源:機(jī)器之心，CSDN，浙商證券研究所是否是分布式框架深度學(xué)習(xí)框架特點(diǎn)/優(yōu)點(diǎn)發(fā)布時(shí)間是否開源開發(fā)公司計(jì)算圖語言67資料來源:PaperswithCode，Omedia，浙商證券研究所TensorFlow+Pytorch占據(jù)市場主導(dǎo)地位2018-2022年全球論文發(fā)表數(shù)量(按使用框架分)2022年中國開發(fā)者人工智能框架使用率01TensorFlowPytorch適用人群廣泛深度學(xué)習(xí)初學(xué)者：快速實(shí)現(xiàn)模型算法，加深深度學(xué)習(xí)概念認(rèn)識(shí)；機(jī)器學(xué)習(xí)愛好者：快速實(shí)現(xiàn)人臉識(shí)別、目標(biāo)檢測、圖像生成等AI功能及實(shí)驗(yàn)；算法研究員：最新arXiv論文算法快速復(fù)現(xiàn)及開發(fā)； 01Pytorch:Meta開源的主流學(xué)習(xí)框架Pytorch版本平均每3~4個(gè)月更新一次，功能服務(wù)持續(xù)擴(kuò)充2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch2017年,Pytorch多維優(yōu)勢支持Pytorch實(shí)現(xiàn)對(duì)TensorFlow的反超2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版2018年4月,0.4版大廠支撐Meta維護(hù)開發(fā)門檻低只需要Numpy和基本深度學(xué)習(xí)概念代碼簡潔靈活基于動(dòng)態(tài)圖機(jī)制，網(wǎng)絡(luò)搭建更方便資源豐富arXiv新算法大多基于

Pytorch實(shí)現(xiàn)開發(fā)者多Github上貢獻(xiàn)者1100+文檔規(guī)范官方社區(qū)可查看各版本文檔資料來源:CSDN，浙商證券研究所8?簡單易懂:PyTorch具有用戶友好的API；?便于調(diào)試:對(duì)Python生態(tài)的良好支持；?強(qiáng)大高效:Pytorch提供了非常豐富的模型組件。9資料來源:OpenAI官網(wǎng)，浙商證券研究所Pytroch成為統(tǒng)一的深度學(xué)習(xí)框架極大縮短研究周期

2015年

2020年

OpenAI:從多種框架的使用到專注于Pytroch深度模型框架轉(zhuǎn)變原因特殊情況使用

Theano大多數(shù)情況使用

TensorFlow01方便優(yōu)化模型的

自動(dòng)微分機(jī)制支持GPU加速

的張量計(jì)算核心

功能Tensorflow從0.1到2.0的發(fā)展歷程運(yùn)用更簡單的模型進(jìn)行構(gòu)建、簡化

PITensorflow2.0發(fā)布Tensorflow:谷歌開源的向更加易用發(fā)展的主流學(xué)習(xí)框架優(yōu)點(diǎn):簡化的模型開發(fā)流程、強(qiáng)大的跨平臺(tái)能力、強(qiáng)大的研究發(fā)現(xiàn)缺乏調(diào)度能力,需手動(dòng)配置Tensorflow2.3發(fā)布添加兩種新機(jī)制,解決輸入管道瓶頸并節(jié)約資源缺點(diǎn):調(diào)試?yán)щy、API混亂、入門困難優(yōu)點(diǎn):更快、更靈活、隨時(shí)就緒引入更高級(jí)的API,可在移動(dòng)設(shè)備上運(yùn)行Tensorflow1.0.0發(fā)布,穩(wěn)定版誕生使得神經(jīng)網(wǎng)絡(luò)能夠

有效計(jì)算采用CPU+GPU計(jì)

算模型開源Tensorflow

0.1版本改進(jìn)之處發(fā)布版本缺點(diǎn)優(yōu)點(diǎn)資料來源:騰訊云，CSDN，helloword，城市經(jīng)濟(jì)網(wǎng)，浙商證券研究所2019年202x年2015年2017年0110基礎(chǔ)層編程開發(fā)分布式并行編譯優(yōu)化硬件使能組件層并行及優(yōu)化組件科學(xué)計(jì)算組件安全可信組件工具組件生態(tài)層套件-模型庫(CV、NLP…)AI+科學(xué)計(jì)算(電磁仿真、視頻生成…)文檔AI框架技術(shù)呈現(xiàn)三層次結(jié)構(gòu),從工具走向社區(qū)生態(tài)AI領(lǐng)域擴(kuò)展庫(GAN、強(qiáng)化學(xué)習(xí)…)計(jì)算圖中間表示編程接口API計(jì)算算子社區(qū)編碼語言通信算子資料來源:中國信息通信研究院《2022年AI框架技術(shù)白皮書》，浙商證券研究所科學(xué)計(jì)算(數(shù)值方法)科學(xué)計(jì)算(AI方法)算子生成圖算融合內(nèi)存優(yōu)化模型可解釋數(shù)據(jù)-模型安全自動(dòng)并行高階優(yōu)化器訓(xùn)練可視化調(diào)試器…………AI框模型輕量化推理

部署訓(xùn)練

開發(fā)動(dòng)靜轉(zhuǎn)換自動(dòng)微分架11飛槳產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開源開放平臺(tái)工具與

組件自動(dòng)化深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)聯(lián)邦學(xué)習(xí)圖學(xué)習(xí)科學(xué)計(jì)算量子機(jī)器學(xué)習(xí)生物計(jì)算學(xué)習(xí)與實(shí)訓(xùn)社區(qū)端到端開發(fā)套件基礎(chǔ)模型庫核心框架語義理解自然語言處理圖像生成大模型訓(xùn)推一體時(shí)間序列文心大模型開發(fā)訓(xùn)練模型

壓縮推理部署飛槳企業(yè)版零門檻AI開發(fā)平臺(tái)全功能AI開發(fā)平臺(tái)百度PaddlePaddle飛槳平臺(tái)計(jì)算機(jī)視覺邊緣與移動(dòng)端推理引擎前端

推理引擎推薦服務(wù)化部署全場景統(tǒng)一部署語音文字識(shí)別資源管理與調(diào)度工具預(yù)訓(xùn)練模型應(yīng)用工具目標(biāo)檢測圖像分類云上部署編排工具低代碼開發(fā)工具可視化分析工具安全與隱私工具大規(guī)模分布式訓(xùn)練01資料來源:CSDN、中國日報(bào)中文網(wǎng)、浙商證券研究所產(chǎn)業(yè)級(jí)數(shù)據(jù)處理服務(wù)器

推理引擎靜態(tài)圖動(dòng)態(tài)圖圖像分割12多種開發(fā)語言無縫銜接動(dòng)靜圖轉(zhuǎn)換能力提升

后端運(yùn)行效率AI框架與硬件平臺(tái)解耦，通過標(biāo)準(zhǔn)接口實(shí)現(xiàn)跨設(shè)備平臺(tái)快速部署突破五堵墻：內(nèi)存墻+算力墻+通信墻+調(diào)優(yōu)墻+部署墻未來AI框架技術(shù)將呈現(xiàn)六大發(fā)展趨勢發(fā)展趨勢提供豐富的AI

魯棒性檢測工具AI

模型的壓縮和端側(cè)推理框架的輕量化全場景標(biāo)準(zhǔn)化互通內(nèi)置專業(yè)領(lǐng)域科學(xué)計(jì)算套件豐富編程接口后端高效化分布式處理泛開發(fā)全場景超大規(guī)模工程化安全可信科學(xué)計(jì)算模型可解釋框架精細(xì)化統(tǒng)一加速引擎前端便捷化混合并行模型自適應(yīng)魯棒性檢測自動(dòng)微分資料來源:中國信息通信研究院《2022年AI框架技術(shù)白皮書》、浙商證券研究所01前景展望泛開發(fā)13AI大模型1415資料來源:CSDN、騰訊網(wǎng)、新浪網(wǎng)、浙商證券研究所算法迭代1958年1965年1989年,CNN算法1997年2006年神經(jīng)網(wǎng)絡(luò)提出專家系統(tǒng)誕生應(yīng)用于圖像識(shí)別網(wǎng)頁評(píng)級(jí)算法深度學(xué)習(xí)興起算力+數(shù)據(jù)支撐AI大模型加速發(fā)展1965年摩爾定律計(jì)算和存儲(chǔ)能力增長1997年,IBM2002年戰(zhàn)勝卡斯帕羅夫云存儲(chǔ)、云計(jì)算誕生2016年谷歌推出TPU加速機(jī)器學(xué)習(xí)過程2012年深度學(xué)習(xí)算法在圖像分類任務(wù)2021年Alphafold實(shí)現(xiàn)蛋白質(zhì)結(jié)構(gòu)預(yù)測2005年全球互聯(lián)網(wǎng)用戶超10億2009年引入Spark算法處理大數(shù)據(jù)2005年1G磁盤存儲(chǔ)成本降至2美元2010年開始使用GPU訓(xùn)練AI模型2010年全球智能手機(jī)銷量超3億部022013年谷歌AI學(xué)會(huì)策略類游戲2022年

ChatGPT2006年Hadoop技術(shù)2007年iPhone發(fā)布2018年GPT大模型2004年分布式技術(shù)1991年萬維網(wǎng)開放2017年AlphaZero數(shù)據(jù)爆炸取得突破資料來源：IDC《2022中國大模型發(fā)展白皮書》、浙商證券研究所大模型為基底,AI大模型發(fā)展為場景應(yīng)用奠定重要基礎(chǔ)泛化性+通用性AI應(yīng)用通用化AI開發(fā)工程化項(xiàng)目建設(shè)集約

化開發(fā)門檻低AI大模型優(yōu)勢大模型意義0216高效率完成再現(xiàn)、預(yù)測和

發(fā)現(xiàn)客觀世界運(yùn)動(dòng)規(guī)律及

演化特征的全過程“AI+科學(xué)計(jì)算”(科學(xué)智能)引發(fā)科研方式的大變革，如

生物制藥、氣象預(yù)報(bào)、地震探測等科研領(lǐng)域逐漸成熟科學(xué)計(jì)算大模型對(duì)開發(fā)者專業(yè)知識(shí)要求嚴(yán)苛，高質(zhì)量訓(xùn)練數(shù)據(jù)的獲取成本高，導(dǎo)致模型整體研發(fā)成本昂貴科技大廠與科研院校加強(qiáng)

合作利用計(jì)算機(jī)模擬、延伸及

拓展人類語言能力在語言理解與生成、智能創(chuàng)作、機(jī)器翻譯、智能對(duì)話、知識(shí)圖譜和定制化語言解決方案落地應(yīng)用發(fā)展順利語言的歧義、文化差異及

多樣化、情感分析困難以多個(gè)數(shù)據(jù)信息維度約束

來驗(yàn)證情感分析及文本分

析的準(zhǔn)確性計(jì)算機(jī)模擬生物視覺，理

解數(shù)字圖像和視頻，并提

取目標(biāo)信息2D數(shù)據(jù)工業(yè)質(zhì)檢、智慧城市落地完善，應(yīng)用場景多；人臉、OCR識(shí)別發(fā)展較為成熟3D/4D數(shù)據(jù)識(shí)別面臨變形、光照、遮擋等問題；數(shù)字人、數(shù)字孿生的數(shù)據(jù)獲取困難，算法處理復(fù)雜打通數(shù)據(jù)融合以突破3D/4D獲取瓶頸17資料來源:IDC《2022中國大模型發(fā)展白皮書》、浙商證券研究所定義現(xiàn)狀挑戰(zhàn)未來發(fā)展按照目標(biāo)不同,AI大模型可分為四類,多模態(tài)為未來方向理解能力應(yīng)用場景多模態(tài)大模型科學(xué)計(jì)算大模型02NLP大模型融合CV大模型計(jì)算性能GPT-4GPT-3GPT-2GPT-102推出年份2018201920202023Transformer

層數(shù)124896-參數(shù)量1.2億15.8億1750億-預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB-AI邁入大模型時(shí)代,參數(shù)量過千億資料來源:電子工程世界、微軟官網(wǎng)、OpenAI官網(wǎng)、Github、MetaAI官網(wǎng)，浙商證券研究所，單位:億EleutherAI

GPT-NeoX(200)微軟和英偉達(dá)

Megatron-

Turing

NLG

(5300)Naver

Corp

HyperCLOVA

(2040)20202018202220212019Micrasoft

Truning-NLG

(172)Google

ELECTRA

(1.02)Facebook

M2m-100

(150)OpenAi

GPT-3

(1758)Google

BigBird

(1750)百度

ERINE3.0

(100)百度

ERNIE

3.0

Titan

(2600)Google

Gopher

(2800)Google

LaMDA

(2800)Google

ALBERT

(0.31)NIVIDIA

Megatron-LM

(83)Google

T5

(110)OpenAi

GPT-2

(15.8)Google

FLAN

(1370)GLM

(1300)Eleuther

AI

GPT-j

(60)Facebook

XLMFacebook

BARTFacebook

RobertTa

(3.35)百度

ERINE1.0百度

ERINE2.0Google

BERT-Large

(3.4)Google

PaLM

(5400)BigScience

BLOOM

(1760)Meta

AI

OPT

(1750)OpenAi

InstructGBT

(13)Google

BERT-base

(1.1)OpenAi

GPT-1

(1.2)18InstructGPT/GPT3.5Transformer時(shí)間提出者模型名稱功能意義2021年1月OpenAICLIP-DALL

·E以文搜圖，按照文字描述生成對(duì)應(yīng)圖片CLIP的zero-shot

learning技術(shù)在各種數(shù)據(jù)集上的

表現(xiàn)都很好2021年5月GoogleMUM多功能統(tǒng)一模型可從

75

種不同語言中挖掘出的上下文信息對(duì)用戶搜

索結(jié)果進(jìn)行優(yōu)先排序2021年9月百度DocVQA跨模態(tài)文檔理解登頂DocVQA榜首2021年11月NVIDAGauGAN2ChatGPT可用文字和圖畫混合創(chuàng)造逼真的藝術(shù)2021年11月Microsoft

&

北大NvWa女媧實(shí)現(xiàn)文本/草圖轉(zhuǎn)圖像、圖像補(bǔ)全、文字指示修改圖像視

頻、文字/草圖轉(zhuǎn)視頻、視頻預(yù)測等在8種圖像和視頻處理的視覺任務(wù)上具有出色的合成

效果2021年12月NVIDAPoE

GAN-可以在單模態(tài)、多模態(tài)輸入甚至無輸入時(shí)生成圖片。2022年1月百度ERNIE-ViLGGPT-3刷新文本生成圖像、圖像描述等多個(gè)跨模態(tài)生成任

務(wù)最好效果2022年1月MetaAu-HuBERT在嘈雜的環(huán)境下，通過讀唇可以將語言識(shí)別的準(zhǔn)確

性最高提升6倍。2022年7月MetaMake-a-Scene文本生成圖像，并允許文本輸入進(jìn)行有針對(duì)性創(chuàng)作用戶獲得更豐富的個(gè)人理念定制，從而生成更加具

有針對(duì)性的畫作2022年9月OpenAIWhisper語音生成文本，

支持語音轉(zhuǎn)錄和翻譯兩項(xiàng)功能并接受各種

語音格式多模態(tài)AI模型有望進(jìn)入商用時(shí)代2022年9月MetaMake-a-Video文本、圖片生成短視頻，根據(jù)輸入的自然語言文本生成一

段5秒鐘左右的短視頻。AIGC進(jìn)入視頻創(chuàng)作領(lǐng)域2022年11月NVIDAMagic3D根據(jù)文字描述生成

3D

模型，可將低分辨率生成的粗略模

型優(yōu)化為高分辨率的精細(xì)模型3D建模效率更高，且成本更低國內(nèi)外大廠相繼布局各模態(tài)AI模型文字描述、圖像分割、草圖都可以轉(zhuǎn)化為圖片,還可同時(shí)接受以上幾種輸入模態(tài)的任意兩種組合根據(jù)輸入的文本/簡筆畫生成對(duì)應(yīng)逼真的風(fēng)景圖、輸入圖

像并編輯部分內(nèi)容資料來源:澎湃網(wǎng)、CSDN、百度、OpenAI官網(wǎng)、Meta，浙商證券研究所通過輸入語音音頻和唇語視頻內(nèi)容,輸出對(duì)應(yīng)文本02圖文雙向生成1902OpenAI以GPT為基石,深度布局各模態(tài)AI及各類應(yīng)用Whisper語音-文本模型DALL-E2文本-圖像模型ChatGPTGPT-3Transformer類別名稱參數(shù)量基礎(chǔ)版本Davinci1750億Curie67億Babbage10億代碼生成Code-Cushman-001120億關(guān)聯(lián)分析Text-similarity-davinci-0011750億Text-similarity-curie-00160億GPT-1GPT-2GPT-3InstructGPT論文年份2018201920202022Transformer層數(shù)124896—參數(shù)量1.2億15.8億1750億13億預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB—多樣的模型調(diào)用接口來源:CSDN，電子工程世界，騰訊網(wǎng)，浙商證券研究所GPT模型迭代2021資料來源:CSDN、機(jī)器學(xué)習(xí)算法與自然語言處理、電子工程世界等、浙商證券研究所微軟云AzureTransformerPyTorchChatGPTInstructGPT/GPT-3.5深度學(xué)習(xí)框架易于使用

API

迭代更穩(wěn)定02ChatGPT實(shí)現(xiàn)路徑:算力與框架支持，應(yīng)用百花齊放算力資源OpenAI的獨(dú)家云提供商Transfomer的Decoder

分支1750

億個(gè)參數(shù)

小樣本學(xué)習(xí)能力對(duì)話類搜索引擎對(duì)話AI模型語音工作助手人工監(jiān)督微調(diào)無代碼

編程大模型語音陪伴小說生成機(jī)器翻譯人工智能客服對(duì)話虛擬人模型模型人類反饋強(qiáng)化學(xué)習(xí)RLHFAttention機(jī)制人類反饋強(qiáng)化學(xué)習(xí)RLHF承認(rèn)自身錯(cuò)誤承認(rèn)自身的無知連續(xù)多輪對(duì)話質(zhì)疑不正確的問題參數(shù)少速度快效果好GPT-3GPT-3資料來源:CSDN、電子工程世界、新智元、浙商證券研究所02

基于InstructGPT形成ChatGPT對(duì)話系統(tǒng)

代碼訓(xùn)練

指令微調(diào)

(instruction

tuning)

基于人類反饋的強(qiáng)化學(xué)習(xí)

(RLHF)InstructGPT

參數(shù)數(shù)量降低了100倍(1750億-

>13億)

增加Chat屬性

網(wǎng)頁公眾測試入口ChatGPT

略微降低參數(shù)量22新增聊天窗口通過將人工智能模型應(yīng)用于核心搜索算法,改進(jìn)了核心搜索指數(shù),使得搜索結(jié)果相關(guān)性實(shí)現(xiàn)飛躍Bing在OpenAI的下一代LLM模型上運(yùn)行,該模型專門為搜索定制,比ChatGPT更強(qiáng)大普羅米修斯(Prometheus)模型:可以提高搜索結(jié)果相關(guān)性，并對(duì)答案進(jìn)行注釋能動(dòng)的提供解決方案:創(chuàng)建菜譜、制定旅行計(jì)劃、詩歌創(chuàng)作等搜索引擎Bing集成ChatGPT,即時(shí)生成個(gè)性化規(guī)劃與建議搜索與聊天相結(jié)合,除了傳統(tǒng)的搜索結(jié)果外,還提供了聊天界面將ChatGPT整合進(jìn)Bing和Edge

新版Bing搜索引擎

四大技術(shù)突破

傳統(tǒng)信息搜索框新版Bing功能展示搜索模型搜索性能用戶體驗(yàn)答案相關(guān)02

資料來源:微軟、TheVerge，浙商證券研究所23Copilot工作原理?自動(dòng)匯集個(gè)人已有的數(shù)據(jù)和資料生成內(nèi)容，上傳到Microsoft

Graph?Copilot成為智能個(gè)人數(shù)字助

理

&實(shí)用的內(nèi)容生成工具?Copilot旨在協(xié)助用戶生成文檔、電子郵件、演示文稿和更多內(nèi)容?Copilot主要由OpenAI的GPT-4驅(qū)動(dòng)，會(huì)與微軟365應(yīng)用程序一起，作為聊天機(jī)器人的模式，出現(xiàn)在側(cè)邊欄?Copilot嵌入到人們每天使用的Microsoft365應(yīng)用中?商務(wù)聊天

Business

Chat。

Business

Chat

將匯總電子郵件、

文件、文檔、會(huì)議、聊天記錄、日歷等資料，并歸納總結(jié)微軟發(fā)布Microsoft365Copilot,引領(lǐng)下一代AI大模型02數(shù)據(jù)來源:微軟官網(wǎng)，浙商證券研究所Microsoft

365

CopilotCopilot工作方式24?Copilot可以跨應(yīng)用程序生成內(nèi)容。例如,根據(jù)Word文檔,可以生成一個(gè)10張幻燈片的PPT?提升演講效果,增加字體大小和間距,在演講稿中添加演講提醒?一鍵壓縮冗長的演示文稿,調(diào)整布局、重新格式化文本和完美的時(shí)間動(dòng)畫。?在短時(shí)間內(nèi)識(shí)別趨勢或創(chuàng)建數(shù)據(jù)可視化?數(shù)據(jù)歸納處理,分析或格式化Excel數(shù)據(jù),生成直觀圖像?Excel用戶可以通過Copilot即時(shí)創(chuàng)建SWOT分析或基于數(shù)據(jù)的PivotTable?在對(duì)話上下文中提供實(shí)時(shí)摘要和操作項(xiàng),進(jìn)行會(huì)議內(nèi)容總結(jié),提醒可能錯(cuò)過的東西?如果參加會(huì)議時(shí)間較晚,copilot會(huì)提供一份錯(cuò)過的內(nèi)容摘要,從而提高會(huì)議效率?Copilot可以根據(jù)需求創(chuàng)建初稿?對(duì)文本內(nèi)容進(jìn)行提煉、改寫、簡化,查漏補(bǔ)缺?用戶還可以根據(jù)需求調(diào)整AI的語氣,包括嚴(yán)肅、熱情、感謝等CopilotAI功能的應(yīng)用場景,大幅提高辦公效率Copilot

in

PowerPointCopilot

in

ExcelCopilot

in

WordCopilot

in

Teams02數(shù)據(jù)來源:微軟官網(wǎng)，浙商證券研究所應(yīng)用場景應(yīng)用場景25ChatGPTPhenaki

文本-視頻

GPT-3類別模型功能計(jì)算機(jī)視覺Pix2Seq用于對(duì)象檢測的語言建?？蚣芏嗄Ｊ侥Ｐ虳eViSE視覺語義嵌入LiT將語義理解添加到圖像模型PaLI多語種語言圖像學(xué)習(xí)FindIt基于自然語言的通用對(duì)象定位VDTTS視覺驅(qū)動(dòng)的文本到語音音頻生成AudioLM基于語言建模的音頻生成26來源:CSDN，新浪，GoogleParti，浙商證券研究所Parti

文本-圖像官方開源多個(gè)多模態(tài)模型Google在各模態(tài)領(lǐng)域布局AI模型,并提供多項(xiàng)功能服務(wù)模塊LOLNerf

2D圖像-3D圖像Flamingo

圖像-文本02 大模型的主要玩家有科技大廠、高校和新型研發(fā)機(jī)構(gòu),形成了四種合作模式 (1)大廠獨(dú)立完成(2)機(jī)構(gòu)+高校(3)大廠+高校(4)大廠+機(jī)構(gòu)+高校。大廠通過資金優(yōu)勢、數(shù)據(jù)優(yōu)勢往往可以獨(dú)立完成或主導(dǎo)合作。機(jī)構(gòu)憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)和政府的資金支持,可以主導(dǎo)合作。而高校憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)提供科研能力支持。 過去來看,由于大廠受到商業(yè)任務(wù)限制,資金和數(shù)據(jù)優(yōu)勢未能充分發(fā)揮。而未來,在ChatGPT之后,經(jīng)過驗(yàn)證的模式鋪平商業(yè)決策之路,將逐步成為未來大模型的主導(dǎo)力量。資金優(yōu)勢:算力、數(shù)據(jù)數(shù)據(jù)優(yōu)勢:數(shù)據(jù)科研能力:模型資金優(yōu)勢

數(shù)據(jù)優(yōu)勢科研能力優(yōu)勢

無商業(yè)任務(wù)資金優(yōu)勢科研能力優(yōu)勢無商業(yè)任務(wù)國內(nèi)AI大模型,大廠+高校將主導(dǎo)未來數(shù)據(jù)來源:CSDN、電子工程世界、新智元，浙商證券研究所02新型研發(fā)機(jī)構(gòu)大廠高校27坐擁大模型+訓(xùn)練框架+數(shù)據(jù)+社區(qū)多重優(yōu)勢,百度有望成為AIGC領(lǐng)域率先實(shí)現(xiàn)商業(yè)化的領(lǐng)頭羊。 自2019年發(fā)布ERNIE1.0,百度持續(xù)投入大模型的技術(shù)創(chuàng)新與產(chǎn)業(yè)應(yīng)用,布局了NLP、CV、跨模態(tài)等大模型,率先提出行業(yè)大模型,成了支撐大模型產(chǎn)業(yè)落地的關(guān)鍵路徑,構(gòu)建文心大模型層、工具平臺(tái)層、產(chǎn)品與社區(qū)三層體系。 根據(jù)IDC的大模型評(píng)分,在產(chǎn)品能力、生態(tài)能力和應(yīng)用能力三個(gè)維度上百度均位于第一梯隊(duì),且在生態(tài)維度遠(yuǎn)高于平均水平,這得益于百度的大模型框架“飛槳”、旸谷社區(qū)。 百度于2023年3月發(fā)布“文心一言”,成為首款中文生成式對(duì)話大模型產(chǎn)品。添加標(biāo)題EasyDL-大模型大模型API零門檻AI開發(fā)平臺(tái)大模型套件數(shù)據(jù)標(biāo)注與處理文心一格AI藝術(shù)和創(chuàng)意輔助平臺(tái)文心大模型與產(chǎn)品框架文心大模型評(píng)分百度:文心大模型02數(shù)據(jù)來源:文心官網(wǎng)，IDC，浙商證券研究所。語音-語言ERNIE-ViL視覺-語言ERNIE-ViL地理-語言ERNIE-GeoL人民網(wǎng)-百度

·文心TCL-百度·文心國網(wǎng)-百度

·文心深燃-百度·文心冰城-百度·文心辭海-百度·文心航天-百度·文心泰康-百度

·文心浦發(fā)-百度·文心吉利-百度·文心化合物表征學(xué)習(xí)HelixGEM自監(jiān)督視覺表征學(xué)習(xí)VIMER-CAE視覺處理多任務(wù)學(xué)習(xí)VIMER-TCIR文心百中大模型驅(qū)動(dòng)的產(chǎn)業(yè)級(jí)搜索系統(tǒng)OCR圖像表征學(xué)習(xí)VIMER-StrucText多任務(wù)視覺表征學(xué)習(xí)VIMER-UFO商品圖文搜索表征學(xué)習(xí)VIMER-UMS旸谷社區(qū)大模型創(chuàng)意與探索社區(qū)鵬城-百度·文心ERNIE3.0

Zeus金融ERNIE-FinanceBML-大模型全功能AI開發(fā)平臺(tái)單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測HelixFold-Single醫(yī)療ERNIE-Health電影頻道-百度·文心對(duì)話PLATO信息抽取ERNIE-UIE搜索ERNIE-Search蛋白質(zhì)結(jié)構(gòu)預(yù)測HelixFold代碼ERNIE-Code跨語言ERNIE-M圖網(wǎng)絡(luò)ERNIE-SageERNIE3.0

Tiny文檔智能ERNIE-Layout文圖生成ERNIE-ViLGERNIE3.0工具與平臺(tái)語言理解與生成生物計(jì)算大模型行業(yè)大模型行業(yè)大模型行業(yè)大模型行業(yè)大模型大模型精調(diào)大模型壓縮場景化工具高性能部署文心大模型產(chǎn)品與社區(qū)28ERNIE版本1.02.03.03.0

TITAN推出年份2019202020212022參數(shù)量參考bert

base(1.1億)參考bert

base(1.1億)

，

bert

large

(3.4億)100億2608億預(yù)訓(xùn)練數(shù)據(jù)量Wiki

，

baike，news

，tiebawiki

，

news

，dialogue

，

IR

，

discourse

relation4TB-ERNIE1.0架構(gòu):改進(jìn)了MLM任務(wù)ERNIE2.0:+持續(xù)學(xué)習(xí)框架ERNIE3.0、3.0TITAN:+參數(shù)量基于BERT衍生百度文心大模型,料將推出對(duì)話系統(tǒng)文心一言注:ERNIE(EnhancedlanguageRepresentationwithInformativeEntities)02數(shù)據(jù)來源:CSDN，電子工程世界，浙商證券研究所。29 阿里巴巴率先構(gòu)建大模型統(tǒng)一底座、通過訓(xùn)練策略大幅提升稀疏參數(shù)大模型框架訓(xùn)練效率,在大模型框架上具備領(lǐng)先地位。 阿里巴巴2021年3月發(fā)布M6,成為國內(nèi)最早提出千億模型的廠商,同年發(fā)布十萬億模型M6-10T,通過expertprototyping訓(xùn)練策略成功實(shí)施MoE稀疏參數(shù)模型,使模型達(dá)到10萬億參數(shù)級(jí)別。 2022年9月發(fā)布通義大模型,通過統(tǒng)一學(xué)習(xí)范式M6-OFA和模塊化的設(shè)計(jì),提升大模型跨模態(tài)能力和效率。 2023年報(bào)電話會(huì)上,集團(tuán)CEO張勇表示針對(duì)生成式AI趨勢,將全力構(gòu)建預(yù)訓(xùn)練大模型。30數(shù)據(jù)來源:機(jī)器之心，浙商證券研究所阿里巴巴:通義大模型訓(xùn)練策略和框架上領(lǐng)先行業(yè)阿里通義大模型架構(gòu)Dense模型與MoE模型Dense模型

MoE模型SASA添加標(biāo)題FFN02FFN

1FFN

2FFN

3路由 華為盤古大模型深耕實(shí)業(yè),擁有更廣泛的行業(yè)大模型,具備更強(qiáng)的落地能力。 基于ModelArtsAI工作平臺(tái)的盤古大模型2021年4月發(fā)布,目前已應(yīng)用于10+行業(yè)的100+應(yīng)用場景。 根據(jù)信通院模型開發(fā)和模型能力兩方面測評(píng),均為優(yōu)異水平。盤古行業(yè)大模型(行業(yè)know-how：行業(yè)數(shù)據(jù)預(yù)訓(xùn)練，無監(jiān)督訓(xùn)練)時(shí)尚電商搜索圖文搜索M