ChatGPT人工智能與通用大模型演講稿

《人工智能與通用大模型》摘要2一、AI框架重要性日益突顯，框架技術(shù)發(fā)展進(jìn)入繁榮期，國(guó)內(nèi)AI框架技術(shù)加速發(fā)展：

1、AI框架作為銜接數(shù)據(jù)和模型的重要橋梁，發(fā)展進(jìn)入繁榮期，國(guó)內(nèi)外框架功能及性能加速迭代；

2、Pytorch、Tensorflow占據(jù)AI框架市場(chǎng)主導(dǎo)地位，國(guó)內(nèi)大廠(chǎng)加速布局AI框架技術(shù)；

3、AI框架技術(shù)從工具逐步走向社區(qū)，生態(tài)加速形成，未來(lái)圍繞安全可信、場(chǎng)景落等維度呈現(xiàn)顯著發(fā)展趨勢(shì)；二、GPT開(kāi)啟AI大模型時(shí)代，國(guó)內(nèi)外大廠(chǎng)發(fā)力布局，商業(yè)化空間加速打開(kāi)：

1、數(shù)據(jù)、算法、模型三輪驅(qū)動(dòng)AI發(fā)展，大模型優(yōu)勢(shì)顯著，成為AI主流方向；

2、GPT開(kāi)啟千億參數(shù)級(jí)AI大模型時(shí)代，語(yǔ)言、視覺(jué)、科學(xué)計(jì)算等大模型快速發(fā)展；

3、微軟加速AI商用化進(jìn)程，國(guó)內(nèi)大廠(chǎng)發(fā)力布局，看好在細(xì)分場(chǎng)景下的應(yīng)用落地；三、AI大模型展望——多模態(tài)將成為重要發(fā)展趨勢(shì)：

1、AI模型走向多模態(tài)必然性的三大因素：跨模態(tài)任務(wù)需求+跨模態(tài)數(shù)據(jù)融合+對(duì)人類(lèi)認(rèn)知能力的模擬

2、OpenAI發(fā)布Whisper

API，模型具備物美價(jià)廉、架構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)，多模態(tài)AI商用空間有望加速打開(kāi)風(fēng)險(xiǎn)提示：1、AI技術(shù)發(fā)展不及預(yù)期；2、版權(quán)、倫理和監(jiān)管風(fēng)險(xiǎn)；3AI框架深度學(xué)習(xí)框架：人工智能時(shí)代的操作系統(tǒng)4人工智能開(kāi)發(fā)鏈條長(zhǎng)且復(fù)雜訓(xùn)練數(shù)據(jù)準(zhǔn)備算法實(shí)現(xiàn)環(huán)境安裝模型訓(xùn)練模型驗(yàn)證推理數(shù)據(jù)準(zhǔn)備算法實(shí)現(xiàn)環(huán)境安裝模型訓(xùn)練數(shù)據(jù)使用深度學(xué)習(xí)框架工具進(jìn)行開(kāi)發(fā)深度學(xué)習(xí)框架人工智能基礎(chǔ)設(shè)施分布式硬件資源物理資源調(diào)度、I/O設(shè)備管理通用模型架構(gòu)支持計(jì)算機(jī)視覺(jué)應(yīng)用使用主流編程語(yǔ)言GPU加速拓展包模型使用深度學(xué)習(xí)框架工具進(jìn)行開(kāi)發(fā)開(kāi)發(fā)者使用簡(jiǎn)單支持AI領(lǐng)域的快速變化資料來(lái)源：北京日?qǐng)?bào)，認(rèn)知計(jì)算與云安全公眾號(hào)，華為云，浙商證券研究所人工智能框架技術(shù)發(fā)展進(jìn)入繁榮期0152000年~萌芽階段2015-2018年穩(wěn)定階段2012年~成長(zhǎng)階段2019年~深化階段API復(fù)雜無(wú)GPU支持手動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)使用簡(jiǎn)單多GPU支持復(fù)雜網(wǎng)絡(luò)支撐指令式聲明式生態(tài)友好分布式支持效率優(yōu)化可拓展編譯層優(yōu)化多場(chǎng)景任務(wù)支持豐富套件支持算子優(yōu)化統(tǒng)一標(biāo)準(zhǔn)端云一體大模型大任務(wù)全場(chǎng)景隱私與公平……未來(lái)資料來(lái)源：中國(guó)信息通信研究院《2022年AI框架技術(shù)白皮書(shū)》，浙商證券研究所國(guó)際主流深度學(xué)習(xí)框架：互聯(lián)網(wǎng)巨頭主導(dǎo)開(kāi)發(fā)016國(guó)內(nèi)外深度學(xué)習(xí)框架發(fā)布時(shí)間2013201420152016201720202020202x開(kāi)發(fā)公司深度學(xué)習(xí)框架語(yǔ)言PythonLua，Python（new）C++PythonC++Lua，Python（new）PythonC++、CUDA、Python是否開(kāi)源√√√√√√√√計(jì)算圖靜態(tài)靜態(tài)動(dòng)態(tài)動(dòng)靜兼容靜態(tài)基于源碼轉(zhuǎn)換自動(dòng)微分，不依賴(lài)計(jì)算圖動(dòng)靜合一是否是分布式框架√√√√√特點(diǎn)/優(yōu)點(diǎn)速度快、使用方便、社區(qū)好性能高、適合做語(yǔ)音任務(wù)高效靈活、易用容易上手簡(jiǎn)單清晰移動(dòng)端高性能、通用輕便高效靈活、易用靈活高效資料來(lái)源：機(jī)器之心，CSDN，浙商證券研究所01TensorFlow+Pytorch占據(jù)市場(chǎng)主導(dǎo)地位72022年中國(guó)開(kāi)發(fā)者人工智能框架使用率2018-2022年全球論文發(fā)表數(shù)量（按使用框架分）PytorchTensorFlow資料來(lái)源：Papers

with

Code，Omedia，浙商證券研究所Pytorch：Meta開(kāi)源的主流學(xué)習(xí)框架018Pytorch版本平均每3~4個(gè)月更新一次，功能服務(wù)持續(xù)擴(kuò)充2017年，Pytorch

正式發(fā)布2018年4月，0.4版支持Windows，并入caffe22019年5月，1.1版支持TensorBoard，增強(qiáng)可視化2019年10月，1.3版支持移動(dòng)設(shè)備部署，更多功能工具2020年1月，1.4版支持分布式模型并行訓(xùn)練2020年4月，1.5版與Amazon合作，提升開(kāi)發(fā)者模型部署效率2020年11月，1.7版支持Windows上的分布式訓(xùn)練，提供更多API2021年3月，1.8版支持AMD

GPU2022年11月，2.0版Transformer模型訓(xùn)練速度提升倍多維優(yōu)勢(shì)支持Pytorch實(shí)現(xiàn)對(duì)TensorFlow的反超門(mén)檻低只需要Numpy和基本深度學(xué)習(xí)概念代碼簡(jiǎn)潔靈活基于動(dòng)態(tài)圖機(jī)制，網(wǎng)絡(luò)搭建更方便文檔規(guī)范官方社區(qū)可查看各版本文檔

資源豐富arXiv新算法大多基于Pytorch實(shí)現(xiàn)開(kāi)發(fā)者多Github上貢獻(xiàn)者1100+大廠(chǎng)支撐Meta維護(hù)開(kāi)發(fā)適用人群廣泛深度學(xué)習(xí)初學(xué)者：快速實(shí)現(xiàn)模型算法，加深深度學(xué)習(xí)概念認(rèn)識(shí)；機(jī)器學(xué)習(xí)愛(ài)好者：快速實(shí)現(xiàn)人臉識(shí)別、目標(biāo)檢測(cè)、圖像生成等AI功能及實(shí)驗(yàn)；算法研究員：最新arXiv論文算法快速?gòu)?fù)現(xiàn)及開(kāi)發(fā)；資料來(lái)源：CSDN，浙商證券研究所OpenAI：從多種框架的使用到專(zhuān)注于Pytroch0192015年P(guān)ytroch成為統(tǒng)一的深度學(xué)習(xí)框架深度模型框架轉(zhuǎn)變便于調(diào)試：對(duì)Python生態(tài)的良好支持；大多數(shù)情況使用TensorFlow特殊情況使用Theano2020年簡(jiǎn)單易懂：PyTorch具有用戶(hù)友好的API；

原因核心功能支持GPU加速的張量計(jì)算方便優(yōu)化模型的自動(dòng)微分機(jī)制強(qiáng)大高效：Pytorch提供了非常豐富的模型組件。極大縮短研究周期資料來(lái)源：OpenAI官網(wǎng)，浙商證券研究所Tensorflow：谷歌開(kāi)源的向更加易用發(fā)展的主流學(xué)習(xí)框架01102017年2019年開(kāi)源Tensorflow0.1版本2015年采用CPU+GPU計(jì)算模型使得神經(jīng)網(wǎng)絡(luò)能夠有效計(jì)算Tensorflow從0.1到2.0的發(fā)展歷程202x年Tensorflow2.3發(fā)布添加兩種新機(jī)制，解決輸入管道瓶頸并節(jié)約資源Tensorflow2.0發(fā)布缺點(diǎn)：調(diào)試?yán)щy、API混亂、入門(mén)困難運(yùn)用更簡(jiǎn)單的模型進(jìn)行構(gòu)建、簡(jiǎn)化PI優(yōu)點(diǎn)：簡(jiǎn)化的模型開(kāi)發(fā)流程、強(qiáng)大的跨平臺(tái)能力、強(qiáng)大的研究發(fā)現(xiàn)缺乏調(diào)度能力，需手動(dòng)配置Tensorflow1.0.0發(fā)布，穩(wěn)定版誕生優(yōu)點(diǎn)：更快、更靈活、隨時(shí)就緒引入更高級(jí)的API，可在移動(dòng)設(shè)備上運(yùn)行發(fā)布版本改進(jìn)之處優(yōu)點(diǎn)缺點(diǎn)資料來(lái)源：騰訊云，CSDN，helloword，城市經(jīng)濟(jì)網(wǎng)，浙商證券研究所AI框架技術(shù)呈現(xiàn)三層次結(jié)構(gòu)，從工具走向社區(qū)生態(tài)11基礎(chǔ)層組件層生態(tài)層編程開(kāi)發(fā)編程接口API編碼語(yǔ)言訓(xùn)練開(kāi)發(fā)推理部署編譯優(yōu)化分布式并行自動(dòng)微分動(dòng)靜轉(zhuǎn)換模型輕量化圖算融合算子生成內(nèi)存優(yōu)化計(jì)算圖中間表示計(jì)算算子通信算子硬件使能自動(dòng)并行高階優(yōu)化器…并行及優(yōu)化組件科學(xué)計(jì)算（數(shù)值方法）科學(xué)計(jì)算（AI方法）…科學(xué)計(jì)算組件模型可解釋數(shù)據(jù)-模型安全…安全可信組件訓(xùn)練可視化調(diào)試器…工具組件套件-模型庫(kù)（CV、NLP…）AI領(lǐng)域擴(kuò)展庫(kù)（GAN、強(qiáng)化學(xué)習(xí)…）AI+科學(xué)計(jì)算（電磁仿真、視頻生成…）社區(qū)文檔AI框架資料來(lái)源：中國(guó)信息通信研究院《2022年AI框架技術(shù)白皮書(shū)》，浙商證券研究所百度PaddlePaddle飛槳平臺(tái)0112資料來(lái)源：CSDN、中國(guó)日?qǐng)?bào)中文網(wǎng)、浙商證券研究所飛槳企業(yè)版零門(mén)檻AI開(kāi)發(fā)平臺(tái)全功能AI開(kāi)發(fā)平臺(tái)飛槳產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開(kāi)源開(kāi)放平臺(tái)工具與組件自動(dòng)化深度學(xué)習(xí)低代碼開(kāi)發(fā)工具強(qiáng)化學(xué)習(xí)聯(lián)邦學(xué)習(xí)圖學(xué)習(xí)科學(xué)計(jì)算量子機(jī)器學(xué)習(xí)生物計(jì)算核心框架端到端開(kāi)發(fā)套件基礎(chǔ)模型庫(kù)預(yù)訓(xùn)練模型應(yīng)用工具可視化分析工具安全與隱私工具云上部署編排工具資源管理與調(diào)度工具語(yǔ)義理解文字識(shí)別圖像分類(lèi)目標(biāo)檢測(cè)圖像分割圖像生成大模型訓(xùn)推一體自然語(yǔ)言處理計(jì)算機(jī)視覺(jué)語(yǔ)音推薦文心大模型時(shí)間序列動(dòng)態(tài)圖靜態(tài)圖大規(guī)模分布式訓(xùn)練產(chǎn)業(yè)級(jí)數(shù)據(jù)處理模型壓縮服務(wù)器推理引擎邊緣與移動(dòng)端推理引擎開(kāi)發(fā)訓(xùn)練推理部署前端推理引擎服務(wù)化部署全場(chǎng)景統(tǒng)一部署學(xué)習(xí)與實(shí)訓(xùn)社區(qū)未來(lái)AI框架技術(shù)將呈現(xiàn)六大發(fā)展趨勢(shì)0113資料來(lái)源：中國(guó)信息通信研究院《2022年AI框架技術(shù)白皮書(shū)》、浙商證券研究所泛開(kāi)發(fā)全場(chǎng)景超大規(guī)?？茖W(xué)計(jì)算安全可信工程化發(fā)展趨勢(shì)泛開(kāi)發(fā)前端便捷化后端高效化全場(chǎng)景標(biāo)準(zhǔn)化互通混合并行分布式處理自動(dòng)微分統(tǒng)一加速引擎魯棒性檢測(cè)模型可解釋模型自適應(yīng)框架精細(xì)化前景展望多種開(kāi)發(fā)語(yǔ)言無(wú)縫銜接動(dòng)靜圖轉(zhuǎn)換能力提升后端運(yùn)行效率AI框架與硬件平臺(tái)解耦，通過(guò)標(biāo)準(zhǔn)接口實(shí)現(xiàn)跨設(shè)備平臺(tái)快速部署突破五堵墻：內(nèi)存墻+算力墻+通信墻+調(diào)優(yōu)墻+部署墻豐富編程接口內(nèi)置專(zhuān)業(yè)領(lǐng)域科學(xué)計(jì)算套件提供豐富的AI魯棒性檢測(cè)工具AI模型的壓縮和端側(cè)推理框架的輕量化14AI大模型算力+數(shù)據(jù)支撐AI大模型加速發(fā)展0115計(jì)算和存儲(chǔ)能力增長(zhǎng)數(shù)據(jù)爆炸1991年萬(wàn)維網(wǎng)開(kāi)放2005年全球互聯(lián)網(wǎng)用戶(hù)超10億2007年iPhone發(fā)布2010年全球智能手機(jī)銷(xiāo)量接近3億部算法迭代1958年神經(jīng)網(wǎng)絡(luò)提出1965年專(zhuān)家系統(tǒng)誕生1989年，CNN算法應(yīng)用于圖像識(shí)別1998年網(wǎng)頁(yè)評(píng)級(jí)算法2006年深度學(xué)習(xí)興起2009年引入Spark算法處理大數(shù)據(jù)1997年，IBM戰(zhàn)勝卡斯帕羅夫2002年云存儲(chǔ)、云計(jì)算誕生2004年分布式技術(shù)2005年1G磁盤(pán)存儲(chǔ)成本降至0.79美元1965年摩爾定律2006年Hadoop技術(shù)2009年開(kāi)始使用GPU訓(xùn)練AI模型2012年深度學(xué)習(xí)算法在圖像分類(lèi)任務(wù)取得突破2013年谷歌AI學(xué)會(huì)策略類(lèi)游戲2017年谷歌推出TPU加速機(jī)器學(xué)習(xí)過(guò)程2017年AlphaZero2018年GPT大模型2021年Alphafold實(shí)現(xiàn)蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)2022年ChatGPT資料來(lái)源：CSDN、騰訊網(wǎng)、新浪網(wǎng)、浙商證券研究所大模型為基底，AI大模型發(fā)展為場(chǎng)景應(yīng)用奠定重要基礎(chǔ)16AI大模型優(yōu)勢(shì)泛化性+通用性開(kāi)發(fā)門(mén)檻低大模型意義AI應(yīng)用通用化AI開(kāi)發(fā)工程化項(xiàng)目建設(shè)集約化資料來(lái)源：IDC《2022中國(guó)大模型發(fā)展白皮書(shū)》、浙商證券研究所按照目標(biāo)不同，AI大模型可分為四類(lèi)，多模態(tài)為未來(lái)方向17利用計(jì)算機(jī)模擬、延伸及拓展人類(lèi)語(yǔ)言能力NLP大模型CV大模型科學(xué)計(jì)算大模型定義現(xiàn)狀挑戰(zhàn)未來(lái)發(fā)展在語(yǔ)言理解與生成、智能創(chuàng)作、機(jī)器翻譯、智能對(duì)話(huà)、知識(shí)圖譜和定制化語(yǔ)言解決方案落地應(yīng)用發(fā)展順利語(yǔ)言的歧義、文化差異及多樣化、情感分析困難以多個(gè)數(shù)據(jù)信息維度約束來(lái)驗(yàn)證情感分析及文本分析的準(zhǔn)確性計(jì)算機(jī)模擬生物視覺(jué)，理解數(shù)字圖像和視頻，并提取目標(biāo)信息2D數(shù)據(jù)工業(yè)質(zhì)檢、智慧城市落地完善，應(yīng)用場(chǎng)景多；人臉、OCR識(shí)別發(fā)展較為成熟3D/4D數(shù)據(jù)識(shí)別面臨變形、光照、遮擋等問(wèn)題；數(shù)字人、數(shù)字孿生的數(shù)據(jù)獲取困難，算法處理復(fù)雜打通數(shù)據(jù)融合以突破3D/4D獲取瓶頸高效率完成再現(xiàn)、預(yù)測(cè)和發(fā)現(xiàn)客觀世界運(yùn)動(dòng)規(guī)律及演化特征的全過(guò)程“AI+科學(xué)計(jì)算”（科學(xué)智能）引發(fā)科研方式的大變革，如生物制藥、氣象預(yù)報(bào)、地震探測(cè)等科研領(lǐng)域逐漸成熟科學(xué)計(jì)算大模型對(duì)開(kāi)發(fā)者專(zhuān)業(yè)知識(shí)要求嚴(yán)苛，高質(zhì)量訓(xùn)練數(shù)據(jù)的獲取成本高，導(dǎo)致模型整體研發(fā)成本昂貴科技大廠(chǎng)與科研院校加強(qiáng)合作融合多模態(tài)大模型理解能力應(yīng)用場(chǎng)景計(jì)算性能資料來(lái)源：IDC《2022中國(guó)大模型發(fā)展白皮書(shū)》、浙商證券研究所AI邁入大模型時(shí)代，參數(shù)量過(guò)千億01182018GoogleBERT-base（1.1）GoogleBERT-Large（3.4）OpenAiGPT-1（1.2）百度ERINE1.0FacebookXLM百度ERINE2.0FacebookBARTGoogleALBERT（0.31）OpenAiGPT-2（15.8）FacebookRobertTa（3.35）NIVIDIAMegatron-LM（83）GoogleT5（110）GoogleELECTRA（1.02）MicrasoftTruning-NLG（172）FacebookM2m-100（150）GoogleBigBird（1750）OpenAiGPT-3（1758）EleutherAIGPT-j（60）GLM（1300）百度ERINE3.0（100）GoogleFLAN（1370）NaverCorpHyperCLOVA（2040）GoogleGopher（2800）百度ERNIE3.0Titan（2600）OpenAiInstructGBT（13）MetaAIOPT（1750）EleutherAIGPT-NeoX（200）GoogleLaMDA（2800）BigScienceBLOOM（1760）GooglePaLM（5400）微軟和英偉達(dá)Megatron-TuringNLG（5300）2019202020212022資料來(lái)源：真格基金、浙商證券研究所，單位：億GPT-1GPT-2GPT-3GPT-4推出年份201820192020-Transformer層數(shù)124896-參數(shù)量1.2億15.8億1750億100萬(wàn)億？預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB-國(guó)內(nèi)外大廠(chǎng)相繼布局千億級(jí)AI大模型0119TransformerGPT-3InstructGPT/GPT-3.5ChatGPT企業(yè)大模型參數(shù)算力數(shù)據(jù)量模型類(lèi)型商湯科技書(shū)生100億商湯AIDC，峰值算力3740Petaflops—計(jì)算機(jī)視覺(jué)模型清華大學(xué)等八卦爐174萬(wàn)億“海洋之光”超級(jí)計(jì)算機(jī)（國(guó)產(chǎn)超算）中文多模態(tài)數(shù)據(jù)集M6-Corpus多模態(tài)預(yù)訓(xùn)練模型阿里M6通義10萬(wàn)億512塊GPU1.9TB圖像和292GB文本多模態(tài)預(yù)訓(xùn)練模型騰訊混元萬(wàn)億級(jí)騰訊太極機(jī)器學(xué)習(xí)平臺(tái)五大跨模態(tài)視頻檢索數(shù)據(jù)集多模態(tài)預(yù)訓(xùn)練模型微軟&英偉達(dá)Megatron-Turing5300億280塊GPU3390億條文本數(shù)據(jù)NLP大模型百度&鵬城實(shí)驗(yàn)室ERNIW

3.0

Titan2600億鵬城云腦II算力集群（2048塊CPU）和百度飛槳深度學(xué)習(xí)平臺(tái)4TB語(yǔ)料庫(kù)NLP大模型浪潮信息源1.02457億2128張GPU

5000GB中文數(shù)據(jù)集NLP大模型OpenAIGPT3.51750億上萬(wàn)塊V100

GPU組成的高帶寬集群算力超萬(wàn)億單詞的人類(lèi)語(yǔ)言數(shù)據(jù)集NLP大模型華為云盤(pán)古千億2048塊GPU，鵬城云腦II和全場(chǎng)景AI計(jì)算框架MindSpore40TB訓(xùn)練數(shù)據(jù)多模態(tài)預(yù)訓(xùn)練模型中科院自動(dòng)化所紫東太初千億昇騰AI基礎(chǔ)軟硬件平臺(tái)萬(wàn)條小規(guī)模數(shù)據(jù)集圖、文、音三模態(tài)資料來(lái)源：商湯、騰訊、阿里，百度，華為云，OpenAI官網(wǎng)OpenAI以GPT為基石，深度布局各模態(tài)AI及各類(lèi)應(yīng)用0120TransformerGPT-3GPT-1GPT-2GPT-3Instruct

GPT論文年份2018201920202022Transformer層數(shù)124896—參數(shù)量1.2億15.8億1750億13億預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB—Whisper語(yǔ)音-文本模型DALL-E2文本-圖像模型ChatGPT類(lèi)別名稱(chēng)參數(shù)量基礎(chǔ)版本Davinci1750億Curie67億Babbage15億Ada12億代碼生成Code-cushman60億關(guān)聯(lián)分析Similarity-curie67億文本檢索Search-babbage-doc15億內(nèi)容篩選Content-filter1.07億GPT模型迭代多樣的模型調(diào)用接口來(lái)源：CSDN，電子工程世界，騰訊網(wǎng)，浙商證券研究所ChatGPT實(shí)現(xiàn)路徑：算力與框架支持，應(yīng)用百花齊放0121資料來(lái)源：CSDN、機(jī)器學(xué)習(xí)算法與自然語(yǔ)言處理、電子工程世界等、浙商證券研究所微軟云AzurePyTorchTransformerGPT-3InstructGPT/GPT-3.5ChatGPTOpenAI的獨(dú)家云提供商算力資源深度學(xué)習(xí)框架API迭代更穩(wěn)定易于使用模型Attention機(jī)制大模型參數(shù)少速度快效果好模型人類(lèi)反饋強(qiáng)化學(xué)習(xí)RLHF對(duì)話(huà)AI模型人類(lèi)反饋強(qiáng)化學(xué)習(xí)RLHF人工監(jiān)督微調(diào)連續(xù)多輪對(duì)話(huà)承認(rèn)自身錯(cuò)誤質(zhì)疑不正確的問(wèn)題承認(rèn)自身的無(wú)知Transfomer的Decoder分支1750億個(gè)參數(shù)小樣本學(xué)習(xí)能力無(wú)代碼編程對(duì)話(huà)類(lèi)搜索引擎小說(shuō)生成語(yǔ)音陪伴語(yǔ)音工作助手對(duì)話(huà)虛擬人機(jī)器翻譯人工智能客服基于InstructGPT形成ChatGPT對(duì)話(huà)系統(tǒng)0322ChatGPTInstructGPTGPT-3代碼訓(xùn)練指令微調(diào)（instructiontuning）

基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF）

參數(shù)數(shù)量降低了100倍（1750億->13億）增加Chat屬性網(wǎng)頁(yè)公眾測(cè)試入口略微降低參數(shù)量資料來(lái)源：CSDN、電子工程世界、新智元、浙商證券研究所搜索引擎Bing集成ChatGPT，即時(shí)生成個(gè)性化規(guī)劃與建議新版Bing搜索引擎四大技術(shù)突破將ChatGPT整合進(jìn)Bing和Edge搜索模型搜索性能答案相關(guān)用戶(hù)體驗(yàn)Bing在OpenAI的下一代LLM模型上運(yùn)行，該模型專(zhuān)門(mén)為搜索定制，比ChatGPT更強(qiáng)大普羅米修斯（Prometheus）模型：可以提高搜索結(jié)果相關(guān)性，并對(duì)答案進(jìn)行注釋搜索與聊天相結(jié)合，除了傳統(tǒng)的搜索結(jié)果外，還提供了聊天界面通過(guò)將人工智能模型應(yīng)用于核心搜索算法，改進(jìn)了核心搜索指數(shù)，使得搜索結(jié)果相關(guān)性實(shí)現(xiàn)飛躍資料來(lái)源：微軟、TheVerge，浙商證券研究所新增聊天窗口傳統(tǒng)信息搜索框

新版Bing功能展示能動(dòng)的提供解決方案：創(chuàng)建菜譜、制定旅行計(jì)劃、詩(shī)歌創(chuàng)作等0423資料來(lái)源：微軟科技公眾號(hào)、CSDN，浙商證券研究所0404AI賦能微軟Office：內(nèi)容處理智能化，提升工作效率

自動(dòng)創(chuàng)建簡(jiǎn)歷：使用LinkedIn等合作伙伴的個(gè)性化見(jiàn)解，優(yōu)化簡(jiǎn)歷布局簡(jiǎn)歷助手實(shí)時(shí)字幕實(shí)時(shí)提供字幕：針對(duì)聽(tīng)力受損或非母語(yǔ)人士，提供多種語(yǔ)言顯示字幕一鍵換膚自動(dòng)套取模板：OfficePLUS模板庫(kù)支持PPT一鍵換色和統(tǒng)一字體自動(dòng)制表自動(dòng)生成表格：AI讀取表格，并自動(dòng)復(fù)制到Excel中，對(duì)圖片拍照，就可自動(dòng)生成表格文本預(yù)測(cè)完整文本預(yù)測(cè)：輸入文字時(shí)，Word會(huì)給出完整句子的預(yù)測(cè)，個(gè)性化貼近使用者的寫(xiě)作風(fēng)格演示指導(dǎo)提高PPT演示技巧：幫助用戶(hù)對(duì)常見(jiàn)錯(cuò)誤提供即時(shí)反饋+語(yǔ)法糾正：MicrosoftEditor為寫(xiě)作提供建議，并提供拼寫(xiě)檢查和基礎(chǔ)的語(yǔ)法糾正服務(wù)語(yǔ)法糾正可視摘要可視化摘要：能自動(dòng)獲取到未注意到的數(shù)據(jù)點(diǎn)之間的可能相關(guān)性支持語(yǔ)音檢索：實(shí)現(xiàn)語(yǔ)音轉(zhuǎn)文字，并加入圖片文字識(shí)別功能語(yǔ)音檢索24資料來(lái)源：微軟科技公眾號(hào)、CSDN，浙商證券研究所0404AI賦能微軟Teams：提高會(huì)議效率，增強(qiáng)協(xié)作體驗(yàn)說(shuō)話(huà)人時(shí)間軸

自動(dòng)生成會(huì)議記錄智能回顧自動(dòng)生成會(huì)議記錄：并為參會(huì)人員提供個(gè)性化的提要，AI輸出個(gè)性化的時(shí)間線(xiàn)標(biāo)記同框場(chǎng)景增強(qiáng)協(xié)作體驗(yàn)：打造參與度更高的會(huì)議體驗(yàn)。專(zhuān)注面部表情、熟悉非語(yǔ)言提示，輕松查看講話(huà)者實(shí)時(shí)字幕實(shí)時(shí)翻譯：提供可讀文本供所有人查看。在多媒體演示中提供字幕，使用實(shí)時(shí)翻譯字幕幫助減少會(huì)議中的語(yǔ)言障礙智能揚(yáng)聲器清晰易懂的對(duì)話(huà)體驗(yàn)：通過(guò)揚(yáng)聲器，可以識(shí)別和區(qū)分會(huì)議室中多達(dá)10個(gè)人講話(huà)的聲音

新版Teams功能展示微軟Teams25資料來(lái)源：微軟官網(wǎng)，浙商證券研究所0404AI賦能微軟VivaSales：自動(dòng)生成郵件，提升溝通效率集成前:銷(xiāo)售人員需在CRM系統(tǒng)里查閱相關(guān)的報(bào)價(jià)信息，再花費(fèi)數(shù)十分鐘撰寫(xiě)一份簡(jiǎn)單的回復(fù)郵件自動(dòng)寫(xiě)稿：AI程序從客戶(hù)記錄和Office電子郵件軟件中提取數(shù)據(jù)，將這些信息用于生成個(gè)性化文本、定價(jià)細(xì)節(jié)和促銷(xiāo)信息的電子郵件集成OpenAIGPT3.5技術(shù)自動(dòng)生成回復(fù)郵件提出報(bào)價(jià)+VivaSale功能展示—郵件智能編輯26Google在各模態(tài)領(lǐng)域布局AI模型，并提供多項(xiàng)功能服務(wù)模塊0127GPT-3ChatGPTFlamingo圖像-文本LOLNerf

2D圖像-3D圖像Parti文本-圖像Phenaki文本-視頻類(lèi)別模型功能計(jì)算機(jī)視覺(jué)Pix2Seq用于對(duì)象檢測(cè)的語(yǔ)言建模框架多模式模型DeViSE視覺(jué)語(yǔ)義嵌入LiT將語(yǔ)義理解添加到圖像模型PaLI多語(yǔ)種語(yǔ)言圖像學(xué)習(xí)FindIt基于自然語(yǔ)言的通用對(duì)象定位VDTTS視覺(jué)驅(qū)動(dòng)的文本到語(yǔ)音音頻生成AudioLM基于語(yǔ)言建模的音頻生成官方開(kāi)源多個(gè)多模態(tài)模型來(lái)源：CSDN，新浪，Google

Parti，知乎，浙商證券研究所國(guó)內(nèi)AI大模型，大廠(chǎng)+高校將主導(dǎo)未來(lái)0128大模型的主要玩家有科技大廠(chǎng)、高校和新型研發(fā)機(jī)構(gòu)，形成了四種合作模式（1）大廠(chǎng)獨(dú)立完成（2）機(jī)構(gòu)+高校（3）大廠(chǎng)+高校（4）大廠(chǎng)+機(jī)構(gòu)+高校。大廠(chǎng)通過(guò)資金優(yōu)勢(shì)、數(shù)據(jù)優(yōu)勢(shì)往往可以獨(dú)立完成或主導(dǎo)合作。機(jī)構(gòu)憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)和政府的資金支持，可以主導(dǎo)合作。而高校憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)提供科研能力支持。過(guò)去來(lái)看，由于大廠(chǎng)受到商業(yè)任務(wù)限制，資金和數(shù)據(jù)優(yōu)勢(shì)未能充分發(fā)揮。而未來(lái)，在ChatGPT之后，經(jīng)過(guò)驗(yàn)證的模式鋪平商業(yè)決策之路，將逐步成為未來(lái)大模型的主導(dǎo)力量?？蒲心芰?yōu)勢(shì)無(wú)商業(yè)任務(wù)資金優(yōu)勢(shì)科研能力優(yōu)勢(shì)無(wú)商業(yè)任務(wù)資金優(yōu)勢(shì)數(shù)據(jù)優(yōu)勢(shì)高校大廠(chǎng)新型研發(fā)機(jī)構(gòu)資金優(yōu)勢(shì)：算力、數(shù)據(jù)數(shù)據(jù)優(yōu)勢(shì)：數(shù)據(jù)科研能力：模型數(shù)據(jù)來(lái)源：CSDN、電子工程世界、新智元，浙商證券研究所添加標(biāo)題百度：文心大模型0229坐擁大模型+訓(xùn)練框架+數(shù)據(jù)+社區(qū)多重優(yōu)勢(shì)，百度有望成為AIGC領(lǐng)域率先實(shí)現(xiàn)商業(yè)化的領(lǐng)頭羊。自2019年發(fā)布ERNIE1.0，百度持續(xù)投入大模型的技術(shù)創(chuàng)新與產(chǎn)業(yè)應(yīng)用，布局了NLP、CV、跨模態(tài)等大模型，率先提出行業(yè)大模型，成了支撐大模型產(chǎn)業(yè)落地的關(guān)鍵路徑，構(gòu)建文心大模型層、工具平臺(tái)層、產(chǎn)品與社區(qū)三層體系。根據(jù)IDC的大模型評(píng)分，在產(chǎn)品能力、生態(tài)能力和應(yīng)用能力三個(gè)維度上百度均位于第一梯隊(duì)，且在生態(tài)維度遠(yuǎn)高于平均水平，這得益于百度的大模型框架“飛槳”、旸谷社區(qū)。百度將于2023年3月發(fā)布“文心一言”，有望成為首款中文生成式對(duì)話(huà)大模型產(chǎn)品。

文心大模型與產(chǎn)品框架文心大模型評(píng)分?jǐn)?shù)據(jù)來(lái)源：文心官網(wǎng)，IDC，浙商證券研究所。產(chǎn)品與社區(qū)文心一格AI藝術(shù)和創(chuàng)意輔助平臺(tái)文心百中大模型驅(qū)動(dòng)的產(chǎn)業(yè)級(jí)搜索系統(tǒng)旸谷社區(qū)大模型創(chuàng)意與探索社區(qū)工具與平臺(tái)EasyDL-大模型零門(mén)檻AI開(kāi)發(fā)平臺(tái)BML-大模型全功能AI開(kāi)發(fā)平臺(tái)大模型API文心大模型大模型套件數(shù)據(jù)標(biāo)注與處理大模型精調(diào)大模型壓縮高性能部署場(chǎng)景化工具行業(yè)大模型國(guó)網(wǎng)-百度·文心浦發(fā)-百度·文心航天-百度·文心人民網(wǎng)-百度·文心冰城-百度·文心深燃-百度·文心吉利-百度·文心泰康-百度·文心TCL-百度·文心辭海-百度·文心電影頻道-百度·文心行業(yè)大模型醫(yī)療ERNIE-Health行業(yè)大模型行業(yè)大模型金融ERNIE-Finance對(duì)話(huà)PLATO搜索ERNIE-Search信息抽取ERNIE-UIE跨語(yǔ)言ERNIE-M代碼ERNIE-Code圖網(wǎng)絡(luò)ERNIE-Sage語(yǔ)言理解與生成ERNIE3.0TinyERNIE3.0鵬城-百度·文心ERNIE3.0Zeus商品圖文搜索表征學(xué)習(xí)VIMER-UMSOCR圖像表征學(xué)習(xí)VIMER-StrucText多任務(wù)視覺(jué)表征學(xué)習(xí)VIMER-UFO視覺(jué)處理多任務(wù)學(xué)習(xí)VIMER-TCIR自監(jiān)督視覺(jué)表征學(xué)習(xí)VIMER-CAE文圖生成ERNIE-ViLG文檔智能ERNIE-Layout視覺(jué)-語(yǔ)言ERNIE-ViL語(yǔ)音-語(yǔ)言ERNIE-ViL地理-語(yǔ)言ERNIE-GeoL生物計(jì)算大模型化合物表征學(xué)習(xí)HelixGEM蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)HelixFold單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)HelixFold-Single基于BERT衍生百度文心大模型，料將推出對(duì)話(huà)系統(tǒng)文心一言0230注：ERNIE（EnhancedlanguageRepresentationwithInformativeEntities）ERNIE1.0架構(gòu)：改進(jìn)了MLM任務(wù)ERNIE2.0：+持續(xù)學(xué)習(xí)框架ERNIE3.0、3.0TITAN：+參數(shù)量ERNIE版本1.02.03.03.0TITAN推出年份2019202020212022參數(shù)量參考bertbase(1.1億)參考bertbase(1.1億)，bertlarge（3.4億）100億2608億預(yù)訓(xùn)練數(shù)據(jù)量Wiki，baike，news，tiebawiki，news，dialogue，IR，discourserelation4TB-數(shù)據(jù)來(lái)源：CSDN，電子工程世界，浙商證券研究所。阿里巴巴：通義大模型訓(xùn)練策略和框架上領(lǐng)先行業(yè)0231阿里巴巴率先構(gòu)建大模型統(tǒng)一底座、通過(guò)訓(xùn)練策略大幅提升稀疏參數(shù)大模型框架訓(xùn)練效率，在大模型框架上具備領(lǐng)先地位。阿里巴巴2021年3月發(fā)布M6，成為國(guó)內(nèi)最早提出千億模型的廠(chǎng)商，同年發(fā)布十萬(wàn)億模型M6-10T，通過(guò)expertprototyping訓(xùn)練策略成功實(shí)施MoE稀疏參數(shù)模型，使模型達(dá)到10萬(wàn)億參數(shù)級(jí)別。2022年9月發(fā)布通義大模型，通過(guò)統(tǒng)一學(xué)習(xí)范式M6-OFA和模塊化的設(shè)計(jì)，提升大模型跨模態(tài)能力和效率。2023年報(bào)電話(huà)會(huì)上，集團(tuán)CEO張勇表示針對(duì)生成式AI趨勢(shì)，將全力構(gòu)建預(yù)訓(xùn)練大模型。阿里通義大模型架構(gòu)Dense模型與MoE模型添加標(biāo)題FFNSAFFN

1FFN

2FFN

3SA路由Dense模型MoE模型數(shù)據(jù)來(lái)源：阿里官網(wǎng)，浙商證券研究所。華為：盤(pán)古大模型聚焦實(shí)業(yè)0232華為盤(pán)古大模型深耕實(shí)業(yè)，擁有更廣泛的行業(yè)大模型，具備更強(qiáng)的落地能力?；贛odelArtsAI工作平臺(tái)的盤(pán)古大模型2021年4月發(fā)布，目前已應(yīng)用于10+行業(yè)的100+應(yīng)用場(chǎng)景。根據(jù)信通院模型開(kāi)發(fā)和模型能力兩方面測(cè)評(píng)，均為優(yōu)異水平。盤(pán)古預(yù)訓(xùn)練大模型架構(gòu)及Offering數(shù)據(jù)來(lái)源：36氪，浙商證券研究所。盤(pán)古大模型（根技術(shù)：架構(gòu)，泛化性，精度，訓(xùn)練成本）盤(pán)古行業(yè)大模型（行業(yè)know-how：行業(yè)數(shù)據(jù)預(yù)訓(xùn)練，無(wú)監(jiān)督訓(xùn)練）煤礦小語(yǔ)種/英語(yǔ)金融風(fēng)控時(shí)尚氣象生產(chǎn)線(xiàn)質(zhì)檢數(shù)字人大腦銷(xiāo)量預(yù)測(cè)電商搜索海浪電力巡檢司法工業(yè)耗能/參數(shù)預(yù)測(cè)圖文搜索智慧育種視覺(jué)大模型NLP大模型圖網(wǎng)絡(luò)大模型多模態(tài)大模型科學(xué)計(jì)算大模型皮帶質(zhì)檢PCBA缺陷識(shí)別電力缺陷識(shí)別案件關(guān)鍵詞抽取電商情感分析多輪對(duì)話(huà)企業(yè)財(cái)務(wù)異常檢測(cè)空氣質(zhì)量檢測(cè)工業(yè)參數(shù)檢測(cè)時(shí)尚版權(quán)保護(hù)時(shí)尚輔助設(shè)計(jì)圖文搜索短缺天氣預(yù)報(bào)近海養(yǎng)殖，臺(tái)風(fēng)預(yù)測(cè)智慧育種ModelArtsStudioWorkflow2.0PRO工作流并行推理框架預(yù)處理算法L2細(xì)分場(chǎng)景模型L2行業(yè)大模型L0基礎(chǔ)大模型合作伙伴交付盤(pán)古工作流（快速交付：工作流，增量學(xué)習(xí)，小樣本標(biāo)注）L0→L1行業(yè)大模型定制費(fèi)L0基礎(chǔ)大模型使用授權(quán)費(fèi)工作流訂閱及基于下游任務(wù)微調(diào)大企業(yè)或政府方案（混合云或公有云）中國(guó)企業(yè)方案（云邊協(xié)同）Offering1（千萬(wàn)級(jí)）Offering2（百萬(wàn)級(jí)）數(shù)據(jù)集管理器圖像標(biāo)注工具標(biāo)注任務(wù)特征存儲(chǔ)自定義算法預(yù)置工作流AI應(yīng)用評(píng)估推理數(shù)據(jù)采集其他數(shù)據(jù)來(lái)源渠道本地訓(xùn)練ModelArts平臺(tái)工作流33多模態(tài)AI發(fā)展AI模型：必將從單模態(tài)走向多模態(tài)，實(shí)現(xiàn)復(fù)雜場(chǎng)景下的智能決策0134單模態(tài)多模態(tài)跨模態(tài)多模態(tài)神經(jīng)搜索Jina

AI光譜AI實(shí)現(xiàn)模態(tài)融合多模態(tài)AI數(shù)據(jù)：將多模態(tài)數(shù)據(jù)融合處理模型：更多融合人類(lèi)腦神經(jīng)機(jī)制，提升性能功能：實(shí)現(xiàn)智能決策、跨模態(tài)任務(wù)、運(yùn)動(dòng)控制、智能預(yù)測(cè)反饋……來(lái)源：CSDN，IBM

Research，浙商證券研究所國(guó)內(nèi)外大廠(chǎng)持續(xù)布局跨文本、圖像、音視頻各模態(tài)的AI模型0135TransformerGPT-3InstructGPT/GPT-3.5ChatGPT時(shí)間提出者模型名稱(chēng)功能意義2021年1月OpenAICLIP-DALL·E以文搜圖，按照文字描述生成對(duì)應(yīng)圖片CLIP的zero-shotlearning技術(shù)在各種數(shù)據(jù)集上的表現(xiàn)都很好2021年5月GoogleMUM多功能統(tǒng)一模型可從75種不同語(yǔ)言中挖掘出的上下文信息對(duì)用戶(hù)搜索結(jié)果進(jìn)行優(yōu)先排序2021年9月百度DocVQA跨模態(tài)文檔理解登頂DocVQA榜首2021年11月NVIDAGauGAN2根據(jù)輸入的文本/簡(jiǎn)筆畫(huà)生成對(duì)應(yīng)逼真的風(fēng)景圖、輸入圖像并編輯部分內(nèi)容可用文字和圖畫(huà)混合創(chuàng)造逼真的藝術(shù)2021年11月Microsoft

&北大NvWa女?huà)z實(shí)現(xiàn)文本/草圖轉(zhuǎn)圖像、圖像補(bǔ)全、文字指示修改圖像視頻、文字/草圖轉(zhuǎn)視頻、視頻預(yù)測(cè)等在8種圖像和視頻處理的視覺(jué)任務(wù)上具有出色的合成效果2021年12月NVIDAPoE

GAN文字描述、圖像分割、草圖都可以轉(zhuǎn)化為圖片，還可同時(shí)接受以上幾種輸入模態(tài)的任意兩種組合可以在單模態(tài)、多模態(tài)輸入甚至無(wú)輸入時(shí)生成圖片。2022年1月百度ERNIE-ViLG圖文雙向生成刷新文本生成圖像、圖像描述等多個(gè)跨模態(tài)生成任務(wù)最好效果2022年1月MetaAu-HuBERT通過(guò)輸入語(yǔ)音音頻和唇語(yǔ)視頻內(nèi)容，輸出對(duì)應(yīng)文本在嘈雜的環(huán)境下，通過(guò)讀唇可以將語(yǔ)言識(shí)別的準(zhǔn)確性最高提升6倍。2022年7月MetaMake-a-Scene文本生成圖像，并允許文本輸入進(jìn)行有針對(duì)性創(chuàng)作用戶(hù)獲得更豐富的個(gè)人理念定制，從而生成更加具有針對(duì)性的畫(huà)作2022年9月OpenAIWhisper語(yǔ)音生成文本，支持語(yǔ)音轉(zhuǎn)錄和翻譯兩項(xiàng)功能并接受各種語(yǔ)音格式

多模態(tài)AI模型有望進(jìn)入商用時(shí)代2022年11月MetaMake-a-Video文本、圖片生成短視頻，根據(jù)輸入的自然語(yǔ)言文本生成一段5秒鐘左右的短視頻。AIGC進(jìn)入視頻創(chuàng)作領(lǐng)域2022年11月NVIDAMagic3D根據(jù)文字描述生成3D模型，可將低分辨率生成的粗略模型優(yōu)化為高分辨率的精細(xì)模型3D建模效率更高，且成本更低來(lái)源：51CTO，浙商證券研究所多模態(tài)AI以融合為核心，基于5大技術(shù)環(huán)節(jié)實(shí)現(xiàn)復(fù)雜問(wèn)題解決0136淘寶多模態(tài)特征融合方案表征（Representation）翻譯（Translation）對(duì)齊（Alignment）融合（Fusion）聯(lián)合學(xué)習(xí)（Co-learning）目標(biāo)實(shí)現(xiàn)模態(tài)互補(bǔ)剔除模態(tài)冗余模態(tài)映射模態(tài)子成分關(guān)聯(lián)分析信息整合模態(tài)知識(shí)填充技術(shù)路線(xiàn)聯(lián)合表示Example-based無(wú)監(jiān)督方法早期/晚期融合Parrallel

learning協(xié)同表示Decoder-Encoder監(jiān)督方法多核學(xué)習(xí)Zero

Sh