AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期：一份ChatGPT調(diào)研報(bào)告

AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期：一份ChatGPT調(diào)研報(bào)告一、AIGC行業(yè)介紹及發(fā)展趨勢1.AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期AIGC（AI-GeneratedContent，人工智能生產(chǎn)內(nèi)容）最基本的能力是生成內(nèi)容，包括文本、圖像、視頻、代碼、3D內(nèi)容或者幾種媒介類型轉(zhuǎn)換組合，形成的“多模態(tài)內(nèi)容”。生成算法、預(yù)訓(xùn)練模型、多模態(tài)等AI技術(shù)累積融合，以及深度模型方面的技術(shù)創(chuàng)新，共同催生了AIGC的大爆發(fā)。AIGC是相對于過去的PGC、UGC、AIUGC而提出的。過去的傳統(tǒng)AI偏向于分析能力，基于已有內(nèi)容；現(xiàn)在的AI基于訓(xùn)練數(shù)據(jù)和生成算法模型，可以自主生成各種形式的內(nèi)容和數(shù)據(jù)。2022年，AIGC（AI-GeneratedContent，人工智能生成內(nèi)容）爆火出圈。2022年10月，StableDiffusion、DALL-E2、Midjourney等可以生成圖片的AIGC模型風(fēng)行一時(shí)。2022年12月，OpenAI發(fā)布能夠回答問題、生成代碼、構(gòu)思劇本和小說的聊天機(jī)器人模型ChatGPT，將人機(jī)對話推向新高度。目前，從提供預(yù)訓(xùn)練模型的基礎(chǔ)設(shè)施層公司到專注打造AIGC產(chǎn)品和應(yīng)用工具的應(yīng)用層公司，圍繞AIGC生長出繁榮的生態(tài)，技術(shù)創(chuàng)新引發(fā)的應(yīng)用創(chuàng)新浪潮迭起，中國有望憑借領(lǐng)先的AIGC技術(shù)賦能各行各業(yè)。2.AIGC市場規(guī)模到2025有望達(dá)500億元在傳統(tǒng)PGC和UGC模式下，內(nèi)容生成領(lǐng)域存在產(chǎn)能約束和質(zhì)量約束，PGC受制于人力資源的供給側(cè)限制，UGC雖然降低了PGC的生產(chǎn)門檻，但因用戶創(chuàng)作能力和工具功能的局限存在質(zhì)量約束。AIGC突破內(nèi)容生成產(chǎn)能和質(zhì)量約束，應(yīng)用廣泛，市場規(guī)模將會大幅擴(kuò)大。根據(jù)《中國AI數(shù)字商業(yè)產(chǎn)業(yè)展望2021-2025》報(bào)告預(yù)測AI數(shù)字商業(yè)內(nèi)容的市場規(guī)模將從2020年的40億元，增加到2025年的495億元。3.AIGC產(chǎn)業(yè)生態(tài)體系呈現(xiàn)上中下三層架構(gòu)目前AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn)，呈現(xiàn)上中下三層架構(gòu)，第一層為上游基礎(chǔ)層，是由預(yù)訓(xùn)練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。第二層為中間層，即垂直化、場景化、個(gè)性化的模型和應(yīng)用工具。在預(yù)訓(xùn)練的大模型基礎(chǔ)上快速抽取生成場景化、定制化、個(gè)性化的小模型，實(shí)現(xiàn)在不同行業(yè)、垂直領(lǐng)域、功能場景的工業(yè)流水線式部署。第三層為應(yīng)用層，即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務(wù)。4.AIGC落地場景：AI繪畫、AI建模、聊天機(jī)器人ChatGPT等2022年被稱為AIGC元年，多個(gè)AI領(lǐng)域迅速發(fā)展，繪畫、音樂、新聞創(chuàng)作、主播等諸多行業(yè)被重新定義。目前AIGC正在從簡單的降本增效（以生成金融/體育新聞為代表）向創(chuàng)造額外價(jià)值（以提供繪畫創(chuàng)作素材為代表）轉(zhuǎn)移，文本-圖像-視頻的跨模態(tài)/多模態(tài)內(nèi)容生成正在進(jìn)展中。已有的落地場景包括AI繪畫、AI建模、聊天機(jī)器人ChatGPT等。二、ChatGPT介紹及發(fā)展趨勢1.文本生成式AI：聊天機(jī)器人ChatGPTOpenAI：由馬斯克、美國創(chuàng)業(yè)孵化器YCombinator總裁阿爾特曼、全球在線支付平臺PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨于2015年12月創(chuàng)立，主要用于制造“通用”機(jī)器人和使用自然語言的聊天機(jī)器。2020年5月，OpenAI發(fā)布了以Transformer為基礎(chǔ)的NLP（自然語言生成）預(yù)訓(xùn)練模型GPT-3，此前已經(jīng)歷過GPT-1、GPT-2。2022年11月30日，OpenAI公司發(fā)布聊天機(jī)器人模型ChatGPT，ChatGPT對GPT-3模型進(jìn)行微調(diào)，并引入RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）方法。只需向ChatGPT文字提出需求，即可讓其完成回答問題、書寫代碼、創(chuàng)作文本等指令，發(fā)布一周內(nèi)用戶量超過百萬。ChatGPT的連續(xù)對話能力、強(qiáng)大的理解力、回答的準(zhǔn)確度和創(chuàng)造性使其迅速走紅。WorldOfEngineering數(shù)據(jù)顯示，ChatGPT發(fā)布短短兩個(gè)月時(shí)間，用戶數(shù)便突破1億。具體而言，ChatGPT能理解并生成文字，屬于AIGC（AI-GeneratedContent，人工智能生產(chǎn)內(nèi)容）技術(shù)應(yīng)用中的文本生成模態(tài)應(yīng)用模型。2.ChatGPT可能改變搜索引擎使用方式ChatGPT屬于AIGC的范疇，能夠回答連續(xù)性的問題、質(zhì)疑不正確的假設(shè)，甚至拒絕不合理的要求，大幅提高了AI在人機(jī)對話時(shí)的準(zhǔn)確度和可控性，將有望改變?nèi)祟愂褂盟阉饕娴姆绞?。OpenAI的CEO稱AIGC的最終目標(biāo)是做一個(gè)類似于新時(shí)代的搜索引擎。目前ChatGPT展示出來的內(nèi)容輸出質(zhì)量和內(nèi)容覆蓋維度，已經(jīng)可以直面“搜索引擎”與“問答社區(qū)”。外媒TheInformation報(bào)道顯示，微軟可能在2023年3月之前將ChatGPT引入自家的搜索引擎Bing，用人工智能來回答一些搜索查詢，此舉或?qū)⒏淖兯阉饕娴倪\(yùn)行模式，革新性地提升搜索引擎效率。StatCounter數(shù)據(jù)2020-2022谷歌全球市場份額超90%，ChatGPT出現(xiàn)將挑戰(zhàn)谷歌搜索引擎的霸主地位。3.ChatGPT已能覆蓋較多能力域由于ChatGPT包含了更多主題的數(shù)據(jù)，能夠處理更多小眾主題。ChatGPT能力范圍可以覆蓋回答問題、撰寫文章、文本摘要、語言翻譯和生成計(jì)算機(jī)代碼等任務(wù)。4.ChatGPT具備諸多先進(jìn)性特征chatGPT嵌入了人類反饋強(qiáng)化學(xué)習(xí)以及人工監(jiān)督微調(diào)，因而具備了理解上下文、連貫性等諸多先進(jìn)特征，解鎖了海量應(yīng)用場景。當(dāng)前，ChatGPT所利用的數(shù)據(jù)集只截止到2021年。在對話中，ChatGPT會主動記憶先前的對話內(nèi)容信息(上下文理解)，用來輔助假設(shè)性的問題的回復(fù)，因而ChatGPT也可實(shí)現(xiàn)連續(xù)對話，提升了交互模式下的用戶體驗(yàn)。同時(shí)，ChatGPT也會屏蔽敏感信息，對于不能回答的內(nèi)容也能給予相關(guān)建議。5.ChatGPT商業(yè)化進(jìn)程加快微軟近日考慮宣布將向OpenAI進(jìn)行近百億美元的投資，此前微軟分別于2019年和2021年對OpenAI進(jìn)行投資，若此次投資完成微軟將擁有OpenAI49%的股權(quán)。微軟對單個(gè)100GPU的收費(fèi)是3美元/時(shí)，按照ChatGPT加載模型和文本的速度，生成一個(gè)單詞的費(fèi)用約為0.0003美元；而ChatGPT的回復(fù)通常至少有30個(gè)單詞，因此ChatGPT每回復(fù)一次，至少花OpenAI1美分。微軟既能提供錢，又能提供算力。2023年1月，ChatGPT的活躍用戶數(shù)或已達(dá)1億，可能是史上增長最快的消費(fèi)者應(yīng)用。因訪問量過大，OpenAI對ChatGPT進(jìn)行了大規(guī)模限流，包括限制每小時(shí)的提問數(shù)量，以及高峰時(shí)段排隊(duì)等舉措。OpenAI于2023年2月正式推出ChatGPTPlus版本(率先對美國地區(qū)用戶開放)，收費(fèi)20美元/月，Plus版ChatGPT全天可用，無需排隊(duì)。6.國內(nèi)外科技巨頭積極布局生成式AI，部分公司已有成型產(chǎn)品在ChatGPT發(fā)布后，谷歌CEO在公司內(nèi)部發(fā)布了“紅色警報(bào)”(CodeRed)，敦促團(tuán)隊(duì)解決ChatGPT對公司搜索引擎業(yè)務(wù)構(gòu)成的威脅，同時(shí)批準(zhǔn)了在谷歌搜索引擎中加入AI聊天機(jī)器人的計(jì)劃。2月4日，谷歌注資3億美元投資ChatGPT競品——Anthropic，谷歌將獲得約10%的股份，Anthropic計(jì)劃將次輪資金用于購買谷歌云計(jì)算部門的計(jì)算資源；Anthropic開發(fā)了一款名為Claude的智能聊天機(jī)器人，據(jù)稱可與ChatGPT相媲美（仍未發(fā)布）Anthropic和OpenAI淵源頗深，其聯(lián)合創(chuàng)始人曾擔(dān)任OpenAI研究副總裁。微軟將ChatGPT視為新一代技術(shù)革命，將ChatGPT整合進(jìn)Bing搜索引擎、Office全家桶、Azure云服務(wù)、Teams程序等產(chǎn)品中，微軟近期宣布推出視頻會議及遠(yuǎn)程協(xié)作平臺的高級付費(fèi)版MicrosoftTeamsPremium，訂閱者可享用OpenAIGPT提供支持的大型語言模型技術(shù)，用AI自動生成會議筆記，此舉或?qū)oom、谷歌會議等平臺形成巨大沖擊。百度：1月10日，百度宣布將升級百度搜索的“生成式搜索”能力，智能解答用戶的搜索提問；2月7日，百度宣布將在3月份完成其ChatGPT產(chǎn)品的內(nèi)測，面向公眾開放，該項(xiàng)目名字為文心一言（ERNIEBot），百度指出，生成式AI和搜索引擎是互補(bǔ)關(guān)系而不是替代；據(jù)路透社報(bào)道，百度計(jì)劃于

3月將類似ChatGPT的AI對話服務(wù)作為獨(dú)立應(yīng)用推出，之后再逐步將其合并到搜索引擎中。騰訊：2月3日，騰訊公布一項(xiàng)人機(jī)對話專利，能夠?qū)崿F(xiàn)機(jī)器與用戶之間自然且順暢的溝通，廣告為主，支持廣告智能制作，以AIGC技術(shù)生成廣告文案和視頻，降低了制作成本，目前市場規(guī)?？焖僭鲩L，未來5年內(nèi)AIGC產(chǎn)生的圖片的占比預(yù)計(jì)會達(dá)到10-30%前期可作為UGC和PGC的輔助，幫助廣告主設(shè)計(jì)文案，到后期就是AI技術(shù)整體的發(fā)展，后期可能是有望代替人工的工作。字節(jié)：已經(jīng)開始布局，主要是AI+內(nèi)容，比如自動生成投稿和輔助寫作，在今日頭條上利用AIGC生產(chǎn)內(nèi)容，目前AIGC整體的生成質(zhì)量的內(nèi)容還是較好的，要好于普通的UGC，但和PGC相比還有所欠缺。抖音方面也有應(yīng)用，通過AI的模式來生成短視頻。阿里、京東等電商類平臺：在智能客服領(lǐng)域有布局，其次是AI+營銷，例如阿里巴巴，可以結(jié)合商品，自動生成高質(zhì)量文案描述商品，提高營銷效率。三、ChatGPT商業(yè)化1.ChatGPT試點(diǎn)訂閱計(jì)劃2023年2月2日，OpenAI發(fā)布ChatGPT試點(diǎn)訂閱計(jì)劃——ChatGPTPlus，每月20美元ChatGPTPlus訂閱者可獲得比免費(fèi)版本更穩(wěn)定、更快的服務(wù)，及嘗試新功能和優(yōu)化的優(yōu)先權(quán)。2.類人聊天機(jī)器人類人聊天機(jī)器是一種旨在模擬與用戶進(jìn)行類人對話的電腦程序。它們已被應(yīng)用于多個(gè)行業(yè)，包括客戶服務(wù)、電子商務(wù)和娛樂等。ChatGPT帶來的變革：此前的聊天機(jī)器人只能根據(jù)設(shè)定問題回復(fù)固定內(nèi)容，同chatGPT融合之后，將文本生成、圖像生成、多模態(tài)轉(zhuǎn)換技術(shù)融合起來，環(huán)境感知、理解能力在大幅增強(qiáng)，實(shí)現(xiàn)和人的形似到神似?；贑hatGPT的類人聊天機(jī)器人可以提供客戶服務(wù)、虛擬代理、內(nèi)容創(chuàng)意和文本生成、以及信息知識提供等服務(wù)。1）國外重點(diǎn)企業(yè)openAI：公司核心宗旨在于“實(shí)現(xiàn)安全的通用人工智能(AGI)”，目前推出的“ChatGPT類人聊天機(jī)器人”火爆全球，其公司在圖片生成和視頻生成的應(yīng)用上也有很深的造詣。Google：公司在AIGC領(lǐng)域布局很久，目前也有“bard”類人聊天機(jī)器人的誕生試用，在AIGC的多種技術(shù)領(lǐng)域也處于前列。2）國內(nèi)重點(diǎn)企業(yè)百度：是國內(nèi)布局AI賽道最早的公司之一，目前已宣布“文心一言”類人聊天機(jī)器人將很快進(jìn)入公測環(huán)節(jié)，圖片生成方面也有突破。小冰：從微軟獨(dú)立拆分出來的人工智能公司，推出的“小冰”機(jī)器人是目前全球范圍內(nèi)承載交互量最大的人工智能系統(tǒng)。3月9日消息，在批準(zhǔn)通過BlueMail應(yīng)用程序之后，蘋果近日再次批準(zhǔn)了一款適用于AppleWatch的ChatGPT應(yīng)用程序

watchGPT，用戶可以在AppleWatch上和ChatGPT聊天了。3.ChatGPT+傳媒：實(shí)現(xiàn)智能新聞寫作，提升新聞的時(shí)效性ChatGPT可以幫助新聞媒體工作者智能生成報(bào)道，將部分勞動性的采編工作自動化，更快、更準(zhǔn)、更智能地生成內(nèi)容。2014年3月，美國洛杉磯時(shí)報(bào)網(wǎng)站的機(jī)器人記者Quakebot，在洛杉磯地震后僅3分鐘，就寫出相關(guān)信息并進(jìn)行發(fā)布；美聯(lián)社使用的智能寫稿平臺Wordsmith可以每秒寫出2000篇報(bào)道；中國地震網(wǎng)的寫稿機(jī)器人在九寨溝地震發(fā)生后7秒內(nèi)就完成了相關(guān)信息的編發(fā)；第一財(cái)經(jīng)“DT稿王”一分鐘可寫出1680字。4.ChatGPT+影視：拓寬創(chuàng)作素材，提升作品質(zhì)量ChatGPT可以根據(jù)大眾的興趣身定制影視內(nèi)容，從而更有可能吸引大眾的注意力，獲得更好的收視率、票房和口碑。ChatGPT可以為劇本創(chuàng)作提供新思路，創(chuàng)作者可根據(jù)ChatGPT的生成內(nèi)容再進(jìn)行篩選和二次加工，從而激發(fā)創(chuàng)作者的靈感，開拓創(chuàng)作思路，縮短創(chuàng)作周期。ChatGPT有著降本增效的優(yōu)勢，可以有效幫助影視制作團(tuán)隊(duì)降低在內(nèi)容創(chuàng)作上的成本，提高內(nèi)容創(chuàng)作的效率，在更短的時(shí)間內(nèi)制作出更高質(zhì)量的影視內(nèi)容：2016年，紐約大學(xué)利用人工智能編寫劇本《Sunspring》，經(jīng)拍攝制作后入圍倫敦科幻電影48小時(shí)前十強(qiáng)；2020年，美國查普曼大學(xué)的學(xué)生利用OpenAI的GPT-3模型創(chuàng)作劇本并制作短片《律師》；國內(nèi)海馬輕帆科技公司推出的“小說轉(zhuǎn)劇本”智能寫作功能，服務(wù)了包括《你好，李煥英》《流浪地球》等爆款作品在內(nèi)的劇集劇本30000多集、電影/網(wǎng)絡(luò)電影劇本8000多部、網(wǎng)絡(luò)小說超過500萬部。5.ChatGPT+營銷：打造虛擬客服，賦能產(chǎn)品銷售ChatGPT虛擬客服為客戶提供24小時(shí)不間斷的產(chǎn)品推薦介紹以及在線服務(wù)能力，同時(shí)降低了商戶的營銷成本，促進(jìn)營銷業(yè)績快速增長。ChatGPT虛擬客服能快速了解客戶需求和痛點(diǎn)，拉近商戶與消費(fèi)人群的距離，塑造跟隨科技潮流、年輕化的品牌形象。ChatGPT虛擬客服比人工客服更穩(wěn)定可靠，在人工客服有限并且素質(zhì)不齊的情況下，虛擬客服展現(xiàn)的品牌形象和服務(wù)態(tài)度等由商戶掌控，比人工客服的可控性、安全性更強(qiáng)。2月10日，京東云宣布將推出產(chǎn)業(yè)版ChatGPT：ChatJD、ChatJD智能人機(jī)對話平臺，預(yù)計(jì)參數(shù)量達(dá)千億級，將率先落地在零售、金融等兩個(gè)領(lǐng)域。6.ChatGPT+娛樂：人機(jī)互動加強(qiáng)，激發(fā)用戶參與熱情ChatGPT可以成為線上的實(shí)時(shí)聊天對象，增加互動的趣味性和娛樂性。2月8日，悅商集團(tuán)也宣布將推出類ChatGPT技術(shù)的DEMO產(chǎn)品，在微信，支付寶，百度等小程序里應(yīng)用，進(jìn)一步完善用戶交互體驗(yàn)。并且依托支付寶、微信、百度等多平臺生態(tài)服務(wù)商的身份，悅商集團(tuán)可快速融合多家互聯(lián)網(wǎng)巨頭推出的類ChatGPT產(chǎn)品進(jìn)一步完善YCloud系統(tǒng)，為客戶打造最前端的技術(shù)服務(wù)。YCloud主要面向全球微商行業(yè)，致力于為高速增長的靈活就業(yè)人員提供數(shù)字化服務(wù)工具?？梢赃M(jìn)一步幫助客戶縮減人員成本，降本增效，實(shí)現(xiàn)用科技助力個(gè)體、實(shí)體經(jīng)濟(jì)發(fā)展的目標(biāo)。游戲：國內(nèi)《逆水寒》宣布首個(gè)游戲版ChatGPT，玩法加持，為游戲行業(yè)普及打下技術(shù)基礎(chǔ)。據(jù)國信證券研報(bào)梳理，目前完美世界、昆侖萬維、騰訊、網(wǎng)易、世紀(jì)華通、三七互娛、天娛數(shù)科、湯姆貓、愷英網(wǎng)絡(luò)、凱撒文化等公司均已布局游戲AI業(yè)務(wù)。7.ChatGPT+教育：賦予教育教材新活力，讓教育方式更個(gè)性化、更智能ChatGPT給教育工作者提供全新的教學(xué)工具，學(xué)生可以通過自主提問的方式快速查缺補(bǔ)漏，讓每個(gè)學(xué)生得到更個(gè)性化、更智能的教育。8.ChatGPT+金融：幫助金融機(jī)構(gòu)降本增效，讓金融服務(wù)更有溫度金融機(jī)構(gòu)可以通過ChatGPT實(shí)現(xiàn)金融資訊、金融產(chǎn)品介紹內(nèi)容的自動化生產(chǎn)，提升金融機(jī)構(gòu)內(nèi)容生產(chǎn)的效率。通過ChatGPT塑造虛擬理財(cái)顧問，讓金融服務(wù)更有溫度。9.ChatGPT+醫(yī)療：賦能醫(yī)療機(jī)構(gòu)診療全過程ChatGPT賦能優(yōu)化問診、治療、康復(fù)等多環(huán)節(jié)，快速了解患者的病情并給出較合理的及時(shí)反饋，通過人性化的方式第一時(shí)間撫慰患者，從而舒緩患者的情緒，加速其康復(fù)；同時(shí)，讓醫(yī)者有更多的時(shí)間和精力集中在關(guān)鍵患者的關(guān)鍵治療環(huán)節(jié)。2021年11月開始，九峰醫(yī)療在江西省11個(gè)地市上百個(gè)縣城的鄉(xiāng)鎮(zhèn)衛(wèi)生院部署了上千家AI工作站。該系統(tǒng)的AI培訓(xùn)模塊為基層放射科醫(yī)生提供教學(xué)數(shù)據(jù)（影像片、標(biāo)注、影像學(xué)征象、診斷建議）。10.ChatGPT+辦公：大幅提升辦公效率ChatPDF：上傳PDF文件然后通過問答形式讓它幫你檢索信息，相當(dāng)于AI幫你讀完了整個(gè)PDF文件，你想知道什么直接問它就行，中英文都能支持目前的免費(fèi)版最大可傳200頁的PDF，超過了就要用自己的OpenAIAPI了。平替版有Humata（humata.ai），功能相同，頁數(shù)上限是60，2款同時(shí)用可以交叉對比，避免錯(cuò)漏。ChatExcel：北大團(tuán)隊(duì)做的，和上面相似，只不過上傳的是Excel，然后可以通過自然語言下命令，對表格進(jìn)行任意調(diào)整，調(diào)用的是OpenAI專為表格處理做的API服務(wù)OpenAITabulate。美中不足的是這還只是一個(gè)demo，只支持1MB以內(nèi)、不超過10列的excel文件，也沒有收費(fèi)選項(xiàng)，局限性很大。Chat思維導(dǎo)圖：boardmixAI助手/s/A0verAqqSXDcd83Gt0xU_g/rain/a/20230224A06UPN00代碼開發(fā)：利用ChatGPT輔助開發(fā)代碼，提高開發(fā)效率，包括代碼補(bǔ)全、自然語言指令生成代碼、代碼翻譯、bug修復(fù)等。四、ChatGPT相關(guān)核心算法1.基于Transformer的預(yù)訓(xùn)練語言模型ChatGPT強(qiáng)大的基礎(chǔ)模型采用Transformer架構(gòu)，Transformer是一種基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型，可以高效并行地處理序列數(shù)據(jù)。原始的Transformer模型包含兩個(gè)關(guān)鍵組件：編碼器和解碼器。編碼器用于將輸入序列映射到一組中間表示，解碼器則將中間表示轉(zhuǎn)換為目標(biāo)序列。編碼器和解碼器都由多層的注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊組成。其中自注意力模塊可以學(xué)習(xí)序列中不同位置之間的依賴關(guān)系，即在處理每個(gè)位置的信息時(shí)，模型會考慮序列中其他所有位置上的信息，這種機(jī)制使得Transformer模型能夠有效地處理長距離依賴關(guān)系。在原始Transformer模型基礎(chǔ)上，相繼衍生出了三類預(yù)訓(xùn)練語言模型：編碼預(yù)訓(xùn)練語言模型、解碼預(yù)訓(xùn)練語言模型和編解碼預(yù)訓(xùn)練語言模型。2.編碼預(yù)訓(xùn)練語言模型這類模型在預(yù)訓(xùn)練過程中只利用原始Transformer模型中的編碼器。相應(yīng)的預(yù)訓(xùn)練任務(wù)通常選用掩碼語言建模任務(wù)（MaskedLanguageModeling），即掩碼?。ㄓ锰厥庾址鸞MASK]替換）輸入句子中一定比例的單詞后，要求模型根據(jù)上下文信息去預(yù)測被遮掩的單詞。其中有有代表性的工作包括BERT，ALBERT，RoBERTa等。BERT模型是最經(jīng)典的編碼預(yù)訓(xùn)練語言模型，其通過掩碼語言建模和下一句預(yù)測任務(wù)，對Transformer模型的參數(shù)進(jìn)行預(yù)訓(xùn)練。ALBERT是一個(gè)輕量化的BERT模型，作者通過分解詞向量矩陣和共享Transformer層參數(shù)來減少模型參數(shù)個(gè)數(shù)。RoBERTa相較于BERT模型，RoBERTa在預(yù)訓(xùn)練階段，采用了更多的語料以及動態(tài)掩碼機(jī)制（不同輪次同一樣本掩碼不同的單詞），去掉了下一句預(yù)測任務(wù)，同時(shí)采用了更大的批大小。3.解碼預(yù)訓(xùn)練語言模型GPT(GenerativePre-trainedTransformer)是由OpenAI提出的只有解碼器的預(yù)訓(xùn)練模型。相較于之前的模型，不再需要對于每個(gè)任務(wù)采取不同的模型架構(gòu)，而是用一個(gè)取得了優(yōu)異泛化能力的模型，去針對性地對下游任務(wù)進(jìn)行微調(diào)。包括GPT-1、GPT-2和GPT-3，上圖列舉了GPT若干模型的信息。GPT-1在文章“ImprovingLanguageUnderstandingbyGenerativePreTraining”中被提出。在GPT被提出之前，大多數(shù)深度學(xué)習(xí)方法都需要大量人工標(biāo)注的高質(zhì)量數(shù)據(jù)，但是標(biāo)注數(shù)據(jù)的代價(jià)是巨大的，這極大程度上限制了模型在各項(xiàng)任務(wù)性能的上限。如何利用容易獲取的大規(guī)模無標(biāo)注數(shù)據(jù)來為模型的訓(xùn)練提供指導(dǎo)成為GPT-1中需要解決的第一個(gè)問題。另外自然語言處理領(lǐng)域中有許多任務(wù)依賴于自然語言在隱含空間中的表征，不同任務(wù)對應(yīng)的表征很可能是不同的，這使得根據(jù)一種任務(wù)數(shù)據(jù)學(xué)習(xí)到的模型很難泛化到其他任務(wù)上。因此如何將從大規(guī)模無標(biāo)注數(shù)據(jù)上學(xué)習(xí)到的表征應(yīng)用到不同的下游任務(wù)成為GPT-1需要解決的第二個(gè)問題。GPT-1的結(jié)構(gòu)很簡單，由12層TransformerBlock（自注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊）疊加而成。針對第一個(gè)問題，GPT-1中使用了自左到右生成式的目標(biāo)函數(shù)對模型進(jìn)行預(yù)訓(xùn)練。這個(gè)目標(biāo)函數(shù)可以簡單理解為給定前i?1個(gè)token，對第i個(gè)token進(jìn)行預(yù)測。基于這樣的目標(biāo)函數(shù)，GPT-1就可以利用無標(biāo)注的自然語言數(shù)據(jù)進(jìn)行訓(xùn)練，學(xué)習(xí)到更深層次的語法信息與語義信息。針對第二個(gè)問題，在完成了無監(jiān)督的預(yù)訓(xùn)練之后，GPT-1接著使用了有標(biāo)注的數(shù)據(jù)進(jìn)行有監(jiān)督的微調(diào)使得模型能夠更好地適應(yīng)下游任務(wù)。給定輸入token序列x1,x2,…,xm與標(biāo)簽y的數(shù)據(jù)集，對模型的參數(shù)進(jìn)行再次訓(xùn)練調(diào)整，用到的優(yōu)化模型是在給定輸入序列時(shí)預(yù)測的標(biāo)簽最接近真實(shí)值。具體來說，GPT-1在大規(guī)模無標(biāo)注語料庫上預(yù)訓(xùn)練之后，再利用有標(biāo)注數(shù)據(jù)在特定的目標(biāo)任務(wù)上對模型參數(shù)進(jìn)行微調(diào)，實(shí)現(xiàn)了將預(yù)訓(xùn)練中獲得的知識遷移到下游任務(wù)。在GPT-1提出之前，自然語言處理領(lǐng)域常用的預(yù)訓(xùn)練方法是Word2Vec在此之后，GPT-1提出的兩步走的訓(xùn)練方法成為許多大型語言模型的訓(xùn)練范式。從這個(gè)角度來看，GPT-1和Word2Vec在具體下游任務(wù)中發(fā)揮的作用是類似的，通過無監(jiān)督的方法獲取自然語言的隱含表示，再將其遷移至其他目標(biāo)任務(wù)。但是從更高的層面來看，GPT-1與以往的詞向量表示方法是不同的，其數(shù)據(jù)量與數(shù)據(jù)規(guī)模的增大使得模型能夠?qū)W習(xí)到不同場景下的自然語言表示。圖2.1是GPT-1原文中的總覽圖，左側(cè)是GPT-1的架構(gòu)以及訓(xùn)練時(shí)的目標(biāo)函數(shù)；右側(cè)是對于不同任務(wù)上進(jìn)行微調(diào)時(shí)模型輸入與輸出的改變。與GPT-1中的通過預(yù)訓(xùn)練-微調(diào)范式來解決多個(gè)下游任務(wù)不同，GPT-2更加側(cè)重于Zero-shot設(shè)定下語言模型的能力。Zero-shot是指模型在下游任務(wù)中不進(jìn)行任何訓(xùn)練或微調(diào)，即模型不再根據(jù)下游任務(wù)的數(shù)據(jù)進(jìn)行參數(shù)上的優(yōu)化，而是根據(jù)給定的指令自行理解并完成任務(wù)。簡單來講，GPT-2并沒有對GPT-1的模型架構(gòu)進(jìn)行創(chuàng)新，而是在GPT-1的基礎(chǔ)上引入任務(wù)相關(guān)信息作為輸出預(yù)測的條件，將GPT-1中的條件概率p(output|input)變?yōu)閜(output|input;task)；并繼續(xù)增大訓(xùn)練的數(shù)據(jù)規(guī)模以及模型本身的參數(shù)量，最終在Zero-shot的設(shè)置下對多個(gè)任務(wù)都展示了巨大的潛力。雖然GPT-2并沒有模型架構(gòu)上的改變，但是其將任務(wù)作為輸出預(yù)測的條件引入模型從而在Zero-shot的設(shè)置下實(shí)現(xiàn)多個(gè)任務(wù)的想法一直延續(xù)至今。這樣的思想事實(shí)上是在傳達(dá)只要模型足夠大，學(xué)到的知識足夠多，任何有監(jiān)督任務(wù)都可以通過無監(jiān)督的方式來完成，即任何任務(wù)都可以視作生成任務(wù)。GPT-3使用了與GPT-2相同的模型和架構(gòu)。文中為了探索模型規(guī)模對于性能的影響，一共訓(xùn)練了8個(gè)不同大小的模型，并將最大的具有1750億參數(shù)的模型稱為GPT-3。上圖綜合統(tǒng)計(jì)了GPT-1、GPT-2和GPT-3的參數(shù)量，模型架構(gòu)以及預(yù)訓(xùn)練的數(shù)據(jù)集，方便讀者直觀上理解GPT的迭代趨勢。GPT-3最顯著的特點(diǎn)就是大。大體現(xiàn)在兩方面，一方面是模型本身規(guī)模大，參數(shù)量眾多，具有96層TransformerDecoderLayer，每一層有96個(gè)128維的注意力頭，單詞嵌入的維度也達(dá)到了12,288；另一方面是訓(xùn)練過程中使用到的數(shù)據(jù)集規(guī)模大，達(dá)到了45TB。在這樣的模型規(guī)模與數(shù)據(jù)量的情況下，GPT-3在多個(gè)任務(wù)上均展現(xiàn)出了非常優(yōu)異的性能，延續(xù)GPT-2將無監(jiān)督模型應(yīng)用到有監(jiān)督任務(wù)的思想，GPT-3在Few-shot，One-shot和Zero-shot等設(shè)置下的任務(wù)表現(xiàn)都得到了顯著的提升。雖然GPT-3取得了令人驚喜的效果，但是也存在許多限制，例如天然的從左到右生成式學(xué)習(xí)使得其理解能力有待提高；對于一些簡單的數(shù)學(xué)題目仍不能夠很好完成，以及模型性能強(qiáng)大所帶來的社會倫理問題等。同時(shí)由于GPT系列模型并沒有對模型的架構(gòu)進(jìn)行改變，而是不斷通過增大訓(xùn)練數(shù)據(jù)量以及模型參數(shù)量來增強(qiáng)模型效果，訓(xùn)練代價(jià)巨大，這使得普通機(jī)構(gòu)和個(gè)人無法承擔(dān)大型語言模型訓(xùn)練甚至推理的代價(jià)，極大提高了模型推廣的門檻。今年1月24日，即ChatGPT發(fā)布第二個(gè)月，微軟宣布數(shù)十億美元投資OpenAI，并且計(jì)劃在算力、商業(yè)化以及AI技術(shù)方面進(jìn)行長期合作。據(jù)報(bào)道，本輪融資后OpenAI公司估值高達(dá)290