AIGC和ChatGPT行業(yè)市場(chǎng)分析

AIGC和ChatGPT行業(yè)市場(chǎng)分析Part1AIGC行業(yè)介紹及發(fā)展趨勢(shì)AIGC產(chǎn)業(yè)生態(tài)迎來(lái)爆發(fā)期AIGC最基本的能力是生成內(nèi)容，包括文本、圖像、視頻、代碼、3D內(nèi)容或者幾種媒介類型轉(zhuǎn)換組合形成的“多模態(tài)內(nèi)容”。生成算法、預(yù)訓(xùn)練模型、多模態(tài)等AI技術(shù)累積融合，以及深度模型方面的技術(shù)創(chuàng)新，共同催生了AIGC的大爆發(fā)。AIGC是相對(duì)于過(guò)去的PGC、UGC、AIUGC而提出的。過(guò)去的傳統(tǒng)AI偏向于分析能力，基于已有內(nèi)容；現(xiàn)在的AI基于訓(xùn)練數(shù)據(jù)和生成算法模型，可以自主生成各種形式的內(nèi)容和數(shù)據(jù)。2022年，AIGC（AI-GeneratedContent，人工智能生成內(nèi)容）爆火出圈。2022年10月，StableDiffusion、DALL-E2、Midjourney等可以生成圖片的AIGC模型風(fēng)行一時(shí)；2022年12月，OpenAI發(fā)布能夠回答問(wèn)題、生成代碼、構(gòu)思劇本和小說(shuō)的聊天機(jī)器人模型ChatGPT，將人機(jī)對(duì)話推向新高度。目前，從提供預(yù)訓(xùn)練模型的基礎(chǔ)設(shè)施層公司到專注打造AIGC產(chǎn)品和應(yīng)用工具的應(yīng)用層公司，圍繞AIGC生長(zhǎng)出繁榮的生態(tài)，技術(shù)創(chuàng)新引發(fā)的應(yīng)用創(chuàng)新浪潮迭起，中國(guó)有望憑借領(lǐng)先的AIGC技術(shù)賦能各行各業(yè)。AIGC市場(chǎng)規(guī)模到2025有望達(dá)500億元在傳統(tǒng)PGC和UGC模式下，內(nèi)容生成領(lǐng)域存在產(chǎn)能約束和質(zhì)量約束，PGC受制于人力資源的供給側(cè)限制，UGC雖然降低了PGC的生產(chǎn)門(mén)檻，但因用戶創(chuàng)作能力和工具功能的局限存在質(zhì)量約束。AIGC突破內(nèi)容生成產(chǎn)能和質(zhì)量約束，應(yīng)用廣泛，市場(chǎng)規(guī)模將會(huì)大幅擴(kuò)大。根據(jù)《中國(guó)AI數(shù)字商業(yè)產(chǎn)業(yè)展望2021-2025》報(bào)告，預(yù)測(cè)AI數(shù)字商業(yè)內(nèi)容的市場(chǎng)規(guī)模將從2020年的40億元，增加到2025年的495億元。AIGC產(chǎn)業(yè)生態(tài)體系呈現(xiàn)上中下三層架構(gòu)目前AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn)，呈現(xiàn)上中下三層架構(gòu)。第一層為上游基礎(chǔ)層，是由預(yù)訓(xùn)練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。第二層為中間層，即垂直化、場(chǎng)景化、個(gè)性化的模型和應(yīng)用工具。在預(yù)訓(xùn)練的大模型基礎(chǔ)上快速抽取生成場(chǎng)景化、定制化、個(gè)性化的小模型，實(shí)現(xiàn)在不同行業(yè)、垂直領(lǐng)域、功能場(chǎng)景的工業(yè)流水線式部署。第三層為應(yīng)用層，即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務(wù)。AIGC將逐步革新數(shù)字內(nèi)容的生產(chǎn)和藝術(shù)的創(chuàng)造AIGC的社會(huì)價(jià)值體現(xiàn)為革新數(shù)字內(nèi)容與藝術(shù)創(chuàng)造領(lǐng)域，并將輻射到其他領(lǐng)域和行業(yè)，孕育新的技術(shù)形態(tài)和價(jià)值模式，甚至?xí)蔀橥ㄍ鵄GI(通用人工智能Artificialgeneralintelligence)的可能性路徑。AIGC作為當(dāng)前新型的內(nèi)容生產(chǎn)方式，已經(jīng)率先在傳媒、電商、影視、娛樂(lè)等數(shù)字化程度高、內(nèi)容需求豐富的行業(yè)取得重大創(chuàng)新發(fā)展，市場(chǎng)潛力逐漸顯現(xiàn)。在推進(jìn)數(shù)實(shí)融合、加快產(chǎn)業(yè)升級(jí)的進(jìn)程中，金融、醫(yī)療、工業(yè)等各行各業(yè)的AIGC應(yīng)用都在快速發(fā)展，未來(lái)AIGC的應(yīng)用領(lǐng)域?qū)?huì)進(jìn)一步拓寬。AIGC落地場(chǎng)景：AI繪畫(huà)、AI建模、聊天機(jī)器人ChatGPT等2022年被稱為AIGC元年，多個(gè)AI領(lǐng)域迅速發(fā)展，繪畫(huà)、音樂(lè)、新聞創(chuàng)作、主播等諸多行業(yè)被重新定義。目前AIGC正在從簡(jiǎn)單的降本增效（以生成金融/體育新聞為代表）向創(chuàng)造額外價(jià)值（以提供繪畫(huà)創(chuàng)作素材為代表）轉(zhuǎn)移，文本-圖像-視頻的跨模態(tài)/多模態(tài)內(nèi)容生成正在進(jìn)展中。已有的落地場(chǎng)景包括AI繪畫(huà)、AI建模、聊天機(jī)器人ChatGPT等。Part2ChatGPT介紹及發(fā)展趨勢(shì)文本生成式AI：聊天機(jī)器人ChatGPT火熱來(lái)襲OpenAI：由馬斯克、美國(guó)創(chuàng)業(yè)孵化器YCombinator總裁阿爾特曼、全球在線支付平臺(tái)PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨于2015年12月創(chuàng)立，主要用于制造“通用”機(jī)器人和使用自然語(yǔ)言的聊天機(jī)器人。2020年5月，OpenAI發(fā)布了以Transformer為基礎(chǔ)的NLP（自然語(yǔ)言生成）預(yù)訓(xùn)練模型GPT-3，此前已經(jīng)歷過(guò)GPT-1、GPT-2。2022年11月30日，OpenAI公司發(fā)布聊天機(jī)器人模型ChatGPT，ChatGPT對(duì)GPT-3模型進(jìn)行微調(diào)，并引入RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）方法。只需向ChatGPT文字提出需求，即可讓其完成回答問(wèn)題、書(shū)寫(xiě)代碼、創(chuàng)作文本等指令，發(fā)布一周內(nèi)用戶量超過(guò)百萬(wàn)。ChatGPT可能改變搜索引擎使用方式，挑戰(zhàn)谷歌霸主地位ChatGPT屬于AIGC的范疇，能夠回答連續(xù)性的問(wèn)題、質(zhì)疑不正確的假設(shè)，甚至拒絕不合理的要求，大幅提高了AI在人機(jī)對(duì)話時(shí)的準(zhǔn)確度和可控性，將有望改變?nèi)祟愂褂盟阉饕娴姆绞健penAI的CEO稱AIGC的最終目標(biāo)是做一個(gè)類似于新時(shí)代的搜索引擎。目前ChatGPT展示出來(lái)的內(nèi)容輸出質(zhì)量和內(nèi)容覆蓋維度，已經(jīng)可以直面“搜索引擎”與“問(wèn)答社區(qū)”。外媒TheInformation報(bào)道顯示，微軟可能在2023年3月之前將ChatGPT引入自家的搜索引擎Bing，用人工智能來(lái)回答一些搜索查詢，此舉或?qū)⒏淖兯阉饕娴倪\(yùn)行模式，革新性地提升搜索引擎效率。StatCounter數(shù)據(jù)2020-2022谷歌全球市場(chǎng)份額超90%，ChatGPT出現(xiàn)將挑戰(zhàn)谷歌搜索引擎的霸主地位。微軟追加投資，ChatGPT商業(yè)化進(jìn)程加快微軟近日考慮宣布將向OpenAI進(jìn)行近百億美元的投資，此前微軟分別于2019年和2021年對(duì)OpenAI進(jìn)行投資，若此次投資完成微軟將擁有OpenAI49%的股權(quán)。微軟對(duì)單個(gè)100GPU的收費(fèi)是3美元/時(shí)，按照ChatGPT加載模型和文本的速度，生成一個(gè)單詞的費(fèi)用約為0.0003美元；而ChatGPT的回復(fù)通常至少有30個(gè)單詞，因此ChatGPT每回復(fù)一次，至少花OpenAI1美分。微軟既能提供錢(qián)，又能提供算力。2023年1月，ChatGPT的活躍用戶數(shù)或已達(dá)1億，可能是史上增長(zhǎng)最快的消費(fèi)者應(yīng)用。因訪問(wèn)量過(guò)大，OpenAI對(duì)ChatGPT進(jìn)行了大規(guī)模限流，包括限制每小時(shí)的提問(wèn)數(shù)量，以及高峰時(shí)段排隊(duì)等舉措。OpenAI于2023年2月正式推出ChatGPTPlus版本(率先對(duì)美國(guó)地區(qū)用戶開(kāi)放)，收費(fèi)20美元/月，Plus版ChatGPT全天可用，無(wú)需排隊(duì)。依托微軟生態(tài)，ChatGPT不斷拓展應(yīng)用領(lǐng)域ChatGPT作為文字模態(tài)的AIGC發(fā)展?jié)摿Υ?，可以與圖形模態(tài)的AIGC相結(jié)合，打造從文字描述到圖片生成的AI輔助工具。依托微軟生態(tài)：依托于微軟的操作系統(tǒng)、office等產(chǎn)品在全球市場(chǎng)份額的優(yōu)勢(shì)地位和強(qiáng)大產(chǎn)品生態(tài)，ChatGPT更多應(yīng)用場(chǎng)景有望快速推進(jìn)。微軟CEO表示，微軟正迅速推進(jìn)OpenAI工具的商業(yè)化，ChatGPT等工具將整合進(jìn)微軟旗下產(chǎn)品中，包括且不限于Bing搜索引擎、Office全家桶、Azure云服務(wù)、Teams聊天程序等。下游應(yīng)用場(chǎng)景豐富：ChatGPT的下游應(yīng)用場(chǎng)景包括代碼機(jī)器人、小說(shuō)衍生器、對(duì)話類搜索引擎、語(yǔ)音工作助手、對(duì)話虛擬人（客服、外呼、營(yíng)銷）等。星星之火可以燎原，ChatGPT有望進(jìn)一步打開(kāi)AIGC海量空間ChatGPT爆火的背后是AIGC生態(tài)的逐漸繁榮，隨著數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)融合程度不斷加深，以及互聯(lián)網(wǎng)平臺(tái)的數(shù)字化場(chǎng)景向元宇宙轉(zhuǎn)型，人類對(duì)數(shù)字內(nèi)容總量和豐富程度的整體需求不斷提高。AIGC作為新型的內(nèi)容生產(chǎn)方式，已經(jīng)在傳媒、電商、影視、娛樂(lè)等行業(yè)取得重大創(chuàng)新進(jìn)展。2022年，AIGC發(fā)展速度驚人，迭代速度呈現(xiàn)指數(shù)級(jí)爆發(fā)，谷歌、Meta、百度等平臺(tái)型巨頭持續(xù)入局，未來(lái)隨著國(guó)內(nèi)政策環(huán)境的優(yōu)化，虛擬人、人機(jī)交互等場(chǎng)景需求旺盛，有望推動(dòng)AI技術(shù)在金融、政府、醫(yī)療、工業(yè)等領(lǐng)域的加速落地。AIGC有望成為數(shù)字內(nèi)容創(chuàng)新發(fā)展的新引擎，為數(shù)字經(jīng)濟(jì)發(fā)展注入全新動(dòng)能。Part3從NLP到Transformer到GPTNLP的最初發(fā)展：傳統(tǒng)模型的改進(jìn)自然語(yǔ)言處理(NaturalLanguageProcessing,NLP)是一種機(jī)器學(xué)習(xí)技術(shù)，使計(jì)算機(jī)能夠解讀、處理和理解人類語(yǔ)言。傳統(tǒng)模型：循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)以及它的改良版本LSTM。注意力機(jī)制（AttentionMechanisms）的引入：針對(duì)RNN語(yǔ)言模型中狀態(tài)S作為上下文這一機(jī)制的改進(jìn)。引入Attention之后，計(jì)算第i個(gè)詞后的狀態(tài)從單純的Si變成了S0,S1...Si的組合，而具體“如何組合”，即哪個(gè)狀態(tài)比較重要，也是通過(guò)數(shù)據(jù)擬合出來(lái)的。在這樣的情況下，模型的表達(dá)能力又得到了進(jìn)一步的提高，它可以理解一些距離較遠(yuǎn)但是又非常密切的詞匯之間的關(guān)系，比如說(shuō)代詞和被指代的名詞之間的關(guān)系。傳統(tǒng)模型的弊端：在RNN中計(jì)算當(dāng)前詞后的狀態(tài)Si主要是通過(guò)計(jì)算上一個(gè)詞時(shí)的狀態(tài)Si-1迭代出來(lái)的，因此它假設(shè)了距離較近的詞匯之間的關(guān)系更密切，而在人類真實(shí)的語(yǔ)言中這一假設(shè)并不一定成立。NLP的跨越式發(fā)展：Transformer與GPT的提出Transformer模型的提出：在注意力機(jī)制提出后3年后，谷歌發(fā)表了著名的AttentionIsAllYouNeed，提出Transformer模型，對(duì)自然語(yǔ)言處理有巨大的影響，使NLP的性能再次提升一個(gè)臺(tái)階。Transformer與原始模型不同的是：Transformer模型中沒(méi)有RNN，完全基于Attention。在大型數(shù)據(jù)集上的效果可以完全碾壓RNN模型(即使RNN中加入Attention機(jī)制)。Transformer的架構(gòu)使得建立詞與詞之間的復(fù)雜關(guān)系成為了可能,顯著提高了模型的表達(dá)能力。以當(dāng)前熱門(mén)預(yù)訓(xùn)練模型為例，BERT(僅使用了Transformer的Encoder部分)，GPT-2、GPT-3(使用的是Decoder部分)等，都是基于Transformer模型而構(gòu)建。GPT模型的提出：生成式預(yù)訓(xùn)練（GenerativePre-Training，GPT)是一種新的訓(xùn)練范式，通過(guò)對(duì)海量數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練語(yǔ)言模型。由于GPT底層借用了表達(dá)能力很強(qiáng)的Transformer，互聯(lián)網(wǎng)經(jīng)過(guò)長(zhǎng)時(shí)間的發(fā)展，海量的無(wú)標(biāo)記的自然語(yǔ)言數(shù)據(jù)也不再稀缺，所以訓(xùn)練出來(lái)的模型對(duì)語(yǔ)言有了相當(dāng)深入地理解。ChatGPT的誕生：GPT迭代而來(lái)的當(dāng)今最強(qiáng)版本ChatGPT是由最初的GPT迭代而來(lái)：基于文本預(yù)訓(xùn)練的GPT-1，GPT-2，GPT-3都是采用的以Transformer為核心結(jié)構(gòu)的模型。2018年發(fā)布GPT-1模型，其規(guī)模和數(shù)據(jù)量都比較小。2019年發(fā)布GPT-2模型，使用了更多參數(shù)的模型和更多的訓(xùn)練數(shù)據(jù),且使用zero-shot設(shè)定實(shí)現(xiàn)僅通過(guò)一次預(yù)訓(xùn)練的就能完成多種任務(wù)，減少了下游微調(diào)的頻率。2020年發(fā)布GPT-3模型，最顯著改變的是把模型參數(shù)提升到了千億級(jí)，并在代碼編寫(xiě)和數(shù)學(xué)運(yùn)算等方面也有上佳表現(xiàn)。GPT3的缺陷是存在預(yù)訓(xùn)練模型的偏見(jiàn)性，由于預(yù)訓(xùn)練模型都是通過(guò)海量數(shù)據(jù)在超大參數(shù)量級(jí)的模型上訓(xùn)練出來(lái)的，其生成的內(nèi)容無(wú)法被保證，會(huì)存在包括種族歧視，暴力血腥等危險(xiǎn)內(nèi)容。因此推動(dòng)了InstructGPT和ChatGPT的誕生，即GPT3.5。InstructGPT是基于GPT3的微調(diào)版本：通過(guò)激發(fā)模型的理解能力，可以根據(jù)人類反饋進(jìn)行微調(diào)，使語(yǔ)言模型與用戶對(duì)各種任務(wù)的意圖保持一致，使輸出內(nèi)容的真實(shí)性提高且危險(xiǎn)性降低。ChatGPT是InstructGPT的兄弟模型，但在數(shù)據(jù)收集上提高了對(duì)話類數(shù)據(jù)的占比，更多地將提示轉(zhuǎn)換為Q&A，因此ChatGPT更容易結(jié)合上下文，其連續(xù)對(duì)話能力會(huì)更好。ChatGPT的特點(diǎn)與優(yōu)勢(shì)InstructGPT和ChatGPT,即GPT3.5,采用了GPT-3的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)指示學(xué)習(xí)構(gòu)建訓(xùn)練樣本來(lái)訓(xùn)練一個(gè)反應(yīng)預(yù)測(cè)內(nèi)容效果的獎(jiǎng)勵(lì)模型（RM），最后通過(guò)這個(gè)獎(jiǎng)勵(lì)模型的打分來(lái)指導(dǎo)強(qiáng)化學(xué)習(xí)模型的訓(xùn)練。訓(xùn)練任務(wù)分為3步：1.根據(jù)采集的SFT數(shù)據(jù)集對(duì)GPT-3進(jìn)行有監(jiān)督的微調(diào)（SupervisedFineTune，SFT）：了解如何回答查詢。2.收集人工標(biāo)注的對(duì)比數(shù)據(jù)，訓(xùn)練獎(jiǎng)勵(lì)模型（RewordModel，RM）：構(gòu)建用于對(duì)查詢進(jìn)行排名的模型。3.使用RM作為強(qiáng)化學(xué)習(xí)的優(yōu)化目標(biāo)，