AIGC和ChatGPT行業(yè)市場分析

AIGC和ChatGPT行業(yè)市場分析Part1AIGC行業(yè)介紹及發(fā)展趨勢AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期AIGC最基本的能力是生成內(nèi)容，包括文本、圖像、視頻、代碼、3D內(nèi)容或者幾種媒介類型轉(zhuǎn)換組合形成的“多模態(tài)內(nèi)容”。生成算法、預(yù)訓(xùn)練模型、多模態(tài)等AI技術(shù)累積融合，以及深度模型方面的技術(shù)創(chuàng)新，共同催生了AIGC的大爆發(fā)。AIGC是相對于過去的PGC、UGC、AIUGC而提出的。過去的傳統(tǒng)AI偏向于分析能力，基于已有內(nèi)容；現(xiàn)在的AI基于訓(xùn)練數(shù)據(jù)和生成算法模型，可以自主生成各種形式的內(nèi)容和數(shù)據(jù)。2022年，AIGC（AI-GeneratedContent，人工智能生成內(nèi)容）爆火出圈。2022年10月，StableDiffusion、DALL-E2、Midjourney等可以生成圖片的AIGC模型風(fēng)行一時；2022年12月，OpenAI發(fā)布能夠回答問題、生成代碼、構(gòu)思劇本和小說的聊天機器人模型ChatGPT，將人機對話推向新高度。目前，從提供預(yù)訓(xùn)練模型的基礎(chǔ)設(shè)施層公司到專注打造AIGC產(chǎn)品和應(yīng)用工具的應(yīng)用層公司，圍繞AIGC生長出繁榮的生態(tài)，技術(shù)創(chuàng)新引發(fā)的應(yīng)用創(chuàng)新浪潮迭起，中國有望憑借領(lǐng)先的AIGC技術(shù)賦能各行各業(yè)。AIGC市場規(guī)模到2025有望達500億元在傳統(tǒng)PGC和UGC模式下，內(nèi)容生成領(lǐng)域存在產(chǎn)能約束和質(zhì)量約束，PGC受制于人力資源的供給側(cè)限制，UGC雖然降低了PGC的生產(chǎn)門檻，但因用戶創(chuàng)作能力和工具功能的局限存在質(zhì)量約束。AIGC突破內(nèi)容生成產(chǎn)能和質(zhì)量約束，應(yīng)用廣泛，市場規(guī)模將會大幅擴大。根據(jù)《中國AI數(shù)字商業(yè)產(chǎn)業(yè)展望2021-2025》報告，預(yù)測AI數(shù)字商業(yè)內(nèi)容的市場規(guī)模將從2020年的40億元，增加到2025年的495億元。AIGC產(chǎn)業(yè)生態(tài)體系呈現(xiàn)上中下三層架構(gòu)目前AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn)，呈現(xiàn)上中下三層架構(gòu)。第一層為上游基礎(chǔ)層，是由預(yù)訓(xùn)練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。第二層為中間層，即垂直化、場景化、個性化的模型和應(yīng)用工具。在預(yù)訓(xùn)練的大模型基礎(chǔ)上快速抽取生成場景化、定制化、個性化的小模型，實現(xiàn)在不同行業(yè)、垂直領(lǐng)域、功能場景的工業(yè)流水線式部署。第三層為應(yīng)用層，即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務(wù)。AIGC將逐步革新數(shù)字內(nèi)容的生產(chǎn)和藝術(shù)的創(chuàng)造AIGC的社會價值體現(xiàn)為革新數(shù)字內(nèi)容與藝術(shù)創(chuàng)造領(lǐng)域，并將輻射到其他領(lǐng)域和行業(yè)，孕育新的技術(shù)形態(tài)和價值模式，甚至?xí)蔀橥ㄍ鵄GI(通用人工智能Artificialgeneralintelligence)的可能性路徑。AIGC作為當(dāng)前新型的內(nèi)容生產(chǎn)方式，已經(jīng)率先在傳媒、電商、影視、娛樂等數(shù)字化程度高、內(nèi)容需求豐富的行業(yè)取得重大創(chuàng)新發(fā)展，市場潛力逐漸顯現(xiàn)。在推進數(shù)實融合、加快產(chǎn)業(yè)升級的進程中，金融、醫(yī)療、工業(yè)等各行各業(yè)的AIGC應(yīng)用都在快速發(fā)展，未來AIGC的應(yīng)用領(lǐng)域?qū)M一步拓寬。AIGC落地場景：AI繪畫、AI建模、聊天機器人ChatGPT等2022年被稱為AIGC元年，多個AI領(lǐng)域迅速發(fā)展，繪畫、音樂、新聞創(chuàng)作、主播等諸多行業(yè)被重新定義。目前AIGC正在從簡單的降本增效（以生成金融/體育新聞為代表）向創(chuàng)造額外價值（以提供繪畫創(chuàng)作素材為代表）轉(zhuǎn)移，文本-圖像-視頻的跨模態(tài)/多模態(tài)內(nèi)容生成正在進展中。已有的落地場景包括AI繪畫、AI建模、聊天機器人ChatGPT等。Part2ChatGPT介紹及發(fā)展趨勢文本生成式AI：聊天機器人ChatGPT火熱來襲OpenAI：由馬斯克、美國創(chuàng)業(yè)孵化器YCombinator總裁阿爾特曼、全球在線支付平臺PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨于2015年12月創(chuàng)立，主要用于制造“通用”機器人和使用自然語言的聊天機器人。2020年5月，OpenAI發(fā)布了以Transformer為基礎(chǔ)的NLP（自然語言生成）預(yù)訓(xùn)練模型GPT-3，此前已經(jīng)歷過GPT-1、GPT-2。2022年11月30日，OpenAI公司發(fā)布聊天機器人模型ChatGPT，ChatGPT對GPT-3模型進行微調(diào)，并引入RLHF（基于人類反饋的強化學(xué)習(xí)）方法。只需向ChatGPT文字提出需求，即可讓其完成回答問題、書寫代碼、創(chuàng)作文本等指令，發(fā)布一周內(nèi)用戶量超過百萬。ChatGPT可能改變搜索引擎使用方式，挑戰(zhàn)谷歌霸主地位ChatGPT屬于AIGC的范疇，能夠回答連續(xù)性的問題、質(zhì)疑不正確的假設(shè)，甚至拒絕不合理的要求，大幅提高了AI在人機對話時的準確度和可控性，將有望改變?nèi)祟愂褂盟阉饕娴姆绞健penAI的CEO稱AIGC的最終目標是做一個類似于新時代的搜索引擎。目前ChatGPT展示出來的內(nèi)容輸出質(zhì)量和內(nèi)容覆蓋維度，已經(jīng)可以直面“搜索引擎”與“問答社區(qū)”。外媒TheInformation報道顯示，微軟可能在2023年3月之前將ChatGPT引入自家的搜索引擎Bing，用人工智能來回答一些搜索查詢，此舉或?qū)⒏淖兯阉饕娴倪\行模式，革新性地提升搜索引擎效率。StatCounter數(shù)據(jù)2020-2022谷歌全球市場份額超90%，ChatGPT出現(xiàn)將挑戰(zhàn)谷歌搜索引擎的霸主地位。微軟追加投資，ChatGPT商業(yè)化進程加快微軟近日考慮宣布將向OpenAI進行近百億美元的投資，此前微軟分別于2019年和2021年對OpenAI進行投資，若此次投資完成微軟將擁有OpenAI49%的股權(quán)。微軟對單個100GPU的收費是3美元/時，按照ChatGPT加載模型和文本的速度，生成一個單詞的費用約為0.0003美元；而ChatGPT的回復(fù)通常至少有30個單詞，因此ChatGPT每回復(fù)一次，至少花OpenAI1美分。微軟既能提供錢，又能提供算力。2023年1月，ChatGPT的活躍用戶數(shù)或已達1億，可能是史上增長最快的消費者應(yīng)用。因訪問量過大，OpenAI對ChatGPT進行了大規(guī)模限流，包括限制每小時的提問數(shù)量，以及高峰時段排隊等舉措。OpenAI于2023年2月正式推出ChatGPTPlus版本(率先對美國地區(qū)用戶開放)，收費20美元/月，Plus版ChatGPT全天可用，無需排隊。依托微軟生態(tài)，ChatGPT不斷拓展應(yīng)用領(lǐng)域ChatGPT作為文字模態(tài)的AIGC發(fā)展?jié)摿Υ?，可以與圖形模態(tài)的AIGC相結(jié)合，打造從文字描述到圖片生成的AI輔助工具。依托微軟生態(tài)：依托于微軟的操作系統(tǒng)、office等產(chǎn)品在全球市場份額的優(yōu)勢地位和強大產(chǎn)品生態(tài)，ChatGPT更多應(yīng)用場景有望快速推進。微軟CEO表示，微軟正迅速推進OpenAI工具的商業(yè)化，ChatGPT等工具將整合進微軟旗下產(chǎn)品中，包括且不限于Bing搜索引擎、Office全家桶、Azure云服務(wù)、Teams聊天程序等。下游應(yīng)用場景豐富：ChatGPT的下游應(yīng)用場景包括代碼機器人、小說衍生器、對話類搜索引擎、語音工作助手、對話虛擬人（客服、外呼、營銷）等。星星之火可以燎原，ChatGPT有望進一步打開AIGC海量空間ChatGPT爆火的背后是AIGC生態(tài)的逐漸繁榮，隨著數(shù)字經(jīng)濟與實體經(jīng)濟融合程度不斷加深，以及互聯(lián)網(wǎng)平臺的數(shù)字化場景向元宇宙轉(zhuǎn)型，人類對數(shù)字內(nèi)容總量和豐富程度的整體需求不斷提高。AIGC作為新型的內(nèi)容生產(chǎn)方式，已經(jīng)在傳媒、電商、影視、娛樂等行業(yè)取得重大創(chuàng)新進展。2022年，AIGC發(fā)展速度驚人，迭代速度呈現(xiàn)指數(shù)級爆發(fā)，谷歌、Meta、百度等平臺型巨頭持續(xù)入局，未來隨著國內(nèi)政策環(huán)境的優(yōu)化，虛擬人、人機交互等場景需求旺盛，有望推動AI技術(shù)在金融、政府、醫(yī)療、工業(yè)等領(lǐng)域的加速落地。AIGC有望成為數(shù)字內(nèi)容創(chuàng)新發(fā)展的新引擎，為數(shù)字經(jīng)濟發(fā)展注入全新動能。Part3從NLP到Transformer到GPTNLP的最初發(fā)展：傳統(tǒng)模型的改進自然語言處理(NaturalLanguageProcessing,NLP)是一種機器學(xué)習(xí)技術(shù)，使計算機能夠解讀、處理和理解人類語言。傳統(tǒng)模型：循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)以及它的改良版本LSTM。注意力機制（AttentionMechanisms）的引入：針對RNN語言模型中狀態(tài)S作為上下文這一機制的改進。引入Attention之后，計算第i個詞后的狀態(tài)從單純的Si變成了S0,S1...Si的組合，而具體“如何組合”，即哪個狀態(tài)比較重要，也是通過數(shù)據(jù)擬合出來的。在這樣的情況下，模型的表達能力又得到了進一步的提高，它可以理解一些距離較遠但是又非常密切的詞匯之間的關(guān)系，比如說代詞和被指代的名詞之間的關(guān)系。傳統(tǒng)模型的弊端：在RNN中計算當(dāng)前詞后的狀態(tài)Si主要是通過計算上一個詞時的狀態(tài)Si-1迭代出來的，因此它假設(shè)了距離較近的詞匯之間的關(guān)系更密切，而在人類真實的語言中這一假設(shè)并不一定成立。NLP的跨越式發(fā)展：Transformer與GPT的提出Transformer模型的提出：在注意力機制提出后3年后，谷歌發(fā)表了著名的AttentionIsAllYouNeed，提出Transformer模型，對自然語言處理有巨大的影響，使NLP的性能再次提升一個臺階。Transformer與原始模型不同的是：Transformer模型中沒有RNN，完全基于Attention。在大型數(shù)據(jù)集上的效果可以完全碾壓RNN模型(即使RNN中加入Attention機制)。Transformer的架構(gòu)使得建立詞與詞之間的復(fù)雜關(guān)系成為了可能,顯著提高了模型的表達能力。以當(dāng)前熱門預(yù)訓(xùn)練模型為例，BERT(僅使用了Transformer的Encoder部分)，GPT-2、GPT-3(使用的是Decoder部分)等，都是基于Transformer模型而構(gòu)建。GPT模型的提出：生成式預(yù)訓(xùn)練（GenerativePre-Training，GPT)是一種新的訓(xùn)練范式，通過對海量數(shù)據(jù)的無監(jiān)督學(xué)習(xí)來訓(xùn)練語言模型。由于GPT底層借用了表達能力很強的Transformer，互聯(lián)網(wǎng)經(jīng)過長時間的發(fā)展，海量的無標記的自然語言數(shù)據(jù)也不再稀缺，所以訓(xùn)練出來的模型對語言有了相當(dāng)深入地理解。ChatGPT的誕生：GPT迭代而來的當(dāng)今最強版本ChatGPT是由最初的GPT迭代而來：基于文本預(yù)訓(xùn)練的GPT-1，GPT-2，GPT-3都是采用的以Transformer為核心結(jié)構(gòu)的模型。2018年發(fā)布GPT-1模型，其規(guī)模和數(shù)據(jù)量都比較小。2019年發(fā)布GPT-2模型，使用了更多參數(shù)的模型和更多的訓(xùn)練數(shù)據(jù),且使用zero-shot設(shè)定實現(xiàn)僅通過一次預(yù)訓(xùn)練的就能完成多種任務(wù)，減少了下游微調(diào)的頻率。2020年發(fā)布GPT-3模型，最顯著改變的是把模型參數(shù)提升到了千億級，并在代碼編寫和數(shù)學(xué)運算等方面也有上佳表現(xiàn)。GPT3的缺陷是存在預(yù)訓(xùn)練模型的偏見性，由于預(yù)訓(xùn)練模型都是通過海量數(shù)據(jù)在超大參數(shù)量級的模型上訓(xùn)練出來的，其生成的內(nèi)容無法被保證，會存在包括種族歧視，暴力血腥等危險內(nèi)容。因此推動了InstructGPT和ChatGPT的誕生，即GPT3.5。InstructGPT是基于GPT3的微調(diào)版本：通過激發(fā)模型的理解能力，可以根據(jù)人類反饋進行微調(diào)，使語言模型與用戶對各種任務(wù)的意圖保持一致，使輸出內(nèi)容的真實性提高且危險性降低。ChatGPT是InstructGPT的兄弟模型，但在數(shù)據(jù)收集上提高了對話類數(shù)據(jù)的占比，更多地將提示轉(zhuǎn)換為Q&A，因此ChatGPT更容易結(jié)合上下文，其連續(xù)對話能力會更好。ChatGPT的特點與優(yōu)勢InstructGPT和ChatGPT,即GPT3.5,采用了GPT-3的網(wǎng)絡(luò)結(jié)構(gòu)，通過指示學(xué)習(xí)構(gòu)建訓(xùn)練樣本來訓(xùn)練一個反應(yīng)預(yù)測內(nèi)容效果的獎勵模型（RM），最后通過這個獎勵模型的打分來指導(dǎo)強化學(xué)習(xí)模型的訓(xùn)練。訓(xùn)練任務(wù)分為3步：1.根據(jù)采集的SFT數(shù)據(jù)集對GPT-3進行有監(jiān)督的微調(diào)（SupervisedFineTune，SFT）：了解如何回答查詢。2.收集人工標注的對比數(shù)據(jù)，訓(xùn)練獎勵模型（RewordModel，RM）：構(gòu)建用于對查詢進行排名的模型。3.使用RM作為強化學(xué)習(xí)的優(yōu)化目標，