計(jì)算機(jī)行業(yè)AIGC專題報(bào)告ChatGPT更懂人類的敘事

計(jì)算機(jī)行業(yè)AIGC專題報(bào)告：ChatGPT更懂人類的敘事ChatGPT概述OpenAI：人工智能研究領(lǐng)域最前沿的公司之一OpenAI深耕AI領(lǐng)域研究，特色產(chǎn)品包括ChatGPT、DALL·E2、Whisper等。OpenAI是于2015年12月在美國(guó)成立的人工智能研究公司，由馬斯克、美國(guó)創(chuàng)業(yè)孵化器YCombinator總裁阿爾特曼、全球在線支付平臺(tái)PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨創(chuàng)立。研究方向可以分為三類：訓(xùn)練生成模型算法，即深度學(xué)習(xí)生成模型；從數(shù)據(jù)中推斷算法的算法，即神經(jīng)圖靈機(jī)；強(qiáng)化學(xué)習(xí)方法，可以理解為深度增強(qiáng)學(xué)習(xí)。ChatGPT月度用戶已破億，正在逐步探索商業(yè)化途徑ChatGPT是OpenAI在2022年11月30日發(fā)布的全新聊天機(jī)器人模型。它能夠通過(guò)學(xué)習(xí)和理解人類的語(yǔ)言來(lái)進(jìn)行對(duì)話，還能根據(jù)聊天的上下文進(jìn)行互動(dòng)，真正像人類一樣來(lái)聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼等任務(wù)。ChatGPT月度用戶已破億，正在逐步探索商業(yè)化途徑。根據(jù)UBS統(tǒng)計(jì)數(shù)據(jù)顯示，ChatGPT上線2個(gè)月后月度用戶數(shù)量破1億。2023年2月1日，OpenAI推出付費(fèi)訂閱項(xiàng)目ChatGPTPlus，價(jià)格為$20/月，目前面向美國(guó)用戶。ChatGPT基于GPT3.5模型進(jìn)化微調(diào)，從人類反饋中學(xué)習(xí)OpenAI基于GPT模型，使用監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的組合來(lái)調(diào)優(yōu)ChatGPT，其中人類反饋強(qiáng)化學(xué)習(xí)

（RLHF）使ChatGPT趨近人類價(jià)值觀及意圖。ChatGPT的訓(xùn)練分為三步：一是訓(xùn)練及微調(diào)GPT模型，獲得語(yǔ)言及代碼的生成能力；二是根據(jù)人類意圖訓(xùn)練，人為標(biāo)記生成內(nèi)容的排序，訓(xùn)練出獎(jiǎng)勵(lì)模型（RewardModel）；三是通過(guò)獎(jiǎng)勵(lì)模型為生成內(nèi)容打分，通過(guò)近端策略優(yōu)化

（PPO）來(lái)優(yōu)化生成模型，使其趨近人類的意圖。第一步：收集數(shù)據(jù)微調(diào)GPT3.5模型預(yù)訓(xùn)練的GPT3.5在少量已標(biāo)注的數(shù)據(jù)上進(jìn)行調(diào)優(yōu)，以學(xué)習(xí)從給定的提示詞（prompt）列表生成輸出的有監(jiān)督的策略。模型選擇：選擇了GPT-3.5系列中的預(yù)訓(xùn)練模型，參考InstructGPT，參數(shù)量最高達(dá)175B。例如，輸入“你好”，通過(guò)GPT后輸出“美”。GPT每一次的輸出可能都是不同的，因?yàn)樵诰W(wǎng)絡(luò)上的語(yǔ)句中，“你好”后面有多種接法，例如“你好高”、“你好嗎”，而輸出結(jié)果是遵循概率分布的，高頻組合出現(xiàn)的概率較高。數(shù)據(jù)收集：使用了兩種不同的提示詞來(lái)源。一些是直接使用標(biāo)注人員或研究人員準(zhǔn)備的，另一些是從OpenAI的API請(qǐng)求（即從GPT-3用戶那里）獲取的。策略生成：選擇一個(gè)提示列表，標(biāo)注人員按要求寫下預(yù)期的輸出。最終得到的結(jié)果是一個(gè)相對(duì)較小、高質(zhì)量的數(shù)據(jù)集，可用于調(diào)優(yōu)預(yù)訓(xùn)練的語(yǔ)言模型。第二步：模擬人類偏好，訓(xùn)練獎(jiǎng)勵(lì)模型對(duì)大量的模型輸出進(jìn)行排序，創(chuàng)建了一個(gè)由比較數(shù)據(jù)組成的新數(shù)據(jù)集。在此數(shù)據(jù)集上訓(xùn)練新模型，被稱為訓(xùn)練獎(jiǎng)勵(lì)模型

（RewardModel，RM）。輸出排序：標(biāo)注者根據(jù)人類偏好將輸出從最佳到最差排序。結(jié)果是一個(gè)新的標(biāo)簽數(shù)據(jù)集。獎(jiǎng)勵(lì)模型：將有標(biāo)簽的數(shù)據(jù)集用于訓(xùn)練RM模型，并將生成模型的輸出，按優(yōu)先順序?qū)λ鼈冞M(jìn)行排序。例如，輸入“臺(tái)灣最高的山是哪座？”，輸出可能有兩個(gè)結(jié)果，輸出一是“玉山”，輸出二是“誰(shuí)來(lái)告訴我呀”。兩個(gè)回答都可以與問(wèn)題銜接，但是人類的偏好是輸出一，因此RM給兩個(gè)輸出排序時(shí)，輸出一是高于輸出二。第三步：使用獎(jiǎng)勵(lì)模型，基于PPO進(jìn)行最優(yōu)化強(qiáng)化學(xué)習(xí)被應(yīng)用于通過(guò)優(yōu)化RM模型來(lái)調(diào)優(yōu)模型，所使用的特定算法稱為近端策略優(yōu)化（PPO）。PPO：強(qiáng)化學(xué)習(xí)中的一種方式，通過(guò)學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問(wèn)題。PPO在實(shí)現(xiàn)的便利性、樣本復(fù)雜性和調(diào)優(yōu)的便利性之間取得了平衡，試圖在每一步計(jì)算一個(gè)更新，使代價(jià)函數(shù)最小化，同時(shí)確保與前一個(gè)策略的偏差相對(duì)較小。調(diào)整目標(biāo)：使用RM作為獎(jiǎng)勵(lì)函數(shù)，通過(guò)PPO算法微調(diào)策略，調(diào)整參數(shù)獲得最大的獎(jiǎng)勵(lì)。核心優(yōu)勢(shì)優(yōu)勢(shì)一：公司與微軟合作，提供上下游支持微軟作為OpenAI的LP投資者，為公司提供研發(fā)底層支撐及應(yīng)用的大力支持。資金支持：2019年7月22日，微軟投資OpenAI10億美元；2023年1月23日，微軟宣布與OpenAI建立長(zhǎng)期合作伙伴關(guān)系進(jìn)入第三階段，通過(guò)一項(xiàng)為期多年、數(shù)十億美元的投資來(lái)加速AI的突破。服務(wù)支持：1）大規(guī)模超級(jí)計(jì)算——

微軟將增加對(duì)開發(fā)和部署專用超級(jí)計(jì)算系統(tǒng)的投資，以加速OpenAI的研究；繼續(xù)構(gòu)建Azure領(lǐng)先的AI基礎(chǔ)結(jié)構(gòu)。2）獨(dú)家云提供商-Azure將為研究、產(chǎn)品和API服務(wù)中的所有OpenAI工作提供支持。應(yīng)用支持：1月17日微軟表示，計(jì)劃將包括ChatGPT、DALL-E等人工智能工具整合進(jìn)微軟旗下的所有產(chǎn)品中，并將其作為平臺(tái)供其他企業(yè)使用，包括且不限于Bing搜索引擎、MicrosoftOffice、Azure云服務(wù)、Teams聊天程序等。應(yīng)用場(chǎng)景ChatGPT以采取會(huì)員收費(fèi)，未來(lái)或拓展商業(yè)模式OpenAI的商業(yè)模式為，會(huì)員收費(fèi)、開放API以及與微軟的戰(zhàn)略合作。會(huì)員服務(wù)：2023年2月1日，OpenAI推出付費(fèi)訂閱項(xiàng)目ChatGPTPlus，價(jià)格為$20/月，目前面向美國(guó)用戶。付費(fèi)服務(wù)包括，在高峰時(shí)段也可常規(guī)訪問(wèn)ChatGPT、更快的響應(yīng)、以及優(yōu)先訪問(wèn)新功能和改進(jìn)。ChatGPT將繼續(xù)提供免費(fèi)訪問(wèn)。API服務(wù)：ChatGPT或?qū)⒓尤隣penAIAPI，從下游用戶的使用中收取費(fèi)用。目前OpenAI的API以Token對(duì)于NLP的文字進(jìn)行收費(fèi)，例如莎士比亞作品集需要1.2M的Token。與微軟合作：使用AzureOpenAI服務(wù)，采用即用即付的消費(fèi)模式，以Token或托管時(shí)長(zhǎng)進(jìn)行收費(fèi)。GPT系列API可為下游應(yīng)用提供語(yǔ)言和代碼處理ChatGPT尚未開放API，因此參考已開放API的Text-davinci-003和Code-davinci-002來(lái)解讀其功能。ChatGPT與Text-davinci-003的能力相似，均屬于GPT3.5系列模型。實(shí)現(xiàn)功能包括：回答問(wèn)題、分類、編寫代碼、對(duì)話、生成、翻譯和轉(zhuǎn)換。ToB：GPT系列已應(yīng)用到辦公應(yīng)用、智能客服等辦公應(yīng)用：1）AI輔助編程

：GitHubCopilot可輔助程序員編程，通過(guò)Codex在代碼編輯器中為整行或某個(gè)函數(shù)提供建議。2）市場(chǎng)調(diào)研工具：Viable使用GPT-3從客戶反饋中提供有用的見解，可以從調(diào)查、票證、實(shí)時(shí)聊天日志、評(píng)論等中識(shí)別和提取主題內(nèi)容和情緒，并在幾秒鐘內(nèi)提供內(nèi)容總結(jié)。智能客服：Algolia和ActiveChat使用了GPT-3來(lái)更好地理解客戶的問(wèn)題，并將他們連接到回答他們問(wèn)題的內(nèi)容的特定部分。ToC：GPT系列已應(yīng)用到學(xué)習(xí)類于創(chuàng)作類生成學(xué)習(xí)類：1）論文檢索：GithubElicit是一個(gè)人工智能研究助手，通過(guò)檢索已發(fā)表的論文，從大量研究論文中查找最相關(guān)的摘要，并應(yīng)用GPT-3的自定義功能來(lái)生成答案。2）語(yǔ)言學(xué)習(xí)：Duolingo作為一個(gè)語(yǔ)言學(xué)習(xí)平臺(tái)，已經(jīng)使用GPT3進(jìn)行法語(yǔ)語(yǔ)法更正。Duolingo的一項(xiàng)內(nèi)部研究表明，使用此功能可以顯著提高用戶的第二語(yǔ)言寫作技巧。創(chuàng)作類：1）Blog創(chuàng)意生成：BlogIdeaGenerator通過(guò)采用搜索關(guān)鍵字來(lái)分析該主題在Google里最受歡迎的內(nèi)容。基于獲取的數(shù)據(jù)，軟件通過(guò)GPT-3生成內(nèi)容來(lái)獲得更高的閱讀量。2）寫作造句工具：Compose.ai是一個(gè)免費(fèi)的Chrome擴(kuò)展程序，可使用AI自動(dòng)進(jìn)行寫作。只需要輸入關(guān)鍵字詞和主要內(nèi)容，GPT-3可協(xié)助生成完整語(yǔ)句，構(gòu)成全文。ToC：GPT系列還應(yīng)用于娛樂(lè)及生活類APP娛樂(lè)類：1）AI驅(qū)動(dòng)游戲：AIDungeon是一款由AI驅(qū)動(dòng)的基于文本的角色扮演游戲，AI會(huì)自動(dòng)生成故事，玩家可以在其中輸入對(duì)話，人工智能將以新的事件和對(duì)話作出回應(yīng)，創(chuàng)造獨(dú)特且不可預(yù)測(cè)的游戲體驗(yàn)。2）AI聊天伙伴：

WhatsApp上的AIBuddy是由GPT-3.5驅(qū)動(dòng)的軟件，可以和用戶進(jìn)行對(duì)話，就像發(fā)消息給朋友一樣。例如，“給我講個(gè)笑話”、“給我一個(gè)博客構(gòu)思”等。生活類：稅務(wù)助手：KeeperTax可幫助個(gè)人記錄稅務(wù)情況。在關(guān)聯(lián)到個(gè)人財(cái)務(wù)賬號(hào)后，KeeperTax用不同模型提取文本信息并分類交易類型。應(yīng)用一：ChatGPT已與搜索引擎相結(jié)合ChatGPT已加入瀏覽器擴(kuò)展程序，集成了ChatGPT-4的BING短暫上線。ChatGPT已作為擴(kuò)展程序加入到Chrome、Firefox、Edge等瀏覽器的應(yīng)用中;Bing、谷歌等搜索引擎中將接入ChatGPT，得到自然語(yǔ)言回答。集成了ChatGPT-4的新版Bing曾于2月4日短暫上線。據(jù)設(shè)計(jì)師OwenYin分享的截圖，新版Bing的搜索框變?yōu)榱奶炜?，?huì)在聊天氣泡中回復(fù)用戶的問(wèn)題。新版Bing鼓勵(lì)用戶使用自然語(yǔ)言而不是關(guān)鍵字進(jìn)行搜索，還能夠根據(jù)用戶的要求調(diào)整搜索結(jié)果。應(yīng)用二：泛娛樂(lè)行業(yè)應(yīng)用，包括游戲、直播等方面元境科技率先接入ChatGPT，結(jié)合自研多模態(tài)智能算法，完成了行業(yè)首個(gè)AIGC互動(dòng)直播功能的落地。元境科技虛擬數(shù)字人已經(jīng)接入ChatGPT等模型，并已在TikTok跨境電商直播、虛擬主播直播互動(dòng)等場(chǎng)景實(shí)現(xiàn)應(yīng)用，并形成產(chǎn)品化解決方案。未來(lái)，將更加關(guān)注數(shù)字人與ChatGPT等模型的整合應(yīng)用，快速擴(kuò)展到不同行業(yè)、不同場(chǎng)景。行業(yè)首個(gè)應(yīng)用此項(xiàng)技術(shù)的虛擬主播是虛擬二次元網(wǎng)紅CiCi。在最近的一大段時(shí)間里CiCi的直播早已替換為了AIGC互動(dòng)直播，在測(cè)試應(yīng)用期間一眾粉絲均未看出任何異樣，同時(shí)在使用測(cè)試期間粉絲量也持續(xù)穩(wěn)步提升。類似產(chǎn)品Claude：谷歌旗下ChatGPT有力競(jìng)品Claude是Anthropic新推出的一款類似于ChatGPT的AI助手，谷歌已經(jīng)向Anthropic投資約3億美元。Anthropic是由前OpenAI的一支研發(fā)團(tuán)隊(duì)出走成立的人工智能初創(chuàng)公司，大多為OpenAI的早期及核心員工，深度參與過(guò)OpenAI的多項(xiàng)課題，比如GPT-3、神經(jīng)網(wǎng)絡(luò)里的多模態(tài)神經(jīng)元、引入人類偏好的強(qiáng)化學(xué)習(xí)等。根據(jù)FinancialTimes報(bào)道，谷歌已經(jīng)向Anthropic投資約3億美元。通過(guò)這筆交易，谷歌將獲得Anthropic約10%的股份，后者要用這筆錢從前者的云計(jì)算部門購(gòu)買大量計(jì)算資源。Claude目前還處于實(shí)驗(yàn)階段，開創(chuàng)性引入了“憲法人工智能”（ConstitutionalAI，CAI）的概念。與RLHF不同，憲法AI的過(guò)程使用模型而不是人類來(lái)生成微調(diào)輸出的初始排名,根據(jù)一系列基本原則選擇最佳回復(fù)，即RLAIF。百度：擁有打造國(guó)產(chǎn)ChatGPT能力的公司百度擁有飛槳（深度學(xué)習(xí)開源框架）、百度AI大底座（全棧AI基礎(chǔ)設(shè)施）和文心大模型（AI應(yīng)用場(chǎng)景全覆蓋）。PaddlePaddle飛槳是中國(guó)自主研發(fā)的第一個(gè)深度學(xué)習(xí)框架。深度學(xué)習(xí)框架是在完成深度學(xué)習(xí)時(shí)一套可以復(fù)用的代碼，使得使用者在開發(fā)深度學(xué)習(xí)程序時(shí)可以不用從復(fù)雜的神經(jīng)網(wǎng)絡(luò)搭建開始編代碼，而是在已有的模型上進(jìn)行個(gè)性化改進(jìn)。百度AI大底座：國(guó)內(nèi)首個(gè)全棧自研的Al基礎(chǔ)設(shè)施，面向企業(yè)Al開發(fā)和應(yīng)用，提供端到端自主可控、自我進(jìn)化的解決方案讓企業(yè)可以快捷、低成本地實(shí)現(xiàn)“Al能力隨用隨取”。文心大模型：源于產(chǎn)業(yè)、服務(wù)于產(chǎn)業(yè)，是產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。百度通過(guò)大模型與國(guó)產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，打造了自主創(chuàng)新的AI底座，大幅降低了AI開發(fā)和應(yīng)用的門檻，滿足真實(shí)場(chǎng)景中的應(yīng)用需求，真正發(fā)揮大模型驅(qū)動(dòng)AI規(guī)?；瘧?yīng)用的產(chǎn)業(yè)價(jià)值。ERNIE：百度基于BERT打造的NLP模型2月7日，百度官宣其新的大模型項(xiàng)目“文心一言”，英文名ERNIEBot。ERNIE是百度開創(chuàng)性提出的基于知識(shí)增強(qiáng)的持續(xù)學(xué)習(xí)語(yǔ)義理解框架。ERNIE在情感分析、文本匹配、自然語(yǔ)言推理、詞法分析、閱讀理解、智能問(wèn)答等16個(gè)公開數(shù)據(jù)集上全面顯著超越世界領(lǐng)先技術(shù)，在國(guó)際權(quán)威的通用語(yǔ)言理解評(píng)估基準(zhǔn)GLUE上，得分首次突破90分，獲得全球第一。ERNIE在工業(yè)界得到了大規(guī)模應(yīng)用，如搜索引擎、新聞推薦、廣告系統(tǒng)、語(yǔ)音交互、智能客服等。ERNIE由BER