2023生成式大模型安全與隱私白皮書(shū)

基礎(chǔ)理論研究院人工智能與安全團(tuán)隊(duì)作者:徐曉剛，吳慧雯，劉竹森，李想，涂文軒，梁偉軒，張毅，劉哲版權(quán)歸之江實(shí)驗(yàn)室所有歡迎交流ThedevelopmentoftheGenerativeAI,e.g.,LargeLanguageModels(LLM),havebeenpopularinbothacademicandindustrialcommunitiesonaworldwidescale,especiallytheChatGPTseries.ThesuccessofChatGPTandGPT4hasshownthefuturedirectionofdevelopingAGI.However,largegenerativemodelsalsosufferfromtheissueofdata/modelsecurityandprivacy.Weshouldnotethatlargegenerativemodelswouldbringalotofsecurityandprivacyproblems,whentheydemonstrategreatpowerinchangingourlife,suchasdataleakingandthepropagationoffakenews.Inthiswhitepaper,wefirstconcludethedevelopmentoflargegenerativemodels,includingitseffectsandsocialinfluences.Then,wesummarizethecurrentsecurityandprivacyproblemsinexistinglargegenerativemodels,e.g.,thedataandmodelsecurity,copyrightproblems,andethicalissues.Finally,wegivethecorrespondingsuggestionsaboutthecurrentsecurityandprivacyproblems.Theycanbeemployedtopointoutfutureresearchanddevelopdirections,andcanalsobeutilizedasreferencesforgovernmentdecision-making.2生成式大模型的發(fā)展之路12.1.ChatGPT和GPT4的前身 2.1.1GPT1 2.1.2GPT2 2.1.3GPT3 2.1.4GPT3.5 2.1.5InstructGPT 2.1.6GoogleBert 2.2.ChatGPT和GPT4 2.2.1ChatGPT 2.2.2GPT4 2.3.ChatGPT和GPT4之后發(fā)布的模型 2.3.1Facebook：LLaMa 2.3.2Stanford：Alpaca 2.3.3百度：文心一言 2.3.4阿里：通義千問(wèn) 2.3.5清華：ChatGLM 3生成式大模型引發(fā)的變革203.1.應(yīng)用1：助力人機(jī)交互 3.2.應(yīng)用2：助力信息資源管理 3.3.應(yīng)用3：助力科學(xué)研究 3.4.應(yīng)用4：助力內(nèi)容創(chuàng)作 4生成式大模型存在的安全問(wèn)題244.1.生成式大模型的數(shù)據(jù)安全 4.1.1生成式大模型使用過(guò)程中顯式的隱私信息泄露 4.1.2生成式大模型使用過(guò)程中隱式的隱私信息泄露 4.2.生成式大模型的使用規(guī)范 4.2.1生成式大模型被用于虛假和惡意信息/軟件編寫(xiě) 4.2.2生成式大模型違反當(dāng)?shù)胤煞ㄒ?guī) 4.2.3生成式大模型沒(méi)有預(yù)警機(jī)制 4.2.4生成式大模型安全優(yōu)化不涉及灰色地帶 4.3.生成式大模型的可信和倫理問(wèn)題 4.3.1生成式大模型的可信問(wèn)題 4.3.2生成式大模型的倫理問(wèn)題。 4.4.生成式大模型的產(chǎn)權(quán)問(wèn)題 4.4.1生成式大模型生成作品的著作權(quán)問(wèn)題 4.4.2生成式大模型生成作品的侵權(quán) 4.4.3生成式大模型生成作品的維權(quán) 4.5.生成式大模型的模型安全 4.5.1模型竊取攻擊 4.5.2數(shù)據(jù)竊取攻擊 4.5.3對(duì)抗攻擊 4.5.4后門(mén)攻擊 4.5.5Prompt攻擊 4.5.6數(shù)據(jù)投毒 5生成式大模型存在的安全與隱私建議435.1.保護(hù)數(shù)據(jù)隱私的建議 5.2.模型安全問(wèn)題的建議 5.3.模型合規(guī)性問(wèn)題的建議 6AGI的展望和安全規(guī)劃46OpenAI于2022年11月30日開(kāi)放測(cè)試ChatGPT，此后ChatGPT風(fēng)靡全球，在1月份的訪問(wèn)量約為5.9億。AI驅(qū)動(dòng)的聊天機(jī)器人ChatGPT成為互聯(lián)網(wǎng)發(fā)展二十年來(lái)增長(zhǎng)速度最快的消費(fèi)者應(yīng)用程序。ChatGPT和GPT4的誕生引發(fā)了生成式大模型的研發(fā)熱潮，顯示了人類(lèi)邁向通用人工智能（AGI）的可能性。但在其備受追捧的同時(shí)，ChatGPT等生成式大模型也面臨AI自身數(shù)據(jù)和模型方面的安全隱患。我們應(yīng)該意識(shí)到，在生成式大模型帶來(lái)各種革命性的技術(shù)進(jìn)步的同時(shí)，其自身帶來(lái)的一系列安全與隱私問(wèn)題也值得我們注意，例如引發(fā)的數(shù)據(jù)泄漏，助長(zhǎng)虛假信息傳播等。在本白皮書(shū)中，我們首先總結(jié)了ChatGPT與GPT4等生成式大模型模型的發(fā)展歷程，以及其帶來(lái)的各種令人驚嘆的能力和社會(huì)變革，社會(huì)應(yīng)用等。而后，我們歸納了ChatGPT與GPT4等生成式大模型中存在的安們?yōu)閼?yīng)對(duì)這些安全與隱私問(wèn)題提出了相應(yīng)的應(yīng)對(duì)策略，重點(diǎn)強(qiáng)調(diào)了日后亟需進(jìn)行的研究和法規(guī)調(diào)整等。特別是為之后AGI技術(shù)的持續(xù)革新，起到未雨綢繆的預(yù)防。GPT（GenerativePre-trainedTransformer）是一種基于Transformer模型的語(yǔ)言生成模型，由OpenAI團(tuán)隊(duì)開(kāi)發(fā)。自2018年發(fā)布以來(lái)，GPT系列模型已經(jīng)成為自然語(yǔ)言處理領(lǐng)域的重要研究方向之一。圖1概括了當(dāng)前國(guó)內(nèi)外有關(guān)GPT的研究現(xiàn)狀。下面我們將先介紹ChatGPT與GPT4出現(xiàn)之前的模型，而后介紹ChatGPT與GPT4的原理與特點(diǎn)，之后將列舉在ChatGPT與GPT4之后涌現(xiàn)的一系列代表性生成式大模型。2.1.ChatGPT和GPT4的前身如圖2所示，本文將按照時(shí)間順序介紹幾種代表性的GPT方法。2.1.1GPT12017年，Google推出Transformer，利用注意力機(jī)制完全替代過(guò)往深度學(xué)習(xí)中的卷積結(jié)構(gòu)，直白地展現(xiàn)出了“大一統(tǒng)模型”的野心。2018年6月，OpenAI通過(guò)論文《ImprovingLanguageUnderstandingbyGenerativePre-Training》[47]推出了基于TransformerDecoder改造的第一代GPT（GenerativePre-Training該2.1.ChatGPT和GPT4的前身2圖1:國(guó)內(nèi)外生成式大模型研究現(xiàn)狀總結(jié)圖2:GPT系列模型的發(fā)展歷程總結(jié)模型是最早的將Transformer以多層堆疊的方式構(gòu)成語(yǔ)言模型的模型，有效證明了在自然語(yǔ)言處理領(lǐng)域上使用預(yù)訓(xùn)練和微調(diào)方式的有效性。類(lèi)似地，在計(jì)算機(jī)視覺(jué)領(lǐng)域，先預(yù)訓(xùn)練后微調(diào)的方式盛行已久：先用海量有標(biāo)注的數(shù)據(jù)集，通過(guò)有監(jiān)督的訓(xùn)練生成一個(gè)預(yù)訓(xùn)練模型，然后通過(guò)下游任務(wù)，在這個(gè)模型上做微調(diào)。但是在自然語(yǔ)言處理中，這個(gè)方式一直很難做起來(lái)，原因是：缺乏大量標(biāo)注好的文本數(shù)據(jù)集、2.1.ChatGPT和GPT4的前身3圖3:GPT1示意圖比起圖像信息，文字的信息更難被模型理解。Transformer出世后，模型對(duì)文字上下文的理解能力得到顯著增強(qiáng)，在這一鋪墊下，GPT1誕生了。如圖3所示1，它的整體設(shè)計(jì)思路如下：首先，用無(wú)標(biāo)注的數(shù)據(jù)（可以理解為一段普通的文字）訓(xùn)練一詞，模型能預(yù)測(cè)出第k+1個(gè)詞。然后，在模型能夠理解文字含義的基礎(chǔ)上，用有標(biāo)注的數(shù)據(jù)訓(xùn)練模型去定向做一些下游任務(wù)。例如文本分類(lèi)，文本相似性比較等。有標(biāo)注的數(shù)據(jù)集是遠(yuǎn)小于無(wú)標(biāo)注數(shù)據(jù)集的，在這個(gè)環(huán)節(jié)，我們只是對(duì)模型做了一些微小的調(diào)整。（1）GPT1的優(yōu)缺點(diǎn)?優(yōu)點(diǎn)：GPT1是第一個(gè)使用Transformer自回歸模型的自然語(yǔ)言處理模型，可用于各種文本語(yǔ)言任務(wù)，如機(jī)器翻譯，文本生成，對(duì)話生成等。?缺點(diǎn)：GPT1沒(méi)有全面的站點(diǎn)，在處理復(fù)雜的對(duì)話任務(wù)中容易走樣，并且其預(yù)測(cè)結(jié)果不太準(zhǔn)確。（2）GPT1的應(yīng)用場(chǎng)景GPT1是第一個(gè)使用Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)的語(yǔ)言模型，它使用了極大的文本數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。它的訓(xùn)練數(shù)據(jù)包括預(yù)定義的文本領(lǐng)域，如天氣、體育、新聞等。GPT1采用自回歸模型預(yù)測(cè)下一個(gè)詞的出現(xiàn)概率，然后使用BeamSearch算法生成下一句話。GPT1在自建語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，訓(xùn)練得到的模型可用于各種下游任務(wù)，如基于任務(wù)的語(yǔ)言學(xué)習(xí)和對(duì)話生成等。 1此圖引用于/post/7215806457961775160heading-82.1.ChatGPT和GPT4的前身4圖4:GPT2示意圖2.1.2GPT22018年10月Google推出基于Transformer編碼器的Bert算法，在同樣參數(shù)大小的前提下，其效果領(lǐng)跑于GPT1，一時(shí)成為自然語(yǔ)言處理領(lǐng)域的領(lǐng)頭羊。基于Transformer的模型，模型和數(shù)據(jù)量越大，效果越好。但如果只做到這一點(diǎn)，從技術(shù)上來(lái)說(shuō)又太遜色了，性價(jià)比也不高。因此，openAI在2019年02月從訓(xùn)練數(shù)據(jù)上進(jìn)行改進(jìn)，引入了zero-shot這一創(chuàng)新點(diǎn)，GPT2（GPT1:110M，Bert:340M,，GPT2:1.5B）就誕生了[48]，如圖4所示2。GPT2主要針對(duì)zero-shot問(wèn)題，希望在完全不理解詞的情況下建模，以便讓模型可以處理任何編碼的語(yǔ)言。下面我們將對(duì)其與GTP1的區(qū)別和自身的優(yōu)缺點(diǎn)進(jìn)行介紹。（1）相較于GPT1的改進(jìn)GPT2去掉了微調(diào)層：不再針對(duì)不同任務(wù)分別進(jìn)行微調(diào)建模，而是不定義這個(gè)模型應(yīng)該做什么任務(wù)，模型會(huì)自動(dòng)識(shí)別出來(lái)需要做什么任務(wù)。在預(yù)訓(xùn)練部分基本與GPT1方法相同，在微調(diào)部分把第二階段的有監(jiān)督訓(xùn)練自然語(yǔ)言處理任務(wù)，換成了無(wú)監(jiān)督訓(xùn)練任務(wù)，這樣使得預(yù)訓(xùn)練和微調(diào)的結(jié)構(gòu)完全一致。當(dāng)問(wèn)題的輸入和輸出均為文字時(shí)，只需要用特定方法組織不同類(lèi)型的有標(biāo)注數(shù)據(jù)即可代入模型，如對(duì)于問(wèn)答使用“問(wèn)題+答案+文檔”的組織形式，對(duì)于翻譯使用“英文+法文”形式。用前文預(yù)測(cè)后文，而非使用標(biāo)注數(shù)據(jù)調(diào)整模型參數(shù)。這樣既使用了統(tǒng)一的結(jié)構(gòu)做訓(xùn)練，又可適配不同類(lèi)型的任務(wù)。雖然學(xué)習(xí)速度較慢，但也能達(dá)到相對(duì)不錯(cuò)的效果。另外GPT2將Transformer堆疊的層數(shù)增加到48層，隱層的維度為1600，參數(shù)量更是達(dá)到了15億。2此圖引用于/Ashe__yang/article/details/1198329162.1.ChatGPT和GPT4的前身5（2）GPT2的優(yōu)缺點(diǎn)?優(yōu)點(diǎn)：GPT2在GPT1的基礎(chǔ)上進(jìn)一步改進(jìn)了模型，通過(guò)增加更多的參數(shù)（1.5億到15億）來(lái)提高性能。同時(shí)GPT2可以生成更長(zhǎng)的文本，更好地處理對(duì)話，并且有更好的通用性。?缺點(diǎn)：GPT2的訓(xùn)練數(shù)據(jù)來(lái)自于互聯(lián)網(wǎng)，這意味著它存在垃圾數(shù)據(jù)和不當(dāng)信息的問(wèn)題。這使得它偶爾會(huì)生成不適當(dāng)?shù)幕卮稹４送?，GPT2是封閉模型，無(wú)法對(duì)其進(jìn)行修改或改進(jìn)。（3）GPT2的應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景：在性能方面，除了理解能力外，GPT2在生成方面第一次表現(xiàn)出了強(qiáng)大的天賦：閱讀摘要、聊天、續(xù)寫(xiě)、編故事，甚至生成假新聞、釣魚(yú)郵件或在網(wǎng)上進(jìn)行角色扮演通通不在話下。在“變得更大”之后，GPT2的確展現(xiàn)出了普適而強(qiáng)大的能力，并在多個(gè)特定的語(yǔ)言建模任務(wù)上實(shí)現(xiàn)了彼時(shí)的最佳性能。2.1.3GPT3雖然預(yù)訓(xùn)練和微調(diào)在許多情況下效果顯著，但是微調(diào)過(guò)程需要大量樣本。這一框架不符合人類(lèi)習(xí)慣，人類(lèi)只需要少量的示例或任務(wù)說(shuō)明就能適應(yīng)一個(gè)新的自然語(yǔ)言處理下游任務(wù)。因此OpenAI于2020年06月推出了GPT3[3]，該模型延續(xù)了GPT1和GPT2基于Transformer的自回歸語(yǔ)言模型結(jié)構(gòu)，但GPT3將模型參數(shù)規(guī)模擴(kuò)大至175B，是GPT2的100倍，從大規(guī)模數(shù)據(jù)中吸納更多的知識(shí)。如圖5所示3，GPT3不再追求zero-shot的設(shè)定，而是提出In-ContextLearning，在下游任務(wù)中模型不需要任何額外的微調(diào)，利用提示信息給定少量標(biāo)注的樣本讓模型學(xué)習(xí)再進(jìn)行推理生成，就能夠在只有少量目標(biāo)任務(wù)標(biāo)注樣本的情況下進(jìn)行很好的泛化，再次證明大力出擊奇跡，做大模型的必要性。（1）GPT3的優(yōu)缺點(diǎn)?優(yōu)點(diǎn)：與GPT2相比，GPT3更加強(qiáng)大，它有1750億個(gè)參數(shù)，并能夠非常準(zhǔn)確地執(zhí)行一些任務(wù)，如語(yǔ)言翻譯，問(wèn)答與自動(dòng)文本摘要。此外，GPT3是開(kāi)放模型，可供用戶訪問(wèn)，并且可以進(jìn)行迭代和改進(jìn)。?缺點(diǎn)：盡管GPT3功能強(qiáng)大，但在某些情況下仍會(huì)出現(xiàn)語(yǔ)義不清或不正確的回答，特別是對(duì)于特定領(lǐng)域的問(wèn)題：1）當(dāng)生成文本長(zhǎng)度較長(zhǎng)時(shí)，GPT3還是會(huì)出現(xiàn)各種問(wèn)題，比如重復(fù)生成一段話，前后矛盾，邏輯銜接不好等等；2）模型和結(jié)構(gòu)的局限性，對(duì)于某一些任務(wù)，比如填空類(lèi)型的文本任務(wù)，使用單 3此圖引用于/s?id=1674983712782617872&wfr=spider&for=pc2.1.ChatGPT和GPT4的前身6圖5:GPT3示意圖向的自回歸語(yǔ)言模型確實(shí)存在一定的局限性，這時(shí)候如果同時(shí)考慮上文和下文的話，效果很可能會(huì)更好一些；3）預(yù)訓(xùn)練語(yǔ)言模型的通病，在訓(xùn)練時(shí)，語(yǔ)料中所有的詞都被同等看待，對(duì)于一些虛詞或無(wú)意義的詞同樣需要花費(fèi)很多計(jì)算量去學(xué)習(xí)，無(wú)法區(qū)分學(xué)習(xí)重點(diǎn)；4）樣本有效性或者利用率過(guò)低，訓(xùn)一個(gè)模型幾乎要把整個(gè)互聯(lián)網(wǎng)上的文本數(shù)據(jù)全都用起來(lái)，這與我們?nèi)祟?lèi)學(xué)習(xí)時(shí)所一個(gè)不太確定的點(diǎn)是，模型到底是在“學(xué)習(xí)”還是在“記憶”？我們當(dāng)然希望它能夠?qū)W習(xí)，但是在使用數(shù)據(jù)量如此大的情況下，很難去判斷它到底是什么樣的；6）眾所周知，GPT-3的訓(xùn)練和使用成本都太大了；7）GPT-3跟很多深度學(xué)習(xí)模型一樣，都是不可解釋的，沒(méi)辦法知道模型內(nèi)部到底是如何作出一系列決策的；8）模型最終呈現(xiàn)的效果取決于訓(xùn)練數(shù)據(jù)，這會(huì)導(dǎo)致模型會(huì)出現(xiàn)各種各樣的“偏見(jiàn)”。（2）GPT3的應(yīng)用場(chǎng)景GPT3的應(yīng)用領(lǐng)域十分廣泛。其中最重要的運(yùn)用之一是自然語(yǔ)言生成，它可以根據(jù)給定的前后文或主題，自動(dòng)生成語(yǔ)言流暢、連貫、邏輯清晰的帖子、新聞報(bào)導(dǎo)、詩(shī)文、對(duì)話等文字。此外，GPT3也可以進(jìn)行文本分類(lèi)、情感分析、機(jī)器翻譯、問(wèn)答等多種自然語(yǔ)言處理任務(wù)，這些任務(wù)表現(xiàn)往往與人類(lèi)表現(xiàn)很接近甚至超過(guò)了人類(lèi)表現(xiàn)。正由于GPT3這些強(qiáng)大的能力，以及其開(kāi)源的特性，使得GPT3成為一個(gè)在ChatGPT模型誕生之前，被廣泛使用的一個(gè)基座模型。在應(yīng)用方面，GPT3早已廣泛應(yīng)用于各種領(lǐng)域。比如，在教學(xué)領(lǐng)域，它能夠?yàn)閷W(xué)生提供定制化的學(xué)習(xí)材料和回答，為教育行業(yè)帶來(lái)更加智能、高效的教學(xué)模式。在商業(yè)領(lǐng)域，它可以用于智能客服、智能營(yíng)銷(xiāo)等場(chǎng)景，為用戶提供更加人性化、高2.1.ChatGPT和GPT4的前身7圖6:GPT3.5示意圖更加便利的感受。在數(shù)據(jù)處理領(lǐng)域，它可以被用于一些結(jié)構(gòu)化數(shù)據(jù)的分析，成為高效的數(shù)據(jù)分析師。然而，GPT3也存在一些挑戰(zhàn)和難題。最先，因?yàn)镚PT3使用了大規(guī)模的訓(xùn)練數(shù)據(jù)和模型，其計(jì)算資源耗費(fèi)特別大，必須運(yùn)行在強(qiáng)悍的計(jì)算平臺(tái)上。其次，GPT3還存在一些難題，比如針對(duì)一些特殊領(lǐng)域的語(yǔ)言邏輯水平有限，必須針對(duì)不同的領(lǐng)域開(kāi)展專門(mén)的訓(xùn)練和優(yōu)化。此外，GPT3也存在一定的語(yǔ)言成見(jiàn)難題，可能會(huì)體現(xiàn)出一些社會(huì)、文化與性別上的成見(jiàn)。各種問(wèn)題需要進(jìn)一步的研究和處理。這些問(wèn)題在之后的GPT3.5中得到了較大程度的緩解。2.1.4GPT3.5GPT3縱然很強(qiáng)大，但是對(duì)于人類(lèi)的指令理解的不是很好，這也就延伸出了GPT3.5誕生的思路。在做下游的任務(wù)時(shí)，我們發(fā)現(xiàn)GPT3有很強(qiáng)大的能力，但是只要人類(lèi)說(shuō)的話不屬于GPT3的范式，他幾乎無(wú)法理解。如圖6所示4，2022年初OpenAI發(fā)布了GPT3.5，該模型是在GPT3的基礎(chǔ)上進(jìn)一步優(yōu)化了模型架構(gòu)和訓(xùn)練技術(shù)，提高了模型的效率和泛化能力，同時(shí)減少了對(duì)大量數(shù)據(jù)和計(jì)算資源的依賴。具體來(lái)說(shuō)，GPT3.5引入了一種新的“分組稀疏注意力”（GroupedSparseAttention,GSA）的架構(gòu)，可以在不影響模型性能的情況下減少計(jì)算量，同時(shí)還采用了“標(biāo)準(zhǔn)化知識(shí)蒸餾”（NormalizedKnowledgeDistillation,NKD）等技術(shù)來(lái)進(jìn)一步提高模型的效率和精度。4此圖引用于/s/Ip6tTSWZ0NIU375yFNLBQA2.1.ChatGPT和GPT4的前身8（1）GPT3.5的優(yōu)缺點(diǎn)?優(yōu)點(diǎn)：GPT3.5與其他NLP模型相比，具備更高的效率和更快的處理速度。這使得它在實(shí)際應(yīng)用場(chǎng)景中更為實(shí)用。例如，在自然語(yǔ)言生成、文本摘要、機(jī)器翻譯等任務(wù)中，GPT3.5表現(xiàn)出了非常出色的能力。它可以生成高質(zhì)量的文本，其生成的文本的質(zhì)量接近于人類(lèi)寫(xiě)作。同時(shí)，在處理問(wèn)答任務(wù)中，GPT3.5的語(yǔ)言理解能力也非常出色，可以理解和回答各種類(lèi)型的問(wèn)題。此外，該模型還具備文本分類(lèi)能力，可以對(duì)給定的文本進(jìn)行分類(lèi)，并且在這方面取得了很好的成績(jī)。GPT3.5不僅在這些傳統(tǒng)的NLP任務(wù)上表現(xiàn)優(yōu)異，它還可以在一些新興領(lǐng)域得到應(yīng)用，如自然語(yǔ)言生成、文本摘要、機(jī)器翻譯等。該模型還具有一個(gè)獨(dú)特的優(yōu)勢(shì)，即它可以自我學(xué)習(xí)、自我改進(jìn)。這意味著隨著時(shí)間的推移，它可以通過(guò)不斷地接收新的數(shù)據(jù)和信息來(lái)增強(qiáng)自己的表現(xiàn)。這種能力被稱為“元學(xué)習(xí)”。使用元學(xué)習(xí)方法，GPT3.5可以在沒(méi)有人類(lèi)干預(yù)的情況下進(jìn)行自我優(yōu)化，從而提高其性能和效率。?缺點(diǎn)：雖然GPT3.5是自然語(yǔ)言處理研究中的重要一步，但它并沒(méi)有完全包含許多研究人員（包括AI2）設(shè)想的所有理想屬性。以下是GPT3.5不具備的某些重要屬性：實(shí)時(shí)改寫(xiě)模型的信念、形式推理、從互聯(lián)網(wǎng)進(jìn)行檢索。（2）GPT3.5的應(yīng)用場(chǎng)景模型采用了海量的數(shù)據(jù)訓(xùn)練，具有超過(guò)1750億個(gè)參數(shù)，由于其參數(shù)量巨大，GPT3.5可以用于一些需要深度學(xué)習(xí)模型支持的領(lǐng)域，如計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等。相比于GPT3，GPT3.5在語(yǔ)言理解、生成和推理等方面表現(xiàn)更為出色，其能夠進(jìn)行更加復(fù)雜的自然語(yǔ)言處理任務(wù)。而與其他NLP模型相比，GPT3.5具備更高的效率和更快的處理速度，這使得它在實(shí)際應(yīng)用場(chǎng)景中更為實(shí)用。2.1.5InstructGPT2022年1月27日AI2（AllenInstituteforArtificialIntelligence）發(fā)布了InstructGPT[24]，如圖7所示5，它建立在GPT3語(yǔ)言功能的基礎(chǔ)上，但提高了它遵循指令的能力。采用基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)來(lái)不斷微調(diào)預(yù)訓(xùn)練語(yǔ)言模型，旨在讓模型能夠更好地理解人類(lèi)的命令和指令含義，如生成小作文、回答知識(shí)問(wèn)題和進(jìn)行頭腦風(fēng)暴等。該方法不僅讓模型學(xué)會(huì)判斷哪些答案是優(yōu)質(zhì)的，而且可以確保生成的答案富含信息、內(nèi)容豐富、對(duì)用戶有幫助、無(wú)害和不包含歧視信息等多種標(biāo)準(zhǔn)。因此，RLHF是一種有效的方法，可以幫助預(yù)訓(xùn)練語(yǔ)言模型不斷提升性能和適應(yīng)各種用戶需求。5此圖來(lái)源于/post/72155289787266007602.1.ChatGPT和GPT4的前身9圖7:InstructGPT示意圖（1）InstructGPT的優(yōu)缺點(diǎn)?優(yōu)點(diǎn)：InstructGPT的效果比GPT3更加真實(shí)：因?yàn)镚PT-3本身就具有非常強(qiáng)的泛化能力和生成能力，再加上InstructGPT引入了不同的labeler進(jìn)行提示編寫(xiě)和生成結(jié)果排序，而且還是在GPT-3之上進(jìn)行的微調(diào)，這使得在訓(xùn)練獎(jiǎng)勵(lì)模型時(shí)對(duì)更加真實(shí)的數(shù)據(jù)會(huì)有更高的獎(jiǎng)勵(lì)。InstructGPT在模型的無(wú)害性上比GPT-3效果要有些許提升：原理同上。但是作者發(fā)現(xiàn)InstructGPT在歧視、偏見(jiàn)等數(shù)據(jù)集上并沒(méi)有明顯的提升。這是因?yàn)镚PT3本身就是一個(gè)效果非常好的模型，它生成帶有有害、歧視、偏見(jiàn)等情況的有問(wèn)題樣本的概率本身就會(huì)很低。僅僅通過(guò)40個(gè)labeler采集和標(biāo)注的數(shù)據(jù)很可能無(wú)法對(duì)模型在這些方面進(jìn)行充分的優(yōu)化，所以會(huì)帶來(lái)模型效果的提升很少或者無(wú)法察覺(jué)。InstructGPT具有很強(qiáng)的編碼能力：首先GP-3就具有很強(qiáng)的Coding能力，基于GP-3制作的API也積累了大量的編碼信息。而且也有部分OpenAI的內(nèi)部員工參與了數(shù)據(jù)采集工作。?缺點(diǎn)：InstructGPT會(huì)降低模型在通用NLP任務(wù)上的效果；對(duì)有害的指示可能會(huì)輸出有害的答復(fù)。另外有時(shí)候InstructGPT會(huì)給出一些荒謬的輸出：雖然InstructGPT使用了人類(lèi)反饋，但限于人力資源有限。影響模型效果最大的還是有監(jiān)督的語(yǔ)言模型任務(wù)，人類(lèi)只是起到了糾正作用。所以很有可能受限于糾正數(shù)據(jù)的有限，或是有監(jiān)督任務(wù)的誤導(dǎo)（只考慮模型的輸出，沒(méi)考慮也可以歸結(jié)為labeler標(biāo)注的數(shù)據(jù)量不夠，因?yàn)橹甘臼悄Ｐ彤a(chǎn)生輸出的唯一線索，如果指示的數(shù)量和種類(lèi)訓(xùn)練的不充分的話，就可能會(huì)讓模型存在這個(gè)2.1.ChatGPT和GPT4的前身10圖8:Bert示意圖問(wèn)題。還可能存在模型對(duì)簡(jiǎn)單概念的過(guò)分解讀：這可能是因?yàn)閘abeler在進(jìn)行生成內(nèi)容的比較時(shí)，傾向于給給長(zhǎng)的輸出內(nèi)容更高的獎(jiǎng)勵(lì)。（2）InstructGPT的應(yīng)用場(chǎng)景與GPT3不同的是，InstructGPT專注于解決指導(dǎo)型對(duì)話的任務(wù)。指導(dǎo)型對(duì)話是指一種對(duì)話形式，其中一個(gè)人（通常是教師或者專家）向另一個(gè)人（通常是學(xué)生或者用戶）提供指導(dǎo)、解釋和建議。在這種對(duì)話中，用而指導(dǎo)者則會(huì)針對(duì)這些問(wèn)題提供詳細(xì)的答案和指導(dǎo)。2.1.6GoogleBertGoogle在2018年的論文《BERT:Pre-trainingofDeepBidirectionalTrans-formersforLanguageUnderstanding》[10]中提出了Bert模型。如圖8所示6，基于Transformer的雙向編碼表示，它是一個(gè)預(yù)訓(xùn)練模型，模型訓(xùn)練時(shí)的兩個(gè)任務(wù)是預(yù)測(cè)句子中被掩蓋的詞以及判斷輸入的兩個(gè)句子是不是上下句。在預(yù)訓(xùn)練好的BERT模型后面根據(jù)特定任務(wù)加上相應(yīng)的網(wǎng)絡(luò)，可以完成NLP的下游任務(wù)。雖然BERT是基于Transformer的，但是它只使用了Transformer的編碼器部分，它的整體框架是由多層Transformer的編碼器堆疊而成的。每一層的編碼器則是由一層多頭注意力機(jī)制和一層前向傳播組成，大的模型有24層，每層16個(gè)注意力頭，小的模型12層，每層12個(gè)注意力頭。每個(gè)注意力頭的主要作用是通過(guò)目標(biāo)詞與句子中的所有詞匯的相關(guān)度，對(duì)目標(biāo)詞重新編碼。所以每個(gè)注意力頭的計(jì)算包括三個(gè)步驟：計(jì)算詞之間的相關(guān)度，對(duì)相關(guān)度歸一化，通過(guò)相關(guān)度和所有詞的編碼進(jìn)行加權(quán)求和獲取目標(biāo)詞的編碼。在通過(guò)注意力頭計(jì)算詞之間的相關(guān)度時(shí)，首先通過(guò)三個(gè)權(quán)重矩陣對(duì)輸入的序列向量(512*768)做線性變換，分別生成Query、Key和Value三個(gè)新的序列向量，用每個(gè)詞的Query向量分別和序列中的所有詞的key向量做乘積，得到詞與詞之間的相關(guān)度，然后這個(gè)相關(guān)度再通過(guò)Softmax函數(shù)進(jìn)行歸一化，歸一化后的權(quán)重與Value加權(quán)求和，得到每個(gè)詞新的編碼。 6此圖來(lái)源于/pdf/1810.04805.pdf2.2.ChatGPT和GPT411（1）GoogleBert的優(yōu)缺點(diǎn)?優(yōu)點(diǎn)：Bert的基礎(chǔ)建立在Transformer之上，擁有強(qiáng)大的語(yǔ)言表征能力和特征提取能力。在11項(xiàng)NLP基準(zhǔn)測(cè)試任務(wù)中達(dá)到了最優(yōu)性能。同時(shí)再次證明了雙向語(yǔ)言模型的能力更加強(qiáng)大。?缺點(diǎn)：1、可復(fù)現(xiàn)性差，基本沒(méi)法做，只能拿來(lái)主義直接用。2、訓(xùn)練過(guò)程中因?yàn)槊總€(gè)批次中的數(shù)據(jù)只有15%參與預(yù)測(cè)，模型收斂較慢，需要強(qiáng)大的算力（2）GoogleBert的應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景：Bert可用于情感分類(lèi)：通過(guò)用戶對(duì)商品評(píng)價(jià)來(lái)對(duì)商品質(zhì)量問(wèn)題進(jìn)行分析，比如是否新鮮、服務(wù)問(wèn)題等；意圖識(shí)別；問(wèn)答匹配；槽位提?。築ERT后接CRF來(lái)做命名實(shí)體識(shí)別。2.2.ChatGPT和GPT42.2.1ChatGPTChatGPT[40]目前是一個(gè)可供大眾使用和訪問(wèn)的模型，目前已經(jīng)開(kāi)放了網(wǎng)頁(yè)版與ios版本。其中網(wǎng)頁(yè)版的ChatGPT的使用鏈接為：/。ChatGPT核心技術(shù)主要包括其具有良好的自然語(yǔ)言生成能力的大模型GPT3.5以及訓(xùn)練這一模型的鑰匙——基于人工反饋的強(qiáng)化學(xué)習(xí)（RLHF）。GPT家族是OpenAI公司推出的相關(guān)產(chǎn)品，這是一種生成式語(yǔ)言模型，可用于對(duì)話、問(wèn)答、機(jī)器翻譯、寫(xiě)代碼等一系列自然語(yǔ)言任務(wù)。每一代GPT相較于上一代模型的參數(shù)量均呈現(xiàn)出爆炸式增長(zhǎng)。OpenAI在2018年6月發(fā)布的GPT包含1.2億參數(shù)，在2019年2月發(fā)布的GPT-2包含15億參數(shù)，在2020年5月發(fā)布的GPT-3包含1750億參數(shù)。與相應(yīng)參數(shù)量一同增長(zhǎng)的還有公司逐年積淀下來(lái)的恐怖的數(shù)據(jù)量。可以說(shuō)大規(guī)模的參數(shù)與海量的訓(xùn)練數(shù)據(jù)為GPT系列模型賦能，使其可以存儲(chǔ)海量的知識(shí)、理解人類(lèi)的自然語(yǔ)言并且有著良好的表達(dá)能力。除了參數(shù)上的增長(zhǎng)變化之外，GPT模型家族的發(fā)展從GPT-3開(kāi)始分成了兩個(gè)技術(shù)路徑并行發(fā)展2，一個(gè)路徑是以Codex為代表的代碼預(yù)訓(xùn)練技術(shù)，另一個(gè)路徑是以InstructGPT為代表的文本指令（Instruction）預(yù)訓(xùn)練技術(shù)。但這兩個(gè)技術(shù)路徑不是始終并行發(fā)展的，而是到了一定階段后（具體時(shí)間不詳）進(jìn)入了融合式預(yù)訓(xùn)練的過(guò)程，并通過(guò)指令學(xué)習(xí)（InstructionTuning）、有監(jiān)督精調(diào)（SupervisedFine-tuning）以及基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningwithHumanFeedback，RLHF）等技術(shù)實(shí)現(xiàn)了以自然語(yǔ)言對(duì)話為接口的ChatGPT模型。2.2.ChatGPT和GPT412（1）ChatGPT的優(yōu)點(diǎn)ChatGPT作為開(kāi)年爆款產(chǎn)品，自發(fā)布以來(lái)不足三個(gè)月，就以其能力的全面性、回答的準(zhǔn)確性、生成的流暢性、豐富的可玩性俘獲了數(shù)以億計(jì)的用戶，其整體能力之強(qiáng)大令人驚嘆。下面我們將從以下三個(gè)角度分別闡述ChatGPT相較于不同產(chǎn)品和范式的優(yōu)點(diǎn)。1.相較于普通聊天機(jī)器人：ChatGPT的發(fā)布形式是一款聊天機(jī)器人，類(lèi)似于市場(chǎng)上其他聊天機(jī)器人（微軟小冰、百度度秘等也是直接對(duì)其下指令即可與人類(lèi)自然交互，簡(jiǎn)單直接。但相較之下，ChatGPT的回答更準(zhǔn)確，答案更流暢，能進(jìn)行更細(xì)致的推理，能完成更多的任務(wù)，這得益于ChatGPT自身具有以下三方面?強(qiáng)大的底座能力：ChatGPT基于GPT3.5系列的Code-davinci-002指令微調(diào)而成。而GPT3.5系列是一系列采用了數(shù)千億的token預(yù)訓(xùn)練的千億大模型，足夠大的模型規(guī)模賦予了ChatGPT更多的參數(shù)量記憶充足的知識(shí)，同時(shí)其內(nèi)含“涌現(xiàn)”的潛力，為之后的指令微調(diào)能力激發(fā)打下了堅(jiān)實(shí)的基礎(chǔ)；?驚艷的思維鏈推理能力：在文本預(yù)訓(xùn)練的基礎(chǔ)上，ChatGPT的基礎(chǔ)大模型采用159G的代碼進(jìn)行了繼續(xù)預(yù)訓(xùn)練，借助代碼分步驟、分模塊解決問(wèn)題的特性，模型涌現(xiàn)出了逐步推理的能力，在模型表現(xiàn)上不再是隨著模型規(guī)模線性增長(zhǎng)，有了激增，打破了scalinglaw；?實(shí)用的零樣本能力：ChatGPT通過(guò)在基礎(chǔ)大模型上利用大量種類(lèi)的指令進(jìn)行指令微調(diào)，模型的泛化性得到了顯著地激發(fā)，可以處理未見(jiàn)過(guò)的任務(wù)，使其通用性大大提高，在多種語(yǔ)言、多項(xiàng)任務(wù)上都可以進(jìn)行處理。綜上，在大規(guī)模語(yǔ)言模型存儲(chǔ)充足的知識(shí)和涌現(xiàn)的思維鏈能力的基礎(chǔ)上，Chat-GPT輔以指令微調(diào)，幾乎做到了知識(shí)范圍內(nèi)的無(wú)所不知，且難以看出破綻，已遙遙領(lǐng)先普通的聊天機(jī)器人。2.相較于其它大規(guī)模語(yǔ)言模型：相較于其它的大規(guī)模語(yǔ)言模型，ChatGPT使用了更多的多輪對(duì)話數(shù)據(jù)進(jìn)行指令微調(diào)，這使其擁有了建模對(duì)話歷史的能力，能持續(xù)和用戶交互。同時(shí)因?yàn)楝F(xiàn)實(shí)世界語(yǔ)言數(shù)據(jù)的偏見(jiàn)性，大規(guī)模語(yǔ)言模型基于這些數(shù)據(jù)預(yù)訓(xùn)練可能會(huì)生成有害的回復(fù)。ChatGPT在指令微調(diào)階段通過(guò)基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)調(diào)整模型的輸出偏好，使其能輸出更符合人類(lèi)預(yù)期的結(jié)果（即能進(jìn)行翔實(shí)的回應(yīng)、公平的回應(yīng)、拒絕不當(dāng)問(wèn)題、拒絕知識(shí)范圍外的問(wèn)題一定程度上緩解了安全性和偏見(jiàn)問(wèn)題，使其更加耐用；同時(shí)其能利用真實(shí)的用戶反饋不斷進(jìn)行AI正循環(huán)，持續(xù)增強(qiáng)自身和人類(lèi)的這種對(duì)齊能力。這將使得其輸出更安全的2.2.ChatGPT和GPT4133.相較于微調(diào)小模型：在ChatGPT之前，利用特定任務(wù)數(shù)據(jù)微調(diào)小模型是近年來(lái)最常用的自然語(yǔ)言處理范式。相較于這種微調(diào)范式，ChatGPT通過(guò)大量指令激發(fā)的泛化能力在零樣本和少樣本場(chǎng)景下具有顯著優(yōu)勢(shì)，在未見(jiàn)過(guò)的任務(wù)上也可以有所表現(xiàn)。例如ChatGPT的前身InstructGPT指令微調(diào)的指令集中96%以上是英語(yǔ)，此外只含有20種少量的其它語(yǔ)言（包含西班牙語(yǔ)、法語(yǔ)、德語(yǔ)等）。然而在機(jī)器翻譯任務(wù)上，我們使用指令集中未出現(xiàn)的塞爾維亞語(yǔ)讓ChatGPT進(jìn)行翻譯，仍然可以得到正確的翻譯結(jié)果，這是在微調(diào)小模型的范式下很難實(shí)現(xiàn)的泛化除此之外，作為大規(guī)模語(yǔ)言模型的天然優(yōu)勢(shì)使ChatGPT在創(chuàng)作型任務(wù)上的表現(xiàn)尤為突出，甚至強(qiáng)于大多數(shù)普通人類(lèi)。（2）ChatGPT的缺點(diǎn)固然ChatGPT在實(shí)際使用中表現(xiàn)驚艷，然而囿于大規(guī)模語(yǔ)言模型自身、數(shù)據(jù)原因、標(biāo)注策略等局限，仍主要存在以下劣勢(shì)：1.大規(guī)模語(yǔ)言模型自身的局限：身為大規(guī)模語(yǔ)言模型，ChatGPT難免有著LLM的通用局限，具體表現(xiàn)在以下幾個(gè)方面：?可信性無(wú)法保證：ChatGPT的回復(fù)可能是在一本正經(jīng)地胡說(shuō)八道，語(yǔ)句通暢貌似合理，但其實(shí)完全大相徑庭，目前模型還不能提供合理的證據(jù)進(jìn)行可?時(shí)效性差：ChatGPT無(wú)法實(shí)時(shí)地融入新知識(shí)，其知識(shí)范圍局限于基礎(chǔ)大規(guī)模語(yǔ)言模型使用的預(yù)訓(xùn)練數(shù)據(jù)時(shí)間之前，可回答的知識(shí)范圍有明顯的邊界；?成本高昂：ChatGPT基礎(chǔ)大模型訓(xùn)練成本高、部署困難、每次調(diào)用花費(fèi)不菲、還可能有延遲問(wèn)題，對(duì)工程能力有很高的要求；?在特定的專業(yè)領(lǐng)域上表現(xiàn)欠佳：大規(guī)模語(yǔ)言模型的訓(xùn)練數(shù)據(jù)是通用數(shù)據(jù)，沒(méi)有領(lǐng)域?qū)I(yè)數(shù)據(jù)，比如針對(duì)特定領(lǐng)域的專業(yè)術(shù)語(yǔ)翻譯做的并不好；?語(yǔ)言模型每次的生成結(jié)果是beamsearch或者采樣的產(chǎn)物，每次都會(huì)有細(xì)微的不同。同樣地，ChatGPT對(duì)輸入敏感，對(duì)于某個(gè)指令可能回答不正確，但稍微替換幾個(gè)詞表達(dá)同樣的意思重新提問(wèn)，又可以回答正確，其性能目前還2.數(shù)據(jù)原因?qū)е碌木窒蓿喝缟衔乃?，ChatGPT的基礎(chǔ)大規(guī)模語(yǔ)言模型是基于現(xiàn)實(shí)世界的語(yǔ)言數(shù)據(jù)預(yù)訓(xùn)練而成，因?yàn)閿?shù)據(jù)的偏見(jiàn)性，很可能生成有害內(nèi)容。雖然ChatGPT已采用RLHF的方式大大緩解了這一問(wèn)題，然而通過(guò)一些誘導(dǎo)，有害內(nèi)容仍有可能出現(xiàn)。此外，ChatGPT為OpenAI部署，用戶數(shù)據(jù)都為OpenAI所掌握，長(zhǎng)期大規(guī)模使用可能存在一定的數(shù)據(jù)泄漏風(fēng)險(xiǎn)。2.2.ChatGPT和GPT4143.標(biāo)注策略導(dǎo)致的局限：ChatGPT通過(guò)基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)使模型的生成結(jié)果更符合人類(lèi)預(yù)期，然而這也導(dǎo)致了模型的行為和偏好一定程度上反映的是標(biāo)注人員的偏好，在標(biāo)注人員分布不均的情況下，可能會(huì)引入新的偏見(jiàn)問(wèn)題。同樣致了ChatGPT偏好于生成更長(zhǎng)的回答，在部分情況下顯得冗長(zhǎng)。此外，作為突圍型產(chǎn)品，ChatGPT確實(shí)表現(xiàn)優(yōu)秀。然而在目前微調(diào)小模型已經(jīng)達(dá)到較好效果的前提下，同時(shí)考慮到ChatGPT的訓(xùn)練和部署困難程度，ChatGPT可能在以下任務(wù)場(chǎng)景下不太適用或者相比于目前的微調(diào)小模型范式性價(jià)比較低：（3）ChatGPT的特點(diǎn)總結(jié)?ChatGPT的通用性很強(qiáng)，對(duì)多種自然語(yǔ)言處理任務(wù)都有處理能力。然而針對(duì)特定的序列標(biāo)注等傳統(tǒng)自然語(yǔ)言理解任務(wù)，考慮到部署成本和特定任務(wù)的準(zhǔn)確性，在NLU任務(wù)不需要大規(guī)模語(yǔ)言模型的生成能力，也不需要更多額外知識(shí)的前提下，如果擁有足夠數(shù)據(jù)進(jìn)行微調(diào)，微調(diào)小模型可能仍是更佳的?在一些不需要大規(guī)模語(yǔ)言模型中額外知識(shí)的任務(wù)上，例如機(jī)器閱讀理解，回答問(wèn)題所需的知識(shí)已經(jīng)都存在于上下文中；?由于除英語(yǔ)之外的其它語(yǔ)言在預(yù)訓(xùn)練語(yǔ)料庫(kù)中占比很少，因此翻譯目標(biāo)非英文的機(jī)器翻譯任務(wù)和多語(yǔ)言任務(wù)在追求準(zhǔn)確的前提下可能并不適用；?大規(guī)模語(yǔ)言模型的現(xiàn)實(shí)世界先驗(yàn)知識(shí)太強(qiáng)，很難被提示覆蓋，這導(dǎo)致我們很難糾正ChatGPT的事實(shí)性錯(cuò)誤，使其使用場(chǎng)景受限；?對(duì)于常識(shí)、符號(hào)和邏輯推理問(wèn)題，ChatGPT更傾向于生成“不確定”的回復(fù)，避免直接面對(duì)問(wèn)題正面回答。在追求唯一性答案的情況下可能并不適用；?ChatGPT目前還只能處理文本數(shù)據(jù)，在多模態(tài)任務(wù)上還無(wú)法處理。2.2.2GPT4GPT4[41]是繼ChatGPT之后，OpenAI又發(fā)布的一個(gè)強(qiáng)大模型。GPT4的介紹和使用方式可見(jiàn)鏈接：/?model=GPT4。目前可以通過(guò)升級(jí)到ChatGPT-plus，以及通過(guò)Bing的聊天模式來(lái)體驗(yàn)使用GPT4模型。關(guān)于GPT4的訓(xùn)練細(xì)節(jié)，OpenAI目前還未披露。他們的技術(shù)報(bào)告中沒(méi)有包括有關(guān)架構(gòu)（包括模型大?。⒂布?、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等的詳細(xì)用的數(shù)據(jù)和經(jīng)許可的第三方數(shù)據(jù)進(jìn)行訓(xùn)練，然后使用RLHF進(jìn)行微調(diào)。有趣的是，OpenAI分享了有關(guān)其升級(jí)的RLHF技術(shù)的細(xì)節(jié)，以使模型的響應(yīng)更準(zhǔn)確，并且不太可能偏離安全防護(hù)欄。2.2.ChatGPT和GPT415在訓(xùn)練策略模型后（與ChatGPT類(lèi)似RLHF在對(duì)抗性訓(xùn)練中使用，這個(gè)過(guò)程是訓(xùn)練模型對(duì)惡意示例進(jìn)行欺騙，以便在未來(lái)保護(hù)模型免受此類(lèi)示例的影響。在GPT4的情況下，跨多個(gè)領(lǐng)域的人類(lèi)領(lǐng)域?qū)＜覍?duì)策略模型對(duì)抗性提示的響應(yīng)進(jìn)行評(píng)分。然后使用這些響應(yīng)來(lái)訓(xùn)練額外的獎(jiǎng)勵(lì)模型，以逐步微調(diào)策略模型，從而得到一個(gè)更不可能提供危險(xiǎn)、回避或不準(zhǔn)確的響應(yīng)的模型。（1）GPT4與GPT3.5下面將從幾個(gè)不同的角度對(duì)GPT4與之前的GPT3.5進(jìn)行比較。1、模型規(guī)模。相較于GPT3.5的1750億個(gè)參數(shù)，GPT4的參數(shù)達(dá)到了5000億個(gè)（也有報(bào)道為1萬(wàn)億GPT4的規(guī)模比GPT3.5更大。更大的規(guī)模通常意味著更好的性能，能夠生成更復(fù)雜、更準(zhǔn)確的語(yǔ)言。2、訓(xùn)練數(shù)據(jù)。GPT3.5使用了來(lái)自維基百科、新聞報(bào)道、網(wǎng)站文章等互聯(lián)網(wǎng)上的大量文本數(shù)據(jù)，大小為45TB左右。而GPT4則使用了更大量的網(wǎng)頁(yè)、書(shū)籍、論文、程序代碼等文本數(shù)據(jù)，同時(shí)還使用了大量的可視數(shù)據(jù)。盡管無(wú)法考究具體數(shù)值，但毫無(wú)疑問(wèn)，GPT4的訓(xùn)練數(shù)據(jù)比GPT3.5更豐富。這使得GPT4具備更廣泛的知識(shí)，回答也更具針對(duì)性。3、模態(tài)與信息。GPT3.5是基于文本的單模態(tài)模型，無(wú)論是圖像、文本、音頻，用戶只能輸入一種文本類(lèi)型的信息。而GPT4是一個(gè)多模態(tài)模型,可以接受文本和圖像的提示語(yǔ)（包括帶有文字和照片的文件、圖表或屏幕截圖）。這使得GPT4可以結(jié)合兩類(lèi)信息生成更準(zhǔn)確的描述。在輸入信息長(zhǎng)度方面，與GPT3.5限制3000個(gè)字相比，GPT4將文字輸入限制提升至2.5萬(wàn)字。文字輸入長(zhǎng)度限制的增加，也大大擴(kuò)展了GPT4的實(shí)用性。例如可以把近50頁(yè)的書(shū)籍輸入GPT4從而生成一個(gè)總結(jié)概要，直接把1萬(wàn)字的程序文檔輸入給GPT4就可直接讓它給修改Bug，極大提高工作生產(chǎn)效率。4、模型功能。GPT3.5主要用于文字回答和劇本寫(xiě)作。而GPT4，除文字回答和劇本寫(xiě)作外，還具有看圖作答、數(shù)據(jù)推理、分析圖表、總結(jié)概要和角色扮演等更5、模型性能。雖然GPT3.5已經(jīng)表現(xiàn)出很強(qiáng)大的性能，但GPT4在處理更復(fù)雜的問(wèn)題方面表現(xiàn)得更好。例如，在多種專業(yè)和學(xué)術(shù)基準(zhǔn)方面，GPT4表現(xiàn)出近似人類(lèi)水平；在模擬律師考試方面，GPT4可以進(jìn)入應(yīng)試者前10%左右，而GPT3.5則在應(yīng)試者倒數(shù)10%左右；在USABOSemifinalExam2020（美國(guó)生物奧林匹克競(jìng)賽）、GRE口語(yǔ)等多項(xiàng)測(cè)試項(xiàng)目中，GPT4也取得了接近滿分的成績(jī)，幾乎接近了人類(lèi)水平，如圖97。7數(shù)據(jù)來(lái)源：/research/GPT42.2.ChatGPT和GPT416圖9:GPT4各項(xiàng)考試結(jié)果(按GPT3.5性能排序)6、安全性和可靠性。GPT4改進(jìn)了對(duì)抗生成有毒或不真實(shí)內(nèi)容的策略，以減少誤導(dǎo)性信息和惡意用途的風(fēng)險(xiǎn)，提高其安全性和可靠性。特別地，GPT4在事實(shí)性、可引導(dǎo)性和拒絕超范圍解答（非合規(guī)）問(wèn)題方面取得了有史以來(lái)最好的結(jié)果（盡管它還不夠完美）。與GPT3.5相比，在生成的內(nèi)容符合事實(shí)測(cè)試方面，GPT4的得分比GPT3.5高40%，對(duì)敏感請(qǐng)求（如醫(yī)療建議和自我傷害）的響應(yīng)符合政策的頻率提高29%，對(duì)不允許內(nèi)容的請(qǐng)求響應(yīng)傾向降低82%?？傮w來(lái)說(shuō)，GPT4比GPT3.5更可靠，更有創(chuàng)造力，能夠處理更細(xì)微的指令。(2)GPT4與ChatGPTChatGPT是基于GPT3.5的AI聊天機(jī)器人。但在對(duì)話方面，GPT4已表現(xiàn)出更好的連貫性和語(yǔ)境理解能力：不僅可以生成流暢以理解和回答各種類(lèi)型的問(wèn)題，甚至還可以與用戶進(jìn)行創(chuàng)造性和技術(shù)性的寫(xiě)作任務(wù)。其中，比較突出的應(yīng)用能力體現(xiàn)如下。1、新增的圖片辨識(shí)和分析能力。與ChatGPT相比，GPT4除了可以支持文字輸入以外，還新增了圖片辨識(shí)和分析功能，即能辨識(shí)圖片（輸出對(duì)圖片的內(nèi)容描述）、分析圖表（類(lèi)似EXCEL中的圖表分析）、發(fā)現(xiàn)圖片中的不常之處（對(duì)圖片中異?，F(xiàn)象進(jìn)行辨識(shí)）、閱讀文件并總結(jié)概要（如對(duì)PDF文件內(nèi)容進(jìn)行歸納總結(jié)）等。甚至只需要在紙上畫(huà)一個(gè)網(wǎng)站的草稿圖，拍一張照片上傳給GPT4，模型便可生成網(wǎng)站代碼。2、更先進(jìn)的推理能力。相比ChatGPT只能在一定程度上進(jìn)行簡(jiǎn)單和直接的推理，GPT4可以進(jìn)行復(fù)雜和抽象的思考，能解決更復(fù)雜的問(wèn)題。如前所述，GPT42.3.ChatGPT和GPT4之后發(fā)布的模型17在多個(gè)專業(yè)和學(xué)術(shù)領(lǐng)域都已表現(xiàn)出人類(lèi)的水平，如美國(guó)的律師考試已經(jīng)達(dá)到了前10%的標(biāo)準(zhǔn)，法學(xué)院的入學(xué)考試也達(dá)到了88%的成績(jī)，SAT大學(xué)入學(xué)考試也達(dá)到了90%的成績(jī)。特別是ChatGPT不擅長(zhǎng)的數(shù)學(xué)解題能力，GPT4有了大幅提升，在美國(guó)高校入學(xué)考試SAT數(shù)學(xué)考試中，獲得了800分中的700分。3、更高水平的創(chuàng)造力和協(xié)作性。與ChatGPT只能在一定范圍內(nèi)進(jìn)行有限的創(chuàng)造和協(xié)作不同，GPT4可以與用戶進(jìn)行創(chuàng)造性和技術(shù)性的寫(xiě)作任務(wù)，例如創(chuàng)作歌曲、編寫(xiě)劇本或者學(xué)習(xí)用戶的風(fēng)格和偏好，還可以生成、編輯和迭代各種類(lèi)型和風(fēng)格的文本，并且能夠根據(jù)用戶的反饋和建議來(lái)改進(jìn)其輸出。4、更廣泛的應(yīng)用前景。GPT4憑借接近人類(lèi)水平的語(yǔ)言理解和生成能力以及其他方面的優(yōu)勢(shì)，可在各種領(lǐng)域和場(chǎng)合中發(fā)揮重要作用。例如，GPT4可以作為一個(gè)智能助理、教育工具、娛樂(lè)伙伴和研究助手，為O?ice辦公軟件、搜索引擎、虛擬導(dǎo)師應(yīng)用等提供使能。據(jù)公開(kāi)資料報(bào)道，微軟已將GPT4接入O?ice套件從而推出全新的AI功能Copilot，也已將GPT4接入Bing以提供定制化搜索服務(wù)；摩根士丹利正在應(yīng)用GPT4進(jìn)行財(cái)富管理部市場(chǎng)信息的分類(lèi)和檢索；Doulingo將使用GPT4進(jìn)行角色扮演以增進(jìn)語(yǔ)言的學(xué)習(xí)；BeMyEyes正在運(yùn)用GPT4將視覺(jué)型圖片轉(zhuǎn)成文字幫助盲人理解；可汗學(xué)院也已使用GPT4作為虛擬導(dǎo)師Khanmigo可以預(yù)見(jiàn)，GPT4將會(huì)接入越來(lái)越多的行業(yè)，從而促進(jìn)社會(huì)生產(chǎn)力和創(chuàng)造力的提升，為人類(lèi)帶來(lái)便利和價(jià)值。與此同時(shí)，伴隨著GPT4的應(yīng)用拓展和深入，GPT4將從人類(lèi)反饋中進(jìn)行更多、更快的學(xué)習(xí)，其模型迭代升多的功能、更強(qiáng)的性能將會(huì)呈驚現(xiàn)于世。2.3.ChatGPT和GPT4之后發(fā)布的模型2.3.1Facebook：LLaMaLLaMa[35]的介紹和使用鏈接為：/。LLaMA是Meta于2023年2月發(fā)布的模型集合（參數(shù)量7B/13B/33B/65B其中LLaMA-13B在大多數(shù)數(shù)據(jù)集上超過(guò)了GPT3（175BLLaMA-65B達(dá)到了和Chinchilla-70B、PaLM-540B相當(dāng)?shù)乃?。初此之外，LLaMA模型所使用的訓(xùn)練語(yǔ)料都是開(kāi)源語(yǔ)料（1.4Ttokens模型結(jié)構(gòu)上，LLaMA在Transformer基礎(chǔ)上引入預(yù)歸一（參考GPT3）、SwiGLU激活函數(shù)（參考PaLM）和旋轉(zhuǎn)位置編碼（參考GPTNeo算力資源上，65B模型使用2048張A10080G，按照每張卡每秒處理380個(gè)token來(lái)算，訓(xùn)完1.4Ttoken需要21天。2.3.ChatGPT和GPT4之后發(fā)布的模型18（2）工作原理LLaMa使用sentencePiece提供的BPE算法。模型結(jié)構(gòu)主要是基于Trans-former，做了三點(diǎn)改進(jìn)：預(yù)歸一（參考GPT3對(duì)transformer每個(gè)子層的輸入進(jìn)行歸一化（RMSNorm歸一化函數(shù)SwiGLU激活函數(shù)（參考PaLM用SwiGLU替換ReLU；旋轉(zhuǎn)位置編碼：移除絕對(duì)位置編碼，使用Roformer的旋轉(zhuǎn)位置編碼；LLaMA使用xformers庫(kù)提供的更高效的causalmulti-headattention實(shí)現(xiàn)版本，減少內(nèi)存占用和計(jì)算量；減少反向傳播過(guò)程中重新計(jì)算的激活函數(shù)的數(shù)量，人工實(shí)現(xiàn)transformer層的反向傳播函數(shù)（不用pytorch的autograd最大化重合GPU之間激活函數(shù)（activation）的計(jì)算和通信；2.3.2Stanford：AlpacaAlpaca[63]的介紹和使用鏈接為：/。Alpaca是Stanford用52k指令數(shù)據(jù)微調(diào)LLaMA7B后得到的預(yù)訓(xùn)練模型，作者聲稱在單輪指令執(zhí)行的效果上，Alpaca的回復(fù)質(zhì)量和openai的text-davinci-003相當(dāng)，但是Alpaca的參數(shù)非常少。（2）工作原理Alpaca的訓(xùn)練方法主要包含兩個(gè)部分，第一部分是采用self-instruct思想來(lái)自動(dòng)生成instruction數(shù)據(jù)；第二部分是在instruction數(shù)據(jù)上通過(guò)監(jiān)督學(xué)習(xí)微調(diào)LLaMA模型。其訓(xùn)練流程為：基于175個(gè)人工編寫(xiě)的指令-輸出對(duì)，作為self-instruct的種子集；基于種子集，提示text-davinci-003生成更多的指令；優(yōu)化self-instruct：簡(jiǎn)化生成pipeline，大幅降低成本；使用openaiapi生成52k不重復(fù)的指令和對(duì)應(yīng)輸出；使用huggingface框架來(lái)微調(diào)llama模型。2.3.3百度：文心一言文心一言的介紹和使用鏈接為：/。文心一言是百度全新一代知識(shí)增強(qiáng)大語(yǔ)言模型，文心大模型家族的新成員，能夠與人對(duì)話互動(dòng)，回答問(wèn)題，協(xié)助創(chuàng)作，高效便捷地幫助人們獲取信息、知識(shí)和靈感。文心一言是基于飛槳深度學(xué)習(xí)平臺(tái)和文心知識(shí)增強(qiáng)大模型，持續(xù)從海量數(shù)據(jù)和大規(guī)模知識(shí)中融合學(xué)習(xí)具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)特色。2.3.ChatGPT和GPT4之后發(fā)布的模型19（2）工作原理百度文心一言的參數(shù)量為100億，其中包括超過(guò)300種不同的語(yǔ)言特征；使用的是百度自有的數(shù)據(jù)集，包括海量文本、搜索日本，尤其是情感、文化、社交等領(lǐng)域的短文本；在語(yǔ)義理解和情感分析方面具有很高的精度，可以識(shí)別出復(fù)雜的情感表達(dá)和語(yǔ)言隱喻。百度文心一言主要使用機(jī)器學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，如Word2Vec、LSTM等，用于對(duì)大量的語(yǔ)料進(jìn)行訓(xùn)練，從而提高其文本生成和推薦的準(zhǔn)確性和適用性。2.3.4阿里：通義千問(wèn)通義千問(wèn)的介紹和使用鏈接為：/。通義千問(wèn)是阿里云推出的一個(gè)超大規(guī)模的語(yǔ)言模型，功能包括多輪對(duì)話、文案創(chuàng)作、邏輯推理、多模態(tài)理解、多語(yǔ)言支持。能夠跟人類(lèi)進(jìn)行多輪的交互，也融入了多模態(tài)的知識(shí)理解，且有文案創(chuàng)作能力，能夠續(xù)寫(xiě)小說(shuō)，編寫(xiě)郵件等。2023年4月11日舉辦的阿里云峰會(huì)上，阿里巴巴集團(tuán)董事會(huì)主席兼CEO、阿里云智能集團(tuán)CEO張勇公布了阿里人工智能大語(yǔ)言模型“通義千問(wèn)”，并宣布，未來(lái)阿里所有的產(chǎn)品都將接入“通義千問(wèn)”，進(jìn)行全面改造。（2）工作原理相較于ChatGPT等常見(jiàn)的通用自然語(yǔ)言處理模型，阿里云大模型“通義千問(wèn)”具有更高的智能度和精度。據(jù)報(bào)道，該模型包含超過(guò)100億個(gè)參數(shù)，是當(dāng)前全球最大的中文問(wèn)答模型之一，其在多項(xiàng)中文自然語(yǔ)言處理任務(wù)中表現(xiàn)出色，如機(jī)器閱讀理解、文本相似度、意圖識(shí)別等。阿里云大模型“通義千問(wèn)”的應(yīng)用前景非常廣泛。其可以被廣泛應(yīng)用于各種語(yǔ)言理解和問(wèn)答場(chǎng)景，如智能客服、智能問(wèn)答、語(yǔ)音識(shí)別等。通義千問(wèn)的語(yǔ)言模型是基于阿里云的大模型技術(shù)開(kāi)發(fā)的，同時(shí)在敏感信息屏蔽方面的能力也得到了大幅度增強(qiáng)。這意味著它可能會(huì)受到阿里云大模型技術(shù)的限制，同時(shí)也可能具有更好的隱私保護(hù)能力，這是GPT4等大模型所不2.3.5清華：ChatGLMChatGLM[15]的介紹和使用鏈接為：/。3生成式大模型引發(fā)的變革20ChatGLM是一個(gè)初具問(wèn)答和對(duì)話功能的千億中英語(yǔ)言模型，并針對(duì)中文問(wèn)答和對(duì)話進(jìn)行了優(yōu)化。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4量化級(jí)別下最低只需6GB顯存）。62億參數(shù)的ChatGLM-6B雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類(lèi)偏好的回答。（2）工作原理ChatGLM使用了監(jiān)督微調(diào)（SupervisedFine-Tuning）、反饋?zhàn)灾‵eedbackBootstrap）、人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）等方式，使模型初具理解人類(lèi)指令意圖的能力。ChatGLM-6B在1:1比例的中英語(yǔ)料上訓(xùn)練了1T的token量，兼具雙語(yǔ)能力；并且根據(jù)吸取GLM-130B訓(xùn)練經(jīng)驗(yàn)，修正了二維RoPE位置編碼實(shí)現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。6B（62億）的參數(shù)大小，也使得研究者和個(gè)人開(kāi)發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。3.1.應(yīng)用1：助力人機(jī)交互微軟目前將集成ChatGPT驅(qū)動(dòng)的Bing嵌入到Windows11操作系統(tǒng)的任務(wù)欄，更新完的操作系統(tǒng)可以在任務(wù)欄界面快速呼喚帶有ChatGPT的Bing，生成的內(nèi)容將會(huì)在Edge瀏覽器中的Bing聊天中。操作系統(tǒng)建立在硬件和軟件之間，也筑起了人與軟件之間的互動(dòng)。所有的應(yīng)用軟件底層的數(shù)據(jù)都需要通過(guò)操作系統(tǒng)的調(diào)度才能在正常地響應(yīng)用戶的操作。ChatGPT可以借助操作系統(tǒng)的特性，將自身的智能注入各個(gè)應(yīng)用軟件，大大提升用戶的操作體驗(yàn)，軟件間的數(shù)據(jù)流通也將更便利，生態(tài)覆蓋將更廣闊，因此將類(lèi)ChatGPT的AIGC技術(shù)[29,36,45,49,51–53,68]賦能操作系統(tǒng)是最關(guān)鍵也是集大成的一步。PC端的發(fā)展史折射出人機(jī)交互方式將從復(fù)雜到簡(jiǎn)單，從最初通過(guò)鼠標(biāo)、鍵盤(pán)等媒介的復(fù)雜操作到如今語(yǔ)音交與的簡(jiǎn)單操作，而這其中就需要。通過(guò)人工智能介入使機(jī)器更接近人。AIGC則是將操作系統(tǒng)的輸出更加泛化，使“機(jī)與人”交互更加接近“人與人”。例如，ChatGPT能夠用于賦能醫(yī)療機(jī)構(gòu)診療全過(guò)程[50,67]，包括病例診斷、自助就醫(yī)等。3.2.應(yīng)用2：助力信息資源管理在信息分析、文本挖掘方面，人工分析的小作坊模式將逐漸被大規(guī)模的人工智能分析取代。在數(shù)據(jù)量爆炸的時(shí)代，通過(guò)構(gòu)建信息分析大型模型支持信息分析工作，相關(guān)研究人員將會(huì)有更多的時(shí)間探索研究問(wèn)題、研究路徑、研究方法等創(chuàng)新3.2.應(yīng)用2：助力信息資源管理21圖10:生成式大模型能夠助力人機(jī)交互圖11:生成式大模型能夠幫助信息資源管理性問(wèn)題。伴隨著ChatGPT掀起的浪潮，生成式模型也將更多地應(yīng)用到文本數(shù)據(jù)的處理與分析中[12]。例如，摩根士丹利利用ChatGPT化財(cái)富管理知識(shí)庫(kù)。摩根士丹利擁有一個(gè)內(nèi)容庫(kù)，其中包含數(shù)十萬(wàn)頁(yè)的知識(shí)和見(jiàn)解，涵蓋投資策略、市場(chǎng)研究和評(píng)論以及分析師見(jiàn)解。這些大量信息存儲(chǔ)在許多內(nèi)部網(wǎng)站中，主要是PDF格式，需要顧問(wèn)掃描大量信息以找到特定問(wèn)題的答案，這種搜索可能既耗時(shí)又繁瑣。在OpenAI的GPT4的幫助下，摩根士丹利正在改變其財(cái)富管理人員定位相關(guān)信息的方式。從去年開(kāi)始，該公司開(kāi)始探索如何利用GPT的嵌入和檢索功能來(lái)利用其知識(shí)資本，首先是GPT-3，現(xiàn)在是GPT4。公司數(shù)據(jù)與創(chuàng)新分析主管JeffMcMillan表示，該模型將驅(qū)動(dòng)一個(gè)內(nèi)部聊天機(jī)器，可以對(duì)財(cái)富管理內(nèi)容進(jìn)行全面搜索，并“有效地解鎖摩根士丹利財(cái)富管理的累積知識(shí)”，GPT4終于將解析所有見(jiàn)解的能力轉(zhuǎn)化為更可用和可操作的格式，從而能幫助金融等各大機(jī)構(gòu)降本增效。3.3.應(yīng)用3：助力科學(xué)研究22圖12:生成式大模型能夠促進(jìn)科學(xué)研究3.3.應(yīng)用3：助力科學(xué)研究與人類(lèi)相比，人工智能能夠高效找到信息并編寫(xiě)專業(yè)文本，從而減輕人類(lèi)智能工作負(fù)荷。在學(xué)術(shù)研究上，對(duì)于初入研究領(lǐng)域的新生而言，ChatGPT能為他們提供論文閱讀的輔助[73]，例如裝備ChatGPT內(nèi)核的newbing、ChatPDF等等軟件，可以提供快速的論文總結(jié)、公式解釋等功能。并且，ChatGPT為研究者提供更精準(zhǔn)的潤(rùn)色服務(wù)，基于ChatGPT進(jìn)行論文潤(rùn)色的成本大幅下降，為科研工作者提供了更多選擇。在生物、化學(xué)等研究領(lǐng)域，相關(guān)研究人員可以利用ChatGPT強(qiáng)大的預(yù)測(cè)能力輔助藥物發(fā)現(xiàn)、分子結(jié)構(gòu)預(yù)測(cè)、材料研制等研究[64]。林嘉平等推出國(guó)內(nèi)首個(gè)高分子版ChatGPT8，通過(guò)對(duì)高分子材料研發(fā)中結(jié)構(gòu)性能的數(shù)據(jù)挖掘，加速了高性能高分子材料的研發(fā)。他們將150億參數(shù)的蛋白質(zhì)序列語(yǔ)言模型應(yīng)用于一級(jí)序列到完整原子級(jí)蛋白質(zhì)結(jié)構(gòu)的推斷，帶來(lái)了高分辨率結(jié)構(gòu)預(yù)測(cè)的數(shù)量級(jí)加速。ChatGPT等大型語(yǔ)言模型在研究中的應(yīng)用可以極大減輕科研工作人員的負(fù)擔(dān)，縮短研究周期，降低研究成本。上個(gè)月，中科院開(kāi)源了學(xué)術(shù)ChatGPT項(xiàng)目9，針對(duì)了中科院日?？蒲泄ぷ鳎贑hatGPT專屬定制了一整套實(shí)用性功能，用于優(yōu)化學(xué)術(shù)研究以及開(kāi)發(fā)日常工作流程。其中內(nèi)置的工具，包括但不限于：學(xué)術(shù)論文一鍵潤(rùn)色、語(yǔ)法錯(cuò)誤查找；中英文快速互譯；一鍵代碼解釋；快捷鍵自定義；高階實(shí)驗(yàn)?zāi)K化設(shè)計(jì)；項(xiàng)目源代碼自我剖析；智能讀取論文并生成摘要等。它能夠賦予科學(xué)教育新活力，讓科學(xué)研究更智能，讓教育方式更個(gè)性。 8新聞來(lái)源于/htmlnews/2023/3/495720.shtm9訪問(wèn)鏈接為/binary-husky/gpt__academic3.4.應(yīng)用4：助力內(nèi)容創(chuàng)作23圖13:生成式大模型能夠幫助內(nèi)容創(chuàng)作3.4.應(yīng)用4：助力內(nèi)容創(chuàng)作ChatGPT的發(fā)展使社會(huì)更加確信AI技術(shù)與內(nèi)容創(chuàng)作的結(jié)合即將進(jìn)入實(shí)質(zhì)階段。微軟于3月16日推出了AI版O?ice“全家桶”：Microsoft365Copilot，一夜之間刷新打工人對(duì)生產(chǎn)力工具的認(rèn)知。Word中，AI能秒出草稿，并根據(jù)用戶要求增刪文字信息和配圖；PowerPoint中，AI能快速將文字轉(zhuǎn)換成專業(yè)水準(zhǔn)的PPT；Excel中，AI將數(shù)據(jù)分析變得輕松高效，能快速提煉出關(guān)鍵趨勢(shì)；Outlook中，AI能給郵件分類(lèi)加精，并自動(dòng)撰寫(xiě)回復(fù)內(nèi)容；協(xié)同辦公時(shí)，AI能總結(jié)規(guī)劃成員的工作進(jìn)展、調(diào)取分析數(shù)據(jù)、做SWOT分析、整理會(huì)議核心信息。ChatGPT同樣在編程領(lǐng)域大展拳腳。四月，AWS推出AIGC全家桶，實(shí)時(shí)AI編程伴侶AmazonCodeWhisperer正式免費(fèi)向開(kāi)發(fā)者開(kāi)放，能根據(jù)開(kāi)發(fā)人員的語(yǔ)言指令和集成開(kāi)發(fā)環(huán)境（IDE）中的先前代碼實(shí)時(shí)生成代碼建議，提高開(kāi)發(fā)人員的工作效率。多模態(tài)AI，也為游戲娛樂(lè)、影視創(chuàng)作帶來(lái)效率革命。知名游戲聊天社區(qū)Discord推出了基于ChatGPT的聊天機(jī)器人Clyde，它允許被用戶召喚到對(duì)話中，可以實(shí)時(shí)多輪回答用戶的問(wèn)題，還可以向頻道發(fā)送Gif動(dòng)圖，推薦音樂(lè)及更多其他內(nèi)容。在影視創(chuàng)作領(lǐng)域，2023年第95屆奧斯卡最佳影片《瞬息全宇宙》部分特效場(chǎng)景由AI視頻剪輯工具Runway實(shí)現(xiàn)，Netflix首支AIGC動(dòng)畫(huà)短片《犬與少年》已可實(shí)現(xiàn)精良效果，動(dòng)畫(huà)電影《去你的島》的制作將有大量AI技術(shù)深度參與。4生成式大模型存在的安全問(wèn)題244.1.生成式大模型的數(shù)據(jù)安全數(shù)據(jù)的安全和隱私是ChatGPT及GPT4等生成式大模型使用過(guò)程中一個(gè)極為重要的問(wèn)題。下面將從兩個(gè)不同的方面來(lái)揭示其中的隱患。4.1.1生成式大模型使用過(guò)程中顯式的隱私信息泄露首先，ChatGPT是一個(gè)有力的自然語(yǔ)言處理工具，在ChatGPT訓(xùn)練的過(guò)程中不可避免地利用了用戶的prompt指令作為訓(xùn)練數(shù)據(jù)。而ChatGPT主要的目的是生成和人類(lèi)語(yǔ)言風(fēng)格相近的語(yǔ)言，訓(xùn)練數(shù)據(jù)在不中就包括了敏感和隱私的個(gè)人信息如銀行卡賬號(hào)，病例信息等。有一些報(bào)道表明，ChatGPT在使用過(guò)程中，一些高頻用戶的敏感和隱私信息成為生成內(nèi)容出現(xiàn)在其他用戶的對(duì)話框中，從而導(dǎo)致了高頻用戶敏感和隱私信息的泄露。更進(jìn)一步地，ChatGPT的數(shù)據(jù)安全和隱私隱患還體現(xiàn)在它對(duì)于對(duì)話框內(nèi)容的存儲(chǔ)。當(dāng)用戶在和ChatGPT互動(dòng)時(shí)，他們的信息會(huì)被以某些形式記錄和存儲(chǔ)下來(lái)。這些記錄的內(nèi)容包括而不限于個(gè)人信息如姓名、電子郵箱賬戶、其他敏感信息等。2023年4月10日，中國(guó)清算協(xié)會(huì)發(fā)出關(guān)于《關(guān)于支付行業(yè)從業(yè)人員謹(jǐn)慎使用ChatGPT等工具的倡議》，指出，ChatGPT等工具引起各方廣泛關(guān)注，已有部分企業(yè)員工使用ChatGPT等工具開(kāi)展工作。但是，此類(lèi)智能化工具已暴露出跨境數(shù)據(jù)泄露等風(fēng)險(xiǎn)，如圖1410。因而，ChatGPT需要對(duì)敏感信息的存儲(chǔ)和記錄，以及對(duì)記錄的數(shù)據(jù)進(jìn)行訪問(wèn)等進(jìn)行一些列嚴(yán)格的限制，以達(dá)到防止對(duì)數(shù)據(jù)進(jìn)行未經(jīng)授權(quán)的訪問(wèn)和數(shù)據(jù)泄露等安全問(wèn)題的產(chǎn)生。4.1.2生成式大模型使用過(guò)程中隱式的隱私信息泄露另一個(gè)方面，ChatGPT體現(xiàn)出的數(shù)據(jù)安全和隱私的隱患是它可能通過(guò)對(duì)對(duì)話框數(shù)據(jù)的收集進(jìn)行廣告推薦，及收集對(duì)話框數(shù)據(jù)進(jìn)行推薦或者其他的下游機(jī)器學(xué)習(xí)的任務(wù)。而通過(guò)機(jī)器學(xué)習(xí)的算法，ChatGPT可以推斷出潛在的敏感信息如用戶能侵犯用戶的隱私。因此，用戶應(yīng)該在使用ChatGPT時(shí)就被告知數(shù)據(jù)的收集和使用范圍，并提供隨時(shí)可以撤銷(xiāo)數(shù)據(jù)的選項(xiàng)。最后，ChatGPT體現(xiàn)出潛在的數(shù)據(jù)安全隱患是它會(huì)進(jìn)行虛假新聞或信息的生10此圖來(lái)源于/a/666094547__1154954.1.生成式大模型的數(shù)據(jù)安全25圖14:中國(guó)支付清算協(xié)會(huì)4月10日發(fā)出《關(guān)于支付行業(yè)從業(yè)人員謹(jǐn)慎使用Chat-GPT等工具的倡議》指出ChatGPT等工具引起各方廣泛關(guān)注，但此類(lèi)智能化工具已暴露出跨境數(shù)據(jù)泄露的風(fēng)險(xiǎn)成和傳播，從而給用戶帶來(lái)誘導(dǎo)性的虛假信息。例如，可以通過(guò)ChatGPT定制個(gè)性化信息，來(lái)誘導(dǎo)和操控用戶的觀點(diǎn)和行為。因而，ChatGPT的使用者應(yīng)該有足夠的受教育程度和經(jīng)歷，本身可以辨別新聞或其他信息的真實(shí)準(zhǔn)確程度。另一方面，ChatGPT本身也應(yīng)該提供和生成器相匹敵的可信程度辨別器，從而達(dá)到對(duì)生群討論ChatGPT，一位業(yè)主抱著開(kāi)玩笑的態(tài)度用ChatGPT寫(xiě)了篇杭州取消限行的新聞稿，被不明真相的住戶當(dāng)真截圖并轉(zhuǎn)發(fā)，最后導(dǎo)致錯(cuò)誤信息被傳播。而杭州相關(guān)政府部門(mén)均沒(méi)有發(fā)布此類(lèi)政策，警方介入調(diào)查后，涉事業(yè)主也在群里公開(kāi)道歉。圖15為業(yè)主在事發(fā)后的道歉信。新聞來(lái)源楊子晚報(bào)11。新華報(bào)業(yè)網(wǎng)于2023年5月9日的報(bào)道中，甘肅省平?jīng)鍪泄簿志W(wǎng)安大隊(duì)偵破一起利用AI人工智能技術(shù)炮制虛假不實(shí)信息的案件，見(jiàn)圖1612。無(wú)獨(dú)有偶，在Google新聞中搜索ChatGPTfakenews的詞條，0.32秒內(nèi)出現(xiàn)了18,300條結(jié)果，由此更可見(jiàn)一斑。對(duì)于上述兩種在ChatGPT及GPT4的使用過(guò)程中隱私泄露問(wèn)題，我們提出了若干點(diǎn)安全性建議，詳情請(qǐng)見(jiàn)下一章節(jié)。 11信息來(lái)源于/content/1667451.html12新聞來(lái)源新華報(bào)業(yè)網(wǎng)/index/202305/t20230509__7932021.shtml4.2.生成式大模型的使用規(guī)范26圖15:2023年2月16日下午，杭州某小區(qū)業(yè)主群討論ChatGPT，一位業(yè)主用ChatGPT寫(xiě)了篇杭州取消限行的新聞稿，被不明真相的住戶當(dāng)真截圖并轉(zhuǎn)發(fā)，最后導(dǎo)致錯(cuò)誤信息被傳播。上圖為業(yè)主在事發(fā)后的道歉信。圖16:2023年5月9日，甘肅省平?jīng)鍪泄簿志W(wǎng)安大隊(duì)偵破一起利用AI人工智能技術(shù)炮制虛假不實(shí)信息的案件。4.2.生成式大模型的使用規(guī)范Cha