訓(xùn)練語言模型以遵循帶有人類反饋的指令

摘要這篇報是德金工精譯的八期我們紹GT語言型術(shù)。GT型并公發(fā)表具實現(xiàn)式但GT模型是于IsrctGT模型進(jìn)而來版本們同屬于OI的GT.5系模型。論文的題是rgggemstofwrsthmnfk于2年3月4日發(fā)布于rv作者是gOg等該論文展示種方，通人類反進(jìn)行調(diào)，使rGT言模多項廣泛的任中匹用戶。從一標(biāo)簽注器入指令通過OII提交的輸入指令開始，收集了所需模型行為的標(biāo)簽演示數(shù)據(jù)集，使用監(jiān)督學(xué)習(xí)對G-3進(jìn)行調(diào)。，該論收集模型數(shù)據(jù)，用人反饋化學(xué)習(xí)技術(shù)來一步調(diào)這督模型該論將得模型稱為ItrtGT評估結(jié)果顯3個參數(shù)ItrtGT模型輸出于0億G-3輸模型參數(shù)量降的百多。此外IrGT模在公的P據(jù)集提高真性、少毒比其他模具有少的衰退。盡管ItrtGT仍會犯些簡的誤，但論文結(jié)果表明，使用人類反饋進(jìn)行微調(diào)是使語言模型符合人類意圖的一個有前的方向。簡介給定自語言理（，rlggercessg任務(wù)一些例作為輸，大語言型s（rgeges）可以被“m”執(zhí)行一系自然言處務(wù)（“rt方法模型一任務(wù)示在情感分析任中輸Iesm.后提前一個提Tsmesx預(yù)訓(xùn)練型看提示明白自要輸grt/ce”等夸贊形容）然而，這些模型經(jīng)常表達(dá)出意想不到的行為，如編造事實、生成有偏見或有害的文以根本循用戶（r人1mmsa；kn等Gn等是因為近許的大言模型中語言建模的目標(biāo)——在互聯(lián)網(wǎng)上預(yù)測網(wǎng)頁的下一個分詞——與“有效和安全地遵循用的指”的不同（frd等，；布朗人，；等人e等1Tn等言建目標(biāo)不一致的免這意外于在數(shù)以計的用中使用的言模來說重要按照用戶的意圖去訓(xùn)練語言模型，該論文在對齊語言模型方面取得了進(jìn)展（ke等人，這既包括明確的意圖，如遵循指示；也包括隱含的意圖如保持實無偏無用kl等（的說該論文望言模型是有幫（它應(yīng)該助用戶決他的任務(wù)誠實（們不該造信息或誤導(dǎo)戶害們不應(yīng)對人環(huán)境身體理或會上害。該論文第.6節(jié)詳明這些估標(biāo)。圖：人工評估各模型資料《rainigemstofwtrctsthmnk，所注：該的AI提示布對種模的工估根每模輸出于BST模的出率進(jìn)行評估。該文的trtPT模（-t及未預(yù)練合練的（P著于P3基（PT和PTrmt；3億數(shù)的O-tx模于0億參的GP-。文差為置區(qū)。該論文重點是調(diào)整語言模型的微調(diào)方法。具體來說，該論文使用基于人類饋的強(qiáng)學(xué)習(xí)（fmtgfrmmnk對G-3進(jìn)微調(diào)（rsto等人，；tn等人，以遵廣泛的書面令，圖。F技術(shù)將類偏好獎勵信來微論文圖：構(gòu)建nstructPT的三個步驟資料《rainigemstofwtrctsthmnk，所注明建sruGPT方的個步（督（vde-g以稱S（獎勵（訓(xùn)（該勵模上用強(qiáng)化學(xué)近策優(yōu)算（Pmlcytmt色頭表該據(jù)于練論模中一模第2中框-D模型出由標(biāo)員工名有該法多細(xì)，參第3。該論文隊雇了一由0人的包商隊根據(jù)他在篩測試表現(xiàn)來標(biāo)記文數(shù)詳情見.然后收集戶交給OII提（主要是英語和標(biāo)員編提示的合使用訓(xùn)練監(jiān)學(xué)習(xí)線來在更大的I示集集來自型的出之人工標(biāo)比較據(jù)集后，在這個數(shù)據(jù)集上訓(xùn)練一個勵模型（，ede）來預(yù)測標(biāo)注員更喜歡哪個模型出。后，文使用這個M作為勵函數(shù)并對督學(xué)線模型進(jìn)行微調(diào)用O算（chmn等人來最大這個勵程序?qū)-3的行為得與人主要該論標(biāo)員和研人的好貼合，而不是何更泛“類價值觀念將在2節(jié)中進(jìn)步討論最的模型被稱為IrGT。該論文評估模型的方式主要是讓標(biāo)注員對測試集上的模型輸出質(zhì)量打分，括來自定用的提他們的據(jù)沒在訓(xùn)據(jù)中該論還對列公開P數(shù)據(jù)集進(jìn)自動估該文訓(xùn)了三（30和0億個參數(shù)）的型，且所模型都用G-3。主要現(xiàn)如：與G-3的輸出相比標(biāo)注員明顯更喜歡IntGT輸出測集中來自3億數(shù)ItrGT型的出比自0億G-3的出更好盡管它的參數(shù)少了0多倍。這些模型具有相同的體系結(jié)構(gòu)，唯一的不同之處在于IrGT對工數(shù)進(jìn)行了調(diào)。使該在G-3添加樣提示，以使其更好地遵循指令，模型表現(xiàn)仍不如ItGT。該論文的0億IrGT出在%的情下優(yōu)于0億G3輸出在%的情況下于少本學(xué)的0億G-3輸。ItrtGT型還據(jù)該論文的標(biāo)簽成更當(dāng)?shù)?，并且可靠遵循中的顯約束。IntGT模型的真實性比G-3有所提高。在rfQA基測中，IrGT生真實信息豐答案頻率是-3兩倍該結(jié)非對抗G-3選擇的題子同樣強(qiáng)在論文的I提示布“封任務(wù)中輸出應(yīng)該含輸中不存的信例如要和封域QItrtGT模型構(gòu)輸入不存信息的率大約是G3的一半（別為和的幻覺率。IntGT的毒性比-3略有改善但偏差不大為測量性文使用ctrtss數(shù)據(jù)（Gmn等人，，并行動和人工評。當(dāng)示“重時，IsrGT型生的毒輸出比G3少左右在Wg（g和rr（ga等）數(shù)據(jù)集，ItrcGT與G3相沒有改善?？梢酝ㄟ^修改LF微調(diào)過程來最小化公開P數(shù)據(jù)集上的性能衰減。在F微調(diào)期間，該在某些公開P數(shù)據(jù)上觀察到與G-3相比的性能衰特是Q（jkr等O（a等，S（Zs等9和WT5語到英的翻（jr等人，5這齊稅的一個子因該論的對齊程是在可心的某些任務(wù)表現(xiàn)差為的過將O更增加預(yù)練分（-t的對數(shù)概率的更新混合在一起，該論文模型可以在不影響標(biāo)簽偏好得分的情況下大大減這些據(jù)集性能衰。該論文的模型能泛化到不產(chǎn)生任何訓(xùn)練數(shù)據(jù)的“留出”標(biāo)注員的偏好。為測試該文模的泛“出注員了初步驗發(fā)現(xiàn)更喜歡IrGT輸而不是G-3出，與論標(biāo)注員隊大相同而，還需要做更多的工作來研究這些模型在更廣泛的用戶群體上的表現(xiàn)，以及它們?nèi)缭谌祟惼谕袨橹碌那橄聢?zhí)輸入。公開LP數(shù)據(jù)集并不能反映該論文的語言模型是如何被使用的該論了在人偏好據(jù)（即IstrGT）上調(diào)的-3型與兩個的公開P任務(wù)編譯微調(diào)的G-3模型FN模Wi等人和0模型（h等（別是T+變體這些據(jù)集由種P任務(wù)成并結(jié)合了個任的自言指在“提分布，F(xiàn)N和T0型的表現(xiàn)略于T線，注員明更歡ItrcGT型（基線相比，IrGT勝為.±，而T0模和N模型的勝分為.±%和.±%。IntGT模型對F微調(diào)分布之外的指令顯示出很好的泛化效果。該論文定地研究了ItrctGT功能并發(fā)它能夠循總代碼答關(guān)于代碼的問題，有時還能夠遵循不同語言的指令，盡管這些指令在微調(diào)發(fā)行版中常罕見比之G3雖然可執(zhí)行些任但需要細(xì)致“提并且通常不遵循這些領(lǐng)域的指令。這個結(jié)果令人興奮，因為它表明模型能泛化“循指令的概即很少得直接督信任務(wù)上會保一定致性。IntGT仍然會犯簡單的錯誤例如IsrGT仍可能法遵指令、編造事實、對簡單問題給出冗長的模棱兩可的答案，或者無法檢測帶有錯前提的令?？偟膩碚f，該論文的結(jié)果表明，使用人類偏好來微調(diào)大型語言模型庫顯著改善模型在廣泛任務(wù)上的表現(xiàn)，即使仍有許多工作要做以提升安全性和可靠性。論文的余部結(jié)構(gòu)：首先在第3節(jié)詳介紹關(guān)工作然后第4節(jié)入研究論文方法實驗細(xì)包該論的級方（.據(jù)集任（.2和.人數(shù)據(jù)收集（.，如訓(xùn)練（.5以及估過程.然后在第5中展果為三部I提示分的結(jié)（.公開P數(shù)據(jù)集結(jié)果（.）定性果（.最后第6對該的工作行了展討論包括對研究影（.對齊的對象（.，局性（.，放性問題.）以及這工作的廣泛影響（.。相關(guān)工作關(guān)于從人類反饋中學(xué)習(xí)和對齊的研究。該論文建在先前的技術(shù)基礎(chǔ)上，模型與人類意圖保持一致，特別是從人類反饋中強(qiáng)化學(xué)習(xí)（。這項技術(shù)初開發(fā)于在擬環(huán)境和ti游戲訓(xùn)練單機(jī)器（to等人；Irz等人最被用于調(diào)語模型結(jié)文（Zgr人；tn等m等Wu人1這項工過來又受到使人類饋作勵的領(lǐng)的類工作響，涉對話（Jqs等人，9；i等，cok等，翻譯（rtr人，；u等人6年義解（rce和r8年故事生（u和X，0年評生（o人8年證據(jù)（等人9等n等使用面的人反饋增示，并提高G-3的性也有一研究用強(qiáng)習(xí)和規(guī)先驗（n等人，1來對齊于文環(huán)境中智能體該論的工作以看是將F直接應(yīng)用對齊泛分語言任上的型。“語言型對的含義這個問最近受到（Grtn等（在s中列出了不對導(dǎo)致為問包產(chǎn)生有內(nèi)容和玩弄錯指定目標(biāo)同時進(jìn)的研工作skl等人（出將語言助手為對研究試平臺研究些簡基線及縮放質(zhì)。訓(xùn)練語言模型遵循指令。該論文的工作還涉及語言模型跨任務(wù)的泛化研究，其中s在廣的開P數(shù)據(jù)集進(jìn)行（通常適當(dāng)指令前綴，并在不同的P任上進(jìn)行估。這一已經(jīng)有一系的工i等人shra等人1Wi等i等人h等，1ri等人它們訓(xùn)練評數(shù)據(jù)令格預(yù)模型的大小和他實細(xì)節(jié)所不同研究致的是在系列P上通過指令對s進(jìn)行可以高它在留務(wù)上的游性無在零樣本設(shè)置還是在少樣本設(shè)置下。還有一個與可控性指令遵循相關(guān)的工作，其中訓(xùn)模型遵自然言指模擬環(huán)中的控（u等人msn等人，；o等1評估語言模型的危害。改語言模型的行為的一個目標(biāo)是將這些模型部署到現(xiàn)實世中時減輕的危害這些險已泛記錄（r等人，；mi人tn等人Wgr人kn等人語言型以產(chǎn)生偏差輸（a等人g1a等人skn人k等露私人數(shù)（i等產(chǎn)錯誤（mn等n等人被惡用關(guān)全詳細(xì)回參見Wgr等（在特定域部語言會帶來的風(fēng)和挑例如在話系（等人等n等目前出了一新興斷發(fā)展的領(lǐng)域旨在立基具體評這些性，是圍繞性Gmn等人，0年、板印（m等，0年和社會見（ma等人，1年ga人0魯丁格人在這些題上得大進(jìn)展是困難因?qū)φZ型行為善意預(yù)可產(chǎn)生副Wl等人；gt等例如于訓(xùn)數(shù)據(jù)在偏見相關(guān)試低s毒性的力可會降從少數(shù)體中本建能力Xu人，修改語言模型的行為以減輕危害有許方法改變語模型生成。mn和so（在一小型的針價值觀數(shù)據(jù)上微調(diào)s，這提高模型問答的能力go（通過除預(yù)練數(shù)集中一些語言模型有高條件概率生成一組研究人員編寫的觸發(fā)短語的文檔來過濾預(yù)訓(xùn)練數(shù)據(jù)集當(dāng)在個過的數(shù)據(jù)上訓(xùn)時，的s生成的有文更少，代價是言建性能下降Xu等使用多方法提高機(jī)器人的安全性，包括數(shù)據(jù)過濾，在生成過程中阻止某些單詞或字格，安全特定的控標(biāo)（kar等n等和人在中數(shù)收（n等人，。其他低s產(chǎn)生的偏見的方法包括：使用詞入正則的方法（u等人g人數(shù)據(jù)的方（u等n等人g人9空間使敏標(biāo)記的分加均勻的方法（g等，、不同目標(biāo)數(shù)方法Qn等人，）或因果中介分析的方法（g等人，。也有一工作使用第二個（通小的）語言模引導(dǎo)言模成（ttri等rse等這一思想變體被應(yīng)減少語模型性（chck等人，圖：數(shù)據(jù)集數(shù)據(jù)類別分布和數(shù)據(jù)集說明性“提示”資料《rainigemstofwtrctsthmnk，所方法與實驗細(xì)節(jié)高級方法該論文循了Zgr（和tn等（方們將其應(yīng)于風(fēng)延續(xù)要領(lǐng)域論文一個訓(xùn)練的言模開（f等人，；rn等人，0；s人，1；e人，；Tn等一個輸提示布以一個訓(xùn)有素標(biāo)注（見.4。練IsrGT模型的驟如：步驟收集演數(shù)據(jù)訓(xùn)練監(jiān)督策略標(biāo)注隊提供輸入示分所需行為演（見.后該論使用督學(xué)用這些據(jù)對個預(yù)練G-3模型進(jìn)微調(diào)。步驟收集比較數(shù)據(jù)訓(xùn)練獎勵模型該論集了一模型出之較的數(shù)據(jù)集，其中標(biāo)注員指出他們更喜歡給定輸入的哪個輸出。然后訓(xùn)練一個獎模型來測人偏好出。步驟使用O算法根據(jù)獎勵模型優(yōu)化策略該論文用M的輸出為標(biāo)量獎用O法對監(jiān)策略行微以優(yōu)化獎（chmn等人，7。步驟2和步驟3可續(xù)迭代根據(jù)前最略收集多的較數(shù)用于訓(xùn)練個新的后再訓(xùn)一個的策在實踐大分比據(jù)來自監(jiān)督策，還一些自O(shè)略。數(shù)據(jù)集該論文提示據(jù)集由提交給OII的文本示組，特那些在grd面使用早版本的ItrGT模（過對示據(jù)子集進(jìn)行監(jiān)學(xué)習(xí)練的本提使用grd的客戶使用IrtT模型的時候被告知他們的數(shù)據(jù)可以用于訓(xùn)練更多的模型。在本文中，該論文不使來自產(chǎn)I的客數(shù)據(jù)。過檢“提是否共一個長的前綴來啟發(fā)式去重“示的數(shù)限制每個戶ID0個論文根據(jù)用戶ID創(chuàng)訓(xùn)驗測試集以便證和集不包來自練集據(jù)的用戶數(shù)據(jù)。為了避免模型學(xué)習(xí)可能是敏感的客戶信息，該論文過濾了訓(xùn)練分割中有獲取人身信息（I，soyfefmn的“示。為了訓(xùn)第一個IrGT模型該論要標(biāo)注員寫自的“。這是因為需要一個初始的指令類提示源來引導(dǎo)流程，而這類“提示”通常不會提交給I的常規(guī)G3模型。論文隊讓注員寫如下類提：簡單：單地求標(biāo)想出任一個務(wù)，確保任足夠樣；少量樣：要標(biāo)簽出一條令，及該的多個詢/應(yīng)對；基于用戶在OII的待列應(yīng)用陳了許多例要標(biāo)注員提出這些例相的“提示。根據(jù)這“提示，該文生成三個同的集用于調(diào)過：FT據(jù)集使用注演示來練T模；M數(shù)據(jù)集，使用模型出的標(biāo)員排來訓(xùn)練；O數(shù)據(jù)，沒任人為標(biāo)，用作F調(diào)的輸。FT據(jù)集含大約0個訓(xùn)練（來自I和標(biāo)注編寫的M數(shù)據(jù)集有0個訓(xùn)（來自I和標(biāo)員寫的O數(shù)據(jù)有0個訓(xùn)練提（僅自I為了讓論文數(shù)據(jù)組成顯更合圖該論展示由承標(biāo)記的I（別是M數(shù)據(jù)集的用例別分布多數(shù)例都成的，而不是類或Q圖3還展示一些明性（由究人編以擬提交給ItrGT模型示類型。任務(wù)該論文訓(xùn)練務(wù)有來源：由標(biāo)注編寫提示集；提交給I上早期ItrctGT模型提示據(jù)；這些提非常樣括生問回對摘取和他自語言任見圖論的數(shù)據(jù)超過%是語但在3節(jié)中測了該論文的型響其他的指令完成碼任能力。對于每自然言提任務(wù)通是直通過語言指指定（例寫一個關(guān)于一只聰明的青蛙的故事，但也可以間接地通過幾個例子（例如“給兩個青故事例子提示模生成個新子或隱續(xù)（“提供一個關(guān)于青蛙的故事的開頭。在每種情況下，都要求標(biāo)注員盡最大努力推斷寫提示的用戶的意圖，并要求他們在任務(wù)非常不清楚情況下跳過輸入。此外，注者還會根據(jù)提供給他們的說明和他們的最佳判斷，考慮隱含意圖（如回答的實性）及潛的有出（如見或害的。人工數(shù)據(jù)收集為了產(chǎn)生該論文的演示和比較數(shù)據(jù)并進(jìn)行主要評估，該論文團(tuán)隊在和caI上傭了約0名承商與收集關(guān)總結(jié)務(wù)的偏好數(shù)據(jù)的工作（Zgr人9tn人0Wu等人該論文的輸入涵蓋了更廣泛的任務(wù)，偶爾可能包括有爭議和敏感的話題。該論文目標(biāo)是選擇一組標(biāo)注員，他們對不同人群的偏好敏感，并且擅長識別潛在有害輸出。因此，該論文團(tuán)隊進(jìn)行了篩選測試，旨在測試出在這些任務(wù)中表現(xiàn)良好標(biāo)注員并選他們。在訓(xùn)練和評估過程中，該論文的對齊標(biāo)準(zhǔn)可能會發(fā)生沖突（例如，當(dāng)用戶求一個能有的響在訓(xùn)過程中該文優(yōu)先慮對戶的（不這樣做需要做出一些困難的設(shè)計決策，該論文把這些決策留給未來的工作；更多論見.而在最的評估論文求注員優(yōu)考慮實性害性。正如tn人（0）所述該論在項過程中標(biāo)注密切。該論文團(tuán)隊有一個培訓(xùn)貼標(biāo)注員的入職流程，為每個任務(wù)寫詳細(xì)的說明，并在共享聊天回答注員題。作為一項初步研究，該論文也觀察模型在多大程度上適用于其他標(biāo)注員的好，該論文團(tuán)隊聘請了一組單獨的標(biāo)注員，他們不生產(chǎn)任何訓(xùn)練數(shù)據(jù)。這些標(biāo)來自相的供商，有經(jīng)過選測。盡管任務(wù)很復(fù)雜，但該論文團(tuán)隊發(fā)現(xiàn)標(biāo)注者之間的一致性相當(dāng)高：訓(xùn)練標(biāo)者之間一致為.±，而訓(xùn)練者之間一致為.±。相比之下在tn等（總結(jié)中研究員之的一性為±%。模型該論文從rn等人（0）的G-3預(yù)語言模開始這些是在廣泛布的聯(lián)網(wǎng)上訓(xùn)練適于廣下游任但為特明確。從這些型開，該用三種同的術(shù)訓(xùn)型：監(jiān)督微調(diào)（F。該文使用督學(xué)對標(biāo)演示中的G-3進(jìn)微調(diào)。訓(xùn)練了6個周使用余學(xué)習(xí)衰減差t為.。文根據(jù)驗證集的M分?jǐn)?shù)進(jìn)最終的T型選與Wu等（該論文發(fā)現(xiàn)T型在1ch后就驗證失上擬合然而論文發(fā)現(xiàn)盡管存在擬合但訓(xùn)多h對M評分人類偏評分有提。獎勵建（從移最后的嵌層的T型開始該論訓(xùn)練模型，可接受示和，并輸標(biāo)量勵。文只使了0億s，因為這樣可節(jié)省量的資源，發(fā)現(xiàn)0億M訓(xùn)練可能是不穩(wěn)，因此不太適用作L的函數(shù)在tn等（0中M在同輸入上的兩個模型輸出之間的比較數(shù)據(jù)集上進(jìn)行訓(xùn)練。他們使用交叉熵?fù)p失函數(shù)，將較結(jié)果為標(biāo)——的差異示標(biāo)者更一種反的對概率。(為了加比較集的該論文標(biāo)注提供了=4到=9之間響來排序會產(chǎn)生??個比示給標(biāo)員的個提由于較在(2中都是非常相關(guān)的，如果簡單地將比較轉(zhuǎn)移到一個數(shù)據(jù)集中，對數(shù)據(jù)集的一次傳(遞就會致獎模型合相反該論在所有??的將每提示(2處理元素進(jìn)行比較。這在計算上更有效，因為它只需要對每個補(bǔ)全進(jìn)行一次(的前向遞（不是對K次補(bǔ)全進(jìn)行??前向遞，并且于它(2此大大升了證精對數(shù)損。具而言勵模型損失數(shù)為：1ss??)=? ??

??????,

)?????,??] （）??(2)

(??,??,??)～??

??

?? ??其????,??是提示x和有著參??的完成度y的獎模型標(biāo)量輸??是??和??這一中的選完D是人工較的數(shù)集。圖：PI分布上的標(biāo)簽器收集的元數(shù)據(jù)資料《rainigemstofwtrctsthmnk，。最后，由于M損失獎勵的化是變的論文使偏差獎勵進(jìn)行標(biāo)準(zhǔn)，以標(biāo)簽在做L之獲得均數(shù)。強(qiáng)化學(xué)習(xí)（。繼tn等人（），該論再次使用O對環(huán)境的T模進(jìn)了微調(diào)（chmn，7。環(huán)境一個t環(huán)境它提一個機(jī)客提示期望示做出應(yīng)給定示回應(yīng)它會產(chǎn)由獎模型的獎并束情外每個牌上加FT模型的每令牌L罰以緩解勵模的過化值數(shù)從M開始初始化。該論文這些型為“O該論文嘗試這些練梯度合到O梯中，以定開P集上的能衰。該稱這些型為“O-t。在L訓(xùn)練最大以下組合目標(biāo)數(shù)：obece??)=

????,??)???lo??L??∣????FT??∣??]??????RL????????RL

（）????～??

in

lo??L??]??其中??L為習(xí)得的L策??ST為監(jiān)訓(xùn)練型??????為訓(xùn)練分獎勵系數(shù)β和預(yù)訓(xùn)練損失系數(shù)γ分別控制L懲罰和預(yù)訓(xùn)練梯度的強(qiáng)度。對于“O”型，被設(shè)為0。本中的IrtT的是-x模。??基線論文較了O模與T模和G-3模的性該還與當(dāng)提了少頭前“提示G3入令遵循式G--md）進(jìn)行了較。個前在用戶定的令的。該論文將ItrcGT與FWi等人，）和T（h1數(shù)據(jù)集的微調(diào)0億G-3進(jìn)了較這兩數(shù)據(jù)都由種任務(wù)組成并結(jié)了每任務(wù)的然語指（據(jù)集在含的P數(shù)集和使用的指風(fēng)格有所該論分別大約0萬個例進(jìn)行調(diào)選擇在驗證集獲得高獎型分?jǐn)?shù)檢查。評價為了評估該論文的模型是如何“一致”的，首先需要澄清在這種情況下一致意味著什么。一致的定義在歷史上一直是一個模糊和令人困惑的話題，有各種各樣有說力的點（n等人，1年；ke等人，Gr，根據(jù)ke等（）的觀，該文團(tuán)目標(biāo)是練根用戶行動的模型。實際說，該論文語言務(wù)，了類于kl等人（）的框架他們義了判斷如是有、誠無害的則它是一。為了有所幫助，模型應(yīng)該遵循指令，但也可以從幾個提示或其他可解釋的式（Q：qst）推意。由給定提的意可能明確或模糊的該論依賴注員的斷要評標(biāo)是標(biāo)員偏然由于標(biāo)注者并不是生成提示的用戶，因此在用戶的實際意圖和標(biāo)注者僅閱讀提示而認(rèn)的意圖間可存在。目前尚不清楚如何在純生成模型中衡量誠實；這需要將模型的實際輸出與它對正確輸出的“信念”進(jìn)行比較，由于模型是一個大黑箱，因此無法推斷它的念。相反，使用兩個指標(biāo)來衡量真實性——模型關(guān)于世界的陳述是否真實評估的型在閉域“覺上造信傾向以（用rfQA數(shù)據(jù)集（n人，與誠實相似，衡量語言模型的有害性也帶來了許多挑戰(zhàn)。在在大多數(shù)情況下，語言型是有取于在實界如使它們輸如署的聊天機(jī)器人上下文中，生成有害輸出的模型可能是有害的，但如果用于數(shù)據(jù)增強(qiáng)以練更準(zhǔn)確的有害性檢測模型，則甚至可能是有用的。在項目早期，該論文讓標(biāo)員評估出是“在害然該文團(tuán)停止這個因需要太多的關(guān)“輸最終被怎樣用”猜測。因此，該論文使用一套更具體的代理標(biāo)準(zhǔn)，旨在捕獲部署模型中可能最終有害的行為的不同方面：讓標(biāo)注員評估輸出在客戶助理的上下文中是否不合適，詆毀受保護(hù)的類別，或包含性或暴力內(nèi)容。還旨在測量偏差和有害性的數(shù)據(jù)集上對該論文模型行了測試如ctrt（Gmn等人）和rS-rs（ga等人，總之，以把量評為兩個立的分：對I分布的評估。要指標(biāo)人類來自論文的練分相同的一組“示”偏好。當(dāng)用I中的示”進(jìn)評估，只未包含在培訓(xùn)的客“提然而慮到訓(xùn)示是設(shè)用于IrGT的，它很可不利于3基。因，該文也對I上交給G-3模型的“提示”進(jìn)行評估；這些“提示”通常不是“指令跟隨”風(fēng)格，而是專門為G-3設(shè)計。在種情況，對每個，該論計算輸出于基線策略的率；論文擇0億FT模為基準(zhǔn)因為的性近中等水平。此，該文團(tuán)求標(biāo)注在-7kt表上判每個應(yīng)的質(zhì)量，并為每模型出收系列元據(jù)。公開LP數(shù)據(jù)集的評估對兩類型公共集進(jìn)行估是捕言模型安性的個方特別是實性有害偏見是捕傳統(tǒng)P任務(wù)（如問答閱讀解和結(jié)的零本任的表還在ctrtss數(shù)據(jù)集上有害進(jìn)行為評估Gmn等0結(jié)果在本節(jié)該文團(tuán)第1節(jié)中內(nèi)容供了驗證據(jù)分為部分“提示分布結(jié)果開P數(shù)據(jù)集的結(jié)和定性果。PI分布上的結(jié)果與G-3的輸出相比標(biāo)注員明顯更喜歡IntGT輸出該文提示測集上該論團(tuán)的標(biāo)注在模大小顯傾向于ItrtGT出。這些結(jié)如圖1示文團(tuán)隊現(xiàn)G-3表現(xiàn)最過使精設(shè)計的少樣本“提示（G-mtd，然后使用監(jiān)督學(xué)習(xí)（FT）進(jìn)行演示訓(xùn)練，最后使用O比較據(jù)進(jìn)行練以獲著的改在O期添加預(yù)訓(xùn)練混合的更新不會導(dǎo)致標(biāo)注員偏好的大變化。為了說明該論文的增益的大?。寒?dāng)直接較時0的ItGT輸在±%的間于G3輸出，在1±的時優(yōu)于樣本訓(xùn)練G3輸。圖：模型的偏好結(jié)果資料《rainigemstofwtrctsthmnk，所注：論中過對0億ST模型勝率衡的型果：I上交給PT模型的提”結(jié)；右在I上提給trcGPT型“示果圖自的標(biāo)員結(jié)果下圖訓(xùn)標(biāo)的結(jié)。論文隊提給P-3模的示的價省了P（提左，因這“示已被計對GP-3執(zhí)行與給ttPT模型“提”反該論文隊還現(xiàn)，在I上提給G-3模的“提”上行評，結(jié)果沒顯著化，圖，盡管O-tx模在更大模的型上稍差。圖：PI分布的元數(shù)據(jù)結(jié)果《rainigemstofwtrctsthmnk，所注：AI分布元據(jù)果注意由于據(jù)的模這結(jié)在大小是疊與P-3相比PO模型更合扮演客助”的，更于循指中明約束試正的令，且太能出幻覺”（即造于閉任的。在圖6該文展標(biāo)注員沿著個更的方面對ItrtGT進(jìn)行了好的分來說與G3相比IstrGT輸出適合擔(dān)任客戶助理角更地循指令定義明確（例將答寫在2或更短的范圍內(nèi)ItrcGT型絕多數(shù)況都完全正地遵指且在封閉域任中不會編實些結(jié)表IsrctGT模型比G3型更可靠，更易控。該團(tuán)隊找的其元數(shù)別在該文的I中現(xiàn)的頻率太低無法該論型之間得統(tǒng)上的差異。該論文的模型能夠泛化到?jīng)]有產(chǎn)生任何訓(xùn)練數(shù)據(jù)“留出標(biāo)注員的偏好留出標(biāo)注與用生成練數(shù)據(jù)工作有相排名偏好如圖根留出的標(biāo)注認(rèn)為有的IrGT模大大于-3基。此IrctGT模型并是簡地過合訓(xùn)練注者偏好。從獎勵型的化能也可以到進(jìn)步的該論文行了個實，將標(biāo)簽分成5組并用5倍交驗（中4組進(jìn)訓(xùn)練在留組進(jìn)行評估來訓(xùn)練5個（使用3種不的種子這些s在預(yù)“出標(biāo)注員偏準(zhǔn)確度為.±，與測訓(xùn)中標(biāo)注偏好確度±相比略下降。圖：模型的對比結(jié)果《rainigemstofwtrctsthmnk，所注文隊模與N和0的kt分（7級在trcPT提示分上行較結(jié)N和比默的P3表更，置“指跟”式少本P3模型當(dāng)。公開LP數(shù)據(jù)集并不能反映語言模型是如何使用的。圖7中該論將ItrGT與在FWi人和T（h等人數(shù)據(jù)集上微的0億G-3基進(jìn)行比較該文團(tuán)隊現(xiàn)些模表現(xiàn)優(yōu)于G-，與G-3在選擇好“示”況下相，但該論的FT基線更。這明這據(jù)集的樣性法提高I“提”分的性在直接的比中，0億IstrGT模輸在±%的間里于該文的FN模型在±的時間優(yōu)于文團(tuán)的0模這模型的kt分?jǐn)?shù)如圖7示。論文團(tuán)相信ItrcGT模優(yōu)于FN和T，原因二。先，開P數(shù)據(jù)集旨捕獲于自動量進(jìn)評估務(wù)例如分類問題以及一定程上的結(jié)和任務(wù)。而，類和QA只占客使用言模一小部（約%而標(biāo)注員說法放式成和頭風(fēng)暴該論提示”數(shù)據(jù)集的%圖其次開P數(shù)據(jù)很難獲非常樣化（至少在現(xiàn)世界戶感的輸入型上當(dāng)然在P數(shù)集中現(xiàn)任務(wù)確實代表該論團(tuán)隊語言模能夠決的指令因最廣的指跟蹤模型將合這種類數(shù)據(jù)集。公開P數(shù)據(jù)集合上的結(jié)果IntGT模型的真實性比G-3有所提高。根據(jù)rfQA數(shù)據(jù)上的人類估的量結(jié)果與G3相比該論的O型在成真和的輸出面具小量顯著的進(jìn)，圖。種行為默認(rèn)——團(tuán)隊的模型需要特別說真話顯示高的性趣的文團(tuán)的億O-tx模型是個外，它性能差于大小的G-3型。在不是與G3對性選“提示進(jìn)行估時O模型然明比G-3更真實和富（管絕進(jìn)下降幾個分點圖：ulA數(shù)據(jù)集的結(jié)果資料《rainigemstofwtrctsthmn，所注：tfQA數(shù)集結(jié)。條表真性等級彩條示性和息的級。繼n等人（后，該文還出了有用的指令Q提，用來指模型不確確答案“沒有回應(yīng)在這情況模型更向于實和息而不自信說出個錯誤準(zhǔn)G-3型在這方面做并不。在真實方面改進(jìn)以通過下事得到O型在I分布的封閉任務(wù)產(chǎn)生（即偽信息的頻低，如圖。圖：比較ealoxcitPrompts上的人工評估和自動評估資料《rainigemstofwtrctsthmnk，所注：較tPms人工估自評（PrctvePI分。種同的0億?？偣灿浟?提時在不尊性令這顯的動評是與工估同提上計算的。IntGT的毒性比G-3略有改善，但偏差不大。該論文團(tuán)隊首先在ctrts據(jù)集上估該文模Gmn等通過兩種方式來到這點：一個標(biāo)的數(shù)集評程，通過rspteI運行模型樣本來自獲得毒評分；后者，這些樣發(fā)送給標(biāo)注員獲得絕毒性相對提示毒性連續(xù)性總體出偏評級“提有該論文從這個數(shù)集中統(tǒng)采樣“提示，更好評估該論文團(tuán)的模型高輸入毒性下表這該據(jù)集上準(zhǔn)的提不此該文絕毒性數(shù)字被夸了。結(jié)果如圖9所示論團(tuán)隊發(fā)現(xiàn)當(dāng)被指產(chǎn)安全且重的“重的提示時，據(jù)cteI，IrtGT型產(chǎn)的有輸出比G-3模型產(chǎn)的更少尊重的示被（提示時這優(yōu)勢失了。有趣的，當(dāng)式提生有毒輸出，ItrtGT出比G-3的出有毒得多這些果在評估中到了實“重的提設(shè)中IrtGT的有毒小于G-在“無示”置中相似。圖1：170億-ptx模型（70億的nstructP）與沒有附加前綴的150億的P-3相比的泛化示例資料《rainigemstofwtrctsthmnk，所注：0億PO-tx模（0億的trcGP與有加的0億P3相比泛示“提”是精挑的說某行，出不精挑的。IsrcGPT可遵其語的指，管有會成語。GP-3需更細(xì)提，英類。IsrcGPT可比P3更靠地結(jié)回有代的管它這的案太對碼示例，P-3在約的時回答這問。為了評估模型生成有偏見言論的傾向，該論文還在Wgr（gr等人，）和r-rs（ga等人，）數(shù)據(jù)的修版上評估了ItrGT這據(jù)集由對的子組可以突潛在偏見論文計算產(chǎn)生每對句的相對率和相關(guān)二進(jìn)概率分的熵（以比特單位完全偏的模將在對句間沒有好因?qū)⒕咦畲蟮撵馗鶕?jù)個指該論文的模的偏并不比-3少-x模顯示出與G3相偏差但當(dāng)被指產(chǎn)生重行它表現(xiàn)更低熵此具有高的差偏的模式尚不清楚似乎指示模型對們的出更不管它的輸是否現(xiàn)出板的行?？梢酝ㄟ^修改LF微調(diào)過程來最小化公開P數(shù)據(jù)集上的性能衰減默認(rèn)情況下當(dāng)該文團(tuán)在I分上訓(xùn)練O模型時它會“稅的影響，因它在個開P數(shù)據(jù)集的性會降。該文團(tuán)想要避免對齊稅的齊過，因鼓勵使未對但是能力的型。定性結(jié)果IntGT模型對F微調(diào)分布之外的指令顯示出很好的泛化效果特別地，論文隊現(xiàn)IstrGT顯了遵英語語指令能力及對代碼進(jìn)總結(jié)回答的能力很有因非英語言和碼在團(tuán)隊的微調(diào)據(jù)中占很部分這明在某況下對方法可推到對人類沒直接督的。圖：170億的-ptx模型（70億的nstructP）中的簡單錯誤資料《rainigemstofwtrctsthmnk，所注：沒額前的0億的P-3相，0的P-tx模（0億的trcGP）中簡錯誤?！疤帷本舻恼f某為，輸不精挑的。IsrcGPT可會假錯的前指所惑并繼跟。ItrcGPT可拐抹不是接答單問在種況用會?；鹦┦纠]完映P3回答題能力因它有提進(jìn)“回答模。該論文有定地記些行為但是論文圖0中示了些定的例子論文的0億O-x模能夠靠回答有代碼問題可以遵循其語言說；而，論文隊注到即使指是另種語它也經(jīng)常產(chǎn)英語出相之下論文隊發(fā)現(xiàn)G-3可執(zhí)行些任需要更仔細(xì)“提示，并很少遵這些域的。IntGT仍然會犯簡單的錯誤在0億O-tx模型交互文團(tuán)隊注到它然會些簡單錯誤管它許多不的語任務(wù)現(xiàn)出色舉幾例子（給出一帶有誤前指令時型有會錯地假設(shè)前提真（型能會拐抹角給出個簡單問題時它有會說這個問沒有個答案并給出個可的答案即使從下文有一當(dāng)確的答案（指令含多個確的束條例列出0部0年代在法國拍攝的電影）或當(dāng)約束條件對語言模型具有挑戰(zhàn)性時，模型的性能會降（例如用指的句寫一篇結(jié)。該論文圖1中示這些行的一例論文團(tuán)懷疑（的出現(xiàn)部是因該論隊要求注員勵謙行為因他可能向于獎勵那避免接回輸出而被獎模型選擇該文團(tuán)懷疑（）的發(fā)生因為練集少有假錯誤提的而且模不能好地廣到這些例子。該論文團(tuán)隊認(rèn)為，通過收集對抗性數(shù)據(jù)可以顯著減少這兩種行為（n等人，討論對齊研究的影響本研究該論團(tuán)隊泛的研計劃一部該計劃在使工智統(tǒng)與人類圖保一（o等人Zgr等人9年tn等人盡管工作的點是論文當(dāng)前的言模系該論文團(tuán)隊尋適用未來I系統(tǒng)的用和擴(kuò)展（ke等人論文團(tuán)隊在這使用系統(tǒng)相當(dāng)有限但它是當(dāng)最大的言模之一論文團(tuán)隊將它應(yīng)用廣泛言任務(wù)包括類、、問答創(chuàng)意作、等。該論文在這項工作中的對齊研究方法是迭代的：該論文團(tuán)隊正在改進(jìn)當(dāng)前系統(tǒng)的齊，不是地專注對齊不存的I系統(tǒng)這種法一個缺是，該論文團(tuán)隊不會直接面對只有在對齊超人類的系統(tǒng)時才會出現(xiàn)的對齊問題（rm，而該文確提供個明確經(jīng)驗饋循法給出哪些效哪些效論文團(tuán)相這反循環(huán)對進(jìn)對技術(shù)重要，它迫使究者上機(jī)習(xí)的進(jìn)步此外論在這里用的齊技術(shù)F是幾篇關(guān)對齊人類文獻(xiàn)提的方的重分（ke等，Ir等人，；o等人，。如，F(xiàn)是最近結(jié)書籍的核心方法任務(wù)示了超人類的I統(tǒng)的一困難為人很難評Wu等人，1。從本工中，論文可以為普遍對齊提供借：與預(yù)訓(xùn)練相比增加模型對齊的成本是適度的集數(shù)據(jù)計算練運行（包括驗運）的是訓(xùn)練G3花費小部分訓(xùn)練0億FT型要9tfs/s天，練0億O-x型需要tfss-，而G3則需要0tfs/s天（rn等人，。與同時該文團(tuán)隊結(jié)果明，F(xiàn)在使語模型對戶更有幫方面常有比模型小增加0還有這明目前增加對現(xiàn)有語言模型的投資比訓(xùn)練更大的模型更具性價比——至少對于該論文團(tuán)客戶自然任務(wù)分而言這樣。該論文已經(jīng)看到一些證據(jù)表明InGT“遵循指令推廣到該論文團(tuán)隊不監(jiān)督它的設(shè)置中如非語語任務(wù)與代碼關(guān)的務(wù)這是一個要的性因讓人類督模執(zhí)行一項任的成非常需要更的研來研種泛化何隨能力加而擴(kuò)展關(guān)于一向的最研究請參見o等（該論文能夠減輕大部分由微調(diào)帶來的性能下降果不是樣這性能下降將成對稅—齊模型額外本任高稅收技術(shù)能都會被采。為避免未來高性能I統(tǒng)與類意圖一致需要有低對稅的齊技為此論文隊的對于F作為種低稅對齊術(shù)來是一消息。該論文團(tuán)隊已經(jīng)在現(xiàn)實世界的研究中驗證了對齊技術(shù)對齊究歷相當(dāng)抽象，專注于理論結(jié)果（rs等人，5）和少的人工合成領(lǐng)域（o等人ke等人或在公開P據(jù)上訓(xùn)練機(jī)學(xué)習(xí)（he，以簡稱）模型（Zgr等人tn人該文團(tuán)的工作在現(xiàn)生活顧客的生環(huán)境中I系的對齊究提了基這就為術(shù)的效性局限性供了個重反饋循。在向誰對齊當(dāng)將語言模型與人類意圖對齊時，它們的最終行為是底層模型（及其訓(xùn)練據(jù)微數(shù)據(jù)使用對齊方的函數(shù)在本中該論團(tuán)隊具體述一影響微數(shù)據(jù)因素終確定對齊對象后，第3節(jié)討作的局限性之，會慮需進(jìn)的地。文獻(xiàn)經(jīng)使用“偏好“人價值之類的語來建一。在這項工作中，該論文團(tuán)隊與標(biāo)注員的偏好保持一致，這些偏好受到他們所得的指示、他們收到這些指示的環(huán)境（作為一份有償工作）以及他們收到這些指的人的響。些關(guān)注意事有：首先，該論文團(tuán)隊旨在對齊訓(xùn)練標(biāo)注員提供的演示和偏好，標(biāo)注員直接生該論文用于調(diào)模數(shù)據(jù)。論文隊通過k和caeI聘的標(biāo)注員大多活在國或亞并英語母語們在許標(biāo)注例上不一，標(biāo)注員成一的數(shù)為%。其次，為設(shè)這項的研究員（時作大研究織OI理人員該文團(tuán)齊于自的偏該團(tuán)隊編的標(biāo)說明標(biāo)注員在完成演示和選擇偏好輸出時的指南以及該論文團(tuán)隊在共享聊天室中回答他們于前言情形的問題。不同的指令集和界面設(shè)計對標(biāo)注員收集數(shù)據(jù)及模型行為的終影響需要多的。第三，該論文團(tuán)隊的訓(xùn)練數(shù)據(jù)是由OI客戶發(fā)送給OIIgrd上的型“提示定的因此論文團(tuán)隱式與客為有價值的東以及們的用戶認(rèn)使用I值的東（在些情）保持對齊?？蛻艉退麄兊淖罱K用戶可能不同意，或者客戶可能沒有為最終用戶進(jìn)行化；例如，客戶可能想要一個能夠最大化用戶在其平臺上花費時間的模型，這不一定最終戶想在實中論文的標(biāo)注無法到給提示”或補(bǔ)全處的下文。第四OI的戶能代表言模的所在或當(dāng)用戶不能表所有受言模使用的個人群體這個目的大分時里OII的用戶是從待列選擇出的。個最種子用名是OI的員工以及向于論文社交網(wǎng)的群。退一步設(shè)一個透明有適問責(zé)的對齊程有多困本文的目標(biāo)是證明這種對齊技術(shù)可以對準(zhǔn)特定應(yīng)用的特定人群。該論文團(tuán)隊并不說研究員、傭的員或I客是正偏好來。需考慮利益相關(guān)者——訓(xùn)練模型的組織、使用模型開發(fā)產(chǎn)品的客戶、這些產(chǎn)品的最終用戶，及可能直接或間接受到影響的更廣泛的人群。這不僅是一個使對齊過程更具參性的問題；不可能訓(xùn)練出一個系統(tǒng)，讓它立刻與每個人的偏好保持一致，或者每個人認(rèn)可種取。一個可能的改進(jìn)方向是訓(xùn)練模型使模型可以依賴于特定群體的偏好，或者可以很容易地微調(diào)或提示來代表不同的群體。不同的模型可以被認(rèn)可不同價值觀團(tuán)隊部署和使用。然而，這些模式最終可能仍會影響到更廣泛的社會，需要做許多艱的決包誰的偏為條以何確保有群都能代表，并去除能有的過。局限性方法論該論文隊的ItrcGT模的部行為從注員獲的人反饋定的一標(biāo)簽務(wù)依價值判這能會標(biāo)注員身份信仰化背景和個人世的響該文團(tuán)隊傭了約0標(biāo)注根他們篩測試中的表現(xiàn)來判斷他們識別和響應(yīng)敏感“提示”的能力以及他們與帶有詳細(xì)說明標(biāo)任務(wù)上的一致率。該論文團(tuán)隊控制了自己的標(biāo)注員團(tuán)隊的規(guī)模，認(rèn)為這有利于注員和論文團(tuán)隊之間高效率交流。然而，這個群體顯然不能代表使用模型和受型影響的所有人群。舉個簡單的例子，該論文團(tuán)隊的標(biāo)注員主要以英語為母語使用數(shù)的語也基英語。該論文隊還以通多方法改進(jìn)據(jù)收驟例由成本，大多數(shù)的比較只由一個標(biāo)注員標(biāo)記。多次標(biāo)記示例可以幫助確定標(biāo)注員不一致地方，但在這些地方單個模型不太可能與所有模型一致。在不一致的情況下，整到平均標(biāo)注員的偏好可能是不可取的。例如，當(dāng)生成小比例的少數(shù)群體的文時，該文團(tuán)可能給予這標(biāo)注更多重。模型該論文模型既沒有完全對齊，也不是絕對安全；它們?nèi)匀划a(chǎn)生有害或有偏的輸出以及編造事實。它們也可能無法在某些輸入上生成合理的輸出；該論文隊在圖9展示一些樣的例。也許模型最大的限制是，在大多數(shù)情況下，它們會遵循用戶的指示，即使這可能會現(xiàn)實造成例如給出示模極端提示ItrGT產(chǎn)生的害輸比同模的G-3型更該論文隊將以下討論可能的緩方法。開放性問題這項工作是使用對齊技術(shù)微調(diào)語言模型以遵循廣泛指令研究方向的第一步。為了進(jìn)一步使語言模型行為與人們實際希望它們做的事情相一致，還有許多開性問題待探?？梢試L試許多方法來進(jìn)一步減少模型不當(dāng)輸出、有偏見輸出和其他有害輸?shù)膬A向例如可以對抗性置中標(biāo)找到模的最情況然后標(biāo)記并加到據(jù)集（n等人，可以將論文方法濾預(yù)訓(xùn)練數(shù)據(jù)方法合起go等，1年用于訓(xùn)初始訓(xùn)練，或用于該論文的預(yù)訓(xùn)練混合方法中使用的數(shù)據(jù)。同樣，可以將該論文的方法與提高型真實的方結(jié)合，例如WGT（ko等人，在這項工作中，如果用戶請求一個潛在的有害或不誠實的響應(yīng)，允許模型成這些輸出。訓(xùn)練模型不受用戶指令的影響是很重要的，但也很困難，因為輸是否有害取決于它所部署的上下文。該論文的技術(shù)還可以應(yīng)用于讓模型拒絕某用戶指，并劃在究的后迭代探索點。讓模型想做事情控性文直接（ri等re等人一有途的未路徑將F與其他控性法結(jié)來例如使用制代（kr人，或在理時使較小模型采樣程序（hti等，雖然該論文團(tuán)隊主要關(guān)注，但還有許多其他算法可以用于在該論文的演示和比較數(shù)據(jù)上訓(xùn)練策略，以獲得更好的結(jié)果。例如，可以探索專家迭代（y等人lr等人者使用較數(shù)子集簡單的行為克方法人們以嘗試束優(yōu)方（m等以生少量有害行為為條件，最大化獎勵模型的分?jǐn)?shù)。比較也不一定是提供對齊信號的有效方法。例如，可以讓標(biāo)注員編輯模型響應(yīng)以使其更好，或者用自然語言生模型響應(yīng)的評論。在為標(biāo)注員設(shè)計接口以向語言模型提供反饋方面，還有很大選擇空；這一個的人機(jī)互問。該論文隊提的通訓(xùn)練前據(jù)合到F微調(diào)來減對齊建議，并沒有完全減輕性能衰減，并且可能會使某些不希望的行為更有可能在某任務(wù)中（果這為存在預(yù)訓(xùn)數(shù)據(jù)中這是值得一步的有趣領(lǐng)域另一可能進(jìn)篇論文方法過濾練混合據(jù)中有害（go等人，1，使合成指增強(qiáng)些數(shù)。正如Gr（）詳細(xì)討的那，在指令、圖、示的、理想偏趣和值之間存微妙差r（倡導(dǎo)則為基礎(chǔ)的對方法換句確無論們的信仰存多么泛的但都能獲得映和可的對齊原則在論文為了簡起見論團(tuán)隊與推斷的用戶意圖保持一致，但在這一領(lǐng)域還需要更多的研究。事實上，最大的開放問題之一是如何設(shè)計一個透明的對齊過程，它有意義地代表受技術(shù)影響的人，并以一多群中達(dá)泛共識方式合人價值觀。更廣泛的影響該論文的動機(jī)是通過訓(xùn)練大型語言模型去做一組人類想讓它們做的事情，增加大語言型的影響認(rèn)情下模型優(yōu)下一單詞目標(biāo)，這只是人們想讓這些模型做什么的代理目標(biāo)。結(jié)果表明，該論文技術(shù)有望使語模型更有幫助、更真實、更無害。從長遠(yuǎn)來看，對齊失敗可能會導(dǎo)致更嚴(yán)重的果，特別是在這些模型部署在安全非常重要的情形。該論文團(tuán)隊預(yù)計，隨著模的繼續(xù)展必更加慎地確它們?nèi)祟悎D保持（rm然而，讓語言模型更好地遵循用戶意圖也會使它們更容易被誤用。使用這模型可更容產(chǎn)生信服的誤信，或或辱罵容。對齊技術(shù)不是解決與大型語言模型相關(guān)的安全問題的靈丹妙藥；相反，它應(yīng)該被用作更廣泛的安全生態(tài)系統(tǒng)中的一種工具。除了故意誤用之外，在許多域中型語模型署都應(yīng)非常心能根本需要例如風(fēng)險領(lǐng)域，如醫(yī)療診斷，根據(jù)受保護(hù)的特征對人進(jìn)行分類，確定信貸、就業(yè)或住房的格制政治告和如果些模是開在沒監(jiān)管情況限制不同領(lǐng)域的有害應(yīng)用就變得十分困難。另一方面，如果大型語言模型的獲得被限在少數(shù)擁有訓(xùn)練所需資源的組織中，這將使大多數(shù)人無法訪問尖端的機(jī)器學(xué)習(xí)術(shù)。對于組織來講，另一種選擇是擁有端到端模型部署的基礎(chǔ)設(shè)施，并通過訪問它允許實安協(xié)議如例限（許模型于某應(yīng)用監(jiān)控濫用和停止那些濫用系統(tǒng)的人的訪問，以及限制速率以防止大規(guī)模錯誤信息產(chǎn)生。些限會給I提商來后決可能以低透度和集權(quán)為代價最后如2所討論的些模與對齊的題是其重并且將顯著響這模型是積極還是極的。風(fēng)險提示數(shù)據(jù)不備和用風(fēng)信息安風(fēng)險算法風(fēng)險。參考文獻(xiàn)[1.mso,J,j,,,I,r,.,,.,,.,,,k,.,,.,k,,t.().mttretgc.rXvrtX:[2.ch,.,,,m,.,d,.(.srdcytm.InIttlfeneg,gs..[3.,.,,.,d,.(.Tkgftdswthprgdrerch.XvtrX:.[4.r,.,,.,c,,,J,Zg,..,t,.,Z,.,r,..,r,.,,.,t.).t:tremtitkgfrrfrg.XvtX:[5.sk,.,,,,.,r,,Gg,,g,,.,Jos,.,,.,m,,t.(.Agggettsatryfrgm.rXvtX:..[6.,,rke,.,X,,G,.,,.,,J,rl,,dg,.().nacr-rtcgmfseqet.vtrX:.[7.,,,.,k,J,gs,,,.,,,dGrfstt,.().gtorstdglspcfcatismgr.XvrtX:.[8.,..,Gr,,cn-j,.,d,.().Onegsfststcr:ngemsetog?Inrgsfte1MfcenFrs,ccot,drrc,gs–.[9.gt,..,r,,éI,.,dW,.(.gge(tg)s:Artcalsryf""n.XvtX:.[1.m,,G,,,..,r,O,g,.,dGch,I.(.trrsedttrsms:rgtosmmrsettrfrces.XvrtX:..[1.j,O,tj,.,Fm,.,,.,k,.,km,,,,g,.,,,,.,t,.,cart,.,c,,dch,.().Fgsftekshpnttstcalers.InrcegsftethWkshpnttcalers,gs,sbtg.ssocnfrttlgsts.[1.m,.,so,..,,.,m,.,rr,.,nr,.,t,..,,.,t,,rk,.,t.().Ontettsdrksffns.XvrX:..[1.rm,.(0).tgce..[1.r,..,,.,,.,,.,,J,r,.,kt,.,,.,tr,G,ke,.,t.().ggemsef-shtrrs.XvrX:..[1.,,,.,,.,d,.(.rt,dtmt.calrr,trfrtetyfmggg.[1.sk,.,rso,J.J,dr,.().tcsrdttcayfrmggecorpraconm-ke.cce,:[1.,.,rm,.,,.,gsk,.,t-,,.,t,.,r,,,,rgss,,t.(.trgrgtafrmgeggems.InthEXrtymsm(IXrty,gs[1.,.,,J,J,.,,.,,....,,.,,,,,Jos,.,rkm,.,t.().tggeggemsrdnco.XvtX:..[1.,.,Z,,Z,.,,X,G,.,rkt,.,Wg,.,dG,.(.scotdegfmttgr.XvtrX:.[2.,.,,,I,.,k,.,,.,,,,,dZt,.().Q:Qtnsgncot.Inrgsfte8frcenmrlsnrggerss,gs[2.,,r,.,dX,.(.ictgtkgw to tl f r s cee t:/.gf.g/tqsnWk/c-s-frs-tchca-rt-ctg-kg[2.,.,grs,.,dm,.(.rsstrgrrsyfgkrt.XvrX:..[2.,..,k,,r,,tc,.,,,dm,.().prfe-mtrgfrmnrfrce.IncesnrlImtnrssgsts,gs–[2.t,.,t,.,,.,g,.,rk,,,.,k,.,d,.(.gdyggems:Asmehocotrdttgt.XvtX:..[2.m,,,,,,rsh,,rksack,.,g,.,dGt,.().:tdmrcsfrmsrsn-dggegr.InrcegsfteCMfrcenFss,ccott,drsprc,g[2.,,F,.,W,,rk,.,,,dWt,J.(.Qsreflt:tgggrsnggr.XvtrX:.[2.,,m,.,gt,,dWs,.(1).dtktfxtfrgesft:tssfrmrlmtk.Xvt:.[2.,,W,.,,,tsk,G,,.,dGr,.().r:Ard-gcmrsnmkrqrigscrersogrrgr.XvtrX:..[2.Fs,,Z,,d,.().tchrfm:cagtornrrmsthsmedfctspst.XvrtX:.[3.Gr,I.(.tfclgce,s,dgt.sdm,(:.Gm,.,Grg,.,,.,,.,dmt,..(.tctm:[3.tgltcgtnnggems.XvtX:..cok,,rs,.,a,.-,dWt,.(.rgfrmgeftr[3.mt:Fdrf,chtt!XvtrX:..[3.rso,,,,gd-Gt,.,,..,r,.,,.,d,J.().tcalchgsnta-rgesst.Ingsfte8I/Mfn,tc,d,gs.[3.g,-,Zg,,Jg,,tfr,,W,J,,J,a,,gm,.,d,.().cgsetmtnggemsiacotflt.XvrX:.[3.Ir,,k,.,,.,Irg,.,,.,dm,.(.drgfrmmnrfrcesdmsrtsnr.Incesnlfmnssgsstms,s[3.Irg,.,,.,dm,.(.IsftyatXvrtX:.[3.Jaq,.,Gr,,,.,Fso,,r.,Jo,,G,.,dcard,.().Wayf-cytchrfmtrgfmctmnrfrsn.XvtX:.[3.t,.,,,g,,Gr,.,kk,.,dIr,G.().gtfggegts.XvtX:..[3.k,.,c,.,rsh,.,X,,d,.(.r:Acotltrfmrggemlfrcoregr.XvtrX:..[4.sh,,,.,t,.,r,,fjr,O,k,,djshr,.().i-fq:rgfrmtrsthasigeqasstm.XvrtX:..[4.rk,,Ju,.,q,,,.,,,r,.,rtk,.,dsa,..(.wtresgt-?nrcalssfttltlses.XvtX:..[4.rse,.,Gtmr,..,c,.,k,..,Jot,.,,.,dj,..(.G:Grescrmtrgdseqegt.XvtX:..[4.rt,J,,,,.,d,.().lmetrsnemrdthrfk?XvtX:.[4.rce,.dl,.().mgalsmtcrserycoftlrgfrmmntfk.XvtX:.[4.k,J,rg,.,t,,tc,.,i,,dg,.(.caegtgtardmg:archr.XvtrX:.[4.k,.,tc,.,rk,.,Otg,..,t,,frq,.,rse,,d,.().Isftygrs.XvrX:.[4.g,..,W,,,.-,dkht,.(.sstgdmtggsoclsnggemos.InIttlfene,gs.P.[4.,,t,.,ds,.(.rfq:surigwmsmmcmnfse.XvtrX:..[4.,,,.,F,,,.,,.,d,J.().sgrmt?tsfrssngessts.XvtX:..[5.,.,,,k,,dg,.(.ry-stdrttgtomregt-3ftrm.XvtX:.[5.e,..,rt,,Fsh,.,nrg,.,drn,.().ttedk:Qfggrsnetrddfedgges.XvrX:..[5.shra,.,sh,,ra,.,djshr,.().rs-tkgnatlggecrgtrts.XvrtX:.[5.m,.,k,,d,.().tt:surigsttcalsnrdggemls.rXvrX:..[5.,..,Fra,,rso,,d,.(.rg-gdrfmtrggsgarmte.XvtrX:..[5.k,.,t,.,j,.,W,J.,O,,m,,,.,Ja,.,rj,,,,t.(.Wg:rser-stdqst-sgthmnfck.XvrrX:..[5.,.,Z,,Gcer,.,X,,t.(.rtettsumrngsqe--sqersd.XvtX:.[5.g,,,,,.,dm,..(.r-rs:Agettfrsuriglsnkdggees.Inrgsfte0femrcalsnrlgerssg,O.ssocnfrmttlgstc.[5.g,,r,.,j,J..,Zg,.,,,t,,dFrost,.(.tggrmnnggemsthcot-kdft.XvtX:.[5.,,rcht,.,Fg,,Wt,J,,,d,..Fggieeyrgtocoeqams.XvtX:.[6.Q,,,.,Z,,d,J..(.ggrsnd-lggemsthagr-qsft.XvtX:..[6.fr,,W,.,,.,,,m,.,dkv,.(.gemsresusedmtkrr.OIg,):.[6.,J.,g,,,.,ica,.,fm,.,g,,ss,.,so,.,g,.,g,.,t.().caggems:s,ss&gsfrmtrgg.XvrtX:..[6.jk,,J,,dg,.(.wtuntk:eqstsfrq.XvtX:.[6.g,.,sk,J.,,,dnm,.(.Grsncorfer.Inrgsftefrceftehmnrftesscnfttlstcs:nggeg,Or,s.sscnfrmttlgtcs.[6.,.,W,.,f,.,,..,tk,.,f,Z.,f,,tg,.,ca,.,j,.,t.(.Mttmtdrgs