版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
第第頁(yè)對(duì)比解碼在LLM上的應(yīng)用(深度學(xué)習(xí))自然語(yǔ)言處理(原創(chuàng))
:wkk
為了改進(jìn)LLM的推理能力,UniversityofCalif(or)nia聯(lián)合Meta(AI)實(shí)驗(yàn)室提出將ContrastiveDecoding應(yīng)用于多種任務(wù)的LLM方法。實(shí)驗(yàn)表明,所提方法能有效改進(jìn)LLM的推理能力。讓我們走進(jìn)論文一探究竟吧!
對(duì)比解碼(ContrastiveDecoding)
在走進(jìn)論文之前首先介紹一下什么是對(duì)比解碼,其是由Li等人在2022年提出的一種文本生成方法,具有簡(jiǎn)單、計(jì)算量小、訓(xùn)練自由等特點(diǎn)。它通過(guò)查找到最大化強(qiáng)模型和弱模型之間可能性差異的字符串來(lái)生成文本,從而產(chǎn)生更多且更高質(zhì)量的文本。在對(duì)比解碼中,弱模型可以是常規(guī)的貪心解碼方法,如一些簡(jiǎn)單的采樣方法,強(qiáng)模型可以是經(jīng)過(guò)訓(xùn)練的大型語(yǔ)言模型。對(duì)比解碼可以在很多推理任務(wù)上表現(xiàn)出色,包括算術(shù)推理和多項(xiàng)選擇排名任務(wù),可以提高語(yǔ)言模型的準(zhǔn)確率。
本文創(chuàng)新點(diǎn):探索對(duì)比解碼在LLM上的應(yīng)用。具體地,通過(guò)最大化專家模型和較弱的業(yè)余模型之間存在的可能性誤差(如下圖所示)來(lái)搜索字符串,避免了專家模型中的不良影響和貪婪解碼會(huì)出現(xiàn)的采樣誤差問(wèn)題。
實(shí)驗(yàn)結(jié)論:通過(guò)在多種任務(wù)上的測(cè)試,本文證明了對(duì)比解碼可以提高大型語(yǔ)言模型在推理和文本生成問(wèn)題上的性能,這是第一種同時(shí)在推理和文本生成問(wèn)題上實(shí)現(xiàn)最先進(jìn)結(jié)果的生成(算法)。此外,還分析了對(duì)比解碼的改進(jìn)原因,并探討了該方法在常識(shí)推理和事實(shí)檢索方面的適用性。
實(shí)驗(yàn)
實(shí)驗(yàn)設(shè)置
模型:實(shí)驗(yàn)采用LLaMA家族的原始模型,其中專家模型為L(zhǎng)LaMA-65B,業(yè)余模型為具有1.5B的LLaMA模型。此外,在消融實(shí)驗(yàn)中,本文還對(duì)FLAN-T5家族的模型進(jìn)行實(shí)驗(yàn)分析。
解碼(參數(shù)):α=0.1,為原始論文中相同的超參數(shù):專家模型分配的最大概率的比例,任何標(biāo)記都分配了較低的概率被屏蔽掉。β=0.5是對(duì)應(yīng)于業(yè)余懲罰強(qiáng)度的超參數(shù)。將前導(dǎo)(1+β)系數(shù)包含在專家logits中,以將對(duì)比懲罰的強(qiáng)度與輸出logits的預(yù)期尺度解耦,描述了用于采樣的溫度的對(duì)比權(quán)衡之間的對(duì)比權(quán)衡。
prompt:對(duì)于生成任務(wù)使用8-shot的CoT。
數(shù)據(jù)集:聚焦代數(shù)問(wèn)題的AQuA、ASDiv、GSM8K、SVAMP和MATH數(shù)據(jù)集,針對(duì)常識(shí)推理的CommonsenseQA、Stra(te)gyQA數(shù)據(jù)集以及AI2ReasoningChallenge、BooIQ、HellaSwag、MMLU、(PI)QA、SIQA和WinoGrande等基準(zhǔn)數(shù)據(jù)集。
實(shí)驗(yàn)結(jié)果
在GSM8K上的實(shí)驗(yàn)表明,β=0.5能獲得更好的結(jié)果同時(shí)業(yè)余模型對(duì)于性能的提升可能大于專家模型。
對(duì)比解碼往往有助于全面完成具有CoT提示的算術(shù)推理任務(wù)。其中一個(gè)例外是MATH數(shù)據(jù)集,它被證明對(duì)標(biāo)準(zhǔn)解碼和對(duì)比解碼都具有挑戰(zhàn)性。推測(cè)因?yàn)閷?duì)比解碼放大了專家比業(yè)余模型學(xué)得更好的技能,所以它對(duì)遠(yuǎn)遠(yuǎn)超出專家模型的任務(wù)沒有幫助。
在CommonsenseQA和StrategyQA數(shù)據(jù)集上實(shí)驗(yàn)發(fā)現(xiàn)對(duì)比解碼會(huì)損害較小模型的性能。
對(duì)比解碼的影響
本文還進(jìn)行了一系列附加實(shí)驗(yàn),研究表明,對(duì)比解碼可以在大型語(yǔ)言模型中提高推理能力。在算術(shù)推理和多項(xiàng)選擇排名任務(wù)上,包括LLaMA-65B這樣的大型模型,都有普遍的改進(jìn),這表明對(duì)比解碼可以使更大的模型受益。通過(guò)分析對(duì)比解碼改進(jìn)的原因。實(shí)證表明,與貪婪解碼相比,對(duì)比解碼從提示中復(fù)制的表面層次較少,錯(cuò)過(guò)的推理步驟也較少。這一結(jié)果表明,對(duì)比解碼通過(guò)減少模型分布中的短、重復(fù)或其他不良模式來(lái)起作用。
結(jié)論
使用對(duì)比解碼(ContrastiveDecoding)方法可以顯著提高大型語(yǔ)言模型在一系列推理任務(wù)中的準(zhǔn)確性,這種方法不僅在生成文本方面表現(xiàn)優(yōu)異,還可以在推理問(wèn)題方面超越當(dāng)前現(xiàn)有的各種模型。同時(shí),該方法能夠減少模型分布中的短、重復(fù)或其他不良模
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024個(gè)人租車協(xié)議書模板10篇
- 視神經(jīng)外傷病因介紹
- 《CC++語(yǔ)言程序設(shè)計(jì)案例教程》課件-第12章 模 板
- 工 程識(shí)圖與制圖-南京交院路橋與港航工32課件講解
- 重慶2020-2024年中考英語(yǔ)5年真題回-教師版-專題06 任務(wù)型閱讀
- 江蘇省鹽城市響水縣2024-2025學(xué)年七年級(jí)上學(xué)期期中生物試題(原卷版)-A4
- 2023年工程塑料尼龍系列項(xiàng)目籌資方案
- 2023年街頭籃球項(xiàng)目籌資方案
- 2023年礦用防爆電器設(shè)備項(xiàng)目籌資方案
- 《工業(yè)機(jī)器人現(xiàn)場(chǎng)編程》課件-任務(wù)3.2.2-3.2.3創(chuàng)建涂膠機(jī)器人坐標(biāo)系與工作站數(shù)據(jù)
- 風(fēng)電項(xiàng)目投資計(jì)劃書
- 山東省醫(yī)療收費(fèi)目錄
- JGT266-2011 泡沫混凝土標(biāo)準(zhǔn)規(guī)范
- 感恩祖國(guó)主題班會(huì)通用課件
- 栓釘焊接工藝高強(qiáng)螺栓施工工藝
- (完整版)醫(yī)療器械網(wǎng)絡(luò)交易服務(wù)第三方平臺(tái)質(zhì)量管理文件
- 《0~3歲嬰幼兒動(dòng)作發(fā)展與指導(dǎo)》項(xiàng)目一-0~3歲嬰幼兒動(dòng)作發(fā)展概述
- 鐵總建設(shè)201857號(hào) 中國(guó)鐵路總公司 關(guān)于做好高速鐵路開通達(dá)標(biāo)評(píng)定工作的通知
- 個(gè)人晉升現(xiàn)實(shí)表現(xiàn)材料范文四篇
- 持續(xù)質(zhì)量改進(jìn)提高偏癱患者良肢位擺放合格率
- 部編版六年級(jí)語(yǔ)文上冊(cè)期末復(fù)習(xí)課件(按單元復(fù)習(xí))
評(píng)論
0/150
提交評(píng)論