大模型原理與技術(shù)-課件 chap6 大模型微調(diào)

大模型微調(diào)-第7章計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院智周萬(wàn)物?道濟(jì)天下o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2o

大模型訓(xùn)練包括“預(yù)訓(xùn)練”和“微調(diào)”兩個(gè)關(guān)鍵階段在預(yù)訓(xùn)練階段，大模型通過(guò)在大量數(shù)據(jù)上進(jìn)行訓(xùn)練學(xué)習(xí)，已經(jīng)掌握了豐富的語(yǔ)言規(guī)則、知識(shí)信息以及視覺(jué)模式。然而，在大規(guī)模（公開(kāi)）數(shù)據(jù)上通過(guò)自監(jiān)督學(xué)習(xí)訓(xùn)練出來(lái)的模型雖然具有較好的“通識(shí)”能力（稱為基礎(chǔ)模型），卻往往難以具備“專業(yè)認(rèn)知”能力（稱為專有模型/垂直模型）。大模型的預(yù)訓(xùn)練成本非常昂貴，龐大的計(jì)算資源和數(shù)據(jù)讓普通用戶難以從頭開(kāi)始訓(xùn)練大模型。充分挖掘這些預(yù)訓(xùn)練大模型的潛力，針對(duì)特定任務(wù)的微調(diào)不可或缺。大模型微調(diào)是將預(yù)訓(xùn)練好的大模型參數(shù)作為起點(diǎn)，利用少量有標(biāo)簽的數(shù)據(jù)進(jìn)一步調(diào)整大模型參數(shù)，以適應(yīng)特定的任務(wù)，使得大模型不僅僅停留在理解通用知識(shí)的層面，更能夠針對(duì)特定問(wèn)題提供精準(zhǔn)的解決方案。

大模型微調(diào)4o

有監(jiān)督微調(diào)分為：全參數(shù)微調(diào)和參數(shù)高效微調(diào)全參數(shù)微調(diào)指的是在特定任務(wù)上對(duì)整個(gè)預(yù)訓(xùn)練模型的所有參數(shù)進(jìn)行更新。這種技術(shù)簡(jiǎn)單直接，可以使模型適應(yīng)新的任務(wù)。但是隨著模型參數(shù)規(guī)模變得越來(lái)越大，更新所有參數(shù)需要大量的計(jì)算資源。同時(shí)，當(dāng)特定任務(wù)的數(shù)據(jù)量不足時(shí)，全參數(shù)微調(diào)容易導(dǎo)致過(guò)擬合。參數(shù)高效微調(diào)（Parameter-EfficientFine-Tuning，PEFT）是指固定預(yù)訓(xùn)練模型的大部分參數(shù)，僅微調(diào)少量或額外的模型參數(shù)來(lái)達(dá)到與全參數(shù)微調(diào)接近的效果，甚至在某些情況下比全參數(shù)微調(diào)有更好的效果，更好地泛化到域外場(chǎng)景。

大模型微調(diào)o

指令微調(diào)過(guò)少量的、精心設(shè)計(jì)的指令數(shù)據(jù)來(lái)微調(diào)預(yù)訓(xùn)練后的大模型，使其具備遵循指令和進(jìn)行多輪對(duì)話的能力，以提高其在處理命令式語(yǔ)言和指令性任務(wù)時(shí)的性能和適應(yīng)性。o

基于人類反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningHumanForward，RLHF）微調(diào)：以人類的偏好作為獎(jiǎng)勵(lì)信號(hào)，通過(guò)強(qiáng)化學(xué)習(xí)與人類反饋相結(jié)合的方式，指導(dǎo)模型的學(xué)習(xí)和優(yōu)化，從而增強(qiáng)模型對(duì)人類意圖的理解和滿足程度。主要包括：獎(jiǎng)勵(lì)模型微調(diào)和強(qiáng)化學(xué)習(xí)微調(diào)兩個(gè)階段。獎(jiǎng)勵(lì)模型微調(diào)階段通過(guò)學(xué)習(xí)人類對(duì)模型輸出的評(píng)價(jià)（如喜好、正確性、邏輯性等）提供一個(gè)準(zhǔn)確評(píng)價(jià)模型行為的標(biāo)準(zhǔn)。強(qiáng)化學(xué)習(xí)微調(diào)階段則基于獎(jiǎng)勵(lì)模型來(lái)指導(dǎo)優(yōu)化模型的行為。通過(guò)這種方式，基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)能夠有效地將人類的智慧和偏好整合到模型訓(xùn)練過(guò)程中，提高模型在特定任務(wù)上的性能和可靠性。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-增量式微調(diào)o

參數(shù)高效微調(diào)參數(shù)高效微調(diào)（PEFT）是在保持模型性能的同時(shí)，以最小的計(jì)算成本對(duì)模型進(jìn)行微調(diào)，以適應(yīng)特定任務(wù)或數(shù)據(jù)集的技術(shù)。現(xiàn)有的參數(shù)高效微調(diào)可以大體分為增量式微調(diào)、指定式微調(diào)、重參數(shù)化微調(diào)三大類。o

增量式微調(diào)增量式（Addition-based）微調(diào)是在預(yù)訓(xùn)練模型基礎(chǔ)上，僅僅調(diào)整少量添加的額外可訓(xùn)練的層或參數(shù)，使模型能夠快速地適應(yīng)新任務(wù)或數(shù)據(jù)集的技術(shù)。根據(jù)添加的額外參數(shù)的位置或方式不同，增量式微調(diào)技術(shù)可以分為適配器微調(diào)和前綴微調(diào)。適配器微調(diào)通常是指在預(yù)訓(xùn)練模型的中間層或特定層中插入額外的小型網(wǎng)絡(luò)模塊（適配器），進(jìn)行特定任務(wù)的優(yōu)化。前綴微調(diào)指的是在模型的輸入端添加一個(gè)連續(xù)的任務(wù)特定向量序列（稱為前綴），這個(gè)向量序列與原始輸入一起進(jìn)入模型，在參數(shù)微調(diào)時(shí)模型能夠“關(guān)注”這個(gè)前綴，從而引導(dǎo)模型生成更符合任務(wù)需求的輸出。參數(shù)高效微調(diào)-增量式微調(diào)-適配器（Adapter）微調(diào)o

適配器微調(diào)適配器微調(diào)（AdapterTuning）是一種在預(yù)訓(xùn)練后的大模型中間層中，插入適配器（小型網(wǎng)絡(luò)模塊）來(lái)適應(yīng)新任務(wù)的技術(shù)。在微調(diào)時(shí)將大模型主體凍結(jié)，僅訓(xùn)練特定于任務(wù)的參數(shù)，即適配器參數(shù)，減少訓(xùn)練時(shí)算力開(kāi)銷。以Transformer架構(gòu)為例，如左圖所示：o

圖解：在多頭注意力的投影和第二個(gè)前饋網(wǎng)絡(luò)的輸出之后分別插入適配器模塊。其中，每個(gè)適配器模塊主要由兩個(gè)前饋（Feedforward）子層組成，第一個(gè)前饋?zhàn)訉右訲ransformer塊的輸出作為輸入，將原始輸入維度（高維特征）投影到（低維特征）。在兩個(gè)前饋網(wǎng)絡(luò)中，安插了一個(gè)非線性層。在輸出階段，通過(guò)第二個(gè)前饋?zhàn)訉舆€原輸入維度，映射回原始維度，作為適配器的輸出。同時(shí)，通過(guò)一個(gè)跳躍連接將Adapter的輸入重新加到最終的輸出中，這樣可以保證，即使適配器一開(kāi)始的參數(shù)初始化接近0，適配器也由于跳躍連接的設(shè)置而接近于一個(gè)恒等映射，從而確保訓(xùn)練的有效性。加入適配器后的Transformer層主體架構(gòu)以及適配器模塊結(jié)構(gòu)，微調(diào)時(shí)處理適配器的參數(shù)，其余參數(shù)均凍住參數(shù)高效微調(diào)-增量式微調(diào)-前綴（Prefix）微調(diào)o

前綴微調(diào)前綴微調(diào)（PrefixTuning）在資源有限、任務(wù)多樣化的場(chǎng)景下具有顯著的優(yōu)勢(shì)。它是基于提示詞前綴優(yōu)化的微調(diào)技術(shù)，其原理是在輸入token之前構(gòu)造一段與任務(wù)相關(guān)的虛擬令牌作為前綴（Prefix），然后訓(xùn)練的時(shí)候只更新前綴的參數(shù)，而預(yù)訓(xùn)練模型中的其他參數(shù)固定不變。以Transformer架構(gòu)為例，如上圖所示：o

圖解：圖中展示了使用前綴微調(diào)技術(shù)實(shí)現(xiàn)表格轉(zhuǎn)換成文本（Table-to-Text）、總結(jié)（Summarization）和翻譯（Translation）這三個(gè)下游任務(wù)。以表格轉(zhuǎn)換成文本任務(wù)為例，輸入任務(wù)是一個(gè)線性化的表格“name:Starbucks|type:coffeeshop”，輸出是一個(gè)文本描述“Starbucksservescoffee.”。在輸入序列之前添加了一系列連續(xù)的特定任務(wù)向量表示的前綴參與注意力計(jì)算。前綴微調(diào)能夠有效地訓(xùn)練上游前綴以指導(dǎo)下游語(yǔ)言模型，實(shí)現(xiàn)單個(gè)基礎(chǔ)模型同時(shí)支持多種任務(wù)的目標(biāo)。前綴微調(diào)適用于涉及不同用戶個(gè)性化上下文的任務(wù)中。通過(guò)為每個(gè)用戶單獨(dú)訓(xùn)練的前綴，能夠避免數(shù)據(jù)交叉污染問(wèn)題，從而更好地滿足個(gè)性化需求。參數(shù)高效微調(diào)-增量式微調(diào)-前綴（Prefix）微調(diào)針對(duì)不同的模型結(jié)構(gòu)，前綴微調(diào)需要構(gòu)建不同的前綴，如下圖所示：o

回歸架構(gòu)模型：在輸入之前添加前綴，得到z=[PREFIX;x;y]，合適的上文能夠在固定預(yù)訓(xùn)練模型的情況下引導(dǎo)生成下文，如GPT-3的上下文學(xué)習(xí)。o

編碼器-解碼器架構(gòu)模型：編碼器和解碼器都需要增加前綴，得到z=[PREFIX;x;PREFIX0;y]。編碼器端增加前綴用來(lái)引導(dǎo)輸入部分的編碼，解碼器端增加前綴用來(lái)引導(dǎo)后續(xù)token的生成?；貧w架構(gòu)模型和編碼器-解碼器架構(gòu)模型構(gòu)造前綴的方式對(duì)比示意圖o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-指定式微調(diào)o

指定式微調(diào)適配器微調(diào)和前綴微調(diào)通過(guò)引入少量額外的可訓(xùn)練參數(shù)，實(shí)現(xiàn)了高效的參數(shù)微調(diào)。然而，當(dāng)模型規(guī)模較大時(shí)，會(huì)導(dǎo)致部署困難及參數(shù)修改方式不夠靈活等。為了避免引入額外參數(shù)帶來(lái)的復(fù)雜性增加問(wèn)題，可以選取部分參數(shù)進(jìn)行微調(diào)，這種方法稱為指定式（Specification-based）微調(diào)。指定式微調(diào)將原始模型中的特定參數(shù)設(shè)為可訓(xùn)練狀態(tài)，同時(shí)將其他參數(shù)保持凍結(jié)狀態(tài)。o

代表性方法之一：BitFit（Bias-termsFine-tuning）一種更為簡(jiǎn)單、高效的稀疏微調(diào)策略，訓(xùn)練時(shí)只更新偏置的參數(shù)或者部分偏置參數(shù)。對(duì)于每個(gè)新任務(wù)，BitFit僅需存儲(chǔ)偏置參數(shù)向量（這部分參數(shù)數(shù)量通常小于參數(shù)總量的0.1%）以及特定任務(wù)的最后線性分類層。如下圖所示，在每個(gè)線性或卷積層中，權(quán)重矩陣W保持不變，只優(yōu)化偏置向量b。對(duì)于Transformer模型而言，凍結(jié)大部分Encoder參數(shù)，只更新偏置參數(shù)跟特定任務(wù)的分類層參數(shù)。涉及的偏置參數(shù)有注意力模塊中計(jì)算Query、Key、Value與合并多個(gè)注意力結(jié)果時(shí)涉及的偏置參數(shù)、MLP層中的偏置參數(shù)、歸一化層的偏置參數(shù)。BitFit需要更新的偏置參數(shù)示意圖o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-重參數(shù)化微調(diào)o

重參數(shù)化微調(diào)（Reparametrization-based）重參數(shù)化微調(diào)通過(guò)轉(zhuǎn)換現(xiàn)有的優(yōu)化過(guò)程，將其重新表達(dá)為更有效的參數(shù)形式。在微調(diào)任務(wù)中，微調(diào)權(quán)重與初始預(yù)訓(xùn)練權(quán)重之間的差異經(jīng)常表現(xiàn)出“低本征秩”的特性。這意味著它們可以被很好地近似為一個(gè)低秩矩陣。低秩矩陣具有較少的線性獨(dú)立列，可以被理解為具有更低“復(fù)雜度”的矩陣，并且可以表示為兩個(gè)較小矩陣的乘積。這一觀察引出了一個(gè)關(guān)鍵的點(diǎn)，即微調(diào)權(quán)重與初始預(yù)訓(xùn)練權(quán)重之間的差異可以表示為兩個(gè)較小矩陣的乘積。通過(guò)更新這兩個(gè)較小的矩陣，而非整個(gè)原始權(quán)重矩陣，可以大幅提升計(jì)算效率?；诖怂枷耄椭冗m配（Low-RankAdaptation：LoRA）微調(diào)方法被提出，并引發(fā)了廣泛關(guān)注。o

LoRA微調(diào)LoRA微調(diào)指通過(guò)在預(yù)訓(xùn)練模型中引入低秩結(jié)構(gòu)來(lái)實(shí)現(xiàn)高效的參數(shù)微調(diào)。其核心思想是通過(guò)低秩分解來(lái)修改模型的權(quán)重矩陣，使其分解為較低維度的因子，從而減少在微調(diào)過(guò)程中需要更新的參數(shù)數(shù)量。參數(shù)高效微調(diào)-重參數(shù)化微調(diào)-LoRA全參數(shù)微調(diào)與LoRA微調(diào)的參數(shù)構(gòu)成示意圖

參數(shù)高效微調(diào)-重參數(shù)化微調(diào)-LoRA變體o

自適應(yīng)預(yù)算分配的參數(shù)高效微調(diào)（AdaptiveBudgetAllocationforParameter-EfficientFine-Tuning：AdaLoRA）由于LoRA為所有的低秩矩陣指定了唯一秩的設(shè)置，忽視了不同模塊、不同層參數(shù)在特定任務(wù)中的重要性差異，導(dǎo)致大模型的效果存在不穩(wěn)定性。針對(duì)這一問(wèn)題，自適應(yīng)預(yù)算分配的參數(shù)高效微調(diào)（AdaLoRA）方法被提出，它在微調(diào)過(guò)程中根據(jù)各權(quán)重矩陣對(duì)于下游任務(wù)的重要性來(lái)動(dòng)態(tài)調(diào)整秩的大小，以減少可訓(xùn)練參數(shù)數(shù)量的同時(shí)保持或提高性能。o

量化高效（EfficientFine-TuningofQuantizedLLMs：QLoRA）微調(diào)量化高效微調(diào)（QLoRA）是大模型微調(diào)中一種提升模型在硬件上運(yùn)行效率的技術(shù)。隨著大模型參數(shù)量的不斷增加，如擁有660億一個(gè)參數(shù)的超大模型LLaMA，其顯存占用高達(dá)300GB。在這樣的情況下，傳統(tǒng)的16bit量化壓縮存儲(chǔ)微調(diào)所需的顯存甚至超過(guò)了780GB，使得常規(guī)的LoRA技術(shù)難以應(yīng)用。面對(duì)這一挑戰(zhàn)，QLoRA微調(diào)基于LoRA微調(diào)的邏輯，通過(guò)凍結(jié)的4bit量化預(yù)訓(xùn)練模型來(lái)傳播梯度到低秩適配器。下圖展示了不同于LoRA微調(diào)和全參數(shù)微調(diào)QLoRA的創(chuàng)新之處，即它巧妙地結(jié)合了量化技術(shù)和適配器方法，以在資源受限的情況下提高模型的可訓(xùn)練性和性能。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-混合微調(diào)

UniPELT方法示意圖參數(shù)高效微調(diào)-小結(jié)不同參數(shù)高效微調(diào)方法對(duì)比示意圖左圖展示了4種微調(diào)方法在Transformer模塊上的應(yīng)用方式：適配器微調(diào)：設(shè)計(jì)適配器結(jié)構(gòu)，在模型的適當(dāng)位置插入適配器，僅微調(diào)適配器部分的參數(shù)。前綴微調(diào)：在輸入序列之前添加一個(gè)連續(xù)向量，僅微調(diào)前綴部分的參數(shù)。BitFit：僅調(diào)整模型的偏置參數(shù)。LoRA微調(diào)：引入低秩分解的矩陣，新增的矩陣權(quán)重可以與原始權(quán)重合并。適配器微調(diào)、前綴微調(diào)屬于增量式微調(diào)方法，它們通過(guò)引入額外的結(jié)構(gòu)來(lái)微調(diào)參數(shù)；BitFit屬于指定式微調(diào)方法，專注于調(diào)整模型中的部分參數(shù)；LoRA微調(diào)屬于重參數(shù)化微調(diào)方法，將原始權(quán)重重參數(shù)化為原始矩陣與新增低秩矩陣的乘積權(quán)重之和。參數(shù)高效微調(diào)-小結(jié)名稱優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景適配器微調(diào)較低的計(jì)算成本和較好的性能增加模型層數(shù)，導(dǎo)致模型的參數(shù)數(shù)量和計(jì)算量增加，影響模型的效率，延長(zhǎng)推理時(shí)間。當(dāng)訓(xùn)練數(shù)據(jù)不足或者適配器的容量過(guò)大時(shí)，可能會(huì)導(dǎo)致適配器過(guò)擬合訓(xùn)練數(shù)據(jù)，降低模型的泛化能力適用于處理小數(shù)據(jù)集前綴微調(diào)只微調(diào)預(yù)訓(xùn)練模型的前綴，就能達(dá)到與全參數(shù)微調(diào)相當(dāng)?shù)男阅埽瑴p少了計(jì)算成本和過(guò)擬合的風(fēng)險(xiǎn)前綴token會(huì)占用序列長(zhǎng)度，有一定的額外計(jì)算開(kāi)銷適用于各種需要添加特定前綴的自然語(yǔ)言處理任務(wù)，如文本分類、情感分析等BitFit訓(xùn)練參數(shù)數(shù)量極小

（約

0.1%）在大部分任務(wù)上的效果差于適配器微調(diào)、LoRA微調(diào)等方法適用于處理小規(guī)模到中等規(guī)模的數(shù)據(jù)集LoRA微調(diào)無(wú)推理延遲，可以通過(guò)可插拔的形式切換到不同的任務(wù)，易于實(shí)現(xiàn)和部署，簡(jiǎn)單且效果好低秩矩陣中的維度和秩的選擇對(duì)微調(diào)效果產(chǎn)生較大影響，需要超參數(shù)調(diào)優(yōu)適用于需要快速收斂且對(duì)模型復(fù)雜度要求較高的任務(wù)，如機(jī)器翻譯和語(yǔ)音識(shí)別等UniPELT多種微調(diào)方法混合涉及模型的不同部分，使得模型的魯棒性更好相比于單個(gè)微調(diào)方法訓(xùn)練參數(shù)數(shù)量大，推理更耗時(shí)在低數(shù)據(jù)場(chǎng)景中相對(duì)于單個(gè)微調(diào)方法提升更顯著參數(shù)高效微調(diào)方法能夠有效減少微調(diào)所需的計(jì)算資源和時(shí)間，保持模型的整體性能穩(wěn)定，不會(huì)對(duì)整個(gè)模型結(jié)構(gòu)做出重大改變，可以在實(shí)際應(yīng)用中幫助研究者更加輕松地優(yōu)化大模型。參數(shù)高效微調(diào)方法具體分為增量式微調(diào)方法、指定式微調(diào)方法、重參數(shù)化微調(diào)方法以及多方法并用的混合微調(diào)方法。下表總結(jié)了常用的參數(shù)高效微調(diào)方法的優(yōu)缺點(diǎn)及適用場(chǎng)景。在實(shí)際應(yīng)用中，需要根據(jù)預(yù)訓(xùn)練模型、具體任務(wù)和數(shù)據(jù)集等因素選擇合適的微調(diào)方法。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2指令微調(diào)o

指令微調(diào)（InstructionTuning）模型在訓(xùn)練階段存在一個(gè)關(guān)鍵問(wèn)題，即訓(xùn)練目標(biāo)和用戶目標(biāo)之間的不匹配問(wèn)題。例如，大模型通常在大型語(yǔ)料庫(kù)上，通過(guò)最小化上下文詞預(yù)測(cè)誤差進(jìn)行訓(xùn)練，而用戶希望模型有效且安全地遵循他們的指令。為了解決這個(gè)問(wèn)題，研究人員提出了指令微調(diào)技術(shù)，使大模型與人的任務(wù)指導(dǎo)或示例進(jìn)行交互，根據(jù)輸入和任務(wù)要求進(jìn)行相應(yīng)調(diào)整，從而生成更準(zhǔn)確、更合理的回答或輸出。指令微調(diào)利用<指令，輸出>數(shù)據(jù)集，以監(jiān)督的方式進(jìn)一步訓(xùn)練大模型，彌合大模型的預(yù)測(cè)目標(biāo)與用戶讓大模型遵循人類指令的目標(biāo)之間的差距，讓大模型更好地適應(yīng)特定應(yīng)用場(chǎng)景或任務(wù)，提高輸出的質(zhì)量和準(zhǔn)確度。這里，指令代表人類提供給大模型的指令，即指定任務(wù)的自然語(yǔ)言文本序列，如“寫一篇關(guān)于某某主題的發(fā)言稿”“為游客出一份某某景點(diǎn)的旅游攻略”等；輸出代表遵循指令的期望輸出。也就是說(shuō)，指令微調(diào)其實(shí)是一種特殊的有監(jiān)督微調(diào)技術(shù)，特殊之處在于其數(shù)據(jù)集的結(jié)構(gòu)，即由人類指令和期望輸出組成的配對(duì)，這種結(jié)構(gòu)使得指令微調(diào)專注于讓模型理解和遵循人類指令。指令微調(diào)主要包含構(gòu)建指令數(shù)據(jù)集和指令微調(diào)兩個(gè)關(guān)鍵步驟，如下圖所示：指令微調(diào)的通用架構(gòu)指令微調(diào)-指令數(shù)據(jù)集構(gòu)建o

指令數(shù)據(jù)集兩種構(gòu)建方法：來(lái)自帶注釋的自然語(yǔ)言數(shù)據(jù)集的數(shù)據(jù)集成（DataIntegration），即從帶注釋的自然語(yǔ)言數(shù)據(jù)集，使用模板（Template）技術(shù)將文本標(biāo)簽對(duì)（Text-labelPairs）轉(zhuǎn)換為<指令，輸出>對(duì)（Instruction-OutputPairs）。例如，F(xiàn)lan和P3數(shù)據(jù)集就是通過(guò)數(shù)據(jù)集成策略構(gòu)建的。利用大模型基于指令生成輸出，例如，可以使用GPT-3.5-Turbo或GPT-4等大模型收集輸出。此方法包含兩個(gè)步驟：（1）通過(guò)人工收集的方式得到指令，或者先手寫少量指令然后用大模型來(lái)擴(kuò)充指令；（2）將收集到的指令輸入大模型中以獲得輸出。InstructWild和Self-Instruct等數(shù)據(jù)集就是通過(guò)這種技術(shù)構(gòu)建的。另外，對(duì)于多回合會(huì)話指令微調(diào)數(shù)據(jù)集，可以讓大模型扮演不同的角色（如用戶、AI助手）來(lái)生成會(huì)話格式的消息。目前，根據(jù)上述兩種方法構(gòu)建的指令數(shù)據(jù)集一般可以分為三類：①泛化到未見(jiàn)任務(wù)：這類數(shù)據(jù)集通常包含多樣化的任務(wù)，每個(gè)任務(wù)都有專門的指令和數(shù)據(jù)樣例。模型在這類數(shù)據(jù)集上訓(xùn)練后，可以泛化到未見(jiàn)過(guò)的新任務(wù)上。②在單輪中遵循用戶指令：這類數(shù)據(jù)集包含指令及其對(duì)應(yīng)的響應(yīng)，用于訓(xùn)練模型單輪回復(fù)用戶指令。訓(xùn)練后，模型可以理解指令并做出回復(fù)。③像人類一樣提供幫助：這類數(shù)據(jù)集包含多輪閑聊對(duì)話。訓(xùn)練后，模型可以進(jìn)行多輪交互，像人類一樣提供幫助。總體來(lái)說(shuō)，第一類數(shù)據(jù)集側(cè)重任務(wù)泛化能力，第二類數(shù)據(jù)集側(cè)重單輪指令理解能力，第三類側(cè)重連續(xù)多輪對(duì)話能力。研究人員可以根據(jù)所需的模型能力選擇不同類型的數(shù)據(jù)集進(jìn)行指令調(diào)優(yōu)。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2指令微調(diào)-指令微調(diào)技術(shù)o

指令微調(diào)階段基于構(gòu)建好的高質(zhì)量指令數(shù)據(jù)集對(duì)基礎(chǔ)大模型進(jìn)行微調(diào)。指令微調(diào)的架構(gòu)參考參數(shù)高效微調(diào)技術(shù)，即利用一小部分參數(shù)的更新來(lái)使得模型達(dá)到訓(xùn)練效果。其主要技術(shù)如下表所示：o

參數(shù)高效微調(diào)技術(shù)方法原理優(yōu)勢(shì)缺點(diǎn)LoRA將模型權(quán)重分解為低秩分量進(jìn)行更新，使調(diào)優(yōu)局限在相關(guān)任務(wù)子空間減少調(diào)優(yōu)的參數(shù)數(shù)量，降低計(jì)算內(nèi)存低秩分解可能削弱模型表征能力HINT使用超網(wǎng)絡(luò)根據(jù)指令和少量樣例生成參數(shù)化模塊進(jìn)行模型調(diào)優(yōu)可以處理長(zhǎng)指令，避免重復(fù)計(jì)算調(diào)優(yōu)模塊性能可能弱于全量調(diào)優(yōu)Qlora對(duì)模型權(quán)重進(jìn)行量化，只調(diào)整低秩適配器參數(shù)減少參數(shù)內(nèi)存，兼容量化量化會(huì)損失部分精度LOMO融合梯度計(jì)算和更新，避免完整梯度存儲(chǔ)減少梯度內(nèi)存占用需要精心設(shè)計(jì)保證收斂穩(wěn)定Delta-tuning將調(diào)優(yōu)參數(shù)限制在低維流形上。提供理論分析，參數(shù)高效。低維流形假設(shè)可能不夠準(zhǔn)確o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)經(jīng)過(guò)有監(jiān)督微調(diào)，大模型已經(jīng)初步具備完成各種任務(wù)的能力。但有監(jiān)督微調(diào)的目的是使得模型輸出與標(biāo)準(zhǔn)答案完全相同，不能從整體上對(duì)模型輸出質(zhì)量進(jìn)行判斷。因此，模型不適用于解決自然語(yǔ)言及跨模態(tài)生成的多樣性問(wèn)題，也不能解決微小變化的敏感性問(wèn)題。強(qiáng)化學(xué)習(xí)將模型輸出文本作為一個(gè)整體進(jìn)行考慮，其優(yōu)化目標(biāo)是使得模型生成高質(zhì)量回復(fù)?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback，RLHF）是一種特殊的技術(shù)，用于與其他技術(shù)（如無(wú)監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)等）一起訓(xùn)練AI系統(tǒng)，使其更加人性化。基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)如下圖所示，其在多種常見(jiàn)的大語(yǔ)言模型（InstructGPT、ChatGPT等）上取得了很好的表現(xiàn)。基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)原始網(wǎng)絡(luò)數(shù)據(jù)，萬(wàn)億級(jí)別token/word；公開(kāi)數(shù)據(jù)集，比如CommonCrawl、Github代碼數(shù)據(jù)、維基百科等；數(shù)據(jù)量大、質(zhì)量低名稱預(yù)訓(xùn)練算法/任務(wù)/目標(biāo)函數(shù)獎(jiǎng)勵(lì)建模有監(jiān)督微調(diào)強(qiáng)化學(xué)習(xí)數(shù)據(jù)集訓(xùn)練模型備注模型準(zhǔn)備：隨機(jī)初始化的GPT。語(yǔ)言建模經(jīng)典的預(yù)訓(xùn)練任務(wù)Next-Token-Prediction基線模型GPT3：幾千張V100GPU訓(xùn)練幾個(gè)月，花費(fèi)幾百萬(wàn)美元。LLaMA：2048個(gè)A100GPU訓(xùn)練了21天，花費(fèi)500萬(wàn)美元。模型準(zhǔn)備：第一階段預(yù)訓(xùn)練好的GPT模型語(yǔ)言建模預(yù)測(cè)下一個(gè)token模型準(zhǔn)備：采用SFT訓(xùn)練好的模型，訓(xùn)練RM模型的時(shí)候，SFT模型參數(shù)凍結(jié)。二值分類預(yù)測(cè)與偏好一致的獎(jiǎng)勵(lì)模型準(zhǔn)備：監(jiān)督微調(diào)模型+訓(xùn)練好的獎(jiǎng)勵(lì)模型，強(qiáng)化學(xué)習(xí)對(duì)監(jiān)督微調(diào)后的模型繼續(xù)訓(xùn)練。強(qiáng)化學(xué)習(xí)生成最大化獎(jiǎng)勵(lì)的tokens比較模式獲取數(shù)據(jù)集，數(shù)據(jù)是問(wèn)題模板+響應(yīng)回答，回答由監(jiān)督微調(diào)模型生成，生成多個(gè)回答，人工標(biāo)注這些回答的排序，排序標(biāo)注可能會(huì)很難且漫長(zhǎng)，存在耗費(fèi)幾個(gè)小時(shí)完成一個(gè)提問(wèn)的回答排序。低數(shù)量、高質(zhì)量監(jiān)督微調(diào)模型獎(jiǎng)勵(lì)模型，即一個(gè)打分模型，用來(lái)給GPT輸出的responses打分排序有監(jiān)督微調(diào)后的GPT模型大約100張GPU訓(xùn)練幾天即可完成，例如：基于LLaMA訓(xùn)練的Vicuna-13B大約不到100張GPU訓(xùn)練幾天。大約不到100張GPU訓(xùn)練幾天例如：ChatGPT，Claude少量但是高質(zhì)量的提問(wèn)、回答數(shù)據(jù)，數(shù)量大約1w~10w條與RM模型訓(xùn)練時(shí)一樣為比較模式，數(shù)據(jù)也是問(wèn)題模板+響應(yīng)回答的形式，回答由監(jiān)督微調(diào)模型生成，并且生成多個(gè)，由獎(jiǎng)勵(lì)模型對(duì)其進(jìn)行打分指導(dǎo)（強(qiáng)化學(xué)習(xí)）基于人類反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback，RLHF）完整流程如下圖所示，包括預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模以及最后一步強(qiáng)化學(xué)習(xí)微調(diào)，接下來(lái)主要介紹獎(jiǎng)勵(lì)建模和強(qiáng)化學(xué)習(xí)微調(diào)部分?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)微調(diào)-獎(jiǎng)勵(lì)建模o

獎(jiǎng)勵(lì)建模獎(jiǎng)勵(lì)模型源于強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)函數(shù)，能對(duì)當(dāng)前的狀態(tài)刻畫一個(gè)分?jǐn)?shù)，來(lái)說(shuō)明這個(gè)狀態(tài)產(chǎn)生的價(jià)值有多少。不同于基線模型和有監(jiān)督微調(diào)模型，獎(jiǎng)勵(lì)模型本身并不能直接提供給用戶使用，而是通過(guò)模型擬合人類打分結(jié)果，給出關(guān)于結(jié)果質(zhì)量的反饋。香蕉是什么？A：一種酸水果C：一種猴子愛(ài)吃的...B：裝飾品...D：香蕉是一種黃色...從問(wèn)題庫(kù)中選擇問(wèn)題重復(fù)生成4次回答人工排序利用排序結(jié)果訓(xùn)練獎(jiǎng)勵(lì)模型DCAB>>=獎(jiǎng)勵(lì)模型DCAB>>=（a）利用人工排序結(jié)果訓(xùn)練獎(jiǎng)勵(lì)模型排序后的輸出生成文本獎(jiǎng)勵(lì)模型人工排序文本

........（b）獎(jiǎng)勵(lì)模型訓(xùn)練詳圖獎(jiǎng)勵(lì)建模首先利用有監(jiān)督微調(diào)模型生成回答數(shù)據(jù)，然后對(duì)這些回答進(jìn)行人工排序，如圖（a）所示；然后基于數(shù)據(jù)和排序結(jié)果訓(xùn)練獎(jiǎng)勵(lì)模型，如圖（b）所示。獎(jiǎng)勵(lì)模型的數(shù)據(jù)集以問(wèn)題模板+響應(yīng)回答的形式，由有監(jiān)督微調(diào)模型生成多個(gè)響應(yīng)回答，然后人工標(biāo)注這些響應(yīng)回答之間的排名順序。獎(jiǎng)勵(lì)模型通過(guò)由人類反饋標(biāo)注的偏好數(shù)據(jù)來(lái)學(xué)習(xí)人類的偏好，是一種模擬人類評(píng)估的過(guò)程。將有監(jiān)督微調(diào)模型最后一層的非嵌入層去掉，剩余部分作為初始的獎(jiǎng)勵(lì)模型。訓(xùn)練模型的輸入是問(wèn)題和答案，輸出是一個(gè)標(biāo)量獎(jiǎng)勵(lì)值（分?jǐn)?shù)）。樣本質(zhì)量越高，獎(jiǎng)勵(lì)值越大?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)微調(diào)-獎(jiǎng)勵(lì)建模

o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-PPO微調(diào)模型結(jié)構(gòu)x:Adogis...初始化大模型........微調(diào)大模型（強(qiáng)化學(xué)習(xí)策略）........強(qiáng)化學(xué)習(xí)更新（例如：PPO算法）

獎(jiǎng)勵(lì)模型文本

........

+凍住參數(shù)提示文本數(shù)據(jù)集基線文本y:afurrymammal××××××××RLHF微調(diào)文本y:man’sbestfriend××××××××基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化

o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-案例講解

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-案例講解

o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2思考參數(shù)高效微調(diào)、指令微調(diào)以及基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)，構(gòu)成了將預(yù)訓(xùn)練的基礎(chǔ)大型模型有效應(yīng)用于垂直領(lǐng)域的基石。目前，大模型通過(guò)微調(diào)技術(shù)已經(jīng)取得了顯著進(jìn)展。以人類所能理解的方式解釋大模型的行為，是可信地使用它們的基礎(chǔ)。然而，大模型仍然存在許多難以解釋的方面，這引發(fā)了人們對(duì)其應(yīng)用和可信度的疑問(wèn)。首先，當(dāng)前大模型的工作原理很大程度上是一個(gè)黑盒，這意味著無(wú)法準(zhǔn)確理解其內(nèi)部運(yùn)行機(jī)制。雖然有監(jiān)督微調(diào)技術(shù)可以提升模型性能，但現(xiàn)有理論無(wú)法充分解釋“自監(jiān)督預(yù)訓(xùn)練+有監(jiān)督微調(diào)+人類反饋對(duì)齊”方式所產(chǎn)生的大模型的強(qiáng)大能力和幻覺(jué)錯(cuò)誤。因此，需要更多的基礎(chǔ)理論和方法來(lái)解釋大模型的行為，以使其更可信地應(yīng)用于實(shí)際問(wèn)題中。其次，針對(duì)大模型系統(tǒng)的可信度問(wèn)題也需要深入思考。盡管大模型在許多任務(wù)中表現(xiàn)出色，但仍然需要解決如何確保在關(guān)鍵應(yīng)用中使用這些模型時(shí)的可靠性和安全性。這可能涉及對(duì)模型的驗(yàn)證和審計(jì)，以及對(duì)模型輸出的解釋和解釋能力的提高。最后，需要建立更深入的理解，以解釋大模型智能涌現(xiàn)現(xiàn)象。這些現(xiàn)象指的是模型在面對(duì)新任務(wù)或環(huán)境時(shí)表現(xiàn)出的出乎意料的智能和創(chuàng)造力。通過(guò)深入研究這些現(xiàn)象背后的原理，人們可以更好地理解模型的工作方式，并為未來(lái)的研究和應(yīng)用提供更多的啟示，以更好地發(fā)揮大模型的潛力，推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重