大模型原理與技術(shù) 課件匯 魏明強(qiáng) chap6 大模型微調(diào)- chap14 基于大模型的航空航天裝備制造

大模型微調(diào)-第6章智周萬(wàn)物?道濟(jì)天下o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2o

大模型訓(xùn)練包括“預(yù)訓(xùn)練”和“微調(diào)”兩個(gè)關(guān)鍵階段在預(yù)訓(xùn)練階段，大模型通過(guò)在大量數(shù)據(jù)上進(jìn)行訓(xùn)練學(xué)習(xí)，已經(jīng)掌握了豐富的語(yǔ)言規(guī)則、知識(shí)信息以及視覺(jué)模式。然而，在大規(guī)模（公開(kāi)）數(shù)據(jù)上通過(guò)自監(jiān)督學(xué)習(xí)訓(xùn)練出來(lái)的模型雖然具有較好的“通識(shí)”能力（稱為基礎(chǔ)模型），卻往往難以具備“專業(yè)認(rèn)知”能力（稱為專有模型/垂直模型）。大模型的預(yù)訓(xùn)練成本非常昂貴，龐大的計(jì)算資源和數(shù)據(jù)讓普通用戶難以從頭開(kāi)始訓(xùn)練大模型。充分挖掘這些預(yù)訓(xùn)練大模型的潛力，針對(duì)特定任務(wù)的微調(diào)不可或缺。大模型微調(diào)是將預(yù)訓(xùn)練好的大模型參數(shù)作為起點(diǎn)，利用少量有標(biāo)簽的數(shù)據(jù)進(jìn)一步調(diào)整大模型參數(shù)，以適應(yīng)特定的任務(wù)，使得大模型不僅僅停留在理解通用知識(shí)的層面，更能夠針對(duì)特定問(wèn)題提供精準(zhǔn)的解決方案。

大模型微調(diào)4o

有監(jiān)督微調(diào)分為：全參數(shù)微調(diào)和參數(shù)高效微調(diào)全參數(shù)微調(diào)指的是在特定任務(wù)上對(duì)整個(gè)預(yù)訓(xùn)練模型的所有參數(shù)進(jìn)行更新。這種技術(shù)簡(jiǎn)單直接，可以使模型適應(yīng)新的任務(wù)。但是隨著模型參數(shù)規(guī)模變得越來(lái)越大，更新所有參數(shù)需要大量的計(jì)算資源。同時(shí)，當(dāng)特定任務(wù)的數(shù)據(jù)量不足時(shí)，全參數(shù)微調(diào)容易導(dǎo)致過(guò)擬合。參數(shù)高效微調(diào)（Parameter-EfficientFine-Tuning，PEFT）是指固定預(yù)訓(xùn)練模型的大部分參數(shù)，僅微調(diào)少量或額外的模型參數(shù)來(lái)達(dá)到與全參數(shù)微調(diào)接近的效果，甚至在某些情況下比全參數(shù)微調(diào)有更好的效果，更好地泛化到域外場(chǎng)景。

大模型微調(diào)o

指令微調(diào)過(guò)少量的、精心設(shè)計(jì)的指令數(shù)據(jù)來(lái)微調(diào)預(yù)訓(xùn)練后的大模型，使其具備遵循指令和進(jìn)行多輪對(duì)話的能力，以提高其在處理命令式語(yǔ)言和指令性任務(wù)時(shí)的性能和適應(yīng)性。o

基于人類反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningHumanForward，RLHF）微調(diào)：以人類的偏好作為獎(jiǎng)勵(lì)信號(hào)，通過(guò)強(qiáng)化學(xué)習(xí)與人類反饋相結(jié)合的方式，指導(dǎo)模型的學(xué)習(xí)和優(yōu)化，從而增強(qiáng)模型對(duì)人類意圖的理解和滿足程度。主要包括：獎(jiǎng)勵(lì)模型微調(diào)和強(qiáng)化學(xué)習(xí)微調(diào)兩個(gè)階段。獎(jiǎng)勵(lì)模型微調(diào)階段通過(guò)學(xué)習(xí)人類對(duì)模型輸出的評(píng)價(jià)（如喜好、正確性、邏輯性等）提供一個(gè)準(zhǔn)確評(píng)價(jià)模型行為的標(biāo)準(zhǔn)。強(qiáng)化學(xué)習(xí)微調(diào)階段則基于獎(jiǎng)勵(lì)模型來(lái)指導(dǎo)優(yōu)化模型的行為。通過(guò)這種方式，基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)能夠有效地將人類的智慧和偏好整合到模型訓(xùn)練過(guò)程中，提高模型在特定任務(wù)上的性能和可靠性。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-增量式微調(diào)o

參數(shù)高效微調(diào)參數(shù)高效微調(diào)（PEFT）是在保持模型性能的同時(shí)，以最小的計(jì)算成本對(duì)模型進(jìn)行微調(diào)，以適應(yīng)特定任務(wù)或數(shù)據(jù)集的技術(shù)。現(xiàn)有的參數(shù)高效微調(diào)可以大體分為增量式微調(diào)、指定式微調(diào)、重參數(shù)化微調(diào)三大類。o

增量式微調(diào)增量式（Addition-based）微調(diào)是在預(yù)訓(xùn)練模型基礎(chǔ)上，僅僅調(diào)整少量添加的額外可訓(xùn)練的層或參數(shù)，使模型能夠快速地適應(yīng)新任務(wù)或數(shù)據(jù)集的技術(shù)。根據(jù)添加的額外參數(shù)的位置或方式不同，增量式微調(diào)技術(shù)可以分為適配器微調(diào)和前綴微調(diào)。適配器微調(diào)通常是指在預(yù)訓(xùn)練模型的中間層或特定層中插入額外的小型網(wǎng)絡(luò)模塊（適配器），進(jìn)行特定任務(wù)的優(yōu)化。前綴微調(diào)指的是在模型的輸入端添加一個(gè)連續(xù)的任務(wù)特定向量序列（稱為前綴），這個(gè)向量序列與原始輸入一起進(jìn)入模型，在參數(shù)微調(diào)時(shí)模型能夠“關(guān)注”這個(gè)前綴，從而引導(dǎo)模型生成更符合任務(wù)需求的輸出。參數(shù)高效微調(diào)-增量式微調(diào)-適配器（Adapter）微調(diào)o

適配器微調(diào)適配器微調(diào)（AdapterTuning）是一種在預(yù)訓(xùn)練后的大模型中間層中，插入適配器（小型網(wǎng)絡(luò)模塊）來(lái)適應(yīng)新任務(wù)的技術(shù)。在微調(diào)時(shí)將大模型主體凍結(jié)，僅訓(xùn)練特定于任務(wù)的參數(shù)，即適配器參數(shù)，減少訓(xùn)練時(shí)算力開(kāi)銷。以Transformer架構(gòu)為例，如左圖所示：o

圖解：在多頭注意力的投影和第二個(gè)前饋網(wǎng)絡(luò)的輸出之后分別插入適配器模塊。其中，每個(gè)適配器模塊主要由兩個(gè)前饋（Feedforward）子層組成，第一個(gè)前饋?zhàn)訉右訲ransformer塊的輸出作為輸入，將原始輸入維度（高維特征）投影到（低維特征）。在兩個(gè)前饋網(wǎng)絡(luò)中，安插了一個(gè)非線性層。在輸出階段，通過(guò)第二個(gè)前饋?zhàn)訉舆€原輸入維度，映射回原始維度，作為適配器的輸出。同時(shí)，通過(guò)一個(gè)跳躍連接將Adapter的輸入重新加到最終的輸出中，這樣可以保證，即使適配器一開(kāi)始的參數(shù)初始化接近0，適配器也由于跳躍連接的設(shè)置而接近于一個(gè)恒等映射，從而確保訓(xùn)練的有效性。加入適配器后的Transformer層主體架構(gòu)以及適配器模塊結(jié)構(gòu)，微調(diào)時(shí)處理適配器的參數(shù)，其余參數(shù)均凍住參數(shù)高效微調(diào)-增量式微調(diào)-前綴（Prefix）微調(diào)o

前綴微調(diào)前綴微調(diào)（PrefixTuning）在資源有限、任務(wù)多樣化的場(chǎng)景下具有顯著的優(yōu)勢(shì)。它是基于提示詞前綴優(yōu)化的微調(diào)技術(shù)，其原理是在輸入token之前構(gòu)造一段與任務(wù)相關(guān)的虛擬令牌作為前綴（Prefix），然后訓(xùn)練的時(shí)候只更新前綴的參數(shù)，而預(yù)訓(xùn)練模型中的其他參數(shù)固定不變。以Transformer架構(gòu)為例，如上圖所示：o

圖解：圖中展示了使用前綴微調(diào)技術(shù)實(shí)現(xiàn)表格轉(zhuǎn)換成文本（Table-to-Text）、總結(jié)（Summarization）和翻譯（Translation）這三個(gè)下游任務(wù)。以表格轉(zhuǎn)換成文本任務(wù)為例，輸入任務(wù)是一個(gè)線性化的表格“name:Starbucks|type:coffeeshop”，輸出是一個(gè)文本描述“Starbucksservescoffee.”。在輸入序列之前添加了一系列連續(xù)的特定任務(wù)向量表示的前綴參與注意力計(jì)算。前綴微調(diào)能夠有效地訓(xùn)練上游前綴以指導(dǎo)下游語(yǔ)言模型，實(shí)現(xiàn)單個(gè)基礎(chǔ)模型同時(shí)支持多種任務(wù)的目標(biāo)。前綴微調(diào)適用于涉及不同用戶個(gè)性化上下文的任務(wù)中。通過(guò)為每個(gè)用戶單獨(dú)訓(xùn)練的前綴，能夠避免數(shù)據(jù)交叉污染問(wèn)題，從而更好地滿足個(gè)性化需求。參數(shù)高效微調(diào)-增量式微調(diào)-前綴（Prefix）微調(diào)針對(duì)不同的模型結(jié)構(gòu)，前綴微調(diào)需要構(gòu)建不同的前綴，如下圖所示：o

回歸架構(gòu)模型：在輸入之前添加前綴，得到z=[PREFIX;x;y]，合適的上文能夠在固定預(yù)訓(xùn)練模型的情況下引導(dǎo)生成下文，如GPT-3的上下文學(xué)習(xí)。o

編碼器-解碼器架構(gòu)模型：編碼器和解碼器都需要增加前綴，得到z=[PREFIX;x;PREFIX0;y]。編碼器端增加前綴用來(lái)引導(dǎo)輸入部分的編碼，解碼器端增加前綴用來(lái)引導(dǎo)后續(xù)token的生成?；貧w架構(gòu)模型和編碼器-解碼器架構(gòu)模型構(gòu)造前綴的方式對(duì)比示意圖o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-指定式微調(diào)o

指定式微調(diào)適配器微調(diào)和前綴微調(diào)通過(guò)引入少量額外的可訓(xùn)練參數(shù)，實(shí)現(xiàn)了高效的參數(shù)微調(diào)。然而，當(dāng)模型規(guī)模較大時(shí)，會(huì)導(dǎo)致部署困難及參數(shù)修改方式不夠靈活等。為了避免引入額外參數(shù)帶來(lái)的復(fù)雜性增加問(wèn)題，可以選取部分參數(shù)進(jìn)行微調(diào)，這種方法稱為指定式（Specification-based）微調(diào)。指定式微調(diào)將原始模型中的特定參數(shù)設(shè)為可訓(xùn)練狀態(tài)，同時(shí)將其他參數(shù)保持凍結(jié)狀態(tài)。o

代表性方法之一：BitFit（Bias-termsFine-tuning）一種更為簡(jiǎn)單、高效的稀疏微調(diào)策略，訓(xùn)練時(shí)只更新偏置的參數(shù)或者部分偏置參數(shù)。對(duì)于每個(gè)新任務(wù)，BitFit僅需存儲(chǔ)偏置參數(shù)向量（這部分參數(shù)數(shù)量通常小于參數(shù)總量的0.1%）以及特定任務(wù)的最后線性分類層。如下圖所示，在每個(gè)線性或卷積層中，權(quán)重矩陣W保持不變，只優(yōu)化偏置向量b。對(duì)于Transformer模型而言，凍結(jié)大部分Encoder參數(shù)，只更新偏置參數(shù)跟特定任務(wù)的分類層參數(shù)。涉及的偏置參數(shù)有注意力模塊中計(jì)算Query、Key、Value與合并多個(gè)注意力結(jié)果時(shí)涉及的偏置參數(shù)、MLP層中的偏置參數(shù)、歸一化層的偏置參數(shù)。BitFit需要更新的偏置參數(shù)示意圖o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-重參數(shù)化微調(diào)o

重參數(shù)化微調(diào)（Reparametrization-based）重參數(shù)化微調(diào)通過(guò)轉(zhuǎn)換現(xiàn)有的優(yōu)化過(guò)程，將其重新表達(dá)為更有效的參數(shù)形式。在微調(diào)任務(wù)中，微調(diào)權(quán)重與初始預(yù)訓(xùn)練權(quán)重之間的差異經(jīng)常表現(xiàn)出“低本征秩”的特性。這意味著它們可以被很好地近似為一個(gè)低秩矩陣。低秩矩陣具有較少的線性獨(dú)立列，可以被理解為具有更低“復(fù)雜度”的矩陣，并且可以表示為兩個(gè)較小矩陣的乘積。這一觀察引出了一個(gè)關(guān)鍵的點(diǎn)，即微調(diào)權(quán)重與初始預(yù)訓(xùn)練權(quán)重之間的差異可以表示為兩個(gè)較小矩陣的乘積。通過(guò)更新這兩個(gè)較小的矩陣，而非整個(gè)原始權(quán)重矩陣，可以大幅提升計(jì)算效率。基于此思想，低秩適配（Low-RankAdaptation：LoRA）微調(diào)方法被提出，并引發(fā)了廣泛關(guān)注。o

LoRA微調(diào)LoRA微調(diào)指通過(guò)在預(yù)訓(xùn)練模型中引入低秩結(jié)構(gòu)來(lái)實(shí)現(xiàn)高效的參數(shù)微調(diào)。其核心思想是通過(guò)低秩分解來(lái)修改模型的權(quán)重矩陣，使其分解為較低維度的因子，從而減少在微調(diào)過(guò)程中需要更新的參數(shù)數(shù)量。參數(shù)高效微調(diào)-重參數(shù)化微調(diào)-LoRA全參數(shù)微調(diào)與LoRA微調(diào)的參數(shù)構(gòu)成示意圖

參數(shù)高效微調(diào)-重參數(shù)化微調(diào)-LoRA變體o

自適應(yīng)預(yù)算分配的參數(shù)高效微調(diào)（AdaptiveBudgetAllocationforParameter-EfficientFine-Tuning：AdaLoRA）由于LoRA為所有的低秩矩陣指定了唯一秩的設(shè)置，忽視了不同模塊、不同層參數(shù)在特定任務(wù)中的重要性差異，導(dǎo)致大模型的效果存在不穩(wěn)定性。針對(duì)這一問(wèn)題，自適應(yīng)預(yù)算分配的參數(shù)高效微調(diào)（AdaLoRA）方法被提出，它在微調(diào)過(guò)程中根據(jù)各權(quán)重矩陣對(duì)于下游任務(wù)的重要性來(lái)動(dòng)態(tài)調(diào)整秩的大小，以減少可訓(xùn)練參數(shù)數(shù)量的同時(shí)保持或提高性能。o

量化高效（EfficientFine-TuningofQuantizedLLMs：QLoRA）微調(diào)量化高效微調(diào)（QLoRA）是大模型微調(diào)中一種提升模型在硬件上運(yùn)行效率的技術(shù)。隨著大模型參數(shù)量的不斷增加，如擁有660億一個(gè)參數(shù)的超大模型LLaMA，其顯存占用高達(dá)300GB。在這樣的情況下，傳統(tǒng)的16bit量化壓縮存儲(chǔ)微調(diào)所需的顯存甚至超過(guò)了780GB，使得常規(guī)的LoRA技術(shù)難以應(yīng)用。面對(duì)這一挑戰(zhàn)，QLoRA微調(diào)基于LoRA微調(diào)的邏輯，通過(guò)凍結(jié)的4bit量化預(yù)訓(xùn)練模型來(lái)傳播梯度到低秩適配器。下圖展示了不同于LoRA微調(diào)和全參數(shù)微調(diào)QLoRA的創(chuàng)新之處，即它巧妙地結(jié)合了量化技術(shù)和適配器方法，以在資源受限的情況下提高模型的可訓(xùn)練性和性能。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2參數(shù)高效微調(diào)-混合微調(diào)

UniPELT方法示意圖參數(shù)高效微調(diào)-小結(jié)不同參數(shù)高效微調(diào)方法對(duì)比示意圖左圖展示了4種微調(diào)方法在Transformer模塊上的應(yīng)用方式：適配器微調(diào)：設(shè)計(jì)適配器結(jié)構(gòu)，在模型的適當(dāng)位置插入適配器，僅微調(diào)適配器部分的參數(shù)。前綴微調(diào)：在輸入序列之前添加一個(gè)連續(xù)向量，僅微調(diào)前綴部分的參數(shù)。BitFit：僅調(diào)整模型的偏置參數(shù)。LoRA微調(diào)：引入低秩分解的矩陣，新增的矩陣權(quán)重可以與原始權(quán)重合并。適配器微調(diào)、前綴微調(diào)屬于增量式微調(diào)方法，它們通過(guò)引入額外的結(jié)構(gòu)來(lái)微調(diào)參數(shù)；BitFit屬于指定式微調(diào)方法，專注于調(diào)整模型中的部分參數(shù)；LoRA微調(diào)屬于重參數(shù)化微調(diào)方法，將原始權(quán)重重參數(shù)化為原始矩陣與新增低秩矩陣的乘積權(quán)重之和。參數(shù)高效微調(diào)-小結(jié)名稱優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景適配器微調(diào)較低的計(jì)算成本和較好的性能增加模型層數(shù)，導(dǎo)致模型的參數(shù)數(shù)量和計(jì)算量增加，影響模型的效率，延長(zhǎng)推理時(shí)間。當(dāng)訓(xùn)練數(shù)據(jù)不足或者適配器的容量過(guò)大時(shí)，可能會(huì)導(dǎo)致適配器過(guò)擬合訓(xùn)練數(shù)據(jù)，降低模型的泛化能力適用于處理小數(shù)據(jù)集前綴微調(diào)只微調(diào)預(yù)訓(xùn)練模型的前綴，就能達(dá)到與全參數(shù)微調(diào)相當(dāng)?shù)男阅?，減少了計(jì)算成本和過(guò)擬合的風(fēng)險(xiǎn)前綴token會(huì)占用序列長(zhǎng)度，有一定的額外計(jì)算開(kāi)銷適用于各種需要添加特定前綴的自然語(yǔ)言處理任務(wù)，如文本分類、情感分析等BitFit訓(xùn)練參數(shù)數(shù)量極小

（約

0.1%）在大部分任務(wù)上的效果差于適配器微調(diào)、LoRA微調(diào)等方法適用于處理小規(guī)模到中等規(guī)模的數(shù)據(jù)集LoRA微調(diào)無(wú)推理延遲，可以通過(guò)可插拔的形式切換到不同的任務(wù)，易于實(shí)現(xiàn)和部署，簡(jiǎn)單且效果好低秩矩陣中的維度和秩的選擇對(duì)微調(diào)效果產(chǎn)生較大影響，需要超參數(shù)調(diào)優(yōu)適用于需要快速收斂且對(duì)模型復(fù)雜度要求較高的任務(wù)，如機(jī)器翻譯和語(yǔ)音識(shí)別等UniPELT多種微調(diào)方法混合涉及模型的不同部分，使得模型的魯棒性更好相比于單個(gè)微調(diào)方法訓(xùn)練參數(shù)數(shù)量大，推理更耗時(shí)在低數(shù)據(jù)場(chǎng)景中相對(duì)于單個(gè)微調(diào)方法提升更顯著參數(shù)高效微調(diào)方法能夠有效減少微調(diào)所需的計(jì)算資源和時(shí)間，保持模型的整體性能穩(wěn)定，不會(huì)對(duì)整個(gè)模型結(jié)構(gòu)做出重大改變，可以在實(shí)際應(yīng)用中幫助研究者更加輕松地優(yōu)化大模型。參數(shù)高效微調(diào)方法具體分為增量式微調(diào)方法、指定式微調(diào)方法、重參數(shù)化微調(diào)方法以及多方法并用的混合微調(diào)方法。下表總結(jié)了常用的參數(shù)高效微調(diào)方法的優(yōu)缺點(diǎn)及適用場(chǎng)景。在實(shí)際應(yīng)用中，需要根據(jù)預(yù)訓(xùn)練模型、具體任務(wù)和數(shù)據(jù)集等因素選擇合適的微調(diào)方法。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2指令微調(diào)o

指令微調(diào)（InstructionTuning）模型在訓(xùn)練階段存在一個(gè)關(guān)鍵問(wèn)題，即訓(xùn)練目標(biāo)和用戶目標(biāo)之間的不匹配問(wèn)題。例如，大模型通常在大型語(yǔ)料庫(kù)上，通過(guò)最小化上下文詞預(yù)測(cè)誤差進(jìn)行訓(xùn)練，而用戶希望模型有效且安全地遵循他們的指令。為了解決這個(gè)問(wèn)題，研究人員提出了指令微調(diào)技術(shù)，使大模型與人的任務(wù)指導(dǎo)或示例進(jìn)行交互，根據(jù)輸入和任務(wù)要求進(jìn)行相應(yīng)調(diào)整，從而生成更準(zhǔn)確、更合理的回答或輸出。指令微調(diào)利用<指令，輸出>數(shù)據(jù)集，以監(jiān)督的方式進(jìn)一步訓(xùn)練大模型，彌合大模型的預(yù)測(cè)目標(biāo)與用戶讓大模型遵循人類指令的目標(biāo)之間的差距，讓大模型更好地適應(yīng)特定應(yīng)用場(chǎng)景或任務(wù)，提高輸出的質(zhì)量和準(zhǔn)確度。這里，指令代表人類提供給大模型的指令，即指定任務(wù)的自然語(yǔ)言文本序列，如“寫(xiě)一篇關(guān)于某某主題的發(fā)言稿”“為游客出一份某某景點(diǎn)的旅游攻略”等；輸出代表遵循指令的期望輸出。也就是說(shuō)，指令微調(diào)其實(shí)是一種特殊的有監(jiān)督微調(diào)技術(shù)，特殊之處在于其數(shù)據(jù)集的結(jié)構(gòu)，即由人類指令和期望輸出組成的配對(duì)，這種結(jié)構(gòu)使得指令微調(diào)專注于讓模型理解和遵循人類指令。指令微調(diào)主要包含構(gòu)建指令數(shù)據(jù)集和指令微調(diào)兩個(gè)關(guān)鍵步驟，如下圖所示：指令微調(diào)的通用架構(gòu)指令微調(diào)-指令數(shù)據(jù)集構(gòu)建o

指令數(shù)據(jù)集兩種構(gòu)建方法：來(lái)自帶注釋的自然語(yǔ)言數(shù)據(jù)集的數(shù)據(jù)集成（DataIntegration），即從帶注釋的自然語(yǔ)言數(shù)據(jù)集，使用模板（Template）技術(shù)將文本標(biāo)簽對(duì)（Text-labelPairs）轉(zhuǎn)換為<指令，輸出>對(duì)（Instruction-OutputPairs）。例如，F(xiàn)lan和P3數(shù)據(jù)集就是通過(guò)數(shù)據(jù)集成策略構(gòu)建的。利用大模型基于指令生成輸出，例如，可以使用GPT-3.5-Turbo或GPT-4等大模型收集輸出。此方法包含兩個(gè)步驟：（1）通過(guò)人工收集的方式得到指令，或者先手寫(xiě)少量指令然后用大模型來(lái)擴(kuò)充指令；（2）將收集到的指令輸入大模型中以獲得輸出。InstructWild和Self-Instruct等數(shù)據(jù)集就是通過(guò)這種技術(shù)構(gòu)建的。另外，對(duì)于多回合會(huì)話指令微調(diào)數(shù)據(jù)集，可以讓大模型扮演不同的角色（如用戶、AI助手）來(lái)生成會(huì)話格式的消息。目前，根據(jù)上述兩種方法構(gòu)建的指令數(shù)據(jù)集一般可以分為三類：①泛化到未見(jiàn)任務(wù)：這類數(shù)據(jù)集通常包含多樣化的任務(wù)，每個(gè)任務(wù)都有專門的指令和數(shù)據(jù)樣例。模型在這類數(shù)據(jù)集上訓(xùn)練后，可以泛化到未見(jiàn)過(guò)的新任務(wù)上。②在單輪中遵循用戶指令：這類數(shù)據(jù)集包含指令及其對(duì)應(yīng)的響應(yīng)，用于訓(xùn)練模型單輪回復(fù)用戶指令。訓(xùn)練后，模型可以理解指令并做出回復(fù)。③像人類一樣提供幫助：這類數(shù)據(jù)集包含多輪閑聊對(duì)話。訓(xùn)練后，模型可以進(jìn)行多輪交互，像人類一樣提供幫助?？傮w來(lái)說(shuō)，第一類數(shù)據(jù)集側(cè)重任務(wù)泛化能力，第二類數(shù)據(jù)集側(cè)重單輪指令理解能力，第三類側(cè)重連續(xù)多輪對(duì)話能力。研究人員可以根據(jù)所需的模型能力選擇不同類型的數(shù)據(jù)集進(jìn)行指令調(diào)優(yōu)。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2指令微調(diào)-指令微調(diào)技術(shù)o

指令微調(diào)階段基于構(gòu)建好的高質(zhì)量指令數(shù)據(jù)集對(duì)基礎(chǔ)大模型進(jìn)行微調(diào)。指令微調(diào)的架構(gòu)參考參數(shù)高效微調(diào)技術(shù)，即利用一小部分參數(shù)的更新來(lái)使得模型達(dá)到訓(xùn)練效果。其主要技術(shù)如下表所示：o

參數(shù)高效微調(diào)技術(shù)方法原理優(yōu)勢(shì)缺點(diǎn)LoRA將模型權(quán)重分解為低秩分量進(jìn)行更新，使調(diào)優(yōu)局限在相關(guān)任務(wù)子空間減少調(diào)優(yōu)的參數(shù)數(shù)量，降低計(jì)算內(nèi)存低秩分解可能削弱模型表征能力HINT使用超網(wǎng)絡(luò)根據(jù)指令和少量樣例生成參數(shù)化模塊進(jìn)行模型調(diào)優(yōu)可以處理長(zhǎng)指令，避免重復(fù)計(jì)算調(diào)優(yōu)模塊性能可能弱于全量調(diào)優(yōu)Qlora對(duì)模型權(quán)重進(jìn)行量化，只調(diào)整低秩適配器參數(shù)減少參數(shù)內(nèi)存，兼容量化量化會(huì)損失部分精度LOMO融合梯度計(jì)算和更新，避免完整梯度存儲(chǔ)減少梯度內(nèi)存占用需要精心設(shè)計(jì)保證收斂穩(wěn)定Delta-tuning將調(diào)優(yōu)參數(shù)限制在低維流形上。提供理論分析，參數(shù)高效。低維流形假設(shè)可能不夠準(zhǔn)確o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)經(jīng)過(guò)有監(jiān)督微調(diào)，大模型已經(jīng)初步具備完成各種任務(wù)的能力。但有監(jiān)督微調(diào)的目的是使得模型輸出與標(biāo)準(zhǔn)答案完全相同，不能從整體上對(duì)模型輸出質(zhì)量進(jìn)行判斷。因此，模型不適用于解決自然語(yǔ)言及跨模態(tài)生成的多樣性問(wèn)題，也不能解決微小變化的敏感性問(wèn)題。強(qiáng)化學(xué)習(xí)將模型輸出文本作為一個(gè)整體進(jìn)行考慮，其優(yōu)化目標(biāo)是使得模型生成高質(zhì)量回復(fù)。基于人類反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback，RLHF）是一種特殊的技術(shù)，用于與其他技術(shù)（如無(wú)監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)等）一起訓(xùn)練AI系統(tǒng)，使其更加人性化?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)微調(diào)如下圖所示，其在多種常見(jiàn)的大語(yǔ)言模型（InstructGPT、ChatGPT等）上取得了很好的表現(xiàn)?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)微調(diào)基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)原始網(wǎng)絡(luò)數(shù)據(jù)，萬(wàn)億級(jí)別token/word；公開(kāi)數(shù)據(jù)集，比如CommonCrawl、Github代碼數(shù)據(jù)、維基百科等；數(shù)據(jù)量大、質(zhì)量低名稱預(yù)訓(xùn)練算法/任務(wù)/目標(biāo)函數(shù)獎(jiǎng)勵(lì)建模有監(jiān)督微調(diào)強(qiáng)化學(xué)習(xí)數(shù)據(jù)集訓(xùn)練模型備注模型準(zhǔn)備：隨機(jī)初始化的GPT。語(yǔ)言建模經(jīng)典的預(yù)訓(xùn)練任務(wù)Next-Token-Prediction基線模型GPT3：幾千張V100GPU訓(xùn)練幾個(gè)月，花費(fèi)幾百萬(wàn)美元。LLaMA：2048個(gè)A100GPU訓(xùn)練了21天，花費(fèi)500萬(wàn)美元。模型準(zhǔn)備：第一階段預(yù)訓(xùn)練好的GPT模型語(yǔ)言建模預(yù)測(cè)下一個(gè)token模型準(zhǔn)備：采用SFT訓(xùn)練好的模型，訓(xùn)練RM模型的時(shí)候，SFT模型參數(shù)凍結(jié)。二值分類預(yù)測(cè)與偏好一致的獎(jiǎng)勵(lì)模型準(zhǔn)備：監(jiān)督微調(diào)模型+訓(xùn)練好的獎(jiǎng)勵(lì)模型，強(qiáng)化學(xué)習(xí)對(duì)監(jiān)督微調(diào)后的模型繼續(xù)訓(xùn)練。強(qiáng)化學(xué)習(xí)生成最大化獎(jiǎng)勵(lì)的tokens比較模式獲取數(shù)據(jù)集，數(shù)據(jù)是問(wèn)題模板+響應(yīng)回答，回答由監(jiān)督微調(diào)模型生成，生成多個(gè)回答，人工標(biāo)注這些回答的排序，排序標(biāo)注可能會(huì)很難且漫長(zhǎng)，存在耗費(fèi)幾個(gè)小時(shí)完成一個(gè)提問(wèn)的回答排序。低數(shù)量、高質(zhì)量監(jiān)督微調(diào)模型獎(jiǎng)勵(lì)模型，即一個(gè)打分模型，用來(lái)給GPT輸出的responses打分排序有監(jiān)督微調(diào)后的GPT模型大約100張GPU訓(xùn)練幾天即可完成，例如：基于LLaMA訓(xùn)練的Vicuna-13B大約不到100張GPU訓(xùn)練幾天。大約不到100張GPU訓(xùn)練幾天例如：ChatGPT，Claude少量但是高質(zhì)量的提問(wèn)、回答數(shù)據(jù)，數(shù)量大約1w~10w條與RM模型訓(xùn)練時(shí)一樣為比較模式，數(shù)據(jù)也是問(wèn)題模板+響應(yīng)回答的形式，回答由監(jiān)督微調(diào)模型生成，并且生成多個(gè)，由獎(jiǎng)勵(lì)模型對(duì)其進(jìn)行打分指導(dǎo)（強(qiáng)化學(xué)習(xí)）基于人類反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback，RLHF）完整流程如下圖所示，包括預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模以及最后一步強(qiáng)化學(xué)習(xí)微調(diào)，接下來(lái)主要介紹獎(jiǎng)勵(lì)建模和強(qiáng)化學(xué)習(xí)微調(diào)部分?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)微調(diào)-獎(jiǎng)勵(lì)建模o

獎(jiǎng)勵(lì)建模獎(jiǎng)勵(lì)模型源于強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)函數(shù)，能對(duì)當(dāng)前的狀態(tài)刻畫(huà)一個(gè)分?jǐn)?shù)，來(lái)說(shuō)明這個(gè)狀態(tài)產(chǎn)生的價(jià)值有多少。不同于基線模型和有監(jiān)督微調(diào)模型，獎(jiǎng)勵(lì)模型本身并不能直接提供給用戶使用，而是通過(guò)模型擬合人類打分結(jié)果，給出關(guān)于結(jié)果質(zhì)量的反饋。香蕉是什么？A：一種酸水果C：一種猴子愛(ài)吃的...B：裝飾品...D：香蕉是一種黃色...從問(wèn)題庫(kù)中選擇問(wèn)題重復(fù)生成4次回答人工排序利用排序結(jié)果訓(xùn)練獎(jiǎng)勵(lì)模型DCAB>>=獎(jiǎng)勵(lì)模型DCAB>>=（a）利用人工排序結(jié)果訓(xùn)練獎(jiǎng)勵(lì)模型排序后的輸出生成文本獎(jiǎng)勵(lì)模型人工排序文本

........（b）獎(jiǎng)勵(lì)模型訓(xùn)練詳圖獎(jiǎng)勵(lì)建模首先利用有監(jiān)督微調(diào)模型生成回答數(shù)據(jù)，然后對(duì)這些回答進(jìn)行人工排序，如圖（a）所示；然后基于數(shù)據(jù)和排序結(jié)果訓(xùn)練獎(jiǎng)勵(lì)模型，如圖（b）所示。獎(jiǎng)勵(lì)模型的數(shù)據(jù)集以問(wèn)題模板+響應(yīng)回答的形式，由有監(jiān)督微調(diào)模型生成多個(gè)響應(yīng)回答，然后人工標(biāo)注這些響應(yīng)回答之間的排名順序。獎(jiǎng)勵(lì)模型通過(guò)由人類反饋標(biāo)注的偏好數(shù)據(jù)來(lái)學(xué)習(xí)人類的偏好，是一種模擬人類評(píng)估的過(guò)程。將有監(jiān)督微調(diào)模型最后一層的非嵌入層去掉，剩余部分作為初始的獎(jiǎng)勵(lì)模型。訓(xùn)練模型的輸入是問(wèn)題和答案，輸出是一個(gè)標(biāo)量獎(jiǎng)勵(lì)值（分?jǐn)?shù)）。樣本質(zhì)量越高，獎(jiǎng)勵(lì)值越大?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)微調(diào)-獎(jiǎng)勵(lì)建模

o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-PPO微調(diào)模型結(jié)構(gòu)x:Adogis...初始化大模型........微調(diào)大模型（強(qiáng)化學(xué)習(xí)策略）........強(qiáng)化學(xué)習(xí)更新（例如：PPO算法）

獎(jiǎng)勵(lì)模型文本

........

+凍住參數(shù)提示文本數(shù)據(jù)集基線文本y:afurrymammal××××××××RLHF微調(diào)文本y:man’sbestfriend××××××××基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化

o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-案例講解

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)-案例講解

o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2思考參數(shù)高效微調(diào)、指令微調(diào)以及基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)，構(gòu)成了將預(yù)訓(xùn)練的基礎(chǔ)大型模型有效應(yīng)用于垂直領(lǐng)域的基石。目前，大模型通過(guò)微調(diào)技術(shù)已經(jīng)取得了顯著進(jìn)展。以人類所能理解的方式解釋大模型的行為，是可信地使用它們的基礎(chǔ)。然而，大模型仍然存在許多難以解釋的方面，這引發(fā)了人們對(duì)其應(yīng)用和可信度的疑問(wèn)。首先，當(dāng)前大模型的工作原理很大程度上是一個(gè)黑盒，這意味著無(wú)法準(zhǔn)確理解其內(nèi)部運(yùn)行機(jī)制。雖然有監(jiān)督微調(diào)技術(shù)可以提升模型性能，但現(xiàn)有理論無(wú)法充分解釋“自監(jiān)督預(yù)訓(xùn)練+有監(jiān)督微調(diào)+人類反饋對(duì)齊”方式所產(chǎn)生的大模型的強(qiáng)大能力和幻覺(jué)錯(cuò)誤。因此，需要更多的基礎(chǔ)理論和方法來(lái)解釋大模型的行為，以使其更可信地應(yīng)用于實(shí)際問(wèn)題中。其次，針對(duì)大模型系統(tǒng)的可信度問(wèn)題也需要深入思考。盡管大模型在許多任務(wù)中表現(xiàn)出色，但仍然需要解決如何確保在關(guān)鍵應(yīng)用中使用這些模型時(shí)的可靠性和安全性。這可能涉及對(duì)模型的驗(yàn)證和審計(jì)，以及對(duì)模型輸出的解釋和解釋能力的提高。最后，需要建立更深入的理解，以解釋大模型智能涌現(xiàn)現(xiàn)象。這些現(xiàn)象指的是模型在面對(duì)新任務(wù)或環(huán)境時(shí)表現(xiàn)出的出乎意料的智能和創(chuàng)造力。通過(guò)深入研究這些現(xiàn)象背后的原理，人們可以更好地理解模型的工作方式，并為未來(lái)的研究和應(yīng)用提供更多的啟示，以更好地發(fā)揮大模型的潛力，推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。o

大模型微調(diào)概述l

研究背景o

參數(shù)高效微調(diào)技術(shù)l

增量式（Addition-based）微調(diào)技術(shù)l

指定式（Specification-based）微調(diào)技術(shù)l

重參數(shù)化（Reparametrization-based）微調(diào)技術(shù)l

混合微調(diào)技術(shù)o

指令微調(diào)技術(shù)l

指令數(shù)據(jù)集構(gòu)建l

指令微調(diào)技術(shù)o

基于人類反饋的強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)l

獎(jiǎng)勵(lì)建模l

強(qiáng)化學(xué)習(xí)微調(diào)-策略優(yōu)化l

案例講解o

思考o(jì)

習(xí)題

目錄2理論習(xí)題：1、在機(jī)器學(xué)習(xí)背景下，解釋什么是大模型微調(diào)？答：大模型微調(diào)是指在一個(gè)預(yù)訓(xùn)練好的大型模型基礎(chǔ)上，通過(guò)使用新的數(shù)據(jù)集或任務(wù)進(jìn)行額外訓(xùn)練，以使模型適應(yīng)新的任務(wù)或領(lǐng)域。2、大模型微調(diào)包含哪些步驟？答：大模型微調(diào)的一般步驟包括選擇預(yù)訓(xùn)練模型、調(diào)整模型結(jié)構(gòu)、選擇合適的學(xué)習(xí)率，然后使用新的數(shù)據(jù)集進(jìn)行訓(xùn)練。3、大模型微調(diào)可能會(huì)面臨哪些挑戰(zhàn)和考慮因素？答：挑戰(zhàn)和考慮因素可能包括新任務(wù)的數(shù)據(jù)分布、模型過(guò)擬合的風(fēng)險(xiǎn)、計(jì)算資源等。4、遷移學(xué)習(xí)與大模型微調(diào)在概念上有何關(guān)聯(lián)？答：遷移學(xué)習(xí)是指通過(guò)從一個(gè)任務(wù)學(xué)到的知識(shí)來(lái)改善不同但相關(guān)任務(wù)的性能，而大模型微調(diào)通常是遷移學(xué)習(xí)的一種方式。5、如何在大模型微調(diào)后評(píng)估模型性能？答：可以使用新任務(wù)的評(píng)估指標(biāo)，比如準(zhǔn)確度、精確度、召回率等，來(lái)評(píng)估大模型微調(diào)后的性能。監(jiān)控模型在微調(diào)過(guò)程中的表現(xiàn)也是重要的。6、解釋基于類人反饋的強(qiáng)化學(xué)習(xí)，以及它與傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法有何不同？提供一個(gè)實(shí)際的應(yīng)用場(chǎng)景。答：基于類人反饋的強(qiáng)化學(xué)習(xí)是一種強(qiáng)化學(xué)習(xí)方法，其中智能體通過(guò)模仿類人的行為來(lái)學(xué)習(xí)任務(wù)。與傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法不同，基于類人反饋的方法強(qiáng)調(diào)通過(guò)參考類人的經(jīng)驗(yàn)來(lái)提高學(xué)習(xí)效率。例如，在機(jī)器人領(lǐng)域，一個(gè)機(jī)器人可以通過(guò)觀察并模仿人類執(zhí)行特定任務(wù)的方式，加速學(xué)習(xí)過(guò)程。7、大模型微調(diào)中需要針對(duì)有用性和無(wú)害性收集大量數(shù)據(jù)，有用性和無(wú)害性分別表示什么意思？答：數(shù)據(jù)收集主要針對(duì)有用性和無(wú)害性，有用性是指在數(shù)據(jù)收集過(guò)程中，讓標(biāo)注人員使用模型，期望模型幫助用戶完成純粹基于文本的任務(wù)（比如回答問(wèn)題、撰寫(xiě)編輯文檔、討論計(jì)劃和決策）。無(wú)害性是指在數(shù)據(jù)收集過(guò)程中，讓標(biāo)注人員通過(guò)一些敵對(duì)性的詢問(wèn)，比如計(jì)劃搶銀行，引誘模型給出一些違背規(guī)則的有害性回答。實(shí)踐習(xí)題：1、安裝部署PEFT環(huán)境，隨機(jī)初始化一組預(yù)期收益率和協(xié)方差，計(jì)算并繪制資產(chǎn)的有效邊界。2、使用適配器微調(diào)大型語(yǔ)言模型的場(chǎng)景，假設(shè)你已經(jīng)加載了預(yù)訓(xùn)練的BERT模型，現(xiàn)在想要添加一個(gè)適配器層用于微調(diào)情感分類任務(wù)。請(qǐng)列出至少兩個(gè)實(shí)現(xiàn)適配器微調(diào)的步驟，并提供相應(yīng)的Python代碼片段。3、使用前綴微調(diào)方法微調(diào)大型語(yǔ)言模型以執(zhí)行中文翻譯成英文的任務(wù)。假設(shè)你已經(jīng)加載了預(yù)訓(xùn)練的T5模型，現(xiàn)在想通過(guò)前綴微調(diào)使其適應(yīng)中文翻譯成英文的任務(wù)。原文本：“這是一個(gè)關(guān)于大模型微調(diào)的問(wèn)題，希望通過(guò)前綴微調(diào)的方式來(lái)適應(yīng)中文翻譯成英文的任務(wù)?！?、使用LoRA微調(diào)大型語(yǔ)言模型以執(zhí)行文本摘要任務(wù)。假設(shè)你已經(jīng)加載了預(yù)訓(xùn)練的BERT模型，現(xiàn)在想通過(guò)LoRA微調(diào)使其適應(yīng)文本摘要任務(wù)。原文本：“自然語(yǔ)言處理（NaturalLanguageProcessing，簡(jiǎn)稱NLP）是人工智能領(lǐng)域中與計(jì)算機(jī)和人類語(yǔ)言之間交互的研究。NLP的目標(biāo)是使計(jì)算機(jī)能夠理解、解釋、生成人類語(yǔ)言，使計(jì)算機(jī)與人的交互更加自然。它涉及到文本處理、語(yǔ)音處理、機(jī)器翻譯等多個(gè)方面的任務(wù)?！笔褂肔oRA微調(diào)方法，將上述文本進(jìn)行摘要生成，提取出主要信息。智周萬(wàn)物?道濟(jì)天下

謝謝！Thanks!大模型提示工程智周萬(wàn)物?道濟(jì)天下o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程

目錄23

目錄o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程o

提示工程（PromptEngineering）作為數(shù)據(jù)、技術(shù)、業(yè)務(wù)之間的橋梁，可以幫助大模型更好地理解和回答用戶的請(qǐng)求，是大模型場(chǎng)景落地的關(guān)鍵所在。o

大模型提示工程就是設(shè)計(jì)、改進(jìn)、完善提示的技術(shù)，通過(guò)巧妙設(shè)計(jì)的提示詞（prompt），引導(dǎo)模型生成更豐富、智能的表示，使模型能夠更準(zhǔn)確、可靠地回答問(wèn)題、執(zhí)行任務(wù)以及提供更有價(jià)值的信息。o

本章將介紹大模型提示工程技術(shù)的原理、不同提示策略的細(xì)節(jié)，以及實(shí)際應(yīng)用中的挑戰(zhàn)與解決方案。掌握這一技術(shù)將使讀者更好地理解大模型運(yùn)作機(jī)制，更靈活地設(shè)計(jì)和調(diào)整提示，實(shí)現(xiàn)更卓越的性能和創(chuàng)造力。學(xué)習(xí)目標(biāo)：掌握大模型提示工程的基本原理和了解多樣的提示技術(shù)；

提示工程簡(jiǎn)介49

目錄o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程

零樣本提示10o

零樣本指的是模型能夠在沒(méi)有樣本的情況下學(xué)習(xí)數(shù)據(jù)的特征。研究者們最初在深度學(xué)習(xí)領(lǐng)域提出了這兩種概念，然而在提示工程領(lǐng)域，零樣本這個(gè)概念被引申，即無(wú)需為模型提供任何背景知識(shí)，只需通過(guò)直接的輸入指令執(zhí)行任務(wù)。

零樣本提示的優(yōu)勢(shì)在于其適用于各種領(lǐng)域和任務(wù)，無(wú)需昂貴的微調(diào)。因此，在快速構(gòu)建原型、測(cè)試新想法或在新領(lǐng)域中使用大模型時(shí)非常有用。在設(shè)計(jì)零樣本提示詞的時(shí)候，除了描述具體的需求或任務(wù)，還可以將其他隱藏的信息輸送給模型。一條標(biāo)準(zhǔn)的零樣本提示詞應(yīng)該針對(duì)以下4點(diǎn)做出具體的描述：背景角色指令輸出

零樣本提示10o

和與人類溝通工作任務(wù)一樣，提示詞需要清楚交代大模型任務(wù)的上下文背景，使傳達(dá)的信息精準(zhǔn)（Precise）和簡(jiǎn)潔（Concise）。為了確保提示詞的背景清晰精準(zhǔn)，需要避免歧義。

零樣本提示10o

在提示詞中設(shè)定一個(gè)角色，是最常用的提示詞技巧，可以幫助LLM更精確地理解到它·166·第7章大模型提示工程在任務(wù)中所需承擔(dān)的職責(zé)，以提升回答的質(zhì)量。

零樣本提示10o

指令即為希望LLM完成的任務(wù)，指令需要做到具體（Concrete）和完備（Complete）。提示詞的指令要足夠具體。

零樣本提示10o

在零樣本提示詞設(shè)計(jì)中，可以對(duì)輸出形式提出要求，讓LLM的輸出更加可控，提示詞中可提出的要求包括但不限于字?jǐn)?shù)要求、輸出格式（如表格式、對(duì)話式）、回答風(fēng)格（如嚴(yán)謹(jǐn)·170·第7章大模型提示工程的、口語(yǔ)化的）等。14

目錄o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程

少樣本提示10o

少樣本提示(Few-shotPrompting)

通過(guò)給予模型一些有限的樣本示例或者其余關(guān)鍵信息，指導(dǎo)模型理解和生成特定任務(wù)下的文本。通過(guò)學(xué)習(xí)給定的樣本中的回答模式以及內(nèi)在邏輯，模型可以在類似需求的任務(wù)上進(jìn)行推理。o

少樣本提示強(qiáng)調(diào)在已有數(shù)據(jù)的基礎(chǔ)上進(jìn)行任務(wù)指導(dǎo)，這與零樣本提示有著本質(zhì)上的不同。o

少樣本提示不僅可以幫助大模型生成高質(zhì)量的回答，在大型圖像生成模型中也起到強(qiáng)大的指導(dǎo)作用。o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程

目錄2

鏈?zhǔn)剿伎继崾?0o

面對(duì)復(fù)雜提問(wèn)場(chǎng)景時(shí)，人們往往希望得到有條理的思考過(guò)程，并逐步深入考慮各個(gè)方面，最終得到復(fù)雜問(wèn)題的解答。然而大模型在這類推理能力方面的表現(xiàn)始終不佳，容易出現(xiàn)回答不連貫、缺乏邏輯推理或信息斷層等問(wèn)題。o

部分研究者們認(rèn)為，之前的大語(yǔ)言模型的推理模式單純依賴全局提示詞并直接輸出結(jié)果，而忽略了其中的思考過(guò)程，人類在面對(duì)復(fù)雜問(wèn)題時(shí)，常常會(huì)將問(wèn)題拆分為若干個(gè)中間問(wèn)題，通過(guò)逐步追問(wèn)并解決中間問(wèn)題來(lái)進(jìn)行推理。o

受人類的這種思維模式啟發(fā)，研究者們提出直接通過(guò)人工干預(yù)模型輸出中間推理步驟，迫使模型學(xué)習(xí)中間推理過(guò)程，也就是鏈?zhǔn)剿伎继崾?。S思維鏈拓展10o

自一致性（Self-Consistency）：旨在改進(jìn)“思維鏈提示中的樸素貪婪算法”。具體來(lái)說(shuō)，當(dāng)模型在處理復(fù)雜文本時(shí)，為了提高結(jié)果的準(zhǔn)確性，通過(guò)少量樣本的思維鏈抽樣出多個(gè)不同的推理路徑，選擇最一致的答案。換句話說(shuō)，即通過(guò)CoT的方式，模型輸出多個(gè)不同的推理過(guò)程和答案，最終通過(guò)投票方式選擇最佳答案。o

思維樹(shù)（TreeofThoughts：ToT）:以樹(shù)的形式展開(kāi)思維鏈，允許回溯，基于中心任務(wù)產(chǎn)生多個(gè)推理分支。ToT在具體執(zhí)行時(shí)回答四個(gè)問(wèn)題：思維分解、思維生成、狀態(tài)計(jì)算以及搜索算法。確保每個(gè)階段都得到系統(tǒng)的解決。o

思維圖譜（GraphofThoughts：GoT）：GoT無(wú)縫地將CoT和GoT推廣到更復(fù)雜的思維模式，而無(wú)需依賴于任何模型更新。具體來(lái)說(shuō)，GoT將LLM生成的信息建模為任意圖，其中信息單元（即“Thought”）是圖的頂點(diǎn)，邊對(duì)應(yīng)于這些頂點(diǎn)的依賴關(guān)系。o

思維算法（AlgorithmofThoughts：AoT）:一種通過(guò)算法推理路徑推動(dòng)LLM的新策略，開(kāi)創(chuàng)上下文學(xué)習(xí)新模式，其改進(jìn)了ToT和GoT計(jì)算效率低的缺陷，消除了冗余查詢的需求。具體來(lái)說(shuō)，AoT通過(guò)不斷演化和改進(jìn)思考過(guò)程，維持一個(gè)不斷發(fā)展的思維上下文鏈，靈活適應(yīng)不同的問(wèn)題和情景，并且能夠根據(jù)需要自動(dòng)調(diào)整和優(yōu)化。o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程

目錄2

思維樹(shù)提示10o

受思維鏈的啟發(fā)，研究人員進(jìn)一步提出了思維樹(shù)（TreeofThought：ToT）框架，通過(guò)將復(fù)雜問(wèn)題分解為容易解決的具體問(wèn)題，為大模型推理提供了一個(gè)更完備的提示框架。o

思維樹(shù)提示的主要應(yīng)用場(chǎng)景是在需要更為有組織和分步執(zhí)行的任務(wù)中：系統(tǒng)會(huì)將一個(gè)問(wèn)題分解，并生成潛在的推理步驟或“思維”候選者的列表。對(duì)這些“思維”進(jìn)行評(píng)估，根據(jù)實(shí)施難度，預(yù)期結(jié)果分配成功率。深入挖掘每個(gè)想法，完善其在現(xiàn)實(shí)世界中的意義，其中包括：潛在實(shí)施場(chǎng)景、實(shí)施策略、潛在障礙等。進(jìn)行最終決策。這種技術(shù)有助于大語(yǔ)言模型實(shí)現(xiàn)更加有條理的思考和文本生成，特別適用于面對(duì)復(fù)雜問(wèn)題或任務(wù)的情境。o

提示工程簡(jiǎn)介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹(shù)提示o

自動(dòng)提示工程

目錄2

自動(dòng)提示工程10o

為了減少創(chuàng)建和驗(yàn)證指令有效性時(shí)所耗費(fèi)的成本，研究人員試圖搭建一個(gè)自動(dòng)生成和選擇提示的框架。目前，已有研究者提出了自動(dòng)提示工程（AutomaticPromptEngineer：APE）o

APE的工作流程,通常包括以下幾個(gè)步驟：數(shù)據(jù)收集：APE需要收集與目標(biāo)領(lǐng)域或任務(wù)相關(guān)的大規(guī)模數(shù)據(jù)集。這些數(shù)據(jù)集可以是文本、圖像、甚至是多模態(tài)的數(shù)據(jù)。模型訓(xùn)練：在數(shù)據(jù)收集階段之后，使用這些數(shù)據(jù)集來(lái)訓(xùn)練大規(guī)模的語(yǔ)言模型，如GPT。訓(xùn)練過(guò)程通常采用無(wú)監(jiān)督學(xué)習(xí)，其中模型通過(guò)對(duì)大量文本數(shù)據(jù)的自我預(yù)測(cè)來(lái)學(xué)習(xí)語(yǔ)言的潛在規(guī)律和語(yǔ)義表示。提示生成：一旦訓(xùn)練完畢，APE可以利用已訓(xùn)練的模型生成提示。提示可以是針對(duì)特定任務(wù)的問(wèn)題回答、文本摘要、語(yǔ)言翻譯等形式。通過(guò)輸入用戶的查詢或上下文信息，模型可以生成與之相關(guān)的提示內(nèi)容。評(píng)估和迭代：生成的提示需要進(jìn)行評(píng)估和校準(zhǔn)，以確保其質(zhì)量和準(zhǔn)確性。通過(guò)與人工標(biāo)注的數(shù)據(jù)或人類專家的比對(duì)，可以對(duì)生成的提示進(jìn)行評(píng)估并進(jìn)行必要的調(diào)整和迭代。

自動(dòng)提示工程10o

自動(dòng)提示工程工作流程：智周萬(wàn)物?道濟(jì)天下

謝謝！Thanks!高效大模型策略智周萬(wàn)物?道濟(jì)天下o

大模型效率概述l

研究背景l(fā)

研究?jī)?nèi)容o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率

目錄2o

大模型效率概述l

研究背景l(fā)

研究?jī)?nèi)容o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄o

由于更大的參數(shù)規(guī)模需要更高的計(jì)算成本和內(nèi)存需求，大模型的訓(xùn)練和微調(diào)會(huì)受到嚴(yán)重限制o

訓(xùn)練這些模型需要大量的數(shù)據(jù)和資源，給數(shù)據(jù)獲取、資源分配和模型設(shè)計(jì)帶來(lái)挑戰(zhàn)，探索不同架構(gòu)或策略的成本變得過(guò)高o

大規(guī)模參數(shù)使大模型不適合部署在資源受限的環(huán)境中，如邊緣設(shè)備隨著模型參數(shù)規(guī)模的增大，大模型不僅提高了現(xiàn)有任務(wù)的性能，而且還出現(xiàn)了很多新功能

大模型效率面臨的問(wèn)題4o

大模型效率概述l

研究背景l(fā)

研究?jī)?nèi)容o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

大模型效率及其評(píng)估指標(biāo)o

本章將“大模型效率”定義為大模型產(chǎn)生特定性能時(shí)所需的資源，與性能成正相關(guān)，與資源成負(fù)相關(guān)o

評(píng)估大模型效率的關(guān)鍵指標(biāo)l

參數(shù)數(shù)量l

模型大小l

浮點(diǎn)運(yùn)算次數(shù)l

推理時(shí)間/token生成速度l

內(nèi)存占用l

碳排放o

高效大模型策略旨在不影響模型性能的情況下優(yōu)化計(jì)算和內(nèi)存資源，這些評(píng)估指標(biāo)將是高效大模型策略的重要依據(jù)和體現(xiàn)

大模型效率及其評(píng)估指標(biāo)o

評(píng)估大模型效率的關(guān)鍵指標(biāo)l

參數(shù)數(shù)量參數(shù)數(shù)量是直接影響模型學(xué)習(xí)能力和復(fù)雜性的關(guān)鍵因素。這些參數(shù)包括權(quán)重和偏差等參數(shù)，在訓(xùn)練或微調(diào)階段是可以學(xué)習(xí)的。更大的參數(shù)數(shù)量通常使模型能夠?qū)W習(xí)到更復(fù)雜的數(shù)據(jù)模式和新功能，但會(huì)影響訓(xùn)練和推理計(jì)算的時(shí)間。l

模型大小模型大小定義為存儲(chǔ)整個(gè)模型所需的磁盤空間，通常以千兆字節(jié)（GB）或兆字節(jié)（MB）等為單位。模型大小會(huì)受到多個(gè)因素的影響，其中最主要的因素是參數(shù)數(shù)量，其他因素有參數(shù)數(shù)據(jù)類型和特定的體系結(jié)構(gòu)。模型大小會(huì)直接影響存儲(chǔ)需求，提前考慮模型大小對(duì)在存儲(chǔ)受限環(huán)境下的部署尤其重要。l

浮點(diǎn)運(yùn)算次數(shù)浮點(diǎn)運(yùn)算次數(shù)是指單次前向傳播過(guò)程中浮點(diǎn)運(yùn)算（如加減乘除法）的次數(shù)（計(jì)算量），用于估算大模型的計(jì)算復(fù)雜度。較高的浮點(diǎn)運(yùn)算次數(shù)通常意味著模型有著更高的計(jì)算要求，在資源有限的環(huán)境中部署這種模型將是一個(gè)挑戰(zhàn)。系統(tǒng)的并行優(yōu)化以及不同的架構(gòu)也都會(huì)影響最終的整體計(jì)算效率。

大模型效率及其評(píng)估指標(biāo)o

評(píng)估大模型效率的關(guān)鍵指標(biāo)l

推理時(shí)間/token生成速度推理時(shí)間也稱為延遲，是大模型在推理階段從輸入到生成響應(yīng)所需的時(shí)間，單位通常為毫秒或秒。推理時(shí)間是在實(shí)際部署的設(shè)備上進(jìn)行評(píng)估的，考慮了特定的硬件和優(yōu)化條件，提供了現(xiàn)實(shí)世界性能的實(shí)用衡量標(biāo)準(zhǔn)。token生成速度是指模型在每秒內(nèi)可以處理的token數(shù)，它能夠用來(lái)規(guī)范推理時(shí)間，是反映模型速度和效率的關(guān)鍵性能指標(biāo)。l

內(nèi)存占用內(nèi)存占用是指在推理或訓(xùn)練期間加載和運(yùn)行模型所需的隨機(jī)存取存儲(chǔ)器的內(nèi)存大小，通常以MB或GB為單位。內(nèi)存占用的內(nèi)容不僅包括模型參數(shù)，還包括其他運(yùn)行時(shí)必需數(shù)據(jù)，如中間變量和數(shù)據(jù)結(jié)構(gòu)。較大的內(nèi)存占用會(huì)限制模型的可部署性，尤其是在資源受限的環(huán)境中，需要優(yōu)化技術(shù)來(lái)降低占用，如模型剪枝或量化。l

碳排放碳排放通常以模型從訓(xùn)練到推理的過(guò)程中排放的二氧化碳量來(lái)衡量，反映了訓(xùn)練和運(yùn)行該模型對(duì)環(huán)境的影響。碳排放受到各種因素的影響，包括所用硬件的能源效率、電力來(lái)源，以及模型訓(xùn)練和運(yùn)行的持續(xù)時(shí)間?？梢酝ㄟ^(guò)模型優(yōu)化、硬件加速和算法改進(jìn)等方式提高能效，還可以為數(shù)據(jù)中心（如蘋(píng)果公司的云上貴州數(shù)據(jù)中心、騰訊的七星洞數(shù)據(jù)中心）選擇更環(huán)保的能源，從而減少碳排放。o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

高效大模型策略o

提高大模型效率的關(guān)鍵方向l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

預(yù)算效率o

大模型性能受到各種因素的影響，包括訓(xùn)練數(shù)據(jù)、模型大小、體系結(jié)構(gòu)、計(jì)算資源和訓(xùn)練策略等。通過(guò)調(diào)整這些因素來(lái)達(dá)到滿足預(yù)期的最佳性能，能夠降低資源的消耗以提高效率。但如果采用試錯(cuò)方法會(huì)在調(diào)試中浪費(fèi)大量的資源，而且通常無(wú)法找到最高效的設(shè)計(jì)方案。為此，可以通過(guò)提前預(yù)測(cè)大模型的性能來(lái)調(diào)整大模型的設(shè)計(jì)和資源安排?？s放定律研究了在某些系統(tǒng)中，隨著系統(tǒng)規(guī)模的增大，某些特定指標(biāo)或行為會(huì)發(fā)生可預(yù)測(cè)的變化。通過(guò)縮放定律可以提前預(yù)測(cè)大模型性能，以便更有效地規(guī)劃和分配資源，進(jìn)而提高大模型效率。l

縮放定律表明，大模型性能（假設(shè)目標(biāo)函數(shù)為L(zhǎng)）主要取決于三個(gè)因素：模型參數(shù)的數(shù)量N、數(shù)據(jù)集大小D及訓(xùn)練的計(jì)算預(yù)算C。模型的性能會(huì)隨著模型參數(shù)的數(shù)量N、數(shù)據(jù)集大小D和訓(xùn)練的計(jì)算預(yù)算C的增加而持續(xù)增加。當(dāng)任意兩個(gè)因素不受瓶頸限制時(shí)，模型的性能與第三個(gè)因素之間存在冪律關(guān)系。但如果固定模型參數(shù)的數(shù)量N或數(shù)據(jù)集大小D中的一個(gè)，而增加另一個(gè)，模型的性能的提升幅度會(huì)因受到懲罰而有所減少。o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

數(shù)據(jù)效率o

據(jù)效率策略從數(shù)據(jù)利用方面提高大模型效率。大模型對(duì)數(shù)據(jù)的需求是無(wú)止境的，但海量的數(shù)據(jù)給大模型訓(xùn)練不僅延長(zhǎng)了訓(xùn)練時(shí)間，而且由于耗電大、存儲(chǔ)容量大而導(dǎo)致訓(xùn)練成本急劇上升。有效的數(shù)據(jù)使用方法對(duì)大模型的訓(xùn)練和驗(yàn)證都至關(guān)重要，能夠在降低資源消耗的同時(shí)提升模型性能，從而提高大模型效率。l

數(shù)據(jù)過(guò)濾-將訓(xùn)練重點(diǎn)指向信息量更大的樣本，較少集中在信息價(jià)值較小的樣本上。-通過(guò)重復(fù)數(shù)據(jù)消除、數(shù)據(jù)下采樣減少訓(xùn)練集中的冗余，提高數(shù)據(jù)質(zhì)量。l

主動(dòng)學(xué)習(xí)/重要性采樣-用較少的標(biāo)注來(lái)訓(xùn)練樣本，實(shí)現(xiàn)較好或等效的性能。-根據(jù)樣本對(duì)學(xué)習(xí)過(guò)程的重要性對(duì)樣本進(jìn)行優(yōu)先級(jí)排序，僅選擇和標(biāo)注最有用的樣本，有策略地減少訓(xùn)練樣本總數(shù)的目的。l

課程學(xué)習(xí)-通過(guò)仔細(xì)設(shè)計(jì)訓(xùn)練數(shù)據(jù)中樣本的反饋?lái)樞騺?lái)提高模型訓(xùn)練效率的策略。-先從簡(jiǎn)單的樣本或子任務(wù)開(kāi)始訓(xùn)練，并逐步升級(jí)到具有挑戰(zhàn)性的任務(wù)上。o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

架構(gòu)效率o

Transformer架構(gòu)中的關(guān)鍵操作注意力機(jī)制，通常需要相對(duì)于序列長(zhǎng)度的二次復(fù)雜度來(lái)進(jìn)行計(jì)算，因此在處理長(zhǎng)輸入序列時(shí)速度明顯較慢。因此，減少注意力操作所需的計(jì)算成為提高體系結(jié)構(gòu)效率的直接解決方案，對(duì)訓(xùn)練和推理階段都有效。l

高效注意力-并非所有token關(guān)系都具有相同的重要性，可以識(shí)別并僅保留最關(guān)鍵的關(guān)系。-在硬件層面減少硬件之間的數(shù)據(jù)傳輸。l

高效位置編碼-相對(duì)位置編碼方法利用兩個(gè)token之間的相對(duì)位置，而非單個(gè)token的絕對(duì)位置。-旋轉(zhuǎn)位置編碼使用旋轉(zhuǎn)矩陣對(duì)輸入序列進(jìn)行編碼。l

稀疏模型-計(jì)算時(shí)只將大模型中用于給定的任務(wù)、樣本或token的某些部分被激活。l

無(wú)注意力模型-用其他模塊取代注意力機(jī)制，在性能上已經(jīng)能夠?qū)崿F(xiàn)與標(biāo)準(zhǔn)的Transformer相當(dāng)?shù)男Ч?。旋轉(zhuǎn)位置編碼o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

訓(xùn)練效率o

大模型數(shù)據(jù)和模型的規(guī)模會(huì)直接影響到模型的訓(xùn)練效率。因此，訓(xùn)練效率是決定大模型效率的重要因素，提高訓(xùn)練效率需要解決由大模型數(shù)據(jù)和模型規(guī)模的增加帶來(lái)的問(wèn)題。l

穩(wěn)定訓(xùn)練策略-調(diào)整超參數(shù)如批處理大小、學(xué)習(xí)率等，實(shí)行權(quán)重衰減和梯度裁剪等穩(wěn)定策略，防止梯度消失或爆炸。l

混合精度訓(xùn)練-用更低精度的存儲(chǔ)格式存儲(chǔ)參數(shù)，減少內(nèi)存使用，加速模型內(nèi)的通信過(guò)程-使用FP32存儲(chǔ)權(quán)重，使用FP16進(jìn)行傳遞和計(jì)算l

并行訓(xùn)練技術(shù)-數(shù)據(jù)并行將數(shù)據(jù)集劃分在多個(gè)加速器上被并行處理。-模型并行將模型本身劃分到多個(gè)加速器上。l

內(nèi)存優(yōu)化-將模型參數(shù)、梯度和優(yōu)化器狀態(tài)等元素劃分到不同GPU上，可以根據(jù)需要從其他GPU中檢索所需數(shù)據(jù)。o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

推理效率o

模型巨大的參數(shù)數(shù)量給在云服務(wù)和資源有限設(shè)備上的部署帶來(lái)了挑戰(zhàn)，同時(shí)使得維持推理的成本很高。因此，加速推理的常見(jiàn)的方法是構(gòu)建壓縮模型，以達(dá)到與完整模型相當(dāng)?shù)男阅堋＿@種方法通?？梢苑譃?類：剪枝、知識(shí)蒸餾、量化和低秩分解l

剪枝-剪枝技術(shù)旨在識(shí)別大模型中的冗余并置零，可對(duì)單個(gè)參數(shù)進(jìn)行非結(jié)構(gòu)化剪枝，也可對(duì)結(jié)構(gòu)單元進(jìn)行結(jié)構(gòu)化剪枝。l

知識(shí)蒸餾-通過(guò)利用一個(gè)大模型（教師模型）的知識(shí)訓(xùn)練一個(gè)小模型（學(xué)生模型）。l

量化-降低模型參數(shù)的數(shù)值精度，提高執(zhí)行速度，降低模型大小。-量化需要特定的硬件才能體現(xiàn)在低位精度上的優(yōu)勢(shì)。-通常在模型訓(xùn)練完成后對(duì)參數(shù)進(jìn)行量化。l

低秩分解-大模型權(quán)重矩陣存在于包括自注意力層和MLP層及嵌入層在內(nèi)的線性層中，權(quán)重矩陣通常是低秩的表明模型權(quán)重中存在冗余，將權(quán)重矩陣分解為兩個(gè)或更多個(gè)較小的矩陣以節(jié)約參數(shù)。o

背景大模型效率概述l

研究背景l(fā)

研究背景o

高效大模型策略l

預(yù)算效率l

數(shù)據(jù)效率l

架構(gòu)效率l

訓(xùn)練效率l

推理效率l

微調(diào)效率3

目錄

微調(diào)效率o

在大規(guī)模且多樣的數(shù)據(jù)集上訓(xùn)練的大模型已經(jīng)具有出色的通用問(wèn)題解決能力。通過(guò)有針對(duì)性的微調(diào)，它們?cè)谔囟I(lǐng)域或任務(wù)中的性能可以得到顯著提升。l

參數(shù)高效微調(diào)-僅選擇預(yù)訓(xùn)練參數(shù)的一部分進(jìn)行微調(diào)，其余參數(shù)保持不變-用額外的小規(guī)?？蓪W(xué)習(xí)塊（適配器）來(lái)增強(qiáng)預(yù)訓(xùn)練模型，嵌入大模型的模塊中。-使用低秩適配器（一組降維升維低秩矩陣）學(xué)習(xí)更詳細(xì)的任務(wù)特定信息。l

數(shù)據(jù)高效調(diào)整-在輸入序列前添加一組有限的提示前綴序列。適配器低秩適配器提示前綴序列智周萬(wàn)物?道濟(jì)天下

謝謝！Thanks!單模態(tài)通用大模型智周萬(wàn)物?道濟(jì)天下o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型結(jié)構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄2o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型結(jié)構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄3o

LLaMA是MetaAI公司在2023年2月發(fā)布的開(kāi)源大模型，在開(kāi)放基準(zhǔn)上有著非常出色的表現(xiàn)，是迄今為止最流行的開(kāi)源語(yǔ)言模型之一。隨后，Meta推出了LLaMA2，該模型實(shí)現(xiàn)了更為優(yōu)越的性能表現(xiàn)，甚至可以與ChatGPT等閉源模型相媲美。o

同期谷歌的PaLM大模型，OpenAI的GPT-4都采用閉源的方式，不能從源碼來(lái)剖析模型的結(jié)構(gòu)，LLaMA的開(kāi)源降低了大模型的研究門檻，后續(xù)許多大模型都是借鑒或沿用了LLaMA的模型框架。

開(kāi)源大模型現(xiàn)狀4YangJ,JinH,TangR,etal.Harnessingthepowerofllmsinpractice:Asurveyonchatgptandbeyond[J].ACMTransactionsonKnowledgeDiscoveryfromData,2024,18(6):1-32.o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄5

LLaMa模型架構(gòu)o

與其他自然語(yǔ)言大模型一樣，LLaMA的模型架構(gòu)采用了Transformer架構(gòu)。但做出了幾點(diǎn)改進(jìn)：預(yù)先歸一化、SwiGLU激活函數(shù)和旋轉(zhuǎn)位置編碼；并在LLaMA2中使用了分組查詢注意力機(jī)制。o

預(yù)先歸一化[GPT-3]-為了提高訓(xùn)練的穩(wěn)定性，LLaMA對(duì)每個(gè)Transformer層的輸入進(jìn)行歸一化，而不是輸出進(jìn)行歸一化-使用了RMS歸一化方法o

SwiGLU激活函數(shù)[PaLM]-將常規(guī)的ReLU激活函數(shù)換為了SwiGLU激活函數(shù)o

旋轉(zhuǎn)位置編碼[GPTNeo]-將絕對(duì)位置編碼換為了旋轉(zhuǎn)位置編碼（RoPE）-核心思想是通過(guò)絕對(duì)位置編碼的方式實(shí)現(xiàn)相對(duì)位置編碼o

分組查詢注意力機(jī)制-為了進(jìn)一步減少計(jì)算開(kāi)銷，將多頭注意力機(jī)制（MHA）替換為了分組查詢注意力機(jī)制（GQA）-是MHA與多查詢注意力機(jī)制（MQA）的折中方案6o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄7

預(yù)訓(xùn)練o

預(yù)訓(xùn)練使用了七種來(lái)自公開(kāi)來(lái)源的數(shù)據(jù)l

預(yù)訓(xùn)練方法與GPT-3，PaLM等語(yǔ)言大模型類似，通過(guò)預(yù)測(cè)上下文信息來(lái)進(jìn)行自監(jiān)督學(xué)習(xí)l

最大的650億參數(shù)量模型需要使用2048張NVIDIAA100GPU訓(xùn)練21天8

微調(diào)o

LLaMA2中，作者團(tuán)隊(duì)進(jìn)一步利用人工標(biāo)注的數(shù)據(jù)對(duì)專為對(duì)話場(chǎng)景設(shè)計(jì)的LLaMA2-Chat模型進(jìn)行微調(diào)，主要采用了有監(jiān)督微調(diào)和RLHF兩種技術(shù)。l

在有監(jiān)督微調(diào)環(huán)節(jié)中，作者團(tuán)隊(duì)標(biāo)注了27540條數(shù)據(jù)用于微調(diào)，這些數(shù)據(jù)都是由人工撰寫(xiě)提示和回答，包括有用性和安全性兩種標(biāo)注。這里的有用性指的是LLaMA2-Chat如何回應(yīng)以滿足用戶的請(qǐng)求和提供所需的信息，而安全性則關(guān)注LLaMA2-Chat的回應(yīng)是否安全。9

微調(diào)o

在RLHF環(huán)節(jié)中，目標(biāo)是使初步微調(diào)過(guò)的模型的輸出更符合人類偏好并遵循指令。為了實(shí)現(xiàn)這一目標(biāo)，Meta首先收集了一系列反饋了人類偏好的數(shù)據(jù)，并將這些數(shù)據(jù)用于獎(jiǎng)勵(lì)建模。l

人類偏好數(shù)據(jù)收集：作者團(tuán)隊(duì)選擇了二元比較協(xié)議來(lái)標(biāo)注樣本，因?yàn)檫@樣能最大化收集到數(shù)據(jù)的多樣性。在整個(gè)標(biāo)注過(guò)程中，首先要求標(biāo)注人員寫(xiě)出一個(gè)提示，再在兩個(gè)采樣出的模型回答中基于給定的標(biāo)準(zhǔn)標(biāo)注更為偏好的一個(gè)，并給出4個(gè)不同的偏好等級(jí)。與監(jiān)督微調(diào)相似，在此過(guò)程中需要同時(shí)關(guān)注模型回答的有用性和安全性，并額外標(biāo)注了一個(gè)安全性標(biāo)簽。l

獎(jiǎng)勵(lì)建模：獎(jiǎng)勵(lì)模型將模型的回答和提示作為輸入，輸出一個(gè)標(biāo)量分?jǐn)?shù)來(lái)代表模型回答的質(zhì)量。利用這樣的分?jǐn)?shù)來(lái)作為獎(jiǎng)勵(lì)，便可以在RLHF過(guò)程中優(yōu)化LLaMA2-Chat來(lái)將其與人類偏好對(duì)其，并提高有用性和安全性。鑒于已有研究發(fā)現(xiàn)單個(gè)獎(jiǎng)勵(lì)模型會(huì)在有用性和安全性上做出權(quán)衡，從而很難在兩者上表現(xiàn)得都很好，作者團(tuán)隊(duì)分別訓(xùn)練了兩個(gè)獎(jiǎng)勵(lì)模型來(lái)優(yōu)化有用性和安全性。10o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄11

使用方法o

LLaMA模型可以通過(guò)官網(wǎng)或官方合作渠道獲得，并部署到本地。下面舉例如何在HuggingFace平臺(tái)使用LLaMA模型。l

首先下載模型權(quán)重到本地，其中token需要在HuggingFace申請(qǐng)l

然后下載LLaMA官方代碼，安裝依賴包并運(yùn)行對(duì)話模型推理代碼。運(yùn)行后輸入提示，模型便會(huì)給出回答12o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄13o

目前的自然語(yǔ)言大模型已經(jīng)展現(xiàn)出在零樣本和少樣本情況下強(qiáng)大的泛化能力。這種能力的構(gòu)建基于兩個(gè)關(guān)鍵要素：一是在互聯(lián)網(wǎng)規(guī)模的龐大數(shù)據(jù)集上進(jìn)行訓(xùn)練；二是通過(guò)輸入提示詞來(lái)引導(dǎo)預(yù)訓(xùn)練好的大模型在不同任務(wù)下產(chǎn)生相應(yīng)的輸出。o

在SAM這項(xiàng)工作中，MetaAI的研究者們對(duì)圖像分割任務(wù)建立了一個(gè)這樣具有強(qiáng)零樣本泛化能力的基礎(chǔ)模型。

研究背景14o

想要構(gòu)建這樣的一個(gè)模型，需要解決這三個(gè)問(wèn)題：l

什么樣的分割任務(wù)能支持零樣本泛化？l

模型結(jié)構(gòu)應(yīng)該是什么樣？l

什么樣的訓(xùn)練數(shù)據(jù)才能達(dá)到這樣的效果？

研究背景15o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄16o

提示下的圖像分割任務(wù)：在自然語(yǔ)言大模型中，零樣本泛化的關(guān)鍵往往源自于巧妙的提示工程技術(shù)。受到此啟發(fā)，SAM提出了“可提示分割任務(wù)”的概念，即模型根據(jù)給定的提示（這個(gè)提示可以是任何能夠指導(dǎo)目標(biāo)分割的信息，比如一組前景/背景點(diǎn)、一個(gè)粗略的邊界框或掩碼，以及任何形式的文本），生成分割目標(biāo)的掩碼。

任務(wù)定義17KirillovA,MintunE,RaviN,etal.Segmentanything[C]//ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023:4015-4026.o

LLaMA：一種自然語(yǔ)言處理大模型技術(shù)l

研究背景l(fā)

模型架構(gòu)l

訓(xùn)練方法l

使用方法o

SAM：一種圖像分割大模型技術(shù)l

研究背景l(fā)

任務(wù)定義l

模型架構(gòu)l

訓(xùn)練方法l

使用方法

目錄18o

SAM包含三個(gè)模塊，包括圖像編碼器、提示編碼器和掩碼解碼器l

圖像編碼器將輸入的圖像轉(zhuǎn)為高維特征嵌入，該部分直接采用了由MaskedAutoencoder（MAE）預(yù)訓(xùn)練好的VisionTransformer（ViT）模型。MAE是一種圖像自監(jiān)督預(yù)訓(xùn)練技術(shù)，經(jīng)過(guò)MAE預(yù)訓(xùn)練后，ViT本身已經(jīng)具備了強(qiáng)大的表征學(xué)習(xí)能力，并且更有利于以此為基礎(chǔ)訓(xùn)練一個(gè)分割大模型。在整個(gè)訓(xùn)練過(guò)程中采用了不同版本的ViT模型，包括ViT-H、ViT-L和ViT-B。

模型架構(gòu)19o

SAM包含三個(gè)模塊，包括圖像編碼器、提示編碼器和掩碼解碼器l

提示編碼器將不同類型的提示轉(zhuǎn)換為高維特征嵌入。SAM考慮了兩大種類的提示：第一種是稀疏提示，包括點(diǎn)、包圍框或文本。對(duì)于點(diǎn)和包圍框（可視為左上和右下兩個(gè)點(diǎn)），SAM采用了Transformer中的三角函數(shù)位置編碼，結(jié)合可學(xué)習(xí)參數(shù)，生成每個(gè)點(diǎn)的特征。對(duì)于文本提示，SAM使用了CLIP中預(yù)訓(xùn)練好的文本編碼器，將文本提示編碼為高維特