上海財經(jīng)大學(xué)：大模型在金融領(lǐng)域的應(yīng)用技術(shù)與安全白皮書

0234概述1.1大語言模型技術(shù)發(fā)展概述（GenerativePre-TrainedTransformer通過無監(jiān)督學(xué)習(xí)在大規(guī)模無標簽語料庫5集團則在外灘大會發(fā)布了金融大模型“AntFinGLM”并應(yīng)用于螞蟻集團內(nèi)部產(chǎn)品“支1.2大模型引領(lǐng)中國金融領(lǐng)域科技的國際化發(fā)展海外金融科技公司已經(jīng)在積極探索和持續(xù)深化大模型在金融服務(wù)領(lǐng)域的應(yīng)用。言處理的大模型。據(jù)研究，當前此大模型在金融任務(wù)包括金融資訊分類任務(wù)（FPB6為客戶提供服務(wù)。與此同時頭部對沖基金Citadel也擬在全公司各條業(yè)務(wù)線中應(yīng)用進一步提升我國數(shù)字金融國際競爭力。2023年升到國家戰(zhàn)略部署的新高度，而大模型等新技術(shù)將進一步擴展金融科技的發(fā)展空間。7通用大模型的金融專業(yè)性不足通用大模型的金融情境理解能力不足通用大模型的金融專業(yè)性不足通用大模型的金融情境理解能力不足通用大模型難以完成較復(fù)雜的金融指令通用大模型難以滿足金融場景的定制化需求通用大模型難以滿足金融領(lǐng)域應(yīng)用的合規(guī)要求大模型應(yīng)用技術(shù)分析2.1大模型在金融領(lǐng)域的應(yīng)用挑戰(zhàn)金融領(lǐng)域具有高度的專業(yè)性，涵蓋了復(fù)雜的金融理論、模型和實踐，金融領(lǐng)域具有高度的專業(yè)性，涵蓋了復(fù)雜的金融理論、模型和實踐，有著獨特的術(shù)語內(nèi)涵和表達方式。這些內(nèi)容在常規(guī)的大數(shù)據(jù)訓(xùn)練集中往往表現(xiàn)不足，使得通用大模型在理解復(fù)雜的金融概念和操作上顯得力不從心。金融市場高度情境敏感，金融市場高度情境敏感，同一事件在不同的情境下可能釋放出不同的信號。例如，某一公司發(fā)布的財務(wù)報告如果不符合市場預(yù)期，對于該公司而言可能是負面的，但對于尋求低估值入市的投資者而言卻可能是一個機會。通用大模型很難精準把握這種情境下的語義差異和心理預(yù)期，這就要求模型能夠更加敏感地對待金融語境和事件，需要對這些模型進行金融情境的深度訓(xùn)練和優(yōu)化。金融領(lǐng)域在交易過程中存在大量較復(fù)雜的工具指令，如限價單、止損單等，金融領(lǐng)域在交易過程中存在大量較復(fù)雜的工具指令，如限價單、止損單等，都需要精確的表達和執(zhí)行。這些指令往往與特定的金融邏輯緊密相關(guān)，通用大模型如果不能準確執(zhí)行這些復(fù)雜的金融指令，就很難在金融領(lǐng)域中得到有效應(yīng)用。金融領(lǐng)域具有高度的多樣性，不同的機構(gòu)和場景可能有著截然不同的需金融領(lǐng)域具有高度的多樣性，不同的機構(gòu)和場景可能有著截然不同的需求。例如，投研場景會關(guān)注實時熱點分析，投顧場景需關(guān)注投資者安撫等。通用大模型無法滿足這些多樣化和定制化的需求，從實踐來看在落地過程中還涉及到具體的定制化調(diào)優(yōu)。數(shù)據(jù)保護法規(guī)、適當性義務(wù)等。這些法規(guī)要求金融機構(gòu)在處理客戶數(shù)據(jù)和執(zhí)行交易時必須遵循特定的規(guī)則和程序。通用大模型可能在設(shè)計時沒有充分考慮這些合規(guī)性問題，因而在應(yīng)用時可能無法確保機構(gòu)的業(yè)務(wù)操作符合監(jiān)管要求。8行業(yè)大模型應(yīng)用框架（金融）模型部署層大模型復(fù)雜推理XoT智能體模型量化行業(yè)大模型應(yīng)用框架（金融）模型部署層大模型復(fù)雜推理XoT智能體模型量化行業(yè)大模型部署與推理優(yōu)化請求批處理模型部署層金融行業(yè)領(lǐng)域適配訓(xùn)練（2.2.3）參數(shù)微調(diào)低資源領(lǐng)域適配與人對齊模型訓(xùn)練層金融數(shù)據(jù)收集金融指令增強金融行業(yè)數(shù)據(jù)收集與梳理金融指令收集數(shù)據(jù)層基礎(chǔ)基礎(chǔ)大模型?通識知識行業(yè)行業(yè)大模型（金融）金融專業(yè)知識注入推理、規(guī)劃能力提升?金融工具使用?金融知識增強?金融安全合規(guī)?協(xié)作、多智能體等2.2金融領(lǐng)域的行業(yè)大模型開發(fā)技術(shù)2.2.1開發(fā)技術(shù)框架實時性忠實性數(shù)據(jù)層：構(gòu)建大模型的第一步是數(shù)據(jù)收集和處理，這涉及搜集金融領(lǐng)域的大量行業(yè)需求，并符合人類價值觀。此外，還需要考慮到低資源條件下領(lǐng)域適配技模型部署：金融應(yīng)用中模型的快速響應(yīng)至關(guān)重要。需要考慮在特定的硬件資源復(fù)雜推理：金融場景的復(fù)雜推理能力是大模型的高級功能，允許模型進行多步推理和決策支持，這通常涉及到構(gòu)建復(fù)雜的推理鏈、使用情景模擬和智能體決問題以降低誤導(dǎo)性決策風險，這包括開發(fā)和應(yīng)用技術(shù)來識別和糾正模型在生成2.2.2金融數(shù)據(jù)收集與梳理金融數(shù)據(jù)集收集預(yù)訓(xùn)練數(shù)據(jù)負責為模型輸送必結(jié)構(gòu)理解以及廣泛領(lǐng)域的大型模型預(yù)業(yè)金融數(shù)據(jù)是至關(guān)型能夠準確把握金融行業(yè)特有的知識料往往存在獲取困特點企業(yè)財務(wù)報告包括但不限于財務(wù)報表、盈利預(yù)測和負債情況等。這些數(shù)據(jù)主要來源于公司的年度和季度報告，可通過上市公司的公告、證券交易平臺以及金融數(shù)據(jù)服務(wù)供應(yīng)商獲得。使用這些數(shù)據(jù)需對表格、圖表等進行轉(zhuǎn)換，以便模型能夠解析和理解其結(jié)構(gòu)化的數(shù)據(jù)格式金融領(lǐng)域?qū)W術(shù)論文與書籍這些文獻深入探討金融理論的基礎(chǔ)知識，經(jīng)濟學(xué)原理等內(nèi)容。這些資源可以通過學(xué)術(shù)數(shù)據(jù)庫或圖書館訪問行業(yè)分析報告及市場研究這類報告提供關(guān)于特定行業(yè)或市場的深入分析和洞見。源自金融咨詢公司和市場研究機構(gòu)的報告往往需要通過商業(yè)采購來獲取金融產(chǎn)品說明諸如基金投資策略、保險條款等介紹性資料，這些信息多由券商、基金公司以及保險產(chǎn)品供應(yīng)商提供指令數(shù)據(jù)構(gòu)建金融指令集的目的是使人工智能模型適應(yīng)金融領(lǐng)域的專業(yè)性和復(fù)雜性，時滿足特定金融角多樣化服務(wù)金融知識指令和針對保險、基金、證券等具體金融產(chǎn)品和服務(wù)的行業(yè)應(yīng)用知識，金融知識指令有助于提高模型在處理專業(yè)金融問題時的準確性和專業(yè)表達金融計算指令包括財務(wù)分析和復(fù)雜計算公式的操作，金融計算指令不僅要求大模型具有數(shù)值計算能力，并且需要有將金融問題轉(zhuǎn)化為計算問題的理解能力，相關(guān)指令可以使模型具備執(zhí)行精確計算的能力，幫助用戶做出更好的財務(wù)決策金融遵循指令金融行業(yè)受到嚴格的監(jiān)管和合規(guī)要求，具有高度專業(yè)與嚴謹?shù)奶匦?。金融遵循指令確保輸出內(nèi)容符合金融行業(yè)規(guī)范和寫作標準金融角色指令大模型的應(yīng)用受眾包含專業(yè)的投資研究員以及非金融專業(yè)用戶，通過構(gòu)建不同的金融角色，如投資顧問、分析師，基金經(jīng)理等，在構(gòu)建具體應(yīng)用時可以使模型更好地服務(wù)于特定的用戶群體。安全數(shù)據(jù)大模型在提升知識時，需要具備安全分的數(shù)據(jù)構(gòu)建往往需要具備專業(yè)金融知識的專家協(xié)助拒答數(shù)據(jù)集此數(shù)據(jù)集確保在大模型遇到敏感議題、潛可能導(dǎo)致誤解的金融咨詢請求時，能夠恰當?shù)剡x擇不予回答。構(gòu)建此數(shù)據(jù)集的挑戰(zhàn)在于準確定義拒答的邊界，確保模型在遵循合規(guī)性的同時，依然能夠提供有價值的信息。該數(shù)據(jù)集需定期更新，以確保其內(nèi)容與最新的監(jiān)管政策和行業(yè)規(guī)范同步金融價值觀該數(shù)據(jù)集涵蓋了與金融行業(yè)倫理標準和法律規(guī)定相契合的案例、規(guī)章及導(dǎo)則，保輸出內(nèi)容符合行業(yè)的合規(guī)性標準例如，模型在未持牌的情況下，應(yīng)避免提供具體的投資建議、預(yù)測市場走勢或?qū)Π鍓K、市場、股指未來點位進行預(yù)判，同時不得對國內(nèi)市場進行不當描述金融指令數(shù)據(jù)集構(gòu)建與增強高質(zhì)量金融指令數(shù)據(jù)集的構(gòu)建對大模型在金融領(lǐng)域的應(yīng)用效果提升非常重要。大模發(fā)展初期指令形式創(chuàng)新隨著指令微調(diào)數(shù)據(jù)集的發(fā)展初期指令形式創(chuàng)新隨著指令微調(diào)數(shù)據(jù)集的研究深入，新的指令形式“足跡解釋”和“逐步思維過程”等信號，通過精心篩選構(gòu)建的指令數(shù)據(jù)集，更深入地學(xué)習(xí)大語言“TextbooksAreAllYouNeed”則提出了一種新穎的指令集收集方式，過構(gòu)建一個小型的、教科書式由易到難得高質(zhì)量數(shù)據(jù)集來達到超越大型混合不同質(zhì)量數(shù)據(jù)源的模型表現(xiàn)，發(fā)現(xiàn)提高指令多樣性能有效提升指令微調(diào)效果。指令微調(diào)技術(shù)的發(fā)展始于2021年4月發(fā)布的“SuperNaturalInstructionsV1”數(shù)據(jù)集。這一數(shù)據(jù)集首次提出了包含76種不同類型的1616個自然語言處理任務(wù)的指令數(shù)據(jù)集。其任務(wù)實例格式基于成對的（輸入、輸出其中輸入代表人類指令，輸出代表模型的期望回答。在此數(shù)據(jù)集上進行微調(diào)的模型不僅能理解定義特定任務(wù)的人類指令，還能泛化到訓(xùn)練中未見過的其他任務(wù)的人類指令。隨后，基于該思路，還出現(xiàn)了如FLAN等數(shù)據(jù)集，這些數(shù)據(jù)集進一步擴大了任務(wù)種類和數(shù)量，以提高模型的表現(xiàn)。金融指令數(shù)據(jù)集構(gòu)建主要面對數(shù)據(jù)質(zhì)量不一和高質(zhì)量數(shù)據(jù)稀缺的挑戰(zhàn)。指令微調(diào)數(shù)提出數(shù)據(jù)集構(gòu)建原則提出數(shù)據(jù)集構(gòu)建原則圍繞構(gòu)建高質(zhì)量指令微調(diào)數(shù)據(jù)集，產(chǎn)生了多項工作。例如，LIMA（LessIsMoreforAlignment）提出了一種對齊原則，側(cè)重于提供對人類指令有幫助的、能充分傳達相關(guān)事實、知識和信息的高質(zhì)量指令數(shù)據(jù)。基于這種小型但高質(zhì)量的數(shù)據(jù)集，其回答受到人類更大的偏好。Dromedary則采取了另一種基于原則的指令微調(diào)方法，強調(diào)生成詳實可靠、符合道德標準的回答。進化指令的發(fā)展指令適應(yīng)的創(chuàng)新指令適應(yīng)（進化指令的發(fā)展指令適應(yīng)的創(chuàng)新指令適應(yīng)（Ada-Instruct）針對Self-Instruct和Evol-Instruct在領(lǐng)域下游任務(wù)分布對齊方面的不足提出了改進。它通過少量下游任務(wù)數(shù)據(jù)微調(diào)預(yù)訓(xùn)練大模型，生成更適合特定下游任務(wù)的指令。這種方法不僅保持了高質(zhì)量和多樣性，還實現(xiàn)了與下游任務(wù)分布的高度對齊，為推動大模型在金融領(lǐng)域的應(yīng)用落地提供了可能性。進化指令（Evol-Instruct）使用規(guī)則生成復(fù)雜指令的方法。通過深度進化和廣度進化的策略，它要求大語言模型生成更為復(fù)雜且多樣的指令。實驗證明，Evol-Instruct生成的Instruct的更加多樣和復(fù)雜，適用于更復(fù)雜的下Instruct的WizardLM等項目嘗試應(yīng)用于特定領(lǐng)了在金融等垂直領(lǐng)域應(yīng)用的潛力。自動化指令生成技術(shù)正成為當前解決數(shù)據(jù)分布不平衡和質(zhì)量參差不齊等問題的關(guān)鍵。（Self-Instruct）通過prompting，利用少量高質(zhì)量種子指令數(shù)據(jù)集作為點，自動地從模型本身生成新的指令信號。通過迭保指令池的多樣性。這種方法大幅降低了人工參與成本。基于Self-Instruct技術(shù)的StanfordAlpaca和CodeAlpaca等工作關(guān)注于領(lǐng)域內(nèi)的指令生成，成為大模型應(yīng)用的重要技2.2.3金融領(lǐng)域適配與參數(shù)微調(diào)增量微調(diào)通過在原模型增量微調(diào)通過在原模型中添加少量額外參數(shù)來實現(xiàn)微調(diào)，這些參數(shù)提供新的模型表達能力，而不干擾已有知識結(jié)構(gòu)。Adapter方法是一種常見的增量微調(diào)技術(shù)，它通過在模型的attention和FFN層之后添加全連接網(wǎng)絡(luò)來實可訓(xùn)練參數(shù)，轉(zhuǎn)化為在連續(xù)空間的優(yōu)化問題。然而增量微調(diào)方法的可學(xué)習(xí)參數(shù)空間較小，因此影響了模型的效果。在金融行業(yè)中，尤其是在資源有限或?qū)τ嬎愠杀久舾械沫h(huán)境下，高效參數(shù)微調(diào)（Parameter-efficientfine-融特定任務(wù)。這使得缺乏大規(guī)模計算能力的用戶也能從大模型中受益。PEFT技術(shù)中增量微調(diào)增量微調(diào)部分微調(diào)部分微調(diào)部分微調(diào)即選擇性地微調(diào)一部分參數(shù)，例如僅微調(diào)神經(jīng)網(wǎng)絡(luò)的頂極少部分模型參數(shù)，例如僅0.05%，就可以取得良好效果。部分微調(diào)的優(yōu)勢在于其低成本和減少推理時負擔，但在大規(guī)模模型上，其效果可能與完全微調(diào)仍有一定差距。重參數(shù)化重參數(shù)化重參數(shù)化通過數(shù)學(xué)上的低秩近似將大規(guī)模權(quán)重矩陣分解為更小的矩陣，將原模型參數(shù)凍結(jié)而微調(diào)新的矩陣，從而減少所需訓(xùn)練參數(shù)的數(shù)個典型例子，它將權(quán)重矩陣分解成兩個低秩矩陣的乘積。這種方法在保持模型性能的同時，顯著降低了計算資源需求，尤其適用于處理擁有數(shù)十億甚至更多參數(shù)的大模型。fromHumanFeedback)是一種結(jié)為人知的對齊技術(shù)之一。這一過程涉及結(jié)合監(jiān)督微調(diào)和強化學(xué)習(xí)來訓(xùn)練模型。監(jiān)督微調(diào)使用人類注釋的數(shù)據(jù)來教導(dǎo)模型期望的行為。然后，強化學(xué)習(xí)根據(jù)人饋直接融入模型的訓(xùn)練過程中，使模型能夠更好地理解并遵循人類的價值觀和語言模型策略。這種方法消除了對顯式獎勵建模和強化學(xué)習(xí)的需求，使其更穩(wěn)化學(xué)習(xí)，將所有反饋轉(zhuǎn)化為句子并對模型進行微調(diào)來學(xué)習(xí)。這種方法讓模型能基于SRAM基于SRAM的內(nèi)存優(yōu)化FlashAttention是一種典型的SRAM的優(yōu)化技術(shù)。SRAM作為片上內(nèi)存，雖內(nèi)存容量有限（如A40的20MB但運算速度極快（可以達到19TB/s）。FlashAttention通過將Attention操作的計算從HBM轉(zhuǎn)移到SRAM，實現(xiàn)分塊計算和算子融合。這樣不僅減少了對交換帶來的計算瓶頸，節(jié)省內(nèi)存的同時提高了推理速度。動態(tài)批處理連續(xù)批處理與靜態(tài)批處理相比，動態(tài)批處理（Dynamicbatching）會在新的請求到來時將模型的輸入填充到相同的長度并的利用率。然而，批請求的輸入中填充長度影響了內(nèi)存基于基于HBM的內(nèi)存優(yōu)化PagedAttention是一種典型的基于HBM的優(yōu)化過程中，KVcache保存當前上下文以預(yù)測下一個單詞，但其大小高度可變且不可預(yù)測。PagedAttention通過在非連續(xù)內(nèi)存空間中存儲連續(xù)的key和value，解決了由于內(nèi)存分配不當（如碎片化）導(dǎo)致的HBM內(nèi)存浪費問題。這使得相同的HBM空間可以支持更大的批處理大小，極大提高了系統(tǒng)的吞吐量。請求批處理傳統(tǒng)批處理采用靜態(tài)批處理（Staticb連續(xù)批處理（Continuousbatching）通過細粒度的調(diào)度和內(nèi)存優(yōu)化技術(shù)有效地解決了靜態(tài)批處理和動態(tài)批處理中存在的問題。這類技術(shù)方案允許請求根據(jù)需要加入或離開批次，從而消除了對請求的輸入進行填充的需求。vLLM實現(xiàn)了連續(xù)批處理。在vLLM中，新到來的請求會搶占現(xiàn)processing）。DeepSpeed-FastGen同樣實現(xiàn)了連續(xù)批處理，不同的是DeepSpeed-FastGen會將長的提示詞分成小塊，并在多個前向傳播中進行調(diào)度，在最后的前向傳播時執(zhí)行生成過程。模型量化訓(xùn)練中量化訓(xùn)練中量化訓(xùn)練中量化訓(xùn)練中量化（Quantization-AwareTraining也被稱為在線量化，需要在量化的同時結(jié)合反向傳播對模型權(quán)重進行調(diào)整。這種方法利用額外的訓(xùn)練數(shù)據(jù)以保留預(yù)訓(xùn)練數(shù)據(jù)的分布特征。例如，LLM-QAT是一種用于大模型壓縮的先進技術(shù)，它通過利用預(yù)訓(xùn)練語言模型本身生成的數(shù)據(jù)，更好地保存了數(shù)據(jù)的分布特征。與基于RTN（round-to-個指標上顯示了顯著的優(yōu)勢。預(yù)訓(xùn)練階段訓(xùn)練后量化訓(xùn)練后量化訓(xùn)練后訓(xùn)練（Post-TrainingQuantization也稱為離線量化，是在已訓(xùn)練的模型上進行的，通常使用少量或不使用額外數(shù)據(jù)進行模型量化過程它基于早期的OBD（OptimalBrainDamage）方法開發(fā)。OBD是一種剪枝方法，通過去除影響目標最小的參數(shù)來減少模型參數(shù)。GPTQ在此基礎(chǔ)上應(yīng)用了懶批次更新和喬列斯基分解，克服了通信帶寬的瓶頸并減少了計算量。這使得GPTQ能夠在短時間內(nèi)將大模型高效、精確地壓縮到低精度。智能體將根據(jù)問題的性質(zhì)和需求，設(shè)計出一個解決問題的框架或計劃。這個框架或計劃可以來自于專家的經(jīng)驗，也可以通過搜索類似問題的解決方法來生成。指令微調(diào)訓(xùn)練階段對齊訓(xùn)練階段推理階段指令微調(diào)訓(xùn)練階段對齊訓(xùn)練階段推理階段智能體將根據(jù)問題的性質(zhì)和需求，設(shè)計出一個解決問題的框架或劃。這個框架或計劃可以來自于專家的經(jīng)驗，也可以通過搜索類似問題的解決方法來生成。智能體將根據(jù)執(zhí)行階段的答案或解決方案，生成一份完整的報告或解讀。這個過程可能涉及到信息的整合、思想的澄清和語言的優(yōu)化等。智能體將對表達階段的報告或解讀進行評價，檢查其準確性、合理性和完整性，并提出修改意見。事實性幻覺的緩解策略高質(zhì)量數(shù)據(jù)集的使用：通過使用高質(zhì)量、專業(yè)領(lǐng)域的數(shù)據(jù)集，如維基百科和該方法利用了一個觀點：事實知識在語言模型的較高層中更為突出。通過比較忠實性幻覺的緩解策略2.2.6金融領(lǐng)域復(fù)雜推理思維鏈結(jié)構(gòu)變體方法常規(guī)的線性鏈式結(jié)構(gòu)一定程度限制了對金融領(lǐng)域的復(fù)雜任務(wù)上的推理能力，于是可采用程序語言或算法（Algorithm-of-Thought）代替自然語言，利用程序算法作為推理鏈條；為進一步拓展思維鏈探索廣度，構(gòu)造思維樹結(jié)構(gòu)（Tree-of-Thought使用樹搜索算法對不同推理路徑進行探索；對于更復(fù)雜的金融任務(wù)，引入圖拓撲結(jié)構(gòu)（Graph-of-Thought進行信息聚合和多路徑推理，以獲得更通用、更全局的推理視角。思維鏈推理結(jié)果驗證方法一方面，對思維鏈每一個金融分析和推理步驟進行細粒度校驗，通過演繹推理檢驗前后推理的一致性，即前向推理驗證。另一方面，根據(jù)金融問題和模型的預(yù)測結(jié)果來反向推理其發(fā)生條件，通過比較推測出的條件與真實條件的一致性來判斷推理的正確性，即反向推理驗證。Google提出的Self-Consistency方法生成多個答案候選，并在其中尋找一致性，最終選擇最一致的答案，可有效提高大模型在金融知識問答和文本補全等任務(wù)上的性能。思維鏈推理過程驗證方法與推理結(jié)果驗證方法相對，該方法專注于推理鏈中每一個單獨的推理步驟的效驗。例如，Self-Check方法通過對推理過程的每一步進行驗證來確保邏輯的嚴密性；GRACE方法則進一步優(yōu)化這種驗證，通過引入額外的校驗機制提高推理的可信度。思維鏈問題分解方法對于復(fù)雜金融推理任務(wù)，可采用自頂向下的問題分解策略，將一個復(fù)雜問題分解成若干個子問題，然后逐一解決從而得到最終答案。另一種常用方法是采用一種迭代分解策略，每次迭代分解出一個子問題并對其進行推理解答，以遞推方式進行后續(xù)問題分解外部知識增強方法從金融知識庫、金融知識圖譜、以及金融相關(guān)的百科和詞典等，引入外部金融知識，從其中獲取結(jié)構(gòu)化知識進行知識指導(dǎo)下的思維鏈推理，同時根據(jù)結(jié)構(gòu)化知識對推理的真實性和可信性來進行智能體推理一類常用方法包括解決簡單金融問題的以思維鏈（CoT）為代表的逐步規(guī)劃和執(zhí)行方以及解決多因子耦合復(fù)雜關(guān)系金融問題的思維智能體自我反思（Self-reflection）是對以前制定的計劃進行回顧性思考，以糾正基于內(nèi)部反饋機制的反思基于人類互動反饋的反思基于環(huán)境反饋基于內(nèi)部反饋機制的反思基于人類互動反饋的反思基于環(huán)境反饋的反思感知記憶短期記憶通過智能體內(nèi)部機制強調(diào)學(xué)習(xí)過程中的自我調(diào)整和持續(xù)改進。例如，Reflexion框架通過自我反思和語言反饋提升智能體的推理能力。該框架在標準強化學(xué)習(xí)環(huán)境中加入語言元素，學(xué)習(xí)避免重復(fù)錯誤的經(jīng)驗，通過內(nèi)部記憶映射適應(yīng)環(huán)境。在金融領(lǐng)域，智能體每次執(zhí)行任務(wù)后，通過啟發(fā)式函數(shù)評估當前效果，并決定是否重置所處的環(huán)境，以更好地應(yīng)對快速變化的金融市場的挑戰(zhàn)。通過與人類直接互動獲得反饋，有效確保智能體與人類的價值觀和偏好一致，同時有助于緩解幻覺問題，對于金融領(lǐng)域強監(jiān)管、強規(guī)范的要求下這點尤為重要。例如，在ChatGPT的訓(xùn)練中采用的基于人類反饋的強化學(xué)習(xí)RLHF智能體利用客觀世界或虛擬環(huán)境的反饋進行反思。例如，ReAct將推理和行動結(jié)合起來應(yīng)用到大模型上，其中推理軌跡有助于模型歸納、跟蹤、更新行動計劃，并輔助進行異常處理；而行動則通過與知識庫、維基百科API、環(huán)境等外部信息源交互收集必要反饋信息。金融市場環(huán)境瞬息萬變，如何實時地對環(huán)境反饋做出快速反思和應(yīng)對，又能夠兼顧短期、中期和長期的市場趨勢是對金融Agent提出更高自我反思要求。能夠在原始刺激結(jié)束后保持對感官信息的印象，包括圖像記憶（視覺）、聲記憶（聽覺）和觸摸記憶（觸感）等，可作為金融領(lǐng)域相關(guān)數(shù)值、文本、圖像和視頻等多種模態(tài)的智能體原始輸入。存儲智能體所知信息，以及執(zhí)行復(fù)雜的學(xué)習(xí)和推理等認知任務(wù)所需要的信息，如包括提示工程的上下文學(xué)習(xí)等。該類型記憶時間較短且影響范圍有限，受到智能體網(wǎng)絡(luò)框架Transformer的上下文窗口長度的限制。所以，為了增強智能體的記憶能力，尤其記憶垂直領(lǐng)域的上下文信息（如金融領(lǐng)域的行業(yè)規(guī)范、任務(wù)要求以及當前金融市場情況等可通過增加Transformer的輸入長度來實現(xiàn)。例如LONGMEM通過解耦模型的記憶與知識，將上下文長度擴展至65K，提升了智能體對豐富的提示示例的支持能力。文本輸出具身行動大模型賦予智能體文本輸出具身行動大模型賦予智能體通過自然語言與用戶和環(huán)境進行交流。金融領(lǐng)域的智能客服、報告生成、文檔審核、輿情分析等都屬于該種類型。智能體主動感知和理解物理環(huán)境，根據(jù)大模型內(nèi)部知識做出決策從而產(chǎn)生近似人類行為的方式地理解和適應(yīng)環(huán)境。這類具有具身行動的智能機器人目前還處于快速發(fā)展中，目前僅在室內(nèi)引導(dǎo)、交互式顧客服務(wù)等少數(shù)金融場景下初長期記憶將信息存儲較長時間，理論上可實現(xiàn)永久存儲無限多的數(shù)據(jù)。例如，智能體在推理過程中需要查詢外部的各類金融報告、金融數(shù)據(jù)庫和知識庫等，實現(xiàn)快速檢索和訪問數(shù)據(jù)。常用的實現(xiàn)方法是利用向量數(shù)據(jù)庫，基于人工智能中的嵌入技術(shù)將金融文本、圖像、音視頻等非結(jié)構(gòu)化數(shù)據(jù)壓縮為多維向量。利用這種向量化數(shù)據(jù)管理方式構(gòu)建結(jié)構(gòu)化向量數(shù)據(jù)庫，智能體可在其中進行快速、高效的數(shù)據(jù)存儲和檢索，從而賦予了智能體更為強大的長期記憶能力。長期記憶使用工具工具可以顯著拓展智能體的行動空間，使得它可以在推理和規(guī)劃階段利用各種外部資源，在行動階段使用專業(yè)工具執(zhí)行特定領(lǐng)域模型作為中心控制器，通過自然語言與各種AI模型協(xié)同工作，共同解決復(fù)雜任務(wù)。金融領(lǐng)域已經(jīng)存在大量的金融方法和工具，如投資策略、風險檢測、收入預(yù)測、金融衍生品定價、資產(chǎn)組合優(yōu)化和量化交易等。這些工具都可通過金融智能體進行系統(tǒng)性的規(guī)劃、調(diào)度和調(diào)用，以完成那些專業(yè)化的金融任務(wù)。使用工具2.3行業(yè)大模型在金融領(lǐng)域的應(yīng)用框架應(yīng)用請求方應(yīng)用請求方請求（Prompt）響應(yīng)（安全的生成內(nèi)容）輸入內(nèi)容安全組件輸入內(nèi)容安全組件輸出內(nèi)容安全組件輸出內(nèi)容安全組件響應(yīng)（生成內(nèi)容）安全的請求（Prompt）金融知識庫信息檢索答案行業(yè)大模型（金融）智能體…智能體智能體…智能體工具調(diào)用調(diào)用結(jié)果金融工具庫具體應(yīng)用場景不同，可以是通過用戶交互界面直接請求大模型的客戶，也可以輸出內(nèi)容安全組件：對于大模型生成的待返回給請求方的內(nèi)容進行分析，并判斷待輸出內(nèi)容是否存在安全合規(guī)風險，如存在安全風險，可以對輸入內(nèi)容進行現(xiàn)從知識庫中迅速而準確地檢索相關(guān)信息。通過將檢索后的信息結(jié)合問題以Prompt當前大模型在處理邏輯推理和高度專業(yè)化的復(fù)雜金融指令時仍有不足，可通過金融執(zhí)行（Executing）表達（Expressing執(zhí)行（Executing）表達（Expressing）評價（Evaluating）策劃（Engineering）智能體將根據(jù)策劃階段的框架或計劃，搜集和整理相分析和邏輯推理，形成一個初步的答案或解決方案。智能體將根據(jù)執(zhí)行階段的答案或解決方案，生成一份完整的報告或解讀。這個過程可能涉及到信息的整合、思想的澄清和語言的智能體將對表達階段的報告或解讀進行評價，檢查其準確性、合理性和完整性，并提出修改任務(wù)分配問題任務(wù)分配問題系統(tǒng)需要將復(fù)雜的金融任務(wù)合理地劃分并分配給不同的專業(yè)金融智能體。在這個過程中，確保每個智能體承擔的子任務(wù)與其能力相的完整性與一致性，避免執(zhí)行過程中產(chǎn)生重疊或遺漏。策略協(xié)商問題策略協(xié)商問題智能體需要選擇合適的策略來執(zhí)行其子任務(wù)，并與其他智能體進行有效的協(xié)商，形成統(tǒng)一的決策和行動方案。這要求智能體之間能夠通力合作，實現(xiàn)策略的統(tǒng)一與行為的協(xié)調(diào)。信息共享問題信息共享問題在多智能體系統(tǒng)中，智能體需要共享和交換關(guān)鍵理這些信息的不完整性、不一致性和不可靠性等和有效性。智能體將根據(jù)問題的性質(zhì)和需求，設(shè)計出一個解決問題的框架或計劃。這個框架或計劃可以驗，也可以通過搜索類似問題的解決方法來生成。行相關(guān)的金融知識庫檢索，使用相關(guān)的金融工具庫查詢相關(guān)數(shù)據(jù)以及進行簡單的邏輯推理和歸納，形成一個初步的答案，例如：針對巴菲特的投資理念和原則，執(zhí)行節(jié)點會去搜索相關(guān)金融知識庫關(guān)于巴菲特的咨詢新聞，并通過大模型的理解生成能力總結(jié)出一個初步答案。針對比亞迪的財務(wù)狀況，則可以通過調(diào)化、比亞迪與其他新能源競爭對手的競爭力比較、以及巴菲特可能的資產(chǎn)配置投資決策的所有潛在因素。如果最終結(jié)論沒有回答原問題，或回答本身有邏輯2.4大模型的應(yīng)用實踐金工定量+專家定性的人工模式，在效率效果上都難以滿足發(fā)展訴求，新趨勢也帶來支小助投研版的實測數(shù)據(jù)表明，其每日可輔助每位投研分析師高質(zhì)量地完成超過“螞蟻?！蓖ㄟ^搭建智能化理賠平臺，建設(shè)了高精度的“自動化信息提取”和“自2.4.3個人金融智能助理2.4.4零樣本金融合同要素提取53%準確率，有了顯著提升。對于金融和合同管將提供更高效和可靠的合同合規(guī)性審查支持，從而模型應(yīng)用流程（4）可溯源性增強（5）有害內(nèi)容防控模型應(yīng)用流程（4）可溯源性增強（5）有害內(nèi)容防控大模型的應(yīng)用安全3.1大模型應(yīng)用在金融業(yè)務(wù)領(lǐng)域的風險分析及防控措施模型推理數(shù)據(jù)的收集和處理生成回答及模型推理數(shù)據(jù)的收集和處理生成回答及模型后處理模型部署參數(shù)微調(diào)（3）可解釋性增強（3）可解釋性增強（1）隱私風險防控（1）隱私風險防控；（2）模型攻擊防御3.1.1大模型的隱私風險防控隱私風險泄露根據(jù)攻擊的方法分為基于記憶的隱私風險泄露和基于推斷的隱私風險基于記憶的隱私泄露成員推斷攻擊攻擊者可以利用訓(xùn)練好的模型預(yù)測一個特定示例是否被用于訓(xùn)練該模型。方法可分為三類，分別是基于分類器的方法、基于度量的方法和差分比較方法。基于分類器的方法代表是影子訓(xùn)練(shadowtraining)，即在知道目標模型結(jié)構(gòu)和訓(xùn)練算法的情況下，構(gòu)建多個影子模型模擬目標模型行為，并利用影子模型的訓(xùn)練數(shù)據(jù)集構(gòu)建成員推斷數(shù)據(jù)集來訓(xùn)練攻擊模型；基于度量的方法通常利用模型傾向于對存在于訓(xùn)練數(shù)據(jù)中的樣本賦予更高的置信度這一觀察來定義度量指標。而差分比較方法(differentialcomparison)首先構(gòu)建非成員數(shù)據(jù)集，然后以迭代的方式將目標數(shù)據(jù)集中的樣本移動到非成員集中。樣本移動后集合距離的變化決定該樣本是否為成員。成員推斷攻擊可能導(dǎo)致嚴重的隱私問題，例如針對金融信貸模型進行成員身份攻擊可能會泄露訓(xùn)練集成員的信貸狀況。Staabetal,《BeyondMemorization:ViolatingPrivacyviaInferencewithLargeLan訓(xùn)練數(shù)據(jù)提取攻擊攻擊旨在從模型中恢復(fù)訓(xùn)練數(shù)據(jù)。狹義上，它的目標是逐字逐句重構(gòu)完整的訓(xùn)練樣本，而廣義上，它也可以指推斷出和訓(xùn)練樣本語義相似的數(shù)據(jù)。在黑盒設(shè)置下，狹義的訓(xùn)練數(shù)據(jù)提取攻擊通常分為根據(jù)輸入的提示進行解碼和利用成員推斷攻擊對生成的結(jié)果進行過濾兩個階段。在GPT-2上，該攻擊方式能成功恢復(fù)一個人的全名、地址和電話號碼。此外，該攻擊的有效性和模型大小、訓(xùn)練數(shù)據(jù)重復(fù)次數(shù)之間存在對數(shù)線性關(guān)系。狹義的訓(xùn)練數(shù)據(jù)提取攻擊可以通過設(shè)計新型解碼算法進行規(guī)避，例如MEMFREE解碼，其在生成的每一步中避免選擇會創(chuàng)建訓(xùn)練集中存在的n-gram的標記。然而這些方法依然無法規(guī)避從模型中推斷出語義相似訓(xùn)練數(shù)據(jù)的問題?；谕评淼碾[私泄露自由文本推斷攻擊通過人工構(gòu)建提示從公開文本中推斷出個人作者的隱私屬對抗性交互攻擊模型以某種方式引導(dǎo)用戶的對話，使他們產(chǎn)生的文本能夠讓模型推斷出潛在敏感的信息數(shù)據(jù)收集與處理階段在數(shù)據(jù)收集和處理階段可進行數(shù)據(jù)治理，清除訓(xùn)練數(shù)據(jù)中的敏感信息。數(shù)據(jù)治理是隱私防御中最直接的方式。PII（個人身份信息）清除是針對個人身份信息泄露的一種數(shù)據(jù)治理方法，用于從文本中刪除個人身份信息，可能包括姓名、地址、電話號碼、身份證號碼等可用于識別特定個人的敏PII清除通?？衫妹麑嶓w識別模型來進行實現(xiàn)。然而在實踐中，PII清除是不完美的，并且必須在最小化信息披露和保留數(shù)據(jù)集效用之間進5顯示對于訓(xùn)練于進行過PII清除的臨床記錄上的BERT模型，基于患者姓名的訓(xùn)練數(shù)據(jù)提取攻擊生成的句子有超過4%包含其真實的醫(yī)療狀況。此外，數(shù)據(jù)去重也可以緩解對訓(xùn)練數(shù)據(jù)的記憶，從而有效減少隱私數(shù)據(jù)泄露。模型訓(xùn)練與推理階段在模型訓(xùn)練階段，差分隱私是較為有效的一項隱私防御技術(shù)。它的核心思想是通過向數(shù)據(jù)添加噪聲或擾動來模糊數(shù)據(jù)，以使攻擊者推斷敏感信息變得困難，從而在提供數(shù)據(jù)的同時保護隱私。典型的差分隱私算法包括DP-SGD和DP-FedAvg等。然而如何在大模型場景下應(yīng)用差分隱私技術(shù)依然存在挑戰(zhàn)。一方面差分隱私算法會給大規(guī)模語言模型帶來性能下降、計算和存儲開銷增加等問題，這些問題隨著語言模型規(guī)模的增加進一步加劇。另一方面文本數(shù)據(jù)上隱私粒度（單個標記、單詞,句子、文檔，甚至整個用戶數(shù)據(jù)集）的鑒定也有待研究。目前在語言模型領(lǐng)域，常用的差分隱私訓(xùn)練框架包含兩個步驟。步驟一在非隱私數(shù)據(jù)上按照普通的訓(xùn)練方法進行訓(xùn)練，該步驟旨在讓預(yù)訓(xùn)練模型學(xué)會通用特征；步驟二在隱私數(shù)據(jù)上利用差分隱私算法進行訓(xùn)練。該框架在保護隱私的同時可以在一定程度上緩解訓(xùn)練開銷的增加。模型后處理模型后處理指在給定訓(xùn)練好的模型后，如何提升其隱私防御能力。一方面可以對大模型進行定期審計，在每次審計中檢測模型生成內(nèi)容是否觸犯用戶隱私，對其違反隱私原則的部分進行替換或過濾。例如，可以構(gòu)建分類器或者利用大模型通過提示的方式判斷當前回復(fù)中是否包含PII，若PII是公開的要求大模型添加引用否則進行替換或重新生成避免將這類信息提供給用戶。另一方面在給定需要保護的隱私資料的情況下，可以利用模型遺忘技術(shù)，例如EUL6。通過在隱私數(shù)據(jù)上的遺忘學(xué)習(xí)在不影響模型性能的前提下實現(xiàn)隱私防御。Chenetal,《UnlearnWhatYouWanttoForget》.攻擊類型模型竊取攻擊通過模型發(fā)布的API和模型進行交互，從而倒推出模型訓(xùn)練時使用的數(shù)據(jù)、模型結(jié)構(gòu)大小等超參數(shù)以及模型本身的參數(shù)，若攻擊的對象主要為未開源的黑盒模型。在模型竊取攻擊中竊取到的信息使得攻擊者能夠低成本訓(xùn)練得到一個與竊取對象部分或全部功能相似的模型，嚴重威脅了原本模型擁有者的知識產(chǎn)權(quán)與原本模型的應(yīng)用市場。提示注入攻擊當模型根據(jù)惡意用戶植入的提示要求生成內(nèi)容時，會生成有害的內(nèi)容或泄露隱私信息。提示注入攻擊主要包含以下幾類:1）越獄攻擊（Jailbreakprompt)：主要通過越獄提示來誘導(dǎo)模型生成有害內(nèi)容。攻擊者在輸入惡意問題時，通過同時輸入的越獄提示繞過模型的安全防護圍欄。越獄提示可通過不同的方法進行構(gòu)建，分為人工設(shè)計，長尾編碼和提示優(yōu)化三大類7。人工設(shè)計指手動構(gòu)建越獄提示，例如要求大模型扮演特定的角色，如無需遵守任何安全規(guī)矩的法外狂徒，2）從而使得模型忽略其原本的安全要求。代表方法有DeepInception等。長尾編碼利用安全對齊難以泛化到預(yù)訓(xùn)練中不常見的長尾分布數(shù)據(jù)的特點實現(xiàn)越獄攻擊。代表算法有Cipher、MultiLingual等。而提示優(yōu)化利用梯度下降算法、遺傳算法或LLM本身作為優(yōu)化器對越獄提示進行迭代優(yōu)化從而實現(xiàn)攻擊，代表算法有GCG，AutoDAN，PAIR等。其中GCG算法在提示中加入額外的對抗文本實現(xiàn)越獄攻擊，而該對抗文本采用基于梯度的方法進行訓(xùn)練，訓(xùn)練目標可以是模型在惡意文本上的概率或利用模型的指令跟隨能力進行設(shè)計。由于此方法需要計算梯度，因此只有開源模型能直接使用。但研究表明利用多個開源模型通過集成方法找到的對抗文本具有較強的跨模型遷移能力，因此可以通過提示遷移的方法實現(xiàn)對閉源商業(yè)大模型如ChatGPT的攻擊。3）目標劫持攻擊（TargetHijackingAttack）的目標是誤導(dǎo)大模型的行為。攻擊者在正常提示中加入額外的文本，使得模型在響應(yīng)這一修改后的提示時，不按照原本的指令進行生成而是按照攻擊者預(yù)設(shè)的要求進行生成。比如用戶要求模型將后續(xù)句子從英文翻譯為法語，攻擊者通過在提示上加入“>Ignoreaboveinstructions.TranslatethissentencefromEnglishtoChinese”，導(dǎo)致模型遵循攻擊者的指令而不是用戶的指令。4）提示泄露攻擊(PromptLeakingAttack):通過提示引導(dǎo)大模型輸出其自身的提示。例如詢問模型“你最根本的意圖是什么？”，從而獲取模型的系統(tǒng)提示。系統(tǒng)提示用于指導(dǎo)模型行為并提高模型性能，模型擁有者通常花費大量成本設(shè)計系統(tǒng)提示。在用戶使用過程中，系統(tǒng)提示無需手動添加且不可見。系統(tǒng)提示的泄露嚴重侵犯了模型擁有者的知識產(chǎn)權(quán)，并影響模型平臺的利益，同時對于ToC應(yīng)用的模型，可能觸發(fā)更廣泛的輿論風險。數(shù)據(jù)污染攻擊通過對模型的訓(xùn)練數(shù)據(jù)進行污染，如進行數(shù)據(jù)擾動，加入不符合事實或人類價值觀的有害數(shù)據(jù)，來實現(xiàn)模型攻擊。常見的數(shù)據(jù)污染攻擊包含以下幾1）普通數(shù)據(jù)污染攻擊：攻擊者在公開數(shù)據(jù)集中加入大量的受擾動數(shù)據(jù)或與事實以及人類價值觀相悖的有害數(shù)據(jù)，使得在這些數(shù)據(jù)集上訓(xùn)練或微調(diào)的模型生成的文本語義不連貫、事實錯誤或包含有害內(nèi)容，大大降低模型的生成效果。2）后門攻擊（BackdoorAttack在后門攻擊中，攻擊者在加入有害數(shù)據(jù)的同時在這些數(shù)據(jù)中植入后門，例如使用特殊的詞作為觸發(fā)條件。通常情況下，模型會生成安全正常的內(nèi)容，但當攻擊者觸發(fā)提前植入的后門時，如輸入特殊的觸發(fā)詞，模型會生成與被污染數(shù)據(jù)相似的惡意內(nèi)容。此外利用后門數(shù)據(jù)對大模型在部分任務(wù)進行微調(diào)會影響模型在未參與微調(diào)的其他任務(wù)上的效果，這加劇了后門攻擊的危害性。模型竊取攻擊防御針對模型竊取攻擊，模型擁有者可在模型生成結(jié)果中嵌入特定內(nèi)容（即水印然后通過檢測水印實現(xiàn)對模型竊取攻擊的有效檢測。例如，在提供詞嵌入服務(wù)(EaaS)場景下，模型擁有者選擇一些中等頻率詞作為觸發(fā)詞，并在提供服務(wù)時在這些觸發(fā)詞的嵌入向量中添加預(yù)設(shè)的水印向量。水印向量的權(quán)重與文本中包含的觸發(fā)詞的數(shù)量成比例。這樣可以在將水印后門有效轉(zhuǎn)移到EaaS竊取者的模型進行版權(quán)驗證的同時，最大程度地減少對原始嵌入實用性的不利影響。提示注入攻擊防御針對提示注入攻擊，防御方式可分為模型推理過程中的防御、輸入預(yù)處理過程中的防御以及輸出后處理過程中的防御。1）模型推理:在模型推理方式中，可分為基于提示的防御以及基于推理回溯的防御?；谔崾镜姆烙鐂elf-reminder方法,在用戶輸入提示的基礎(chǔ)上加入系統(tǒng)提示，提醒模型生成的結(jié)果要安全可信，從而增強模型對攻擊的防御能力。該方法幾乎不影響生成的時間，且對于越獄攻擊和對抗注入攻擊有較好的防御作用。但是此方法會影響模型在普通任務(wù)如文本情感分類上的表現(xiàn)?；谕评砘厮莸姆烙鏡AIN方法在模型自回歸推理的過程中，對前瞻搜索的中間結(jié)果進行價值觀評估，根據(jù)評估的結(jié)果調(diào)整下一個標記的概率分布從而引導(dǎo)模型朝著價值觀更優(yōu)化的方向進行生成，但該方法增加了模型推理過程的復(fù)雜性。2）輸入預(yù)處理：在提示輸入大模型之前，對提示進行預(yù)先處理。提示注入攻擊中的提示往往具有一定的特征，可通過預(yù)處理進行檢測。例如GCG方法得到越獄提示通常是沒有直觀語義的亂碼，可使用困惑度指標進行檢測。部分攻擊會輸入要求模型忽略原先設(shè)定的系統(tǒng)提示的指令，可通過關(guān)鍵詞匹配的方法進行檢測。3）輸出后處理：模型所有者可以專門訓(xùn)練一個文本分類模型或利用大模型通過提示的方法檢測生成內(nèi)容是否符合人類價值觀，如不符合則讓模型重新生成結(jié)果或直接拒絕應(yīng)答用戶的輸入內(nèi)容。數(shù)據(jù)污染攻擊防御針對數(shù)據(jù)污染攻擊，模型擁有者需要將被污染的數(shù)據(jù)篩選出來，避免其進入模型的訓(xùn)練以及生成階段，相關(guān)防御方法包含以下幾種：1）基于文本特征的防御：被污染過的數(shù)據(jù)與正常數(shù)據(jù)在一些文本特征指標上會有所不同，例如植入了后門的文本數(shù)據(jù)的流利度相比正常數(shù)據(jù)會有所欠缺，可利用困惑度進行檢測。2）基于表示向量的防御：被污染的數(shù)據(jù)與正常數(shù)據(jù)通過模型得到的表示向量區(qū)別較大，基于表示向量距離的異常值指標（DAN）利用這個特點，根據(jù)某條文本與正常數(shù)據(jù)的表示向量距離來區(qū)分其是否為被污染數(shù)據(jù)；此外，根據(jù)被植入后門的數(shù)據(jù)與正常數(shù)據(jù)注意力分布差別，也可檢測可能的后門觸發(fā)詞從而輔助篩除被污染數(shù)據(jù)。3.1.3大模型的可解釋性增強微調(diào)范式的可解釋性微調(diào)范式類別具體描述基于特征歸因的方法特征歸因通過度量部分模型輸入對模型輸出的貢獻度來解釋模型的預(yù)測結(jié)果。例如，在文本分類任務(wù)中，度量的單位可以是詞語、短語或者句子，模型的輸出是類別，貢獻度則用數(shù)字表示。常用方法包括（1）基于輸入擾動的方法：刪除部分輸入，根據(jù)刪除前后模型輸出的變化計算貢獻度2）基于梯度的方法：根據(jù)模型輸出對輸入的某個部分的梯度計算貢獻度3）基于代理模型的方法：用結(jié)構(gòu)簡單的代理模型解釋復(fù)雜模型?；谧⒁饬Φ姆椒ㄗ⒁饬C制的注意力權(quán)重可以看作是輸入對輸出的重要程度?；谧⒁饬Φ姆椒ㄖ惺褂米顝V泛的是二分圖和熱力圖可視化分析（如下圖所基于自然語言的方法自然語言解釋是一種特殊的數(shù)據(jù)注釋形式，可由人工標注員在相應(yīng)數(shù)據(jù)集上根據(jù)樣本的輸入和標簽用自然語言的形式進行編寫?？衫萌斯俗⒌慕忉寣ｉT構(gòu)建生成自然語言解釋的模型，該模型一方面在測試階段可用于輔助對樣本預(yù)測結(jié)果的理解，另一方面也可用于為所有訓(xùn)練集和驗證集樣本生成解釋，并將其作為輸入的一部分訓(xùn)練模型提升模型決策能力。研究8驗證了此套方法在常識推理任務(wù)中的有效性。然而人工標注的解釋存在多變性，且可能包含虛假解釋，因此這類方法需要設(shè)計合理的解釋構(gòu)建框架并結(jié)合過濾的方法來提高標注質(zhì)量。提示范式的可解釋性提示范式類別具體描述上下文學(xué)習(xí)上下文學(xué)習(xí)指在提示中使用少量示例樣本來引導(dǎo)模型在特定上下文中完成任務(wù)。此方法不需要修改模型參數(shù)和大量示例樣本，是大模型使用中非常重要的方法。上下文學(xué)習(xí)的工作機理可利用不同的概念框架來進行理解，例如梯度下降、貝葉斯推斷和邏輯回歸集成等。例如，研究9發(fā)現(xiàn)GPT模型在上下文學(xué)習(xí)場景下，示例樣本的標簽起到錨點的作用，可通過底層模塊聚合示例樣本的信息，而模型在高層通過關(guān)注錨點實現(xiàn)下一個詞的預(yù)測，預(yù)測詞和錨點之間的注意力模塊可近似為多個邏輯回歸模型的集成。思維鏈提示作為一種提示的設(shè)計方法，思維鏈提示指在提示中引導(dǎo)模型在解決具體任務(wù)時不僅有任務(wù)的輸出，還包含推理的中間步驟。思維鏈技術(shù)可以有效提升大模型在多種任務(wù)上的性能，尤其是涉及到數(shù)學(xué)、常識或符號的推理任務(wù)，并增強推理過程的可解釋性，然而其工作原理還有待研究?，F(xiàn)有工作借助基于擾動的或者基于梯度的特征歸因方法對思維鏈技術(shù)進行研究。例如基于梯度的特征歸因方法顯著性得分（SaliencyScores）描述了模型輸入中不同詞對輸出的重要性。而利用顯著性得分研究思維鏈技術(shù)，發(fā)現(xiàn)與標準的少樣本提示相比，CoT提示使得顯著性分數(shù)在輸入轉(zhuǎn)述場景或隨機性帶來的輸出變化場景更加魯棒性。大模型的可解釋性在金融領(lǐng)域主要可以協(xié)助使用者理解模型行為以及提升模型本身 Lampinenetal,《Canlanguagemodelslearnfromexplanationsincontext?》Mukherjeeetal,《Orca:ProgressiveLearning被動檢測基于分類器方法將待檢測的語言模型視為黑盒狀態(tài)，利用包含真實文本和生成文本的數(shù)據(jù)集，訓(xùn)練二元分類器進行區(qū)分。早期方法利用邏輯回歸或支持向量機作為分類器，近期方法大多使用經(jīng)過微調(diào)的預(yù)訓(xùn)練語言模型（如RoBERTa和GPT-2）作為分類器。例如，OpenAI利用基于RoBERTa的模型按此構(gòu)建二元檢測器，其在區(qū)分GPT-2和人類生成文本的任務(wù)上正確率高達95%。然而此方法的性能在很大程度上取決于訓(xùn)練和測試時的數(shù)據(jù)分布相似性，容易受到分布外問題的影響。基于零樣本的方法此方法無需額外訓(xùn)練分類器，其根據(jù)LLM生成文本的統(tǒng)計特征，分析生成文本與真實文本之間的差別來實現(xiàn)檢測目標。由于無需額外訓(xùn)練數(shù)據(jù)，此方法可用于多種數(shù)據(jù)分布。在早期方法中，采用的特征有n-grams詞頻、化每個文本位置的單詞概率或排序，對比模型生成文本和人工撰寫文本的差異。基本假設(shè)是由于模型的采樣方式，在預(yù)測生成下一個單詞時會傾向于選擇分布排名靠前的單詞，而人類撰寫的文本在單詞選擇上往往具有多樣性。DetectGPT[2]根據(jù)人類文本和生成文本在經(jīng)過擾動后的對數(shù)概率變化差異，來區(qū)分文本是否由機器基于對抗學(xué)習(xí)的方法此方法構(gòu)建一個生成對抗網(wǎng)絡(luò)，其中包括檢測器和復(fù)述器。檢測器的任務(wù)是判斷一段文本是否由大模型生成，而復(fù)述器的任務(wù)是通過改寫模型生成的文本，使其逃避檢測。檢測器和復(fù)述器通過對抗學(xué)習(xí)的方式進行參數(shù)更法在不同模型間表現(xiàn)出較好的遷移能力主動檢測基于檢索的方法這類方法中，模型所有者在模型生成文本時構(gòu)建生成內(nèi)容數(shù)據(jù)庫。在需要檢測時通過檢索數(shù)據(jù)庫，將待檢測樣本與數(shù)據(jù)庫進行匹配，計算相似段落的文本相似度。如果相似度超過閾值，就判定待檢測文本是模型生成的。此種檢測方式能較好地應(yīng)對復(fù)述攻擊，但需要更新和維護大規(guī)模數(shù)據(jù)庫，部署成本和難度大。此外，這種方法也可能涉及到用戶數(shù)據(jù)的隱私保護等問題?；谒〉姆椒ù祟惙椒ㄖ?，模型在生成文本時嵌入特定的文本水印。有效的文本水印應(yīng)具備隱蔽性和魯棒性。隱蔽性指嵌入文本的水印應(yīng)不影響文本的整體可讀性和主要含義，能通過特定的算法識別出來，但人類無法察覺。魯棒性指水印應(yīng)具備抗干擾能力，除非經(jīng)過對文本的大幅修改，否則簡單的文本擾動難以去除水印。文本水印技術(shù)又可分為基于規(guī)則的水印方法和基于統(tǒng)計的水印方法兩類?；谝?guī)則的水印方法中，對生成的文本根據(jù)預(yù)定義的規(guī)則進行相應(yīng)處理，以加入水印。該方法通過替換、插入、刪除或單詞變形等操作，使得生成文本具有特定的模式或結(jié)構(gòu)。其在文本中不可見，但能被計算機識別。而基于統(tǒng)計的水印方法則通過調(diào)整解碼過程中輸出文本的概率分布加入水印，并利用統(tǒng)計方法進行檢測。其中一個典型方法是水印方案。在水印添加階段，文本生成的每一步都會基于前一個單詞的logit向量來生成哈希值，此哈希值用于將候選單詞列表劃分為兩個部分：紅色列表和綠色列表，并在下一步生成過程中增加單詞來自綠色列表的概率。在水印檢測階段，則計算文本中來源于紅色和綠色列表的單詞所占比例，并通過統(tǒng)計顯著性檢驗來確定文本中是否含有水印。提供相關(guān)證據(jù)來支撐其答案。目前大模型歸因可分為“協(xié)同歸因（Collaborative協(xié)同歸因主要通過外部知識驗證驗證大模型的輸出是否正確，其具體措施包括生成與大模型輸出相關(guān)的引文驗證、通過獨立知識庫及外部資源基于關(guān)鍵詞匹配檢索大模型輸出內(nèi)容的知識檢索驗證以及利用數(shù)據(jù)匹配算法對外部事實數(shù)據(jù)庫查詢比對的事實驗證。貢獻歸因用于確定訓(xùn)練數(shù)據(jù)與大模型輸出的關(guān)聯(lián)度，量化訓(xùn)練樣本對大模型輸出的影響程度。其包括影響函數(shù)驗證、數(shù)據(jù)模擬器驗證以及數(shù)據(jù)模型驗證。分別從改動訓(xùn)練數(shù)據(jù)、生成模擬數(shù)據(jù)以及構(gòu)建數(shù)據(jù)模型來分析觀察對大模型輸出的影響。用的數(shù)據(jù)集構(gòu)建方法有網(wǎng)絡(luò)收集、專家標注、眾包標注和大模型標注。比如，OffensiveTwitter數(shù)據(jù)集利用Twitter數(shù)據(jù)通過關(guān)鍵詞匹配的方法進行標注，股薦基內(nèi)容，可以通過訓(xùn)練專用的內(nèi)容風控針對未持牌的主體在金融領(lǐng)域大模型的應(yīng)用，則投資組合建議等持牌業(yè)務(wù)。在模型推理階段，為無金融合規(guī)風險無金融合規(guī)風險違規(guī)出具具體投資建議無金融合規(guī)風險無金融合規(guī)風險違規(guī)出具具體投資建議輸入內(nèi)容是否有針對個股個基金強配置建議是否有投研觀點透出是違規(guī)薦股薦基違規(guī)薦股薦基是否有具體預(yù)測是否有具體點位/時點否是否無金融合規(guī)風險無金融合規(guī)風險數(shù)據(jù)收集與處理利用上一小節(jié)中的識別方法對數(shù)據(jù)集進行檢測，只保留無毒數(shù)據(jù)用于訓(xùn)練模型。但這種方法難以消除數(shù)據(jù)集中的所有有毒內(nèi)容，尤其是隱式有毒內(nèi)容。此外，如果采用較大模型進行毒性檢測，由于訓(xùn)練集規(guī)模大，數(shù)據(jù)治理的時間成本和計算成本也會較大。同時，模型本身通過推斷得出的有毒內(nèi)容無法被徹底過濾。模型訓(xùn)練在模型訓(xùn)練階段，有多種方法用于有害內(nèi)容消除。研究13提出了DAPT和ATCON兩種訓(xùn)練方法。DAPT在原預(yù)訓(xùn)練模型的基礎(chǔ)上額外在無毒數(shù)據(jù)子集上進行訓(xùn)練，而ATCON方法則對訓(xùn)練集中的樣本隨機賦予<|toxic|>或者<|nontoxic|>的前綴進行訓(xùn)練，而在解碼階段基于<|nontoxic|>的前綴進行解碼。此外，用于模型價值觀對齊的手段也有助于有毒內(nèi)容消除，比如本文第二部分提到的與人對齊技術(shù)中的RLHF（ReinforcementLearningfromHumanFeedback）和RAFT（RewardAlignedFineTuning同時在模型開發(fā)過程中定期進行紅藍攻防并進行數(shù)據(jù)監(jiān)測、優(yōu)化也可幫助發(fā)現(xiàn)模型對有害內(nèi)容的漏洞，從而進一步鞏固安全防控。模型推理在模型推理階段，可預(yù)先設(shè)定一系列黑名單詞語，使得它們在生成時的概率降低。工作提出為詞匯表里每個詞學(xué)習(xí)一個二維向量，用來代表有毒和無毒，接著用這個向量來增加推理時無毒詞的生成概率。然而這兩種方法都無法消除隱含有毒內(nèi)容?？煽匚谋旧杉夹g(shù)也可用于有毒內(nèi)容消除。PPLM方法在模型生成過程中，利用毒性分類器計算梯度更新模型的隱藏模型后處理在模型后處理階段，可通過嵌入式的內(nèi)容安全防控工具來實現(xiàn)有毒內(nèi)容的二次復(fù)核及消除。但一般的內(nèi)容審核工具基于傳統(tǒng)的內(nèi)容巡檢邏輯，審核滯后性較高，不適配大模型實時生成的內(nèi)容，因此可考慮嵌入內(nèi)容風控融合規(guī)性，因此開發(fā)金融垂類的內(nèi)容風控大模型對目標大模型進行審核，攔截違規(guī)內(nèi)容，并在產(chǎn)品鏈路上彈出兜底答案，也可在一定程度上減少違規(guī)內(nèi)容的透出。3.2大模型風險治理框架借鑒3.2.1美國關(guān)于人工智能的治理3.2.3英國人工智能治理方案2023年，英國基于以下幾條大原則，發(fā)布了旨在帶來更清晰和一致的人工智能監(jiān)管大模型評測4.1通用大模型評測框架評估領(lǐng)域決定了評測框架的應(yīng)用范圍。不同的領(lǐng)域，如金融、醫(yī)療或法律，擁有不同的數(shù)據(jù)特性、任務(wù)需求和合規(guī)要求。因此，評測框架必須能夠適應(yīng)特定領(lǐng)域的唯一需求和挑戰(zhàn)。一個優(yōu)秀的領(lǐng)域?qū)Ｓ迷u測框架，對于牽引相關(guān)領(lǐng)域模型迭代優(yōu)化，起著至關(guān)重要的作用。能力維度知識能力：衡量模型對廣泛知識的了解程度，關(guān)注于模型在不同教育層次的學(xué)科知識掌握情況，從義務(wù)教育、高等教育以及職業(yè)教育等角度，通過對各級學(xué)科進行分類，構(gòu)建完整的學(xué)科能力評測方案。推理能力：該維度針對模型的邏輯分析與問題解決能力。模型的推理能力不僅涉及數(shù)學(xué)計算和邏輯判斷，還包括對復(fù)雜問題的因果推斷和程序代碼的生成與debug能力。理解能力：評估模型對于給定文本的深入理解程度，包括對文字含義的把握、主旨的抽取、語境的解讀以及創(chuàng)意寫作。評測時可以通過提供文章摘要、批判性閱讀分析、以及圍繞特定主題的創(chuàng)意寫作任務(wù)來衡量模型的理語言能力：關(guān)注模型在理解和生成語言方面的能力，包括對字詞的精準辨識、分類、含義解釋以及新詞創(chuàng)造；對語句、段落的語法結(jié)構(gòu)進行解析和錯誤糾正；以及將一種語言翻譯為另一種語言的能力。通過設(shè)計細致的語言測試，包括同義詞辨析、句子改寫、多語種翻譯等任務(wù)，來全面評估模型的語言處理能力。安全能力：確保模型的輸出不僅符合技術(shù)要求，還要符合社會和道德規(guī)范，這是避免潛在風險和不當使用的關(guān)鍵。通過設(shè)置與實際應(yīng)用場景相符的測試用例和模擬情境，可以檢驗?zāi)Ｐ驮诟鞣N復(fù)雜環(huán)境下的安全表現(xiàn)。數(shù)據(jù)分類大模型評測集的數(shù)據(jù)來源包含網(wǎng)絡(luò)爬蟲、教科書、業(yè)務(wù)數(shù)據(jù)，以及問答社區(qū)和知識庫等渠道，旨在全面衡量模型的知識掌握和實際應(yīng)用能力。網(wǎng)絡(luò)爬蟲數(shù)據(jù)為模型提供了豐富的語言環(huán)境和現(xiàn)實世界的情境，包括最新的新聞、流行話題和公眾討論教科書是權(quán)威的學(xué)術(shù)資源，它們給模型帶來了正式的學(xué)科知識和概念性學(xué)習(xí)材料。業(yè)務(wù)數(shù)據(jù)則來源于特定行業(yè)或企業(yè)，這些數(shù)據(jù)集中于具體領(lǐng)域的專業(yè)知識和場景，對于評估模型在專業(yè)環(huán)境中的適用性至關(guān)重要。問答社區(qū)和知識庫如知乎提供了用戶生成的問題與答案，這些實際的交互數(shù)據(jù)可以檢驗?zāi)Ｐ偷膽?yīng)答質(zhì)量和問題解決能力。綜合這些來源，評測集能夠更精確地揭示模型在理解和生成語言、處理知識信息、以及與用戶交互方面的實際表現(xiàn)。題型分類文本補全測試：評估模型預(yù)測和插入缺失文本片段的能力，要求模型展現(xiàn)對上下文的理解并準確推斷出合適的內(nèi)容。多項選擇測試：旨在衡量模型能否在多個可能答案中選擇最合適的一項，從而考驗?zāi)Ｐ偷闹R儲備，閱讀理解和分析判斷能力。文本摘要生成：檢驗?zāi)Ｐ吞崛￡P(guān)鍵信息并有效壓縮長篇文章為簡潔摘要的能力，這對于評估模型的信息處理和概括能力至關(guān)重要。代碼生成：此類測試專注于模型理解編程語言規(guī)范并根據(jù)功能需求生成準確代碼的能力，是衡量其技術(shù)應(yīng)用潛力的關(guān)鍵。工具調(diào)用：測試模型能否正確使用特定工具或服務(wù)來完成任務(wù)，如查詢數(shù)據(jù)庫、調(diào)用API接口等，這反映了模型的實用性和交互能力。構(gòu)建方式對于PDF格式的數(shù)據(jù)，可以采用OCR技術(shù)進行電子化處理，隨后通過人工干預(yù)進行清洗和校正，以確保構(gòu)建出高質(zhì)量的評測題目。相比于可能被模型預(yù)訓(xùn)練過的網(wǎng)頁文本格式試題，PDF格式的數(shù)據(jù)更能保障評估結(jié)果的客觀性，以避免數(shù)據(jù)穿越的潛在影響。對于未標注的教科書或?qū)I(yè)資料，可以利用語言模型的轉(zhuǎn)換功能，將這些內(nèi)容轉(zhuǎn)化為填空題、問答題以及選擇題等形式。鑒于生成式大模型可能產(chǎn)生的幻覺問題，直接利用大模型生成題目可能無法確保其有效性。因此，利用教科書和專業(yè)資料作為基礎(chǔ)，借助模型本身的語言理解能力構(gòu)建評測題目是一種非常有效的方案。此外，專家構(gòu)造的評估集也是評測工具箱中的重要組成部分。這類評估集能夠有效避免數(shù)據(jù)泄露問題，并且人類專家能夠創(chuàng)造眾多獨特而富有挑戰(zhàn)性的評估數(shù)據(jù)。然而，專家構(gòu)造評估集也面臨規(guī)模有限、創(chuàng)建和更新成本高昂的局限性。針對業(yè)務(wù)數(shù)據(jù)的題目構(gòu)建，可以通過精心設(shè)計的提示（prompt）和規(guī)則將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化成具體的評測題型，以此評估模型在實際業(yè)務(wù)環(huán)境中的適用評測方法客觀評估：客觀評估通過量化指標來衡量模型在特定任務(wù)上的表現(xiàn)，是小模型時代主流的評估方法，常用的評估指標包括：準確率、F1分數(shù)、ROUGE指標、METEOR分數(shù)以及pass@k指標主觀評估：在實施大型語言模型的評估時，純粹依賴于客觀指標并不能完全捕捉到模型的語言能力及其在安全性方面的細微差別。因此，采用以人類評價者的主觀感知為基礎(chǔ)的評估方法，能夠更全面地衡量模型的綜合性能。主觀評估則依靠人類專家根據(jù)經(jīng)驗和判斷來進行，它涉及對模型性能的個人感知評價和比較，旨在識別模型的優(yōu)勢和潛在的改進空間。主觀評估常考察內(nèi)容的流暢度、邏輯一致性和符合標準性等因素，提供更全面和深入的評估視角，彌補了客觀評估可能存在的不足，盡管如此，主觀評估過程往往耗時且人力成本較高。對于人工評估，使用GPT-4進行評估可作為其替代方法（團隊內(nèi)部評估過，GPT-4作為人工評估替代方案，與專業(yè)達標人員評估相關(guān)度高，且效率大大提升）。除了使用GPT4輔助評估，業(yè)界還曾以眾包方式讓不同的大模型進行匿名隨機的對抗測評。這種評級基于國際象棋等競技游戲中廣泛使用的Elo評分系統(tǒng)（Elo是一種計算玩家相對技能水平的方法，通過兩名玩家之間的評分差異可以預(yù)測比賽的結(jié)果在ChatbotArena評測基準和著名的中文通用大模型綜合性評測基準SuperCLUE中都應(yīng)用了這種評估方上下文學(xué)習(xí)與思維鏈：針對大型模型特有的新場景適應(yīng)能力和邏輯推理能力，研究領(lǐng)域已發(fā)展出具有代表性的評估方法如“上下文學(xué)習(xí)”（In-ContextLearning）和“思維鏈推理”（ChainofThought,CoT）等。在Zero-shotlearning能力的評估中，關(guān)鍵在于考察模型在未經(jīng)特定任務(wù)訓(xùn)練的情況下的表現(xiàn)能力。模型被要求依賴于其在預(yù)訓(xùn)練階段習(xí)得的知識與推理技巧，直接應(yīng)對新穎任務(wù)的挑戰(zhàn)。該評估手段突出了模型的普適性，以及其對未知場景的適應(yīng)與處理能力。對于Few-shotlearning，評估聚焦于模型在接觸有限的任務(wù)相關(guān)樣例（通常1-5個）后的表現(xiàn)。此評估方法測試了模型在極少量信息支持下對新任務(wù)的快速學(xué)習(xí)與適應(yīng)性，反映了模型在小樣本學(xué)習(xí)環(huán)境中的預(yù)測效率。而ChainofThought(CoT)推理的評估框架，則是要求模型在輸出最終答案前，展示其一系列的中間推理步驟。這種方法不僅衡量了答案的正確性，而且深入評價了模型處理問題的邏輯和推理路徑。CoT推理尤其適用于那些需要復(fù)雜多步驟推理的問題，為評估模型的邏輯能力提供了有效途徑。4.2大模型在金融領(lǐng)域的評測概述令執(zhí)行、邏輯推理、數(shù)學(xué)計算以及內(nèi)容生成等含了業(yè)務(wù)合規(guī)性、事實準確性、推理正確性、事件實時性等方業(yè)務(wù)適當性、數(shù)據(jù)隱私安全等多個方面，其比通用大模型更為重要，因為金融業(yè)務(wù)強調(diào)嚴場景任務(wù)評測的代表性要求評測集能覆蓋并使用真實業(yè)務(wù)數(shù)據(jù)（經(jīng)處理確保合規(guī)）和經(jīng)過數(shù)據(jù)。金融領(lǐng)域評測的專業(yè)性包括領(lǐng)域?qū)挾茸詈?，區(qū)分度涉及與人類專家、通識基座和通識模型的能力差異，并為大模型提供提升指業(yè)務(wù)合規(guī)性事實準確性推理正確性事件實時性評估覆蓋廣度和深度內(nèi)工具過程被稱為()（）業(yè)務(wù)實踐性PIXIU金融包括5類任務(wù)、9個數(shù)據(jù)集。任