【CSA GCR】大語(yǔ)言模型威脅分類(lèi)

EQ\*jc3\*hps30\o\al(\s\up8(o),s)致謝移動(dòng)云中國(guó)移動(dòng)云能力中心中國(guó)移動(dòng)云能力中心，注冊(cè)名稱為中移(蘇州)軟件技術(shù)有限公司，是中國(guó)移動(dòng)通信集團(tuán)于2014年3月在蘇州成立的全資子公司。云能力中心主要承擔(dān)中國(guó)移動(dòng)云的技術(shù)研發(fā)、資源建設(shè)、業(yè)務(wù)運(yùn)營(yíng)、服務(wù)支撐等相關(guān)業(yè)務(wù)，自研了彈性計(jì)算、數(shù)據(jù)庫(kù)、云存儲(chǔ)、云網(wǎng)絡(luò)、云安全等200余款覆蓋云計(jì)算全產(chǎn)業(yè)鏈的產(chǎn)品，產(chǎn)品豐富度行業(yè)第二，為全國(guó)的工業(yè)、政務(wù)、醫(yī)療、教育、交通、金融等行業(yè)提供云計(jì)算、大數(shù)據(jù)及各類(lèi)信息化解決方案。參與本次報(bào)告的專家：王浩碩，云能力中心安全產(chǎn)品部負(fù)責(zé)人趙玲玲，云能力中心安全產(chǎn)品部研發(fā)管理專員付懷勇，云能力中心安全產(chǎn)品部產(chǎn)品經(jīng)理李雨含，云能力中心安全產(chǎn)品部產(chǎn)品經(jīng)理薛四青，云能力中心安全產(chǎn)品部軟件開(kāi)發(fā)工程師吳云飛，云能力中心安全產(chǎn)品部綜合管理專員中國(guó)移動(dòng)云能力中心作為云安全聯(lián)盟大中華區(qū)(CSAGCR)的理事單位，為該報(bào)告的翻譯工作提供了必要的支持。這種支持并不涉及對(duì)CSA在研究?jī)?nèi)容開(kāi)發(fā)和編輯方面的決策權(quán)和控制權(quán)，確保了CSA在這些核心領(lǐng)域的獨(dú)立性和自主性。4報(bào)告英文版編寫(xiě)專家主要作者貢獻(xiàn)者AlessandroGrecoAkramSheriff59序言在人工智能技術(shù)迅速發(fā)展的背景下，大語(yǔ)言模型(LLM)已成為推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)轉(zhuǎn)型的核心力量。其在自然語(yǔ)言理解、生成與處理方面的強(qiáng)大能力，正深刻改變著人與信息、技術(shù)的互動(dòng)方式。然而，隨著LLM應(yīng)用的廣泛推廣，伴隨而來(lái)的是一系列復(fù)雜的風(fēng)險(xiǎn)和挑戰(zhàn)，尤其是在安全性、隱私保護(hù)和合規(guī)性方面，全球范圍內(nèi)的應(yīng)對(duì)壓力愈加凸顯。為應(yīng)對(duì)這些挑戰(zhàn)，CSA大中華區(qū)發(fā)布《大語(yǔ)言模型威脅分類(lèi)》報(bào)告，旨在為行業(yè)提供一個(gè)全面的風(fēng)險(xiǎn)管理框架，幫助各行業(yè)識(shí)別、評(píng)估和管理LLM應(yīng)用過(guò)程中可能遇到的風(fēng)險(xiǎn)。本報(bào)告詳盡地分析了LLM的關(guān)鍵資產(chǎn)、服務(wù)生命周期、影響類(lèi)別和威脅類(lèi)別，為政策制定者、技術(shù)專家和行業(yè)決策者提供了一個(gè)清晰的理解和應(yīng)對(duì)LLM相關(guān)風(fēng)險(xiǎn)的框架。報(bào)告的主要內(nèi)容包括LLM資產(chǎn)的分類(lèi)，詳細(xì)描述了從數(shù)據(jù)資產(chǎn)到模型參數(shù)的各個(gè)方面；LLM服務(wù)生命周期的管理，涵蓋了從準(zhǔn)備到退役的各個(gè)階段；以及LLM服務(wù)的影響和威脅類(lèi)別，包括數(shù)據(jù)泄露、模型操縱、供應(yīng)鏈安全等關(guān)鍵領(lǐng)希望這份報(bào)告能成為L(zhǎng)LM風(fēng)險(xiǎn)管理和安全控制領(lǐng)域的關(guān)鍵參考資料，幫助各界在應(yīng)對(duì)LLM帶來(lái)的技術(shù)挑戰(zhàn)時(shí)做出更明智的決策，為未來(lái)的研究、政策制定以及行業(yè)發(fā)展提供堅(jiān)實(shí)的理論支撐。李雨航Y(jié)aleLiCSA大中華區(qū)主席兼研究院院長(zhǎng) 與CSAAI控制框架的關(guān)系 1.大語(yǔ)言模型概述 1.1.數(shù)據(jù)資產(chǎn) 1.4.服務(wù)編排 2.2開(kāi)發(fā) 2.2.1設(shè)計(jì)階段 2.2.2發(fā)展供應(yīng)鏈 2.2.3訓(xùn)練階段 2.2.4開(kāi)發(fā)過(guò)程中的關(guān)鍵考量 2.3評(píng)估與確認(rèn) 2.3.2驗(yàn)證/紅隊(duì) 2.3.3重新評(píng)估 2.3.4評(píng)估/驗(yàn)證過(guò)程中的主要考量 2.4.2AI服務(wù)供應(yīng)鏈 2.4.4部署過(guò)程關(guān)鍵因素 2.5.1運(yùn)營(yíng) 2.5.3持續(xù)改進(jìn) 2.5.4交付過(guò)程中的關(guān)鍵示項(xiàng) 2.6服務(wù)退出 2.6.2數(shù)據(jù)刪除 2.6.3模型處置 2.6.4服務(wù)退出期間的關(guān)鍵考慮因素 3.大語(yǔ)言模型服務(wù)影響分類(lèi) 374.大語(yǔ)言模型服務(wù)威脅分類(lèi) 4.1模型操縱 4.2數(shù)據(jù)投毒 4.4模型竊取 4.5模型故障/失靈 4.6不安全的供應(yīng)鏈 4.7不安全的應(yīng)用程序/插件 4.8拒絕服務(wù) 4.9缺少治理/合規(guī)性 405.參考文獻(xiàn) 目標(biāo)與范圍本報(bào)告由云安全聯(lián)盟(CSA)人工智能(AI)控制框架工作組基于CSAAI安全計(jì)劃所撰寫(xiě)。它為與大語(yǔ)言模型(LLM)的風(fēng)險(xiǎn)場(chǎng)景和威脅相關(guān)的關(guān)鍵術(shù)語(yǔ)建立了通用的分類(lèi)和定義。本報(bào)告的撰寫(xiě)目的是希望能夠提供一個(gè)共享的語(yǔ)言和概念框架以供業(yè)界溝通交流，并指導(dǎo)其在CSAAI安全計(jì)劃下進(jìn)行更多研究。具體來(lái)講，這項(xiàng)工作旨在協(xié)助CSAAI控制工作組和CSAAl技術(shù)風(fēng)險(xiǎn)工作組做出更多的努力。報(bào)告的重點(diǎn)內(nèi)容如圖1所示：●LLM-服務(wù)生命周期●LLM-服務(wù)影響類(lèi)別●LLM-服務(wù)威脅類(lèi)別數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)大語(yǔ)言模型運(yùn)維環(huán)境大模型服務(wù)編排AI應(yīng)用程序→產(chǎn)保護(hù)之責(zé)任分配矩陣準(zhǔn)備開(kāi)發(fā)評(píng)估、驗(yàn)證部署交付服務(wù)棄用大語(yǔ)言模型服務(wù)影響因子模型操作數(shù)據(jù)投毒→敏感數(shù)據(jù)泄露→系統(tǒng)故障大語(yǔ)言模型服務(wù)威脅因子→不安全的供應(yīng)鏈→不安全的應(yīng)用程序/插件→拒絕服務(wù)攻擊(DOS)失去治理/合規(guī)大語(yǔ)言模型服務(wù)生命周期大語(yǔ)言模型分類(lèi)法大語(yǔ)言模型概述本報(bào)告所采納的定義與分類(lèi)體系是建立在現(xiàn)有文獻(xiàn)基礎(chǔ)之上，通過(guò)工作組成員與組長(zhǎng)充分探討后所形成的。通過(guò)上述過(guò)程，形成了廣泛共識(shí)，建立了一套可以指導(dǎo)共同工作的通用術(shù)語(yǔ)。Mitigations"[Barrett有了這些定義和分類(lèi)，針對(duì)評(píng)估人工智能威脅和風(fēng)險(xiǎn)、制定適當(dāng)?shù)目刂拼胧┮约肮芾碡?fù)責(zé)任AI開(kāi)發(fā)，可以使不同的CSA工作組和項(xiàng)目成員之間取得更高的目標(biāo)一致性。建立通用術(shù)語(yǔ)的目的在于其可以避免語(yǔ)義上的混淆，增加相關(guān)概念上的連貫性，以保證對(duì)話精確性。本報(bào)告將關(guān)鍵術(shù)語(yǔ)統(tǒng)一匯總起來(lái)，也是為了能夠向CSAAI控制工作組和AI技術(shù)風(fēng)險(xiǎn)工作組提供對(duì)于AI安全計(jì)劃的統(tǒng)一范圍。CSAAI控制框架工作組的目標(biāo)是定義一個(gè)控制目標(biāo)框架，以支持各機(jī)構(gòu)能夠在安全、負(fù)責(zé)任的原則下對(duì)AI技術(shù)進(jìn)行開(kāi)發(fā)、管理和使用。該框架將有助于評(píng)估生成式Al(GenAl)特別是LLM相關(guān)的風(fēng)險(xiǎn)。本報(bào)告所定義的控制目標(biāo)將涵蓋與網(wǎng)絡(luò)安全有關(guān)的各方面。此外，它還涵蓋了與網(wǎng)絡(luò)安全相關(guān)的安全、隱私、透明度、問(wèn)責(zé)制和可解釋性等方面的內(nèi)容?？苫仡櫘愅c(diǎn)進(jìn)行了充分探討。CSA控制框架著眼于B2B的影響，與政府在保護(hù)國(guó)家安全、公民權(quán)利和法律執(zhí)行方面的努力相輔相成，倡導(dǎo)符合全球標(biāo)準(zhǔn)和法規(guī)的安全且道德的AI應(yīng)用程序。1.大語(yǔ)言模型概述本章節(jié)定義了實(shí)施、管理大語(yǔ)言模型(LLM)系統(tǒng)所必需的基礎(chǔ)組件，涵蓋了 從模型訓(xùn)練、微調(diào)過(guò)程中重要的數(shù)據(jù)到確保AI系統(tǒng)完美部署和操作的復(fù)雜運(yùn)維環(huán)境。同時(shí)，本章節(jié)也對(duì)LLM的必要性、架構(gòu)、性能和優(yōu)化技術(shù)作出了進(jìn)一步闡述(詳見(jiàn)圖2)。除上述內(nèi)容外，本章節(jié)還探討了資產(chǎn)保護(hù)的注意事項(xiàng)，此外，本節(jié)還探討了資產(chǎn)保護(hù)過(guò)程中較為重要的幾點(diǎn)，利用RACI責(zé)任分配矩陣(誰(shuí)負(fù)責(zé)、誰(shuí)批準(zhǔn)、咨詢誰(shuí)、通知誰(shuí))來(lái)明確了開(kāi)源社區(qū)組織在實(shí)施AI服務(wù)時(shí)的責(zé)任劃分。大語(yǔ)言模型資產(chǎn)大語(yǔ)言模型資產(chǎn)模型通用模型微調(diào)模型開(kāi)源/閉源模型模型卡片訓(xùn)練數(shù)據(jù)服務(wù)編排部署服務(wù)緩存服務(wù)集成插件監(jiān)測(cè)服務(wù)優(yōu)化服務(wù)服務(wù)插件Al應(yīng)用程序用戶接口決策支撐系統(tǒng)持續(xù)性監(jiān)測(cè)數(shù)據(jù)資產(chǎn)圖2:大語(yǔ)言模型資產(chǎn)大模型運(yùn)維部署環(huán)境安全性本地部署環(huán)境1.1.數(shù)據(jù)資產(chǎn)在LLM服務(wù)中，多種資產(chǎn)內(nèi)容在塑造服務(wù)的效能和功能方面起著不可或缺的作用。數(shù)據(jù)資產(chǎn)是這些資產(chǎn)中最為重要的，它是LLM運(yùn)行不可或缺的基石與首要驅(qū)動(dòng)力。以下是構(gòu)成LLM服務(wù)的典型資產(chǎn)范圍列表：●用于訓(xùn)練、基準(zhǔn)測(cè)試、測(cè)試和驗(yàn)證的數(shù)據(jù)●用于微調(diào)訓(xùn)練的數(shù)據(jù)●用于檢索增強(qiáng)生成(RAG)的數(shù)據(jù)●定義使用中數(shù)據(jù)的元數(shù)據(jù)的數(shù)據(jù)卡片●用戶會(huì)話數(shù)據(jù)●模型輸出數(shù)據(jù)●模型超參數(shù)●LLM系統(tǒng)的日志數(shù)據(jù)以下是對(duì)這些資產(chǎn)的定義：1.用于訓(xùn)練、基準(zhǔn)測(cè)試、測(cè)試和驗(yàn)證的數(shù)據(jù)：這包括用于訓(xùn)練、基準(zhǔn)測(cè)試、測(cè)試和驗(yàn)證模型的數(shù)據(jù)集，由文本來(lái)源組成，模型從中派生出對(duì)語(yǔ)言模式和語(yǔ)義的理解，這對(duì)打造模型最終的效果是至關(guān)重要的。每個(gè)數(shù)據(jù)元素都被單獨(dú)創(chuàng)建并管理。2.微調(diào)訓(xùn)練數(shù)據(jù)：模型經(jīng)過(guò)初始訓(xùn)練后會(huì)用到一些額外的數(shù)據(jù)對(duì)其進(jìn)行微調(diào)或進(jìn)一步的預(yù)訓(xùn)練，這有利于調(diào)整模型的參數(shù)，使其更緊密地與特定用例或領(lǐng)域保持一致，從而增強(qiáng)模型適應(yīng)性和準(zhǔn)確性。3.檢索增強(qiáng)生成(RAG):即將外部知識(shí)庫(kù)與大語(yǔ)言模型集成到一起。模型在生成響應(yīng)之前會(huì)檢索外部知識(shí)庫(kù)中的相關(guān)信息，而RAG便是可以將模型內(nèi)部資源和外部資源有效連接起來(lái)的一種手段。RAG可以通過(guò)內(nèi)部系統(tǒng)、公開(kāi)資源等各種渠道檢索相關(guān)信息，如互聯(lián)網(wǎng)，通過(guò)擴(kuò)展輸入內(nèi)容及提煉模型的上下文語(yǔ)義，便可使模型生成更為精準(zhǔn)的反饋。4.數(shù)據(jù)卡片：數(shù)據(jù)卡片是用作管理大模型所用到的各種數(shù)據(jù)集的。它有助于AI數(shù)據(jù)進(jìn)行管理，并記錄了每個(gè)所使用的數(shù)據(jù)集的來(lái)源、流程軌跡、所有權(quán)歸屬、數(shù)據(jù)敏感度和合規(guī)性檢查等相關(guān)的信息。隨著數(shù)據(jù)內(nèi)容、所有權(quán)歸屬以及需求的變化，對(duì)數(shù)據(jù)卡片進(jìn)行適應(yīng)性更新以確保數(shù)據(jù)的合規(guī)性和可見(jiàn)性也是十分重要的。5.輸入數(shù)據(jù)(系統(tǒng)級(jí)提示):輸入數(shù)據(jù)是指提供給大語(yǔ)言模型的用于確定上下文和邊界的內(nèi)容。在生成式對(duì)抗技術(shù)背景下，這類(lèi)數(shù)據(jù)還可用于對(duì)模型主題邊界范圍進(jìn)行設(shè)置。6.用戶會(huì)話數(shù)據(jù)：是指在用戶與Al系統(tǒng)互動(dòng)過(guò)程中所收集的信息，包括所輸入的查詢語(yǔ)句、模型最終生成的反饋以及用戶在使用過(guò)程中所補(bǔ)充的內(nèi)容，收集該類(lèi)信息能夠加強(qiáng)模型更為人性化的互動(dòng)。7.模型輸出數(shù)據(jù)：是指模型收到輸入指令后的結(jié)果反饋，包含文本型內(nèi)容、用戶預(yù)期的數(shù)據(jù)形式，輸出數(shù)據(jù)反映了模型的理解和推理能力。8.模型參數(shù)(權(quán)重):是指模型在訓(xùn)練過(guò)程中調(diào)用的系統(tǒng)內(nèi)部參數(shù)或權(quán)重，這些參數(shù)或權(quán)重的設(shè)定會(huì)對(duì)模型的行為產(chǎn)生重要影響，進(jìn)而影響模型響應(yīng)的能力。9.模型超參數(shù)：是指在模型訓(xùn)練期間所指定的配置參數(shù)，包括學(xué)習(xí)率、批大小或架構(gòu)選取等參數(shù)，這些參數(shù)在塑造模型的整體性能和行為方面至關(guān)重要。10.日志數(shù)據(jù)：是指模型在運(yùn)行過(guò)程中記錄其各種事件響應(yīng)和交互行為的數(shù)據(jù)。包括所輸入的查詢語(yǔ)句、模型最終生成的反饋、模型性能指標(biāo)以及發(fā)生的任何異常行為，這對(duì)監(jiān)控和完善模型的功能和性能至關(guān)重要。1.2.云上大語(yǔ)言模型運(yùn)維環(huán)境LLM運(yùn)維環(huán)境是指部署及操作大語(yǔ)言模型所涉及的基礎(chǔ)設(shè)施和流程。以下是與此環(huán)境相關(guān)的專業(yè)定義：●運(yùn)行訓(xùn)練環(huán)境的云●運(yùn)行模型推理點(diǎn)的云●混合和多云基礎(chǔ)設(shè)施●部署環(huán)境的安全性●持續(xù)監(jiān)控●云托管訓(xùn)練數(shù)據(jù)(存儲(chǔ))以下是這些專業(yè)名詞在大語(yǔ)言模型運(yùn)維框架中的具體描述及作用：1.運(yùn)行訓(xùn)練環(huán)境的云：該環(huán)境中納管了由云平臺(tái)或云服務(wù)提供商所提供的模型訓(xùn)練過(guò)程中所需的計(jì)算資源、存儲(chǔ)設(shè)施、輔助基礎(chǔ)設(shè)施等，這些底層資源對(duì)于訓(xùn)練LLM是至關(guān)重要的。它決定了模型性能提升的上升空間。2.運(yùn)行模型推理的云：該環(huán)境中納管了由云平臺(tái)或云服務(wù)提供商所提供的模型訓(xùn)練和模型推理過(guò)程中所需的計(jì)算資源、存儲(chǔ)設(shè)施、輔助基礎(chǔ)設(shè)施等，該環(huán)境下運(yùn)行的LLM能夠根據(jù)用戶輸入生成預(yù)期響應(yīng)，確保交互連貫性。3.運(yùn)行AI應(yīng)用的云(公有云/私有云/混合云):該環(huán)境中納管了由云平臺(tái)或云服務(wù)提供商所提供的運(yùn)行AI應(yīng)用程序或AI服務(wù)所需的基礎(chǔ)設(shè)施，它們會(huì)使用已訓(xùn)練好的大語(yǔ)言模型的能力。它類(lèi)似于一個(gè)服務(wù)中心，利用模型的推理能力向最終用戶提供增值服務(wù)。4.部署環(huán)境的安全性：指的是一系列簡(jiǎn)單的訪問(wèn)機(jī)制和政策，來(lái)規(guī)范外界對(duì)大模型各組件的訪問(wèn)。包括身份和訪問(wèn)管理(IAM)協(xié)議和網(wǎng)絡(luò)安全措施，以保護(hù)關(guān)鍵資產(chǎn)和功能的完整性和隱私性。5.持續(xù)監(jiān)控：指的是對(duì)大模型運(yùn)維環(huán)境的性能、安全態(tài)勢(shì)、整體狀況持續(xù)監(jiān)測(cè)，包含了對(duì)訓(xùn)練環(huán)境、推理環(huán)境和應(yīng)用組件的監(jiān)測(cè)，確保模型在最佳狀態(tài)下運(yùn)行，同時(shí)也會(huì)及時(shí)識(shí)別和糾正可能出現(xiàn)的任何異?；騿?wèn)題。6.云托管訓(xùn)練數(shù)據(jù)(存儲(chǔ)):指的是云平臺(tái)或云服務(wù)提供商所提供的用于模型訓(xùn)練的大量數(shù)據(jù)集，它需要強(qiáng)大的存儲(chǔ)和數(shù)據(jù)管理能力，以適應(yīng)龐大和多樣化的數(shù)據(jù)類(lèi)型，這些數(shù)據(jù)集對(duì)于訓(xùn)練和完善模型性能是至關(guān)重要的。1.3.模型在機(jī)器學(xué)習(xí)領(lǐng)域中，“模型”一詞指的是能夠通過(guò)訓(xùn)練來(lái)預(yù)測(cè)或執(zhí)行特定任務(wù)的數(shù)學(xué)表示或算法。所選取的模型架構(gòu)、所采用的微調(diào)方法以及使用的開(kāi)源或閉源的模型都將會(huì)大大影響大語(yǔ)言模型在特定領(lǐng)域中的性能、效能以及靈活性。我們?cè)谝韵滦」?jié)中對(duì)基礎(chǔ)模型資產(chǎn)進(jìn)行了定義：●通用大模型●微調(diào)模型●模型卡片通用大模型是大模型發(fā)展的起點(diǎn)。通常指的是大型、預(yù)訓(xùn)練的語(yǔ)言模型，它們借助自我監(jiān)督學(xué)習(xí)技術(shù)對(duì)大量未標(biāo)記的數(shù)據(jù)進(jìn)行學(xué)習(xí)，以獲得對(duì)自然語(yǔ)言的泛化理解。通常，通用大模型為后續(xù)的微調(diào)模型和專業(yè)化模型奠定了基礎(chǔ)，以滿足特定的任務(wù)或領(lǐng)域的需要。對(duì)于一些先進(jìn)和創(chuàng)新的基礎(chǔ)模型，我們可以使用“前沿模型”這一術(shù)語(yǔ)來(lái)表示AI領(lǐng)域中的一個(gè)全新基礎(chǔ)模型。從AI的角度來(lái)看，有時(shí)“基礎(chǔ)模型”一詞表示的是應(yīng)用技術(shù)堆棧中的基礎(chǔ)模型。2.微調(diào)大模型：微調(diào)模型是從通用大模型演進(jìn)而來(lái)，經(jīng)過(guò)改進(jìn)和調(diào)整后能夠適應(yīng)特定任務(wù)或領(lǐng)域。微調(diào)過(guò)程，是利用了有監(jiān)督學(xué)習(xí)技術(shù)和有標(biāo)記的特定數(shù)據(jù)來(lái)調(diào)整通用模型的參數(shù)。這一迭代過(guò)程使我們的微調(diào)模型能夠在保持原通用模型基礎(chǔ)知識(shí)和能力的同時(shí)，增強(qiáng)其在特定任務(wù)或領(lǐng)域上的適用性和完整度。3.開(kāi)源與閉源大模型：開(kāi)源大模型與閉源大模型的主要區(qū)別在于對(duì)模型源代碼、模型權(quán)重以及相關(guān)組件訪問(wèn)的許可。開(kāi)源模型可能會(huì)公布它們部分或全部的訓(xùn)練數(shù)據(jù)、源代碼、模型開(kāi)發(fā)所用的數(shù)據(jù)、模型架構(gòu)、權(quán)重和工具，以開(kāi)源許可證的形式向大眾開(kāi)放，允許在特定條款和條件下免費(fèi)使用。然而，閉源模型保持了私有化狀態(tài)，不會(huì)向大眾公開(kāi)其源代碼、模型權(quán)重和技術(shù)細(xì)節(jié)，這通常出于保護(hù)知識(shí)產(chǎn)權(quán)或商業(yè)利益的目的。允許用戶訪問(wèn)模型進(jìn)行微調(diào)或推理的閉源模型稱為開(kāi)放型訪問(wèn)模型。以上這些模型共同構(gòu)成了模型開(kāi)發(fā)的支柱，促進(jìn)了生成式AI的創(chuàng)新性、適應(yīng)性和可訪問(wèn)性。4.特定領(lǐng)域大模型：特定領(lǐng)域大模型指的是能夠在特定領(lǐng)域如金融、醫(yī)療、代碼開(kāi)發(fā)等表現(xiàn)出優(yōu)異性能的機(jī)器學(xué)習(xí)模型。模型卡片是用來(lái)描述大模型特征的。它是一種維護(hù)大模型文本的文件，對(duì)于管理和確保AI模型的正確性是至關(guān)重要的。模型卡片包括模型文本的細(xì)節(jié)，如所有權(quán)、性能特征、模型訓(xùn)練的數(shù)據(jù)集、訓(xùn)練順序等。這也有助于用戶追溯、沿襲、理解模型的行為。模型卡片需要隨著文本元數(shù)據(jù)的變化不斷維護(hù)和更新。[CSA,2024]更多關(guān)于模型卡片的詳細(xì)信息可以在HuggingFace平臺(tái)上獲取到，該平臺(tái)是一個(gè)專門(mén)的機(jī)器學(xué)習(xí)社區(qū)，能夠提供大模型、數(shù)據(jù)集和應(yīng)用程序給學(xué)習(xí)者使用。1.4.服務(wù)編排這類(lèi)服務(wù)包含了一系列組件和功能，能夠?qū)崿F(xiàn)大語(yǔ)言模型的高效性和安全性。以下是服務(wù)編排過(guò)程中可能涉及資產(chǎn)清單：●安全網(wǎng)關(guān)(LLM網(wǎng)關(guān))●部署服務(wù)●自定義和集成插件●大語(yǔ)言模型通用代理以下是各類(lèi)編排服務(wù)資產(chǎn)的定義及其重要性闡述：1.緩存服務(wù)：緩存服務(wù)指的是一種系統(tǒng)或組件，它們通過(guò)緩存模型生成的響應(yīng)、輸入數(shù)據(jù)或其他數(shù)據(jù)來(lái)提高大模型的請(qǐng)求效率和性能，減少冗余計(jì)算。通過(guò)緩存服務(wù)臨時(shí)存儲(chǔ)頻繁訪問(wèn)的數(shù)據(jù)，有助于降低請(qǐng)求響應(yīng)時(shí)間并且減輕大語(yǔ)言模型的計(jì)算壓力。2.安全網(wǎng)關(guān)(LLM網(wǎng)關(guān)):安全網(wǎng)關(guān)，也稱為L(zhǎng)LM網(wǎng)關(guān)，是作為大語(yǔ)言模型和外部系統(tǒng)交互的中間件。這些網(wǎng)關(guān)通過(guò)實(shí)施訪問(wèn)控制、輸入驗(yàn)證、過(guò)濾惡意內(nèi)容(如提示注入攻擊)與個(gè)人/隱私信息的舉措，防范潛在威脅或?yàn)E用，來(lái)確保大語(yǔ)言模型所處理數(shù)據(jù)的完整性和機(jī)密性。3.部署服務(wù)：部署服務(wù)簡(jiǎn)化了大語(yǔ)言模型在不同環(huán)境(包括云平臺(tái)和本地基礎(chǔ)設(shè)施)中的部署和擴(kuò)展。這些服務(wù)能夠使部署過(guò)程自動(dòng)化，促進(jìn)版本管理，并優(yōu)化資源分配方案，以確保大語(yǔ)言模型的高效和無(wú)縫部署。4.監(jiān)測(cè)服務(wù)：監(jiān)測(cè)服務(wù)在監(jiān)督大語(yǔ)言模型的安全性、性能、安全狀況和使用情況方面至關(guān)重要。這些服務(wù)使用監(jiān)控工具和技術(shù)收集實(shí)時(shí)信息，來(lái)檢測(cè)異常、濫用(例如提示注入攻擊等)并發(fā)出警報(bào)，從而實(shí)現(xiàn)系統(tǒng)安全性，通過(guò)主動(dòng)維護(hù)和及時(shí)干預(yù)，以維持大語(yǔ)言模型的最佳運(yùn)行狀態(tài)。5.優(yōu)化服務(wù)：優(yōu)化服務(wù)旨在優(yōu)化大語(yǔ)言模型的性能和資源利用率。這些服務(wù)采用一系列技術(shù)，如模型量化、剪枝、高效的推理策略，來(lái)提高大語(yǔ)言模型的效率，降低計(jì)算開(kāi)銷(xiāo)，并保證在不同的部署場(chǎng)景下整體性能的提升。6.安全插件：安全插件是通過(guò)提供數(shù)據(jù)加密、訪問(wèn)控制機(jī)制、威脅檢測(cè)能力和合規(guī)性強(qiáng)制措施來(lái)擴(kuò)展大語(yǔ)言模型安全性的一種組件，能夠增強(qiáng)網(wǎng)絡(luò)彈性。通過(guò)引入自定義和集成插件，大語(yǔ)言模型可以實(shí)現(xiàn)行為的個(gè)性化定制并無(wú)縫對(duì)接各類(lèi)系統(tǒng)、應(yīng)用程序和數(shù)據(jù)源。這些插件使模型更具靈活性，不僅能夠根據(jù)特定場(chǎng)景或行業(yè)需要調(diào)整模型的功能，而且還提升了與既有架構(gòu)的兼容性，增強(qiáng)了大語(yǔ)言模型部署的多功能性和實(shí)用性。大語(yǔ)言模型通用代理是指與大語(yǔ)言模型協(xié)作以增強(qiáng)模型功能和性能的智能代理或組件。這些代理可用來(lái)執(zhí)行各種任務(wù)，如●功能調(diào)用●擴(kuò)展和協(xié)作，●增強(qiáng)大語(yǔ)言模型部署在不同操作環(huán)境中的多功能性和適應(yīng)性。AI應(yīng)用已經(jīng)變得無(wú)處不在，滲透到我們?nèi)粘Ｉ詈蜕虡I(yè)運(yùn)作的各個(gè)方面。從內(nèi)容生成到語(yǔ)言翻譯，由大語(yǔ)言模型驅(qū)動(dòng)的AI應(yīng)用已經(jīng)徹底改變了行業(yè)，重塑了我們與信息技術(shù)交互的方式。然而，隨著AI應(yīng)用的普及，一個(gè)有效的控制框架用以指導(dǎo)AI應(yīng)用開(kāi)發(fā)、部署和使用成為我們迫切要解決的問(wèn)題。AI應(yīng)用使技術(shù)創(chuàng)新走向巔峰，提供了多種滿足不同商業(yè)領(lǐng)域和場(chǎng)景的能力。這些應(yīng)用程序利用大語(yǔ)言模型強(qiáng)大的功能來(lái)編譯和處理自然語(yǔ)言輸入，實(shí)現(xiàn)了內(nèi)容生成、智能問(wèn)答、情感分析、語(yǔ)言翻譯等功能。本質(zhì)上來(lái)講，AI應(yīng)用程序是用戶與底層大語(yǔ)言模型間實(shí)現(xiàn)智能交互的接口，促進(jìn)了不同領(lǐng)域間無(wú)障礙交互和任務(wù)自動(dòng)化。而作為大語(yǔ)言模型的下游應(yīng)用，AI應(yīng)用程序是整體AI控制框架中最為重要的資產(chǎn)之一。它們是模型與最終用戶連接的直接觸點(diǎn)，影響用戶對(duì)AI系統(tǒng)的感知和交互方式。因此，AI應(yīng)用的好壞會(huì)一定程度上放大用戶對(duì)大模型優(yōu)劣評(píng)價(jià)。AI應(yīng)用也可能對(duì)經(jīng)濟(jì)產(chǎn)生重大影響。隨著企業(yè)日益依賴AI應(yīng)用以推動(dòng)創(chuàng)新、簡(jiǎn)化運(yùn)營(yíng)并獲取競(jìng)爭(zhēng)優(yōu)勢(shì)，負(fù)責(zé)任的應(yīng)用開(kāi)發(fā)與部署對(duì)于維護(hù)市場(chǎng)完整性和促進(jìn)公平競(jìng)爭(zhēng)愈發(fā)重要。鑒于上述考慮，AI控制框架必須以AI應(yīng)用的治理和監(jiān)督為首要考慮要素。這包括了為Al應(yīng)用開(kāi)發(fā)、測(cè)試、部署、運(yùn)營(yíng)和維護(hù)建立指導(dǎo)方針和標(biāo)準(zhǔn)，確保各項(xiàng)環(huán)節(jié)符合法律法規(guī)，并保持在AI應(yīng)用全生命周期的透明度和問(wèn)責(zé)制。除了達(dá)成上述既定目標(biāo)，AI控制框架還應(yīng)聚焦于對(duì)AI應(yīng)用進(jìn)行持續(xù)的監(jiān)測(cè)和性能評(píng)估，旨在及時(shí)識(shí)別潛在風(fēng)險(xiǎn)并避免或減少意外發(fā)生。通過(guò)在AI控制框架中優(yōu)先考慮AI應(yīng)用程序，組織可以積極應(yīng)對(duì)與大語(yǔ)言模型驅(qū)動(dòng)的應(yīng)用相關(guān)的挑戰(zhàn)和風(fēng)險(xiǎn)，同時(shí)發(fā)揮其變革潛力以推動(dòng)創(chuàng)新和改善生活。AI應(yīng)用卡片是維護(hù)AI應(yīng)用上下文的文件，在應(yīng)用程序治理方面發(fā)揮著至關(guān)重要的作用。Al應(yīng)用卡片封裝了應(yīng)用程序的所有相關(guān)數(shù)據(jù)，包括所使用的模型、所使用的數(shù)據(jù)集、應(yīng)用程序和AI案例、應(yīng)用歸屬人(見(jiàn)下一部分RACI模型中的不同所有者類(lèi)型)和守護(hù)者。AI應(yīng)用卡片一種簡(jiǎn)單的方式來(lái)傳達(dá)Al應(yīng)用數(shù)據(jù)并實(shí)現(xiàn)數(shù)據(jù)共享，能夠幫助AI治理組織、AI委員會(huì)和監(jiān)管機(jī)構(gòu)了解這些應(yīng)用及其使用的AI能力。而AI應(yīng)用卡片也可以逆向關(guān)聯(lián)到其背后的模型卡片和數(shù)據(jù)卡片。2.LLM服務(wù)的生命周期本章節(jié)主要概述LLM服務(wù)的不同生命階段，每個(gè)階段都對(duì)服務(wù)的效率、可靠性以及整個(gè)生命周期至關(guān)重要。從構(gòu)想和規(guī)劃的籌備階段到最終的歸檔和處置階段，每個(gè)階段都被納入一個(gè)綜合框架，該框架旨在改善服務(wù)交付以及保障需求和標(biāo)準(zhǔn)的一致性。組織可以通過(guò)這種結(jié)構(gòu)化方法清晰有效地管理服務(wù)開(kāi)發(fā)、評(píng)估、部署、交付和退出?；谛屡d的標(biāo)準(zhǔn)，例如關(guān)于AI系統(tǒng)生命周期的標(biāo)準(zhǔn)ISO/IEC5338,以及來(lái)自英國(guó)數(shù)據(jù)倫理與創(chuàng)新中心(CDEI)等機(jī)構(gòu)的綜述，這個(gè)生命周期涵蓋了端到端的過(guò)程，從早期準(zhǔn)備和設(shè)計(jì)到培訓(xùn)、評(píng)估、部署、交付，最終退出。下面我們對(duì)LLM服務(wù)生命周期各個(gè)階段進(jìn)一步細(xì)分。O數(shù)據(jù)收集O數(shù)據(jù)管理O數(shù)據(jù)存儲(chǔ)O資源供應(yīng)O團(tuán)隊(duì)和專業(yè)知識(shí)O設(shè)計(jì)O訓(xùn)練O開(kāi)發(fā)過(guò)程中的關(guān)鍵考量O驗(yàn)證/紅色團(tuán)隊(duì)O重新評(píng)估O評(píng)估/驗(yàn)證期間的主要考量OAI服務(wù)供應(yīng)鏈O持續(xù)監(jiān)察O持續(xù)改進(jìn)●服務(wù)退出：O數(shù)據(jù)刪除O模型清除2.1準(zhǔn)備這個(gè)階段為整個(gè)LLM開(kāi)發(fā)過(guò)程奠定了基礎(chǔ)，并且極大地影響了模型的質(zhì)量和倫理行為。從數(shù)據(jù)開(kāi)始，在本節(jié)中，我們定義以下術(shù)語(yǔ)：●數(shù)據(jù)存儲(chǔ)●團(tuán)隊(duì)和專業(yè)知識(shí)在構(gòu)建大語(yǔ)言模型(LLM)的過(guò)程中，數(shù)據(jù)收集應(yīng)專注于識(shí)別那些多樣化、規(guī)模龐大且質(zhì)量上乘的數(shù)據(jù)源，包括文本和代碼等。我們不僅要遵循道德采購(gòu)的最佳實(shí)踐，還要警惕數(shù)據(jù)中可能存在的偏見(jiàn)。確保我們所收集的數(shù)據(jù)不僅滿足有效訓(xùn)練的需求，而且能夠反映我們對(duì)長(zhǎng)期管理制度的承諾，以避免產(chǎn)生帶有偏見(jiàn)或歧視性的輸出。數(shù)據(jù)管理是一個(gè)提升數(shù)據(jù)質(zhì)量的系統(tǒng)化過(guò)程，它包括數(shù)據(jù)的清洗(去除錯(cuò)誤、不一致和不相關(guān)信息)、分類(lèi)(根據(jù)邏輯主題或類(lèi)別組織數(shù)據(jù))、標(biāo)注(為監(jiān)督學(xué)習(xí)分配標(biāo)簽),以及數(shù)據(jù)的匿名化和轉(zhuǎn)換(調(diào)整數(shù)據(jù)格式以確保兼容性)。數(shù)據(jù)存儲(chǔ)解決方案，如數(shù)據(jù)庫(kù)或云存儲(chǔ)服務(wù)，必須確保數(shù)據(jù)的可訪問(wèn)性，同時(shí)采取嚴(yán)格的安全措施來(lái)保護(hù)敏感信息并遵守隱私法規(guī)。在準(zhǔn)備階段，資源配置需要精心策劃，選擇適合的計(jì)算和云資源。硬件選擇應(yīng)考慮處理器類(lèi)型(如CPU、GPU、TPU)以及為L(zhǎng)LM優(yōu)化的內(nèi)存配置。軟件選擇則包括穩(wěn)定的操作系統(tǒng)、豐富的庫(kù)和編程環(huán)境。利用云基礎(chǔ)設(shè)施可以顯著提高系統(tǒng)的可擴(kuò)展性、靈活性和成本效益此外，團(tuán)隊(duì)的專業(yè)能力和知識(shí)同樣至關(guān)重要。數(shù)據(jù)科學(xué)家負(fù)責(zé)收集、處理和分析數(shù)據(jù)；機(jī)器學(xué)習(xí)工程師設(shè)計(jì)并微調(diào)LLM;軟件開(kāi)發(fā)人員構(gòu)建必要的工具；語(yǔ)言學(xué)家提供深入的語(yǔ)言專業(yè)知識(shí)；倫理學(xué)家則評(píng)估模型的社會(huì)影響，并提出減輕潛在風(fēng)險(xiǎn)的策略。在構(gòu)建大語(yǔ)言模型(LLM)的準(zhǔn)備過(guò)程中，我們首先需要明確定義模型的目標(biāo)和用途。這將指導(dǎo)我們?cè)跀?shù)據(jù)選擇和處理過(guò)程中做出負(fù)責(zé)任的決策。我們應(yīng)主動(dòng)識(shí)別并處理數(shù)據(jù)中的潛在偏差，確保模型的公正性和準(zhǔn)確性。在整個(gè)數(shù)據(jù)生命周期中，實(shí)施強(qiáng)有力的隱私保護(hù)措施是至關(guān)重要的。這不僅包括數(shù)據(jù)的收集和存儲(chǔ)，也涵蓋了數(shù)據(jù)的管理和使用。數(shù)據(jù)保管鏈(datachain-of-custoday)應(yīng)成為我們安全數(shù)據(jù)工作和模型開(kāi)發(fā)的基石，在數(shù)據(jù)收集、管理和存儲(chǔ)的各階段，確保訓(xùn)練數(shù)據(jù)的完整性和未被篡改至關(guān)重要。2.2開(kāi)發(fā)在這一階段，我們的目標(biāo)是將精心準(zhǔn)備的數(shù)據(jù)和強(qiáng)大的計(jì)算資源轉(zhuǎn)化為一個(gè)高效、可靠的功能性大語(yǔ)言模型(LLM)。主要活動(dòng)包括：●開(kāi)發(fā)過(guò)程中的關(guān)鍵考量2.2.1設(shè)計(jì)階段模型架構(gòu)選擇：我們首先需要根據(jù)模型的預(yù)期任務(wù)，精心挑選合適的LLM架構(gòu)，例如基于Transformer的模型或循環(huán)神經(jīng)網(wǎng)絡(luò)。在這一過(guò)程中，我們將綜合考慮性能需求、計(jì)算資源限制以及模型將要處理的數(shù)據(jù)類(lèi)型。超參數(shù)優(yōu)化：接下來(lái)，我們將確定那些控制模型訓(xùn)練過(guò)程的關(guān)鍵超參數(shù)，包括學(xué)習(xí)率、批量大小和網(wǎng)絡(luò)層數(shù)等。這些參數(shù)的選擇將直接影響模型的訓(xùn)練效率、收斂速度以及最終的準(zhǔn)確性。評(píng)估指標(biāo)設(shè)定：為了全面跟蹤模型在訓(xùn)練期間的表現(xiàn)，我們將定義一系列評(píng)估指標(biāo)，如準(zhǔn)確率、困惑度和BLEU分?jǐn)?shù)，這些指標(biāo)將幫助我們識(shí)別模型性能的改進(jìn)空間。2.2.2發(fā)展供應(yīng)鏈基礎(chǔ)模型利用：我們考慮采用預(yù)先訓(xùn)練好的基礎(chǔ)模型，例如GPT-3或BERT,它們?yōu)槲覀兲峁┝艘粋€(gè)強(qiáng)大的起點(diǎn)。通過(guò)對(duì)這些模型進(jìn)行微調(diào)，我們可以針對(duì)特定數(shù)據(jù)集獲得定制化的結(jié)果。組件評(píng)估：我們將評(píng)估不同任務(wù)的需求，如命名實(shí)體識(shí)別、情感分析或文本摘要，并決定是選擇現(xiàn)成的開(kāi)源或閉源組件，還是開(kāi)發(fā)自定義組件來(lái)滿足這些需求。框架選擇：為了簡(jiǎn)化模型的開(kāi)發(fā)、訓(xùn)練和部署流程，我們將選擇一個(gè)功能強(qiáng)大的機(jī)器學(xué)習(xí)框架，如TensorFlow、PyTorch或Ray。2.2.3訓(xùn)練階段訓(xùn)練流程實(shí)施：我們將精心策劃的數(shù)據(jù)輸入到選定的模型架構(gòu)中，并運(yùn)用優(yōu)化算法，如梯度下降法，迭代更新模型參數(shù)，以最小化訓(xùn)練數(shù)據(jù)中的誤差。訓(xùn)練監(jiān)控：在訓(xùn)練過(guò)程中，我們將使用之前定義的評(píng)估指標(biāo)密切監(jiān)控模型的進(jìn)展，及時(shí)發(fā)現(xiàn)過(guò)擬合或欠擬合的跡象，并相應(yīng)調(diào)整訓(xùn)練策略或超參數(shù)。實(shí)驗(yàn)迭代：通過(guò)迭代方法，我們將測(cè)試不同的模型結(jié)構(gòu)、超參數(shù)和數(shù)據(jù)預(yù)處理技術(shù)，以探索最佳配置。標(biāo)記化處理：這一步驟涉及將輸入文本分解為更小的單元，稱為“標(biāo)記”,這些可以是單詞、子單詞單元或單個(gè)字符。標(biāo)記化的主要目的是將原始文本轉(zhuǎn)換為數(shù)值格式，以便LLM的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。通過(guò)將每個(gè)標(biāo)記映射到一個(gè)唯一的整數(shù)值或嵌入向量，標(biāo)記化不僅影響模型對(duì)輸入文本的表示和處理方式，而且是LLM工作流程中的基礎(chǔ)步驟。正確的標(biāo)記化方法可以顯著提升模型理解和生成自然語(yǔ)言的能力，同時(shí)確保計(jì)算效率。2.2.4開(kāi)發(fā)過(guò)程中的關(guān)鍵考量透明性：我們致力于記錄設(shè)計(jì)決策、模型架構(gòu)和訓(xùn)練流程，這不僅促進(jìn)了項(xiàng)目的可重復(fù)性，也增強(qiáng)了結(jié)果的可靠性。透明度是構(gòu)建信任和確保研究誠(chéng)信的基石?？山忉屝裕何覀儍?yōu)先采用能夠闡明模型決策過(guò)程的技術(shù)，特別是在那些涉及高風(fēng)險(xiǎn)的應(yīng)用場(chǎng)景中。通過(guò)增強(qiáng)模型的可解釋性，我們能夠更好地理解其輸出，從而提高用戶對(duì)Al系統(tǒng)的信任。效率：我們?cè)谧非竽Ｐ托阅艿耐瑫r(shí)，也注重計(jì)算資源的有效利用。我們探索各種優(yōu)化技術(shù)，如模型量化和剪枝，旨在提升模型運(yùn)行效率，同時(shí)確保其準(zhǔn)確性不受損害。版本控制：我們實(shí)施了一套強(qiáng)大的版本控制系統(tǒng)，用以追蹤模型、標(biāo)記化策略、訓(xùn)練數(shù)據(jù)集以及其他組件的每一次變更。這一做法不僅確保了研究的可重復(fù)性，也為必要時(shí)的版本回退提供了可能，同時(shí)促進(jìn)了開(kāi)發(fā)團(tuán)隊(duì)成員間的協(xié)作。2.3評(píng)估與確認(rèn)評(píng)估階段是在部署大語(yǔ)言模型(LLM)之前，對(duì)其進(jìn)行嚴(yán)格的性能、可靠性和適用性評(píng)估，以確保滿足預(yù)期目標(biāo)。本節(jié)定義以下術(shù)語(yǔ)：●評(píng)估過(guò)程中的主要考量/驗(yàn)證2.3.1評(píng)估度量：采用定量與定性指標(biāo)相結(jié)合的方法，為L(zhǎng)LM量身定制評(píng)估體系。定量指標(biāo)涵蓋準(zhǔn)確度、精確度、召回率、F1分?jǐn)?shù)、針對(duì)語(yǔ)言生成任務(wù)的困惑度以及翻譯任務(wù)的BLEU分?jǐn)?shù)。定性評(píng)估則可能包括人類(lèi)評(píng)審員對(duì)輸出的流暢性、連貫性和相關(guān)性的專業(yè)判斷?；鶞?zhǔn)測(cè)試：對(duì)比LLM的表現(xiàn)與已建立的基準(zhǔn)線及行業(yè)內(nèi)其他先進(jìn)模型，以識(shí)別其相對(duì)優(yōu)勢(shì)和潛在不足。偏見(jiàn)和公平性檢驗(yàn)：對(duì)模型輸出進(jìn)行檢查，以識(shí)別可能存在于不同人群或敏感屬性中的潛在偏見(jiàn)。通過(guò)使用公平性指標(biāo)來(lái)量化這些差異。2.3.2驗(yàn)證/紅隊(duì)真實(shí)世界測(cè)試：將LLM置于與其預(yù)期用例相似的真實(shí)環(huán)境中測(cè)試，以評(píng)估模型面對(duì)未知數(shù)據(jù)時(shí)的表現(xiàn)，從而衡量其泛化能力。人在回路(Human-in-the-loop):讓專家參與到LLM輸出的評(píng)估中，尤其在對(duì)準(zhǔn)確性和細(xì)節(jié)要求極高的敏感領(lǐng)域，并收集反饋以指導(dǎo)未來(lái)的優(yōu)化。紅色團(tuán)隊(duì)：組建一支專業(yè)的對(duì)抗團(tuán)隊(duì)，深入挖掘LLM的潛在漏洞、偏見(jiàn)和故障模式，有助于發(fā)現(xiàn)常規(guī)測(cè)試中可能遺漏的弱點(diǎn)。2.3.3重新評(píng)估監(jiān)控：在部署LLM后，對(duì)模型性能進(jìn)行持續(xù)監(jiān)控。建立監(jiān)測(cè)機(jī)制，以識(shí)別數(shù)據(jù)和模型漂移以及性能隨時(shí)間下降的問(wèn)題。數(shù)據(jù)漂移是指輸入數(shù)據(jù)隨著時(shí)間推移發(fā)生變化，這種變化可能導(dǎo)致模型性能下降。當(dāng)模型真實(shí)輸入數(shù)據(jù)與模型訓(xùn)練數(shù)據(jù)有偏離時(shí)，模型的預(yù)測(cè)準(zhǔn)確性和可靠性就會(huì)降低。模型漂移是指隨著時(shí)間推移，輸入特征和目標(biāo)變量之間的統(tǒng)計(jì)關(guān)系發(fā)生變化，從而導(dǎo)致模型的預(yù)測(cè)能力下降。這種漂移可能由多種因素引起，包括但不限于：生成數(shù)據(jù)的基礎(chǔ)過(guò)程變化、消費(fèi)者行為變化、外部環(huán)境因素等。數(shù)據(jù)漂移和模型漂移都會(huì)導(dǎo)致機(jī)器學(xué)習(xí)模型的性能下降，因此，對(duì)這些潛在問(wèn)題進(jìn)行持續(xù)監(jiān)控并采取有效措施至關(guān)重要。持續(xù)監(jiān)控、重新訓(xùn)練或用新數(shù)據(jù)更新模型等技術(shù)可以緩解這些問(wèn)題。觸發(fā)再培訓(xùn)：設(shè)定明確標(biāo)準(zhǔn)，以判斷何時(shí)需要對(duì)LLM進(jìn)行全面或部分的再培訓(xùn)，以響應(yīng)性能下降或數(shù)據(jù)分布的變化。彈性：為確保LLM在面對(duì)不可預(yù)見(jiàn)的輸入情況時(shí)仍能保持穩(wěn)定和一致的性能，需要從對(duì)抗性輸入魯棒性、異常值、異常數(shù)據(jù)模式等方面評(píng)估LLM。不確定性：探索模型對(duì)其預(yù)測(cè)的信心水平，以便在實(shí)際應(yīng)用中指導(dǎo)人類(lèi)決策。數(shù)據(jù)代表性：確保評(píng)估數(shù)據(jù)集與LLM在實(shí)際應(yīng)用中處理的實(shí)時(shí)數(shù)據(jù)高度一致，以避免產(chǎn)生誤導(dǎo)性結(jié)果。2.4部署部署階段將經(jīng)過(guò)訓(xùn)練和驗(yàn)證過(guò)的LLM集成到提供服務(wù)的系統(tǒng)中?！馎I服務(wù)供應(yīng)鏈●部署過(guò)程關(guān)鍵因素●Guardrails護(hù)欄2.4.1編排容器化：為了提高LLM的可移植性并簡(jiǎn)化其部署流程，采用容器化技術(shù)，將LLM及其必要的依賴項(xiàng)(包括庫(kù)、數(shù)據(jù)等)封裝進(jìn)容器(如Docker)中?？蓴U(kuò)展性：構(gòu)建一個(gè)可根據(jù)需求進(jìn)行靈活擴(kuò)展的部署架構(gòu)。同時(shí)使用負(fù)載均衡技術(shù)實(shí)現(xiàn)高效地分發(fā)傳入請(qǐng)求。版本控制：建立一個(gè)系統(tǒng)，用于跟蹤模型版本、配置及性能指標(biāo)的系統(tǒng)，有助于確保LLM更新是可回滾和可比較的。laaC:采用基礎(chǔ)設(shè)施即代碼(InfrastructureasCode)的方法，將基礎(chǔ)設(shè)施的配置和管理過(guò)程自動(dòng)化和代碼化。這可以帶來(lái)更改可追溯性、回滾可操作性等優(yōu)點(diǎn)。2.4.2AI服務(wù)供應(yīng)鏈代理：在構(gòu)建大對(duì)話式人工智能系統(tǒng)時(shí)，確保大模型能夠與自然語(yǔ)言理解(NLU)模塊、對(duì)話管理器和知識(shí)庫(kù)等關(guān)鍵組件進(jìn)行交互。插件：為提升大模型能力，可考慮將其與特定領(lǐng)域的插件或擴(kuò)展進(jìn)行集成，(例如，醫(yī)療保健或金融等特定領(lǐng)域的插件)。同時(shí)，必須考慮這些外部組件集成所帶來(lái)的安全風(fēng)險(xiǎn)。安全：在供應(yīng)鏈中應(yīng)優(yōu)先考慮安全性，包括保護(hù)API端點(diǎn)、實(shí)施用戶身份驗(yàn)證和授權(quán)機(jī)制、安全管理訪問(wèn)憑據(jù)，以及加密傳輸和存儲(chǔ)中的數(shù)據(jù)。2.4.3應(yīng)用應(yīng)用程序編程接口(APIs):為便于外部系統(tǒng)和用戶與由LLM驅(qū)動(dòng)的應(yīng)用程序進(jìn)行交互，開(kāi)發(fā)結(jié)構(gòu)良好的API,提供清晰的API文檔，包括輸入/輸出格式、預(yù)期行為等。采用REST(REpresentationStateTransfer)等業(yè)界標(biāo)準(zhǔn)構(gòu)建API,同時(shí)實(shí)施版本控制。檢索增強(qiáng)生成(RAG):考慮將檢索組件集成到大模型中，以便模型能夠訪問(wèn)并整合來(lái)自外部知識(shí)源的信息，從而提升響應(yīng)的精確性。輸入提示：為了指導(dǎo)LLM更有效地執(zhí)行特定任務(wù)并確保輸出的安全性，探索使用提示注入技術(shù)。不安全的輸出處理：對(duì)大模型的輸出進(jìn)行嚴(yán)格審查，以預(yù)防可能引發(fā)安全漏洞的有害輸出，如系統(tǒng)損害或數(shù)據(jù)泄露等風(fēng)險(xiǎn)。2.4.4部署過(guò)程關(guān)鍵因素用戶界面/用戶體驗(yàn)(UI/UX):設(shè)計(jì)用戶友好的界面，確保用戶能夠與大模型應(yīng)用程序順暢交互。根據(jù)大模型的上下文環(huán)境，定制滿足特定場(chǎng)景下的需求。系統(tǒng)。記錄數(shù)據(jù)有助于指導(dǎo)模型的調(diào)試和持續(xù)優(yōu)化。透明性：向用戶清晰地闡述大模型的工作原理及其輸出的潛在局限性，增強(qiáng)用戶對(duì)模型輸出的理解，建立信任感。輸入過(guò)濾：識(shí)別并防止可能對(duì)模型造成數(shù)據(jù)污染的惡意輸入，以減少對(duì)模型輸出的影響。輸出過(guò)濾：防止生成不恰當(dāng)或有害的內(nèi)容，如仇恨言論、暴力、露骨材料和其他被認(rèn)為不可接受或有害內(nèi)容。隱私：為保障用戶隱私安全，應(yīng)實(shí)施控制措施以降低隱私風(fēng)險(xiǎn)，防止模型生成可能泄露個(gè)人或?qū)Ｓ行畔⒌膬?nèi)容。濫用：限制LLM的使用，以防止其被用于生成欺詐性內(nèi)容、釣魚(yú)郵件等不當(dāng)用途，或其他形式的操縱及不道德內(nèi)容。倫理準(zhǔn)則和偏見(jiàn)緩解：為確保LLM的使用既符合倫理原則又遵循社會(huì)規(guī)范，應(yīng)減少產(chǎn)生與種族、性別、性取向等相關(guān)的偏見(jiàn)和歧視性內(nèi)容。2.5交付交付階段的核心在于對(duì)已部署的大模型進(jìn)行持續(xù)管理，并通過(guò)不斷的迭代改進(jìn)以保持該模型的標(biāo)準(zhǔn)和性能。通常認(rèn)為，交付階段涵蓋了以下三個(gè)關(guān)鍵子階段：●持續(xù)改進(jìn)2.5.1運(yùn)營(yíng)日志及監(jiān)控：持續(xù)監(jiān)控模型的關(guān)鍵性能指標(biāo)，如準(zhǔn)確性、延遲和資源利用率。一旦檢測(cè)到安全問(wèn)題或性能下降，立即通過(guò)告警系統(tǒng)通知相關(guān)人員。事件響應(yīng)：制定詳細(xì)的應(yīng)急響應(yīng)計(jì)劃和程序，及時(shí)處理和解決系統(tǒng)故障，并及時(shí)響應(yīng)諸如網(wǎng)絡(luò)攻擊、漏洞或性能瓶頸等安全事件。用戶反饋：建立反饋機(jī)制，收集用戶對(duì)模型輸出的意見(jiàn)和建議。對(duì)收集到的用戶反饋進(jìn)行分析，以確定需要改進(jìn)的領(lǐng)域或潛在問(wèn)題。2.5.2維護(hù)Bug修復(fù)：識(shí)別并解決在模型訓(xùn)練、微調(diào)或部署過(guò)程中出現(xiàn)的代碼錯(cuò)誤或系統(tǒng)故障。發(fā)布補(bǔ)丁或更新，以確保系統(tǒng)的穩(wěn)定性和數(shù)據(jù)的完整性。安全更新：時(shí)刻經(jīng)替新出現(xiàn)的安全威脅和漏洞。根據(jù)既定的漏洞管理服務(wù)水平協(xié)議(SLA),為大模型和相關(guān)系統(tǒng)提供安全補(bǔ)丁和更新。修補(bǔ)的過(guò)程應(yīng)當(dāng)全面覆蓋正在被使用的第三方或公共大模型(LLM)版本。重新訓(xùn)練模型：隨著與大語(yǔ)言模型(LLM)交互數(shù)據(jù)特性的變化，可能需要更新訓(xùn)練數(shù)據(jù)或重新訓(xùn)練模型以維持最佳性能。2.5.3持續(xù)改進(jìn)重新訓(xùn)練：定期評(píng)估是否需要在新數(shù)據(jù)或更新的超參數(shù)上重新訓(xùn)練大模型。此舉旨在解決概念漂移和性能下降問(wèn)題，或以此為契機(jī)，擴(kuò)展模型的能力。持續(xù)反饋循環(huán)：將監(jiān)控系統(tǒng)與用戶反饋機(jī)制相結(jié)合，形成一個(gè)閉環(huán)反饋系統(tǒng)。通過(guò)監(jiān)控?cái)?shù)據(jù)和用戶反饋指導(dǎo)模型重訓(xùn)練與持續(xù)優(yōu)化。實(shí)驗(yàn)：不斷探索可能提高模型整體性能的新模型架構(gòu)、算法或訓(xùn)練技術(shù)。2.5.4交付過(guò)程中的關(guān)鍵事項(xiàng)在整個(gè)操作和維護(hù)過(guò)程中，持續(xù)監(jiān)控模型，以識(shí)別模型在部署后可能的任何惡意行為或偏差。通過(guò)主動(dòng)監(jiān)控和及時(shí)干預(yù)，確保及時(shí)發(fā)現(xiàn)并解決問(wèn)題，從而減輕對(duì)用戶或系統(tǒng)的潛在負(fù)面影響。變更管理在維護(hù)模型的穩(wěn)定性和性能方面至關(guān)重要。一方面可建立全面的變更管理流程，記錄所有的更新并跟蹤其對(duì)性能的影響。另一方面可通過(guò)制定強(qiáng)有力的變更管理程序，有效管理模型的演進(jìn)，減少系統(tǒng)中斷和性能下降。此外，制定有效的回滾計(jì)劃，以便在變更或修改出現(xiàn)問(wèn)題時(shí)迅速采取應(yīng)對(duì)措施。為潛在的停機(jī)情況制定計(jì)劃也是模型維護(hù)的關(guān)鍵內(nèi)容。對(duì)可能導(dǎo)致服務(wù)中斷的更新或維護(hù)要有一定的預(yù)見(jiàn)性并制定針對(duì)性工作計(jì)劃。一方面要充分告知用戶，確保他們了解停機(jī)窗口及伴隨的服務(wù)中斷。并確保利益相關(guān)方能夠了解情況并為可能對(duì)其運(yùn)營(yíng)造成的影響做好準(zhǔn)備。通過(guò)主動(dòng)解決停機(jī)問(wèn)題，組織方在滿足用戶的期望和要求的同時(shí)，也可以保持大模型(LLM)的可靠性和可用性。2.6服務(wù)退出此階段的重點(diǎn)是當(dāng)大模型被新模型取代或其繼續(xù)運(yùn)行會(huì)帶來(lái)不可接受風(fēng)險(xiǎn)時(shí)，正確的停用大語(yǔ)言模型。本節(jié)中定義如下術(shù)語(yǔ)：2.6.1歸檔模型保存：即對(duì)大模型及其所有相關(guān)組件，包括代碼、配置文件和訓(xùn)練數(shù)據(jù)，進(jìn)行存檔。按照組織方(此處建議討論統(tǒng)一)的數(shù)據(jù)保留策略，對(duì)存檔內(nèi)容進(jìn)行安全、合規(guī)的存儲(chǔ)。存檔內(nèi)容對(duì)歷史分析、審計(jì)、模型迭代或復(fù)用等場(chǎng)景具有重要價(jià)文檔記錄：保存大模型的所有文檔，涵蓋設(shè)計(jì)、開(kāi)發(fā)過(guò)程、性能指標(biāo)、使用限制等關(guān)鍵信息。同時(shí)記錄使用過(guò)程中遇到的所有事件。2.6.2數(shù)據(jù)刪除法規(guī)：遵守?cái)?shù)據(jù)治理法規(guī)(如GDPR、CCPA),安全地刪除在大模型運(yùn)行期間所收集或訓(xùn)練的任何個(gè)人或敏感數(shù)據(jù)。保留政策：制定明確的數(shù)據(jù)保留策略，規(guī)定數(shù)據(jù)的存儲(chǔ)期限和條件，確立數(shù)據(jù)安全處置的流程和方法。2.6.3模型處置再利用評(píng)估：對(duì)大模型及其組件進(jìn)行全面評(píng)估，確定是否適合復(fù)用于其他應(yīng)用或研究項(xiàng)目。從而降低開(kāi)發(fā)成本和環(huán)境影響。知識(shí)產(chǎn)權(quán)：針對(duì)退役的大模型，審慎處理所有相關(guān)的知識(shí)產(chǎn)權(quán)問(wèn)題，特別是使用外部資源或許可技術(shù)開(kāi)發(fā)的大模型。安全處置：如果確定大模型無(wú)法再利用，應(yīng)采取安全措施進(jìn)行處置，防止未經(jīng)授權(quán)的訪問(wèn)或潛在濫用。對(duì)于存儲(chǔ)在物理介質(zhì)(如硬盤(pán)、SSD或可移動(dòng)存儲(chǔ))上的模型，考慮采用物理銷(xiāo)毀方法，確保數(shù)據(jù)無(wú)法被恢復(fù)。即可以通過(guò)消磁、粉碎或物理銷(xiāo)毀等方式實(shí)現(xiàn)。2.6.4服務(wù)退出期間的關(guān)鍵考慮因素告知：在大模型服務(wù)退役前，通知所有用戶和利益相關(guān)方。如有必要，提供清晰的遷移指南，以將服務(wù)遷移到替代服務(wù)或解決方案。影響評(píng)估：仔細(xì)評(píng)估大模型服務(wù)退役的潛在影響，特別是對(duì)敏感領(lǐng)域或高度依賴該服務(wù)的用戶的影響。知識(shí)轉(zhuǎn)移：從退役模型的開(kāi)發(fā)和運(yùn)營(yíng)過(guò)程中總結(jié)經(jīng)驗(yàn)教訓(xùn)，并能夠有效地應(yīng)用到組織未來(lái)的人工智能項(xiàng)目中。3.大語(yǔ)言模型服務(wù)影響分類(lèi)我們可以將影響類(lèi)別直接對(duì)應(yīng)到已經(jīng)確立的CIA安全三要素(機(jī)密性、完整性以下是對(duì)LLM相關(guān)風(fēng)險(xiǎn)的概括分類(lèi)：●機(jī)密性：存在這樣一種風(fēng)險(xiǎn)，即LLM的數(shù)據(jù)、模型本身或其生成的輸出可能會(huì)被泄露給未授權(quán)的個(gè)人，這涉及敏感信息，可能包括個(gè)人數(shù)據(jù)、商業(yè)秘密或其他機(jī)密材料?！裢暾裕捍嬖贚LM的數(shù)據(jù)或其生成的輸出被惡意或意外地修改或損壞的風(fēng)險(xiǎn)，這可能導(dǎo)致結(jié)果不正確或具有誤導(dǎo)性?！窨捎眯裕簩?duì)LLM操作可能存在遭受干擾的風(fēng)險(xiǎn)，導(dǎo)致用戶在關(guān)鍵時(shí)刻無(wú)法訪問(wèn)。這些干擾可能包括服務(wù)拒絕攻擊、系統(tǒng)故障、意外停機(jī)、過(guò)高的計(jì)費(fèi)限額或計(jì)算資源不足等情況。大語(yǔ)言模型服務(wù)威脅分類(lèi)的初始列表涵蓋一系列需要重點(diǎn)考慮并緩解的潛在風(fēng)險(xiǎn)和漏洞。每個(gè)類(lèi)別都代表一個(gè)獨(dú)特的挑戰(zhàn)，可能會(huì)損害大語(yǔ)言模型服務(wù)的完整性、安全性和有效性。具體分類(lèi)如下：1.模型操縱2.數(shù)據(jù)投毒3.敏感數(shù)據(jù)泄露4.模型竊取5.模型故障/失靈6.不安全的供應(yīng)鏈7.不安全的應(yīng)用程序/插件8.拒絕服務(wù)9.缺少治理/合規(guī)性模型操縱涉及試圖逃避檢測(cè)或操縱大語(yǔ)言模型產(chǎn)生不正確或誤導(dǎo)性的結(jié)果。包括直接或間接指令注入(對(duì)抗性輸入)等技術(shù)，旨在利用模型學(xué)習(xí)訓(xùn)練和決策過(guò)程中的漏洞。4.2數(shù)據(jù)投毒數(shù)據(jù)投毒是指操縱大語(yǔ)言模型訓(xùn)練數(shù)據(jù)的一種行為，攻擊者可能故意向訓(xùn)練數(shù)據(jù)中注入虛假、誤導(dǎo)性或無(wú)用信息，或利用數(shù)據(jù)集中已有的錯(cuò)誤和偏差。無(wú)論哪種情況，數(shù)據(jù)投毒都可能使模型受到污染，導(dǎo)致模型學(xué)習(xí)到錯(cuò)誤的模式，產(chǎn)生帶有偏見(jiàn)的預(yù)測(cè)結(jié)果，并降低其可信度。4.3敏感數(shù)據(jù)泄露敏感數(shù)據(jù)泄露指的是對(duì)大語(yǔ)言模型服務(wù)在處理或存儲(chǔ)過(guò)程中的敏感信息進(jìn)行未授權(quán)訪問(wèn)、披露或泄露的威脅。這類(lèi)敏感信息可能涵蓋個(gè)人隱私數(shù)據(jù)、商業(yè)專有數(shù)據(jù)或機(jī)密文件。一旦這些數(shù)據(jù)遭到泄露，可能會(huì)引發(fā)隱私侵犯和安全漏洞的問(wèn)題。4.4模型竊取模型竊取(也稱為模型蒸餾)指的是惡意行為者未經(jīng)授權(quán)地訪問(wèn)或復(fù)制大語(yǔ)言模型。攻擊者可能會(huì)嘗試對(duì)模型的架構(gòu)進(jìn)行逆向工程，或者提取出專有的算法和參數(shù)。這種行為可能會(huì)導(dǎo)致知識(shí)產(chǎn)權(quán)被盜用，或者模型被未經(jīng)授權(quán)地復(fù)制和使用。模型故障/失靈指大語(yǔ)言模型服務(wù)中可能出現(xiàn)的軟件錯(cuò)誤、硬件故障、操作錯(cuò)誤等問(wèn)題。此類(lèi)事件可能會(huì)破壞服務(wù)可用性、降低性能、破壞模型輸出準(zhǔn)確性和可靠4.6不安全的供應(yīng)鏈不安全的供應(yīng)鏈指的是在大語(yǔ)言模型的生態(tài)系統(tǒng)中，由于第三方組件、依賴項(xiàng)或服務(wù)的引入而產(chǎn)生的安全漏洞。這些漏洞可能被惡意利用，從而損害大語(yǔ)言模型服務(wù)的安全性和可靠性，例如通過(guò)使用被篡改的軟件庫(kù)或存在缺陷的硬件組件。4.7不安全的應(yīng)用程序/插件不安全的應(yīng)用程序/插件包括與大語(yǔ)言模型服務(wù)交互的插件、函數(shù)調(diào)用或擴(kuò)展中引入的漏洞。不安全或惡意設(shè)計(jì)的應(yīng)用程序/插件可能會(huì)引入安全漏洞、特權(quán)提升或?qū)γ舾匈Y源進(jìn)行未經(jīng)授權(quán)的訪問(wèn)，這些都會(huì)對(duì)集成系統(tǒng)的輸入和輸出構(gòu)成風(fēng)險(xiǎn)。4.8拒絕服務(wù)拒絕服務(wù)攻擊旨在通過(guò)大量請(qǐng)求或惡意流量壓垮LLM服務(wù)，從而破壞其可用性或功能。DoS攻擊可以使服務(wù)對(duì)合法用戶不可訪問(wèn)，導(dǎo)致停機(jī)、服務(wù)質(zhì)量下降或信任喪失。4.9缺少治理/合規(guī)性這一類(lèi)別涉及不遵守監(jiān)管要求、行業(yè)標(biāo)準(zhǔn)或管理LLM服務(wù)運(yùn)營(yíng)和使用的內(nèi)部治理與合規(guī)政策的風(fēng)險(xiǎn)。未能遵循治理與合規(guī)標(biāo)準(zhǔn)可能導(dǎo)致法律責(zé)任、財(cái)務(wù)處罰或聲譽(yù)損失。采取全面的方法應(yīng)對(duì)大模型服務(wù)的威脅風(fēng)險(xiǎn)，包括但不限于實(shí)施強(qiáng)有力的安全措施、進(jìn)行持續(xù)的風(fēng)險(xiǎn)評(píng)估、集成威脅情報(bào)，以及制定針對(duì)模型獨(dú)特特性的主動(dòng)緩解策略。從安全控制和風(fēng)險(xiǎn)管理的角度出發(fā)，我們需要識(shí)別與大模型系統(tǒng)相關(guān)的弱點(diǎn)和漏洞，以便采取相應(yīng)的預(yù)防和修復(fù)措施。大模型的弱點(diǎn)可能表現(xiàn)在多個(gè)方面，如訓(xùn)練數(shù)據(jù)的局限性、算法的偏差或模型架構(gòu)的缺陷。例如，模型對(duì)訓(xùn)練數(shù)據(jù)中統(tǒng)計(jì)模式的依賴可能導(dǎo)致在處理語(yǔ)言的細(xì)微差別或識(shí)別潛在的惡意輸入時(shí)存在不足。大語(yǔ)言模型的漏洞是指在特定情況下，攻擊者可以利用這些漏洞破壞模型的完整性、機(jī)密性、可用性或模型的輸出。這些漏洞可能源自模型實(shí)踐中的缺陷，例如編碼錯(cuò)誤、配置不當(dāng)、訓(xùn)練數(shù)據(jù)被操縱以引入偏見(jiàn)或通過(guò)反向示例進(jìn)行攻擊。從風(fēng)險(xiǎn)管理角度看，識(shí)別并減輕模型中的弱點(diǎn)和漏洞風(fēng)險(xiǎn)對(duì)于防范潛在威脅并降低威脅影響十分重要。這涉及評(píng)估對(duì)模型攻擊的可能性及潛在影響、根據(jù)風(fēng)險(xiǎn)的嚴(yán)重程度確定風(fēng)險(xiǎn)的優(yōu)先級(jí)，并實(shí)施適當(dāng)?shù)陌踩刂拼胧詼p輕或?qū)⑦@些風(fēng)險(xiǎn)轉(zhuǎn)移到可接受的水平。作為安全策略的一部分，應(yīng)該通過(guò)紅/藍(lán)對(duì)抗提高系統(tǒng)的安全性。通過(guò)區(qū)分弱點(diǎn)、漏洞和攻擊，人工智能控制框架可以提供一種結(jié)構(gòu)化的方法來(lái)識(shí)別、評(píng)估和減輕與部署人工智能系統(tǒng)相關(guān)的風(fēng)險(xiǎn)。這使得組織能夠制定有效的策略來(lái)防范潛在威脅，增強(qiáng)其人工智能系統(tǒng)的抗打擊能力，并保證其運(yùn)營(yíng)的可信度。5.參考文獻(xiàn)1.BARRETT,A.M.,NEWMAN,J.,NONNECKFoundationModels.[online]U/wp-content/uploads/2023/11/BerkeModel-Risk-Management-Standards-Prof2