2024年大模型安全實(shí)踐報(bào)告-真實(shí)漏洞視角下的全面探討-360數(shù)字安全

2 3 3 5 5 6 8 9 10 10 10 12 12 12 13 14 16 17 18 18 19 19 20 20 21 22 23 243本文對(duì)大模型在軟件設(shè)施和具體應(yīng)用場(chǎng)景落地中的安全問題進(jìn)行多方面探Dify4triton-inference-ser51.模型訓(xùn)練和驗(yàn)證經(jīng)常會(huì)使用到開源第三方數(shù)據(jù)集，或者在使用網(wǎng)的內(nèi)容形成自有數(shù)據(jù)集時(shí)，并沒有進(jìn)行有效清洗，導(dǎo)致數(shù)據(jù)集中包含一個(gè)直觀的例子是，如果大量重復(fù)的在聊天機(jī)器人問答過程中輸入錯(cuò)誤的事實(shí)，則可能會(huì)影響該聊天機(jī)器人與其他用戶對(duì)話時(shí)對(duì)于類似問題的678examples."arXivpreprintarXiv:1412.6572(2014).9憶注入）以及JSONexploiting（JSON格1.未授權(quán)訪問來自其他數(shù)據(jù)提供方的關(guān)鍵數(shù)據(jù)，這將導(dǎo)致最直接的隱私泄2.從模型生成結(jié)果中還原出原始訓(xùn)練數(shù)據(jù)信息，或推斷模型特征，從而實(shí)大模型的開放性和可擴(kuò)展性使得其在訓(xùn)練和推理過程中面臨著諸多安全威為了提升整體運(yùn)行效率，框架底層主要使用C/C++進(jìn)行編程，并在算法的這些框架上層均提供了以Python為主的各類接口來訪問底層C++實(shí)現(xiàn)。早在對(duì)于在訓(xùn)練過程中會(huì)被經(jīng)常運(yùn)行的代碼邏輯而言，每加入一行新代碼都會(huì)在整體上拖慢程序的運(yùn)行速度，而為了修復(fù)內(nèi)存安全問題增加的補(bǔ)丁2.此類問題的利用條件相對(duì)苛刻，在實(shí)際應(yīng)用場(chǎng)又能控制傳入的參數(shù)值，而這兩者通常只由框架的使用者決定?？紤]到內(nèi)存破壞漏洞利用通常還需要額外的邏輯來精確控制內(nèi)存，因此上述攻擊在大多數(shù)場(chǎng)景下是難以實(shí)施的，即當(dāng)攻擊者能滿足此類利用條件時(shí)，不可信模型，與直接執(zhí)行不可信代碼是等價(jià)的，其中，由Pickle格式的模型而導(dǎo)致的任意代碼執(zhí)行則是一個(gè)WorkerWorkerWorkerFrameworkLevelTaskWorkerWorkerWorkerFrameworkLevelTaskschedule&NodeManagementgRPC/HTTP/SSH/Sockets...Workera2a3Workerbob1b2WorkerWorkera2a3Workerbob1b2Workerdod1d2d3WorkerParallelComputingLevelAllReduce▲行計(jì)算層負(fù)責(zé)運(yùn)行具體的計(jì)算任務(wù)，通過專門的并行計(jì)算協(xié)議完成節(jié)點(diǎn)間的數(shù)架都沒有良好的安全策略實(shí)現(xiàn)。在這里我們選取了其中幾個(gè)代表性框架進(jìn)行分llama.cpp是一個(gè)使用C/C++實(shí)現(xiàn)，提供了LLaMA和其它多種大語(yǔ)言模型的2圖片來源：/ggerganov/lla理。當(dāng)接收到消息時(shí)，服務(wù)端會(huì)先檢查消息的簽名，在驗(yàn)證通過后，使用2.確保服務(wù)生命周期的合理性，例如，在同步網(wǎng)絡(luò)信息后，將及時(shí)關(guān)停ClientrequestClientrequestRayClustergRPCWorkerNodeWorkerProcessRayletsharedmemobjectstoreRuntimeEnvAgentHeadNodeDriverProcessJobManagerDashboardGlobalControlStore雖然在不同的場(chǎng)景下，實(shí)施這些攻擊的難易程度也有所不同，但不可否認(rèn)的是，絕大多數(shù)的框架開發(fā)者目前并沒有投入精力來解決因框架設(shè)計(jì)導(dǎo)致的安全敞口AI應(yīng)用以人工智能技術(shù)為核心，構(gòu)建了完整用戶交互流程，旨在通過自動(dòng)化決策和智能分析來解決實(shí)際問題。AI應(yīng)用通常集成了前端采集用戶輸AnythingLLM是一個(gè)支持使用商業(yè)或開源大語(yǔ)言模型并結(jié)合私有知識(shí)庫(kù)進(jìn)取實(shí)時(shí)信息或讀取用戶本地知識(shí)庫(kù)；交互增強(qiáng)類plugin可以繪制圖表片等等。一些功能強(qiáng)大的plugin甚至允許用戶通過自然語(yǔ)言或其他形戶可以通過自然語(yǔ)言與數(shù)據(jù)進(jìn)行交互，而無(wú)需編寫復(fù)雜的代碼。PandasAI中的SemanticAgent通過添加語(yǔ)義層來顯然，AI應(yīng)用很難從辨別代碼意圖的角度去進(jìn)行代碼執(zhí)行的任務(wù)來保障安全問題，因?yàn)樵诮^大多數(shù)情況下，AI代碼并不復(fù)雜，通過簡(jiǎn)單的Python解釋器這是因?yàn)锳I本身就具備