大模型安全實(shí)踐白皮書 2024

螞蟻集ANTGROUP螞蟻集ANTGROUP 螞蟻集ANTGROUP螞蟻集ANTGROUP 0505螞蟻集ANTGROUP螞蟻集ANTGROUP一、大模型發(fā)展趨勢與挑戰(zhàn)0606會高質(zhì)量發(fā)展的重要推動力，它將繼續(xù)發(fā)揮更為廣泛和深遠(yuǎn)的影響，式，正受到廣泛關(guān)注。該模式以柔韌、流動、靈活及自適應(yīng)為特點(diǎn)，07071.2大模型發(fā)展挑戰(zhàn)攻擊也在增多。大模型應(yīng)用降低了查找漏洞和發(fā)動系統(tǒng)攻擊的難度，080809092.1總體框架 踐，將總體框架分為五個(gè)部分。首先，提出了“以人為本，AI向 1010信息篩選、決策判斷、任務(wù)執(zhí)行、內(nèi)容生成、藝術(shù)創(chuàng)作、方案優(yōu)化、人工智能倫理準(zhǔn)則旨在確保人工智能技術(shù)的應(yīng)用符合人類的道1111時(shí)間政策《歐盟人工智能倫理準(zhǔn)準(zhǔn)，強(qiáng)調(diào)人工智能的發(fā)展和應(yīng)用應(yīng)以增進(jìn)人類1212人工智能應(yīng)是以人為本的技術(shù)，強(qiáng)調(diào)了人工智能技術(shù)的發(fā)展和應(yīng)用應(yīng)該以提高人類福祉為最《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的協(xié)調(diào)發(fā)展與治理的關(guān)系，確保人工智能安全可《中國新一代人工智能提出人工智能的發(fā)展必須以人為本，關(guān)注其對人類社會的影響，并確保其發(fā)展的可持續(xù)性和《全球人工智能治理倡國《關(guān)于人工智能和全球強(qiáng)調(diào)中法兩國充分致力于促進(jìn)安全、可靠和可這是美國迄今為止最全面的人工智能監(jiān)管原則，提出應(yīng)確保數(shù)據(jù)隱私和網(wǎng)絡(luò)安全、防止歧《以人為中心的人工智提出了以尊嚴(yán)、多元包容和可持續(xù)作為人工智能社會的基本理念，確立了以人為中心等七項(xiàng)《實(shí)施人工智能原則的推進(jìn)人工智能治理七項(xiàng)原則從理念向落地邁《人工智能倫理問題建為應(yīng)對人工智能大模型所帶來的挑戰(zhàn)，這是首個(gè)關(guān)于以符合倫理要求的方式運(yùn)用人工智能的《以人為本的人工智能提出了建立人工智能國際治理機(jī)構(gòu)的指導(dǎo)原所人工智能在某些任務(wù)上已經(jīng)達(dá)到或超越了人類關(guān)注人工智能對人類社會、經(jīng)濟(jì)和文化等方面13131414抗攻擊測試和對抗學(xué)習(xí)等方法來發(fā)現(xiàn)漏洞和提升模型魯棒性和安全151516162.4大模型落地的三種主要模式:端、邊、云企業(yè)和組織在考慮將大模型整合到其業(yè)務(wù)流程或服務(wù)中時(shí),對于如何部署和使用這些先進(jìn)的人工智能系統(tǒng)有多種選擇。選擇最佳的部署模式,不僅關(guān)系到模型的性能和效率,而且影響整體的運(yùn)營成本和用戶體驗(yàn)。當(dāng)前大模型的三種主要落地模式:端側(cè)部署、邊緣計(jì)算和云平臺服務(wù)。端側(cè)部署模式涉及將大模型直接整合到用戶的終端設(shè)備中,如智能手機(jī)、個(gè)人電腦或?qū)I(yè)工作站。這種模式的主要優(yōu)點(diǎn)是能夠?qū)崿F(xiàn)高度個(gè)性化的用戶體驗(yàn),并且由于計(jì)算過程在本地進(jìn)行,因此能夠最小化數(shù)據(jù)傳輸延遲和提升響應(yīng)速度。端側(cè)部署模式適合那些對隱私保護(hù)和實(shí)時(shí)性有極高要求的場景,如離線語音識別、即時(shí)翻譯和全知個(gè)人助理等。邊緣計(jì)算模式將大模型放置在接近用戶但不在端側(cè)設(shè)備上的邊緣服務(wù)器。邊緣計(jì)算集中了云計(jì)算的強(qiáng)大處理能力和端側(cè)部署的低延遲優(yōu)勢,適合處理計(jì)算和數(shù)據(jù)要求較高、而又需要快速響應(yīng)的應(yīng)用程序。此外,由于數(shù)據(jù)不需要傳輸?shù)竭h(yuǎn)端云服務(wù)器,邊緣計(jì)算還能夠有效降低帶寬需求和改進(jìn)數(shù)據(jù)安全性。為大模型提供了充足的存儲和計(jì)算資源,讓它們能夠運(yùn)行最復(fù)雜的算法并處理大量數(shù)據(jù)。云平臺的模型服務(wù)(Maas)為模型的升級和維護(hù)提供了靈活性,同時(shí)確保了從任何地方都能訪問模型的便利性。然而,這種模式可能面臨網(wǎng)絡(luò)延遲和數(shù)據(jù)隱私的問題,這需要通過合理的系統(tǒng)設(shè)計(jì)和策略來緩解。操作效率進(jìn)行細(xì)致考量。每種部署模式的安全性也是決策過程中的一1717安全解決方案需要在流量安全管理和數(shù)據(jù)隱私保護(hù)方面提供堅(jiān)固的181819193.1大模型安全性技術(shù)研究和進(jìn)展現(xiàn)的核心在于其大規(guī)模的模型參數(shù)以及對來源于海量數(shù)據(jù)的知識的戶信息和對話的所有內(nèi)容，以及互動網(wǎng)頁內(nèi)的各種隱私信息（包括），212021202222法十分多樣。例如圖3-3，用戶可直接要求模型忽視自己的安2323螞蟻集ANTGROUP大模型安全實(shí)踐(2024)螞蟻集ANTGROUP此,針對模型的竊取攻擊也是一種十分危險(xiǎn)的攻擊手段。這種攻擊尤盡可能還原,從而將模型的功能進(jìn)行復(fù)制。三、大模型系統(tǒng)安全風(fēng)險(xiǎn)。生成式人工智能系統(tǒng)可以被理解為基于大規(guī)模復(fù)雜分布式系統(tǒng)建立的人工智能系統(tǒng)。除了多模態(tài)數(shù)據(jù)、人工智能模型外,人工智能系統(tǒng)平臺還包括硬件基礎(chǔ)設(shè)施、框架依賴庫等多種計(jì)算機(jī)系統(tǒng)組件,通過分布式計(jì)算集群為多方終端用戶提供生成式人工智能服務(wù)。圖3-4基于大規(guī)模復(fù)雜分布式計(jì)算機(jī)系統(tǒng)建立的系統(tǒng)框架硬件全用于訓(xùn)練和推理的復(fù)雜硬件系統(tǒng),提供了巨大的計(jì)算能力,同時(shí)也帶來了安全問題。硬件安全主要包括GPU計(jì)算資源安全、內(nèi)存和存儲安全、智能體安全。例如,GPU側(cè)通道攻擊被發(fā)用于利用漏洞并提取訓(xùn)練模塊的參數(shù),從而實(shí)現(xiàn)竊取模型參數(shù)信息Hammer攻擊可以操縱生成式人工智能系統(tǒng)的訓(xùn)練參數(shù),從而產(chǎn)生諸如DeepHammer攻擊等修改模型隱層參數(shù)從而達(dá)到模型效果下降,訓(xùn)練無法擬合,甚至構(gòu)筑后門等攻擊目的。此外,面向海量承載和連以通過多種攻擊方式對智能體設(shè)備進(jìn)行打擊,從而驅(qū)使人工智能體成為犯罪工具。例如,攻擊者可以從外部訪問物聯(lián)網(wǎng)設(shè)備,基于物理攻擊修改內(nèi)存或計(jì)算,通過與有故障的智能體設(shè)備交互從而實(shí)現(xiàn)攻擊。圖3-5生成式人工智能的系統(tǒng)安全威脅軟件全在生成式人工智能時(shí)代下,開發(fā)生成式人工智能系統(tǒng)的工具鏈變得越來越復(fù)雜,這一開發(fā)過程通常需要多個(gè)軟件之間的頻繁交互。觸發(fā)軟件威脅的安全問題可以包括編程語言、軟件供統(tǒng)漏洞,使系統(tǒng)容易受到潛在的拒絕服務(wù)(DOS)攻擊,從而導(dǎo)致CPU和RAM資源耗盡(CVE-202248564)。此外,大模型訓(xùn)練通常涉及使用多處理庫來加速數(shù)據(jù)預(yù)處理,最近的發(fā)現(xiàn)揭示了許多加速數(shù)據(jù)預(yù)處理代碼導(dǎo)致的信息泄露的例子(CVE-2022-42919和CVE-202226488)。在軟件供應(yīng)鏈安全方面,最近,HuggingFace平臺的組件安螞蟻集ANTGROUP螞蟻集ANTGROUP（3）框架安全。大模型系統(tǒng)通常使用深度學(xué)習(xí)框架來實(shí)現(xiàn)，近學(xué)習(xí)框架存在的安全漏洞無疑給人工智能系統(tǒng)帶來了巨大的安全隱26262727會捕捉到訓(xùn)練數(shù)據(jù)中的偏見，導(dǎo)致生成的文本也帶有類似的偏見。虛假圖像和視頻，這些圖像和視頻極其逼真，難息，忽略真實(shí)的證據(jù)，這給網(wǎng)絡(luò)安全和社會安定種隱蔽的意識形態(tài)滲透可能會潛移默化地影響人們的價(jià)值觀和世界29282928發(fā)的新型版權(quán)侵權(quán)風(fēng)險(xiǎn)已成為整個(gè)行業(yè)發(fā)展所面臨的緊迫問題。（2）教育行業(yè)誠信危機(jī)。大模型及其應(yīng)用也引發(fā)了教育行業(yè)關(guān)3030（3）偏見誘發(fā)公平性問題。大型模型在實(shí)際應(yīng)用中可能會對不31313232安全性，有效遏制可能產(chǎn)生的越獄威脅。當(dāng)前的防御方法可以分為，333334343535依賴庫威脅的防范主要通過挖掘深度學(xué)習(xí)常用底層依賴庫中的功能要體現(xiàn)在對操作系統(tǒng)管理和調(diào)度計(jì)算機(jī)的硬件資源時(shí)所產(chǎn)生的物理37363736化學(xué)習(xí)的大模型對齊技術(shù)已逐漸成為當(dāng)下大模型安全研究的主流技393839384040414142423.2大模型可靠性技術(shù)研究和進(jìn)展4343題對于提升大模型系統(tǒng)的信任度、安全性和廣泛454445444646的智能體是一個(gè)面向未來的研究課題目前大部分的研究還是讓模型3.3大模型可控性技術(shù)研究和進(jìn)展成多個(gè)單步動作進(jìn)行執(zhí)行。在執(zhí)行的過程中會產(chǎn)生大量的過程信4747模不斷增長、基準(zhǔn)數(shù)據(jù)集的缺乏、商業(yè)化因素導(dǎo)致模型閉源性問題，49484948攻擊類型主要是指原圖在直接傳播過程中受到的簡單干擾，包括5050等操作，提升泛化性，但是其多樣性和創(chuàng)造性仍然非常受限。Self-51513.4大模型安全評測技術(shù)研究和進(jìn)展進(jìn)行全面的評測。在大模型的安全評測領(lǐng)域，重點(diǎn)關(guān)注的技術(shù)挑戰(zhàn)5252通過文字同音詞替換或者把輸入圖像進(jìn)行風(fēng)格遷移的操作來構(gòu)造出5353多輪交互引導(dǎo)的形式來誘導(dǎo)模型繞過防御策略輸出帶有風(fēng)險(xiǎn)的內(nèi)容。4.1金融領(lǐng)域大模型安全實(shí)踐它致力于為用戶提供透明可信賴的金融服務(wù)和高度智能化的專業(yè)建55545554支小寶通過復(fù)合方法確保模型安全：1.預(yù)訓(xùn)練語料清掃，清除575657564.2醫(yī)療領(lǐng)域大模型安全實(shí)踐心功能，患者無需在紛繁的產(chǎn)品界面尋找特定功能，只需與醫(yī)療AI患者的病情和就醫(yī)訴求，并通過自然語言及語音的方式與患者互動，5858片敏感信息的識別和馬賽克/遮蓋；醫(yī)院紅章、二維碼等圖片敏感信5959控和控制進(jìn)出API的數(shù)據(jù)流。達(dá)到防止惡意流量和攻擊的效果。在60604.3政務(wù)領(lǐng)域大模型安全實(shí)踐6161626263634.4人力資源領(lǐng)域大模型安全實(shí)踐65646564如薪資水平異常高/低，通過可視化工具或數(shù)據(jù)統(tǒng)計(jì)與分析，可以識侵防御系統(tǒng)（IPS使用雙因素認(rèn)證等技術(shù)，或使用虛擬專用網(wǎng)絡(luò)6766676668684.5智能助理領(lǐng)域大模型安全實(shí)踐696970705.1未來展望71717272