2024年人工智能應(yīng)用系統(tǒng)內(nèi)生安全藍(lán)皮書

人工智能應(yīng)用系統(tǒng)內(nèi)生安全藍(lán)皮書(2024年)中國通信學(xué)會內(nèi)生安全專業(yè)技術(shù)委員會2024年11月本藍(lán)皮書版權(quán)屬于中國通信學(xué)會內(nèi)生安全專業(yè)技術(shù)委員會，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報告文字或者觀點的，應(yīng)注明“來源：中國通信學(xué)會內(nèi)生安全專業(yè)技術(shù)委員會”。違反上述聲明者，本學(xué)會將追究其相關(guān)專家組和撰寫組名單顧問(以姓氏筆劃為序):專家組：組長：張帆國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授副組長：黃瑞陽國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授成員(以姓氏筆劃為序):姓名單位職務(wù)國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心助理研究員國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副教授復(fù)旦大學(xué)大數(shù)據(jù)研究院副院長尚玉婷復(fù)旦大學(xué)大數(shù)據(jù)研究院助理研究員李建鵬鄭州大學(xué)助理研究員李邵梅國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員高彥釗國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員撰寫組(按單位排名)單位姓名紫金山實驗室杜加玉紫金山實驗室紫金山實驗室苗馨遠(yuǎn)紫金山實驗室紫金山實驗室董方旭紫金山實驗室楊秋龍紫金山實驗室紫金山實驗室紫金山實驗室紫金山實驗室周志中紫金山實驗室彭自文紫金山實驗室喬明起當(dāng)前人工智能(ArtificialIntelligence,AI)技術(shù)已經(jīng)成為推動社會經(jīng)濟(jì)發(fā)展的新引擎。然而，正如哲學(xué)家黑格爾指出的那樣：“一切事物都是自在性矛盾的”,任何偉大的技術(shù)發(fā)明在創(chuàng)造前所未有的機(jī)遇同時，也一定會衍生或伴隨前所未有的挑戰(zhàn)。當(dāng)前數(shù)據(jù)投毒、算法偏見、模型脆弱性和運(yùn)行環(huán)境內(nèi)生安全威脅等問題頻發(fā)，不僅影響到AI應(yīng)用系統(tǒng)可用性和可靠性，還能會觸及隱私保護(hù)、網(wǎng)絡(luò)安全、社會穩(wěn)定乃至生命財產(chǎn)安全和認(rèn)知混亂等可信性方面的技術(shù)倫理議題。因此，構(gòu)建一套能夠抵御內(nèi)外部威脅、確保AI健康可持續(xù)發(fā)展的安全體系，已成為智能時代不可或缺的剛需，必須防范重蹈“先發(fā)展后治理”陳舊理念和模式覆轍。哥德爾不完備性定理指出，即使是最精密細(xì)致設(shè)計的系統(tǒng)，也無法證明不存在不確定性風(fēng)險。AI應(yīng)用系統(tǒng)涵蓋了從數(shù)據(jù)治理、模型訓(xùn)練、部署應(yīng)用，到運(yùn)行監(jiān)控及反饋優(yōu)化等環(huán)節(jié)，每一個步驟都有可能引入不確定性因素，主要表現(xiàn)在：一是AI應(yīng)用系統(tǒng)運(yùn)行環(huán)境仍基于馮·諾依曼的存儲程序控制機(jī)理或架構(gòu)，不可避免的存在“娘胎里帶來基因缺陷”;另一方面，AI模型算法特有的“黑盒”效應(yīng)具有不可解釋性、不可判識性和不可推論性，使其成為懸在任何實用化的AI應(yīng)用系統(tǒng)之上的“達(dá)摩克利斯之劍”?，F(xiàn)有AI安全防御方法主要依賴“亡羊補(bǔ)牢，吃一塹長一智”的經(jīng)典反脆弱性方法論，這種策略盡管能夠在一定程度上防范已知威脅，但任何附加的安全算法或措施都無法杜絕自身存在的內(nèi)生安全問題，因而不可能從根本上規(guī)避“反復(fù)踩坑的惡性循環(huán)”,有效抵御廣義不確定性安全威脅。網(wǎng)絡(luò)內(nèi)生安全理論的提出，建立在必要多樣性定律和相對正確公理基礎(chǔ)上的“構(gòu)造決定安全”方法，能夠在AI應(yīng)用系統(tǒng)設(shè)計之初就導(dǎo)入動態(tài)異構(gòu)冗余構(gòu)造和策略裁決功能，使其具備應(yīng)對任何差模性質(zhì)不確定性影響的能力，可為提升AI應(yīng)用系統(tǒng)網(wǎng)絡(luò)韌性或廣義功能安全提供全新的視角和解決方案。智能時代的技術(shù)實踐需要正確的安全理論指引，在設(shè)計人工智能應(yīng)用系統(tǒng)時，不僅要充分考慮網(wǎng)絡(luò)韌性架構(gòu)設(shè)計，還要為適應(yīng)可能出現(xiàn)的各種未知安全風(fēng)險留有足夠余地。這既是人工智能技術(shù)發(fā)展的必然要求，也是防范社會性系統(tǒng)風(fēng)險的必要條件。本藍(lán)皮書是一篇集科學(xué)性、實用性和前瞻性于一體的報告，不僅能為學(xué)術(shù)界提供寶貴的理論參考，而且可為產(chǎn)業(yè)界提供一套行之有效的安全指南，更可以為一體化的設(shè)計“高可信、高可靠、高可用”AI應(yīng)用系統(tǒng)提供一個具有普適性意義的解決方案，幫助我們在未來的發(fā)展道路上走得更加穩(wěn)健，讓“泛在化AI技術(shù)向善”。6郭2024年1月，人工智能(AI)新銳巨頭OpenAI公司的創(chuàng)始人兼首席執(zhí)行官薩姆·奧爾特曼(SamAltman)在世界達(dá)沃斯論壇上強(qiáng)調(diào)，AI帶來的技術(shù)革命不同于以往，而是成為了一種“不可思議的提高生產(chǎn)力的工具"。作為最具顛覆性的新興技術(shù)之一，AI發(fā)展在為人類社會經(jīng)濟(jì)發(fā)展帶來巨大紅利的同時，也引發(fā)了一系列現(xiàn)實危害和風(fēng)險挑戰(zhàn)，主要包括數(shù)據(jù)竊取、隱私泄露、算法歧視、對抗攻擊等安全威脅，它們不僅威脅著個人信息的保護(hù)，影響著企業(yè)的信譽(yù)和運(yùn)營安全，甚至對國家安全也構(gòu)成了潛在的隱患，這些問題需要我們持續(xù)關(guān)注并采取有效措施加以防范和解決。當(dāng)前人工智能應(yīng)用系統(tǒng)的安全威脅是由于其網(wǎng)絡(luò)軟硬件運(yùn)行環(huán)境和模型算法兩個層面存在的“內(nèi)生安全問題”所致。然而現(xiàn)有的人工智能應(yīng)用系統(tǒng)安全防護(hù)模式和技術(shù)路線很少能跳出“盡力而為、問題歸零”的慣性思維，傳統(tǒng)的對抗訓(xùn)練、挖漏洞、打補(bǔ)丁、封門補(bǔ)漏、查毒殺馬乃至設(shè)蜜罐、布沙箱等層層疊疊的附加式防護(hù)措施，在引入安全功能的同時不可避免地會引入新的內(nèi)生安全隱患。為創(chuàng)造性破解人工智能應(yīng)用系統(tǒng)內(nèi)生安全難題，本藍(lán)皮書提出一種內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建的方法，利用內(nèi)生安全機(jī)理中內(nèi)在的構(gòu)造效應(yīng)，從體制機(jī)理上管控或規(guī)避人工智能應(yīng)用系統(tǒng)面臨的破壞及威脅，進(jìn)而有效提升人工智能應(yīng)用系統(tǒng)在面對復(fù)雜多變安全環(huán)境時的應(yīng)對能力，為AI技術(shù)的健康發(fā)展提供堅實保障。 1(一)人工智能應(yīng)用系統(tǒng) 1 2 4 9(三)研究意義 (二)全球人工智能安全研究現(xiàn)狀 (三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀 21 23(一)產(chǎn)業(yè)發(fā)展?fàn)顩r述評 23 25 30 32 6.法律和倫理風(fēng)險 327.系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險 331.人工智能算法理論存在局限性 32.人工智能算法結(jié)果難以解釋 4.法律、倫理和信任度等社會因素共同作用 351.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題 352.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全個性問題 3.人工智能應(yīng)用系統(tǒng)的廣義功能安全問題 38 401.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的機(jī)理 2.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的特殊性 3.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的可行性 454.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建 47五、工程難題 (三)提升AI價值觀對齊能力 (四)建強(qiáng)Al應(yīng)用系統(tǒng)安全環(huán)境 六、政策建議 5(一)加快推進(jìn)人工智能應(yīng)用系統(tǒng)立法保護(hù) 5(二)加快人工智能應(yīng)用系統(tǒng)供給側(cè)安全治理 (四)加快建立國家級人工智能安全試驗場 (五)加快轉(zhuǎn)變教育范式培養(yǎng)負(fù)責(zé)任的開發(fā)者 (七)建立健全人工智能應(yīng)用系統(tǒng)風(fēng)險等級劃分制度 參考文獻(xiàn) 一、研究概述(一)人工智能應(yīng)用系統(tǒng)當(dāng)前，全球人工智能技術(shù)取得了突飛猛進(jìn)的發(fā)展，對經(jīng)濟(jì)社會發(fā)展和人類文明進(jìn)步的深遠(yuǎn)影響日益顯現(xiàn)，給世界帶來了前所未有的巨大機(jī)遇。特別是以O(shè)penAI公司先后發(fā)布的ChatGPT、GPT-4o、GPT-ol等為代表的大模型迅速崛起，更是將人工智能技術(shù)的發(fā)展推向了一個新的高度，預(yù)示著一個更加智能、更加全面的智能時代的到來。當(dāng)前人工智能正加速與傳統(tǒng)行業(yè)深度融合，給人機(jī)交互、客戶服務(wù)、教育輔導(dǎo)等多個領(lǐng)域帶來了重大變革，成為推動社會經(jīng)濟(jì)轉(zhuǎn)型升級和高質(zhì)量發(fā)展的重要力量。圖1顯示了人工智能產(chǎn)業(yè)鏈框架，主要分為上游的基礎(chǔ)層、中游的技術(shù)層和下游的應(yīng)用層。其中基礎(chǔ)層是人工智能產(chǎn)業(yè)的基礎(chǔ)，主要指硬件設(shè)備和數(shù)據(jù)服務(wù)，為人工智能提供算力支持和數(shù)據(jù)基礎(chǔ)，代表性企業(yè)有英偉達(dá)、百度、地平線機(jī)器人等；技術(shù)層是人工智能產(chǎn)業(yè)的核心，主要指通用技術(shù)、算法模型和開發(fā)平臺，為人工智能產(chǎn)業(yè)提供技術(shù)支持，包含計算機(jī)視覺、自然語言處理、類腦算法、音頻處理技術(shù)、人機(jī)交互五類，代表性企業(yè)有OpenAI、谷歌、微軟、英偉達(dá)、百度、華為、迅飛、曠視科技、智譜華章等；下游的應(yīng)用產(chǎn)品和應(yīng)用場景包括所有AI技術(shù)與傳統(tǒng)應(yīng)用結(jié)合形成的產(chǎn)業(yè)種類，主要有語言終端、智能汽車、機(jī)器人、視覺產(chǎn)品、智慧教育、智慧醫(yī)療、智能制造等。2娛樂游戲產(chǎn)業(yè)娛樂游戲產(chǎn)業(yè)元宇宙游戲開發(fā)調(diào)用通用大語言模型類腦算法訓(xùn)練廠法軟件框架數(shù)據(jù)治理資產(chǎn)管理數(shù)據(jù)標(biāo)注數(shù)據(jù)平臺數(shù)據(jù)管理采集清洗數(shù)據(jù)安全監(jiān)控審計危險應(yīng)急分類分級技術(shù)基礎(chǔ)算法模型制造業(yè)工業(yè)控制工業(yè)維護(hù)具身體智能音頻處理技術(shù)人機(jī)交互視覺交室音頻交互醫(yī)療業(yè)醫(yī)療影像藥物研發(fā)遠(yuǎn)程手術(shù)自然語言處理知識圖譜算力芯片科學(xué)研究材料科學(xué)天文探索量子模擬交通業(yè)導(dǎo)航定位智能駕駛智能物流金融業(yè)風(fēng)險控制推薦系統(tǒng)人機(jī)客服計算機(jī)視覺應(yīng)用行業(yè)大語言模型算1.人工智能應(yīng)用發(fā)展趨勢分析在科技飛速發(fā)展的今天，人工智能這股新浪潮正以前所未有的速度沖擊著各個領(lǐng)域，改寫著人類的生活方式。從ChatGPT為代表的大語言單模態(tài)模型到AI文生圖等多模態(tài)生成模型，從煤礦到鐵路，從金融到教育，AI技術(shù)的影子無處不在。人工智能作為當(dāng)今世界科技革命和產(chǎn)業(yè)變革的關(guān)鍵領(lǐng)域，其產(chǎn)業(yè)應(yīng)用的發(fā)展趨勢呈現(xiàn)出多元化、深度滲透和廣泛應(yīng)用的特點。(1)技術(shù)創(chuàng)新持續(xù)升級隨著計算能力的不斷提高和邏輯算法的不斷優(yōu)化，人工智能技術(shù)將更加成熟。深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、語言大模型、多模態(tài)預(yù)訓(xùn)練大模型等核心技術(shù)的不斷進(jìn)步，提升了語音識別、圖像處理、自然語言理解等領(lǐng)域的準(zhǔn)確性和效率。當(dāng)前多模態(tài)預(yù)訓(xùn)練大模型正成為AI大模型的主流形態(tài)，堪稱當(dāng)今人工智能產(chǎn)業(yè)的“標(biāo)配”。(2)行業(yè)應(yīng)用加速擴(kuò)展3人工智能正應(yīng)用于眾多行業(yè)和領(lǐng)域，成為推動傳統(tǒng)產(chǎn)業(yè)升級和新興產(chǎn)業(yè)成長的重要力量。智能制造、智能醫(yī)療、智能交通、智慧城市等已經(jīng)成為人工智能應(yīng)用的熱點領(lǐng)域。特別是生成式人工智能技術(shù)的飛躍式發(fā)展，其在廣告營銷、游戲創(chuàng)作、藝術(shù)設(shè)計等創(chuàng)造性工作場景與行業(yè)中，正得到更為廣泛的應(yīng)用。一方面，創(chuàng)意屬于稀缺資源，人創(chuàng)造性對激發(fā)靈感、輔助創(chuàng)作、驗證創(chuàng)意等大有裨益，另一方面，互聯(lián)網(wǎng)大規(guī)模普及使得“一切皆可在線”,數(shù)字內(nèi)容消費(fèi)需求持續(xù)旺盛，AIGC能更低成本、更高效率地生產(chǎn)內(nèi)容，其經(jīng)濟(jì)性愈發(fā)凸顯。(3)智能化服務(wù)成為常態(tài)智能客服、智能助手等智能化服務(wù)將更加普及，成為人們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡囊徊糠?。同時，基于人工智能的大數(shù)據(jù)分析能力，企業(yè)將能夠提供更加精準(zhǔn)和個性化的服務(wù)。由于ChatGPT在文本對話領(lǐng)域表現(xiàn)出的和人類行為的相似性，其被認(rèn)為是人類通往通用人工智能(ArtificialGeneralIntelligence,AGI)道路上的里程碑式產(chǎn)科學(xué)家李飛飛團(tuán)隊公布了利用大型語言模型 (LargeLanguageModels,LLMs)和視覺語言模型(Vision-LanguageModels,VLMs)驅(qū)動的機(jī)器人項目VoxPoser,人類可以用自然語言給機(jī)器人下達(dá)指令，機(jī)器人直接能夠理解指令語義并做出相應(yīng)動作，而無需額外數(shù)據(jù)和訓(xùn)練。這些技術(shù)將推動智能化服務(wù)產(chǎn)業(yè)進(jìn)入拓寬加深期。(4)倫理安全重視程度提高隨著人工智能技術(shù)的深入應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)大模型的預(yù)訓(xùn)練和大規(guī)模人機(jī)交互中的強(qiáng)化學(xué)習(xí)技術(shù)正在推動人工智能向認(rèn)知發(fā)展導(dǎo)4無害，以及如何保障數(shù)據(jù)安全和隱私，成為當(dāng)前人工智能產(chǎn)業(yè)發(fā)展面臨的重大挑戰(zhàn)。2023年11月，包括英國、美國、歐盟、澳大利亞和中國等在內(nèi)的28個國家和地區(qū)共同簽署了《布萊切利宣言》,旨在關(guān)注未來強(qiáng)大人工智能模型可能對人類生存構(gòu)成的威脅，以及當(dāng)前人工智能增強(qiáng)有害或偏見信息的風(fēng)險。這一宣言有力印證了當(dāng)前全球?qū)θ斯ぶ悄馨踩珎惱韱栴}的重視。(5)算力資源需求持續(xù)增長隨著人工智能應(yīng)用的不斷普及，計算能力的需求將持續(xù)增長。云計算、邊緣計算等新型計算模式將得到更廣泛應(yīng)用，以滿足人工智能大規(guī)模的算力需求。新硬件、新架構(gòu)競相涌現(xiàn)，現(xiàn)有芯片、操作系統(tǒng)、應(yīng)用軟件等都可能被推翻重來，預(yù)計未來將實現(xiàn)“萬物皆數(shù)據(jù)”“無數(shù)不計算”“無算不智能”的愿景，屆時智能算力將無處不在，呈現(xiàn)“多元異構(gòu)、軟硬件協(xié)同、綠色集約、云邊端一體化”四大特征。(6)應(yīng)用安全問題日益突出隨著人工智能技術(shù)的廣泛應(yīng)用，相關(guān)的安全隱患和挑戰(zhàn)愈發(fā)嚴(yán)重。對抗攻擊、后門攻擊、投毒攻擊等多種安全問題揭示了人工智能技術(shù)的安全缺陷，對個人和社會具備潛在的風(fēng)險和隱患。各國和組織正加緊制定監(jiān)管措施，建立倫理框架和安全標(biāo)準(zhǔn)，以確保人工智能應(yīng)用過程中的透明性和可控性。但是，因為目前人工智能具有不可解釋性、因此亟需一個新的解決思路和框架。2.人工智能應(yīng)用系統(tǒng)分析基于人工智能算法模型構(gòu)建的應(yīng)用系統(tǒng)體現(xiàn)在眾多行業(yè)中，包括5城市公共安全管理、金融服務(wù)、醫(yī)療保健、零售和電子商務(wù)、生產(chǎn)制造、交通物流、教學(xué)教育、娛樂旅游、食品科技、制造業(yè)、房地產(chǎn)業(yè)、零售業(yè)等等。利用人工智能系統(tǒng)可以明顯地提升工作效率、提高生產(chǎn)力、優(yōu)化工作流程并提高產(chǎn)品質(zhì)量。以下是主要行業(yè)領(lǐng)域的人工智能應(yīng)用系統(tǒng)實例。(1)城市公共安全領(lǐng)域人工智能在提高城市公共安全保障能力方面優(yōu)勢明顯，隨著人工智能發(fā)展所依賴數(shù)據(jù)的規(guī)模不斷增大、算力的不斷提高以及算法的不斷優(yōu)化與突破，應(yīng)用人工智能技術(shù)的成本將大幅降低，人工智能應(yīng)用系統(tǒng)正在城市公共安全領(lǐng)域發(fā)揮重要作用。具體包括：①視頻智能監(jiān)控分析系統(tǒng)：人工智能可以應(yīng)用于視頻監(jiān)控系統(tǒng)，通過圖像識別、目標(biāo)檢測和行為分析等技術(shù)，實時監(jiān)測和分析監(jiān)控視頻中的異常行為，如盜竊、暴力等，發(fā)出警報并提供相關(guān)信息。例如在張學(xué)友2018年的巡回演唱會上，民警便是利用演唱會的智慧安保人像識別功能，先后追蹤到80多名犯罪分子，順利將他們抓捕歸案。②社交媒體監(jiān)測系統(tǒng)：人工智能可以應(yīng)用于社交媒體監(jiān)測系統(tǒng)，通過自然語言處理和情感分析等技術(shù)，實時監(jiān)測和分析社交媒體上的言論和事件，發(fā)現(xiàn)惡意言論、虛假信息等潛在的公共安全風(fēng)險，并及時采取相應(yīng)措施。③城市大數(shù)據(jù)分析與預(yù)警系統(tǒng)：人工智能可以應(yīng)用于城市公共安全的大數(shù)據(jù)分析與預(yù)警系統(tǒng)，通過整合和分析多種數(shù)據(jù)源，如監(jiān)控數(shù)據(jù)、社交媒體數(shù)據(jù)、氣象數(shù)據(jù)等，發(fā)現(xiàn)異常模式和趨勢，提前預(yù)警潛在的安全風(fēng)險，為決策者做出及時的應(yīng)對措施提供支持。(2)金融服務(wù)領(lǐng)域人工智能技術(shù)在量化交易、風(fēng)險評估、信貸評分等領(lǐng)域中廣泛應(yīng)6用。主要應(yīng)用系統(tǒng)有：①金融風(fēng)險評估系統(tǒng)：該系統(tǒng)利用人工智能和大數(shù)據(jù)分析技術(shù)來評估金融領(lǐng)域風(fēng)險，它通過分析大量的金融數(shù)據(jù)和市場信息，利用人工智能算法，幫助金融機(jī)構(gòu)和投資者識別、評估和管理各種金融風(fēng)險，以支持金融決策和風(fēng)險管理。②欺詐檢測系統(tǒng)：通過分析大量的金融數(shù)據(jù)和交易信息，幫助金融機(jī)構(gòu)和支付服務(wù)提供商發(fā)現(xiàn)潛在的欺詐行為，準(zhǔn)確識別信用卡欺詐、網(wǎng)絡(luò)詐騙、洗錢等不同類型的欺詐模式，并及時采取措施減少欺詐風(fēng)險。③智能投資系統(tǒng)：該系統(tǒng)能夠根據(jù)投資者的風(fēng)險偏好、投資目標(biāo)和市場情況，利用人工智能技術(shù)為投資者提供個性化投資建議和服務(wù)，系統(tǒng)會根據(jù)投資者的目標(biāo)和風(fēng)險偏好，選擇適合的資產(chǎn)類別、投資品種和配置比例，幫助投資者更好地理解市場趨勢和風(fēng)險，提供更準(zhǔn)確的投資建議，同時實現(xiàn)交易的自動化執(zhí)行。(3)醫(yī)療保健領(lǐng)域人工智能技術(shù)在影像診斷、疾病預(yù)測、智能醫(yī)療設(shè)備等領(lǐng)域中廣泛應(yīng)用。主要應(yīng)用系統(tǒng)有：①醫(yī)學(xué)影像分析系統(tǒng)：利用深度學(xué)習(xí)和計算機(jī)視覺技術(shù)，對醫(yī)學(xué)影像進(jìn)行自動分析和診斷，如腫瘤檢測、疾病分類等。②個性化醫(yī)療推薦系統(tǒng)：根據(jù)患者的病歷數(shù)據(jù)和基因組信息，人工智能技術(shù)可以提供更精確的診斷和治療方案，并在早期發(fā)現(xiàn)疾病，可以輔助醫(yī)生進(jìn)行疾病診斷，提供更準(zhǔn)確的診斷結(jié)果和治療建議，為患者提供個性化的治療方案和藥物推薦。③醫(yī)療機(jī)器人系統(tǒng)：結(jié)合機(jī)器人和人工智能技術(shù)，用于手術(shù)輔助、康復(fù)治療和護(hù)理服務(wù)等。人工智能可以模擬醫(yī)生的思維和診斷推理，通過大量學(xué)習(xí)醫(yī)學(xué)影像，可以幫助醫(yī)生進(jìn)行病灶區(qū)域定位，給出患者可靠的診斷和治療方案，減少漏診誤診的問題；同時像骨科、泌尿外科、婦產(chǎn)科、神經(jīng)外科等多個7醫(yī)學(xué)領(lǐng)域中，手術(shù)機(jī)器人能夠極大地提高手術(shù)的精準(zhǔn)率而被廣泛使用。④智能醫(yī)療大數(shù)據(jù)分析系統(tǒng)：利用人正智能和大數(shù)據(jù)分析技術(shù)來處理和分析醫(yī)療領(lǐng)域大規(guī)模數(shù)據(jù)的系統(tǒng)，它通過對醫(yī)療數(shù)據(jù)的深度分析和挖掘，為醫(yī)療服務(wù)提供者、患者和醫(yī)療決策者提供精準(zhǔn)、高效的決策支持，如傳染病監(jiān)測與防控策略制定、藥物研發(fā)支持等。(4)零售和電子商務(wù)領(lǐng)域人工智能技術(shù)可以幫助零售商和電商平臺提供更好的產(chǎn)品和服務(wù)，提高銷售效率和用戶體驗。以下是一些常見的人工智能應(yīng)用系統(tǒng)：①智能推薦系統(tǒng)：推薦系統(tǒng)利用機(jī)器學(xué)習(xí)和數(shù)據(jù)分析技術(shù)，通過分析用戶的購買記錄、點擊行為和社交媒體數(shù)據(jù)，構(gòu)建用戶的興趣和需求模型，根據(jù)用戶的歷史行為和偏好，為他們推薦個性化的產(chǎn)品和服務(wù)，提高銷售轉(zhuǎn)化率和用戶滿意度。②機(jī)器人客服：聊天機(jī)器人利用自然語言處理和機(jī)器學(xué)習(xí)技術(shù)，與用戶進(jìn)行自動化的對話交互，如在電商領(lǐng)域，機(jī)器人客服可以回答用戶的問題、提供產(chǎn)品建議、處理訂單和退款等事務(wù)性任務(wù)，提供即時的客戶服務(wù)和支持，提高用戶體驗和客戶滿意度。③智能供應(yīng)鏈管理系統(tǒng)：利用數(shù)據(jù)分析和預(yù)測算法，優(yōu)化零售和電商平臺的供應(yīng)鏈管理，如通過分析銷售數(shù)據(jù)、庫存情況和交通運(yùn)輸信息，供應(yīng)鏈優(yōu)化系統(tǒng)可以預(yù)測需求、優(yōu)化庫存管理、提高配送效率，減少成本和提供更快的交付服務(wù)。(5)生產(chǎn)制造領(lǐng)域人工智能技術(shù)在智能裝配線、智能機(jī)器人等領(lǐng)域中廣泛應(yīng)用。主要應(yīng)用系統(tǒng)包括：①智能生產(chǎn)調(diào)度系統(tǒng)：通過實時監(jiān)測和分析生產(chǎn)數(shù)據(jù)，可以幫助發(fā)現(xiàn)生產(chǎn)流程中的瓶頸，提出改進(jìn)建議，優(yōu)化生產(chǎn)計劃和資源分配，提高生產(chǎn)效率和質(zhì)量。②預(yù)測維護(hù)系統(tǒng)：利用機(jī)器學(xué)習(xí)8和傳感器數(shù)據(jù)，預(yù)測設(shè)備故障和維護(hù)需求，從而提前進(jìn)行維護(hù)，減少停機(jī)時間和維修成本。③自動化智能機(jī)器人系統(tǒng)：結(jié)合機(jī)器人和人工智能技術(shù)，使得生產(chǎn)制造領(lǐng)域的機(jī)器人能夠在更復(fù)雜的環(huán)境中工作，執(zhí)行更精細(xì)的任務(wù)，如組裝、包裝、搬運(yùn)等，實現(xiàn)自動化的生產(chǎn)和裝配，提高生產(chǎn)線的靈活性和效率。(6)交通和物流領(lǐng)域人工智能技術(shù)在交通調(diào)度、智能駕駛等領(lǐng)域廣泛應(yīng)用。主要應(yīng)用系統(tǒng)包括：①智能交通管理系統(tǒng)：利用實時交通數(shù)據(jù)和優(yōu)化算法，實現(xiàn)智能信號控制和交通流量優(yōu)化，減少擁堵和提高道路利用率，并能夠預(yù)測未來一段時期內(nèi)的交通模式，提前規(guī)劃交通流量。②自動駕駛技術(shù)：以雷達(dá)、激光雷達(dá)等傳感器等基礎(chǔ)，結(jié)合計算機(jī)視覺和機(jī)器學(xué)習(xí)，實現(xiàn)自動駕駛車輛的感知、決策和控制，使自動駕駛汽車可以在沒有人類干預(yù)的情況下導(dǎo)航和駕駛，提高交通安全和效率。③物流智能調(diào)度系統(tǒng)：通過數(shù)據(jù)分析和路徑規(guī)劃算法，優(yōu)化貨物的運(yùn)輸路線和配送計劃，減少運(yùn)輸成本和時間，自動計算貨物的裝載方案，最大化利用運(yùn)輸工具的裝載空間。(7)農(nóng)業(yè)領(lǐng)域人工智能技術(shù)可以幫助農(nóng)業(yè)領(lǐng)域人員提高農(nóng)業(yè)生產(chǎn)效率、優(yōu)化資源利用、增強(qiáng)農(nóng)作物和養(yǎng)殖的管理能力。常見的系統(tǒng)包括：①農(nóng)作物生長監(jiān)測系統(tǒng)：該系統(tǒng)可以通過使用傳感器、遙感技術(shù)和圖像識別等技術(shù)，實時監(jiān)測農(nóng)作物的生長環(huán)境以及生長狀況，包括土壤濕度、氣候條件、病蟲害情況等，并提供農(nóng)作物的生長預(yù)測、灌溉建議和病蟲害預(yù)警，幫助農(nóng)民優(yōu)化農(nóng)作物的管理和決策。②智能化農(nóng)機(jī)系統(tǒng)：該系統(tǒng)利用人工智能和自動化技術(shù)，將傳感器、攝像頭和機(jī)器學(xué)習(xí)算法9應(yīng)用于農(nóng)業(yè)機(jī)械設(shè)備，實現(xiàn)農(nóng)機(jī)的智能化操作，如根據(jù)土壤條件和作物需求自動調(diào)整播種深度和密度，提高播種效率和作物產(chǎn)量。③農(nóng)產(chǎn)品質(zhì)量檢測系統(tǒng)：該系統(tǒng)利用計算機(jī)視覺和機(jī)器學(xué)習(xí)算法，通過農(nóng)產(chǎn)品的圖像分析，自動識別并評估產(chǎn)品的大小、顏色、瑕疵等特征，對農(nóng)產(chǎn)品進(jìn)行質(zhì)量檢測和分級，提供質(zhì)量評估和分級結(jié)果，幫助農(nóng)產(chǎn)品的銷售和市場定位。④農(nóng)業(yè)供應(yīng)鏈管理系統(tǒng)：這種系統(tǒng)利用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)，實現(xiàn)農(nóng)產(chǎn)品的溯源和供應(yīng)鏈管理，實現(xiàn)對農(nóng)產(chǎn)品的生產(chǎn)、加工、運(yùn)輸和銷售信息的全鏈條追溯，提供農(nóng)產(chǎn)品的溯源證明、質(zhì)量追蹤和供應(yīng)鏈可視化，增加消費(fèi)者對農(nóng)產(chǎn)品的信任和透多樣化智能化系統(tǒng)證明了人工智能技術(shù)龐大的應(yīng)用價值。隨著人工智能應(yīng)用系統(tǒng)的增多，應(yīng)用安全問題自然日益突出，已經(jīng)成為了個體、企業(yè)與社會面臨的重大挑戰(zhàn)。面對快速發(fā)展的技術(shù)與應(yīng)用，如何增強(qiáng)應(yīng)用系統(tǒng)的安全性成為了系統(tǒng)推廣急需解決的問題。人工智能模型的不可解釋性等問題使得安全挑戰(zhàn)難以應(yīng)對，同時，其依賴的軟件系統(tǒng)和硬件環(huán)境等也潛藏著未知的安全風(fēng)險。這些問題的疊加讓安全形勢更加嚴(yán)峻，亟需一套新的防御思路與安全框架，以構(gòu)建安全可靠的應(yīng)用系統(tǒng)。(二)內(nèi)生安全德國哲學(xué)大師黑格爾曾經(jīng)說過，“一切事物都是自在的矛盾，矛盾是一切運(yùn)動和生命力的根源”。從一般哲學(xué)意義上講：自然界或人工系統(tǒng)中不存在邏輯或數(shù)學(xué)意義上的“當(dāng)且僅當(dāng)?shù)墓δ堋?即不存在沒有矛盾或缺陷的事物；從經(jīng)典可靠性和傳統(tǒng)功能彈性理論出發(fā)：沒有一個人工設(shè)計與制造的物理或邏輯實體是“完美無缺”的，例外的情況是普遍存在的。這些泛在性矛盾問題，在各種干擾或擾動因素作用下，其全生命周期內(nèi)總存在不同前提、不同程度的功能失效問題，即存在內(nèi)生安全問題。從具體層面認(rèn)知，在網(wǎng)絡(luò)安全方面我們可以觀察到以下現(xiàn)象：為保證網(wǎng)絡(luò)信息的機(jī)密性、可用性和完整性，數(shù)字加密認(rèn)證成為不可或缺的技術(shù)措施，但這也會給數(shù)字資源的便利性帶來使用上的諸多不便；智能手機(jī)能為人們在電話通信、互聯(lián)網(wǎng)瀏覽、電子游戲、電子支付等方面帶來極大便利，但是同時也會帶來敏感信息泄漏或私有財產(chǎn)方面的損失。內(nèi)生安全問題的本質(zhì)是事物內(nèi)在矛盾性的表達(dá)，那么網(wǎng)絡(luò)空間內(nèi)生安全問題的本質(zhì)就是信息物理系統(tǒng)內(nèi)在安全性矛盾的表達(dá)，具有存在的必然性、呈現(xiàn)的偶然性和認(rèn)知的時空局限性等基本特征，其突出表現(xiàn)是構(gòu)成信息物理系統(tǒng)基礎(chǔ)的軟硬件元素存在內(nèi)生安全“基因缺陷”。內(nèi)生安全問題是結(jié)構(gòu)性矛盾決定了不可能割裂處理更不可能從根本上被消除，只能不斷演進(jìn)轉(zhuǎn)化或和解。內(nèi)生安全是指一種網(wǎng)絡(luò)空間安全的理念和技術(shù)體系，它強(qiáng)調(diào)在網(wǎng)絡(luò)信息系統(tǒng)設(shè)計之初就要考慮到安全性，而不是事后附加的安全措施。內(nèi)生安全的核心思想是通過在網(wǎng)絡(luò)信息系統(tǒng)的設(shè)計階段融入特定的安全機(jī)制，使得網(wǎng)絡(luò)信息系統(tǒng)在面對威脅時具有自我保護(hù)的能力。即內(nèi)生安全強(qiáng)調(diào)的是安全與系統(tǒng)的內(nèi)在聯(lián)系，即安全功能成為系統(tǒng)架構(gòu)的一部分，而非外部附加的功能。隨著AI技術(shù)的發(fā)展及其在各個領(lǐng)域的廣泛應(yīng)用，人工智能系統(tǒng)的安全性變得越來越重要，在諸如金融服務(wù)、醫(yī)療保健、交通控制等領(lǐng)域，人工智能應(yīng)用系統(tǒng)的故障可能會導(dǎo)致災(zāi)難性的后果。這就要求在人工智能應(yīng)用系統(tǒng)的設(shè)計階段就將安全性作為基本屬性來考慮，而不是在系統(tǒng)開發(fā)完成后作為附加的部分。因此在人工智能應(yīng)用系統(tǒng)中，設(shè)計內(nèi)置的安全機(jī)制使系統(tǒng)具備自我保護(hù)、自我修復(fù)和自我優(yōu)化的能力，構(gòu)建具有內(nèi)生安全屬性、魯棒可靠的人工智能應(yīng)用系統(tǒng)，對確保人工智能系統(tǒng)的完整性和業(yè)務(wù)連續(xù)性，防止惡意軟件或未經(jīng)授權(quán)的更改，乃至維護(hù)社會秩序和公共安全都至關(guān)重要。(三)研究意義當(dāng)前以深度學(xué)習(xí)為內(nèi)核的人工智能技術(shù)具有數(shù)據(jù)依賴性、“算法黑箱”和“不可解釋”等特征，使得其在數(shù)據(jù)安全、隱私泄露、算法偏見、對抗攻擊等方面遭受安全威脅。而當(dāng)人工智能與經(jīng)濟(jì)社會深度融合應(yīng)用的過程中，極易引發(fā)國家、社會、企業(yè)和個人等層面的安全風(fēng)險。如2023年11月，韓國一名40多歲的男子在一個農(nóng)業(yè)配送中心檢查機(jī)器人的傳感器設(shè)備時，被機(jī)器人誤判為一箱甜椒，慘遭"殺害"。同時，人工智能應(yīng)用系統(tǒng)的底層軟硬件環(huán)境也面臨著安全威脅，如2024年3月，攻擊者利用開源人工智能框架Ray中的安全漏洞，發(fā)動一場名為“ShadowRay”的攻擊活動，成功入侵了數(shù)千家公司的網(wǎng)絡(luò)服務(wù)器，盜取大量敏感數(shù)據(jù)。2024年3月，美國網(wǎng)絡(luò)安全公司RecordedFuture發(fā)布了題為《敵對智能：人工智能的紅隊惡意用例》的報告，前瞻警告了2024年人工智能的各種可能惡意用例，測試了當(dāng)前人工智能模型在與經(jīng)濟(jì)社會深度融合應(yīng)用的過程中，引發(fā)的各種新型安全風(fēng)險。2023年10月18日，習(xí)近平主席在第三屆“一帶一路”國際合作高峰論壇開幕式主旨演講中提出《全球人工智能治理倡議》,強(qiáng)調(diào)要推動建立風(fēng)險等級測試評估體系，實施敏捷治理，分類分級管理，快速有效響應(yīng)，各研發(fā)主體不斷提高人工智能可解釋性和可預(yù)測性，提升數(shù)據(jù)真實性和準(zhǔn)確性，確保人工智能始終處于人類控制之下，打造可審核、可監(jiān)督、可追溯、可信賴的人工智能技術(shù)。2023年11月，英國發(fā)起并舉辦首屆“全球人工智能安全峰會”,英國、美國、中國等28國及歐盟共同簽署首個全球性人工智能聲明《布萊切利宣言》,強(qiáng)調(diào)采用安全、以人為本、可信和負(fù)責(zé)任的方式設(shè)計、開發(fā)、部署和使用人工智能。這些都表明了全球?qū)θ斯ぶ悄芡{關(guān)切形成了共識。因此本藍(lán)皮書圍繞人工智能應(yīng)用系統(tǒng)安全防護(hù)方法，深入分析了人工智能應(yīng)用系統(tǒng)面臨的安全風(fēng)險，剖析了引發(fā)人工智能應(yīng)用系統(tǒng)安全風(fēng)險的成因，并總結(jié)凝練形成了人工智能應(yīng)用系統(tǒng)的內(nèi)生安全問題，設(shè)計了人工智能應(yīng)用系統(tǒng)內(nèi)生安全理論框架，提出了人工智能應(yīng)用系統(tǒng)內(nèi)生安全構(gòu)造方法，最后提出發(fā)展內(nèi)生安全人工智能應(yīng)用系統(tǒng)的相關(guān)政策建議。二、全球發(fā)展態(tài)勢人工智能是計算機(jī)科學(xué)的一個領(lǐng)域，旨在開發(fā)能夠執(zhí)行智能任務(wù)的系統(tǒng)，以實現(xiàn)對人類學(xué)習(xí)、推理、感知、理解、決策等能力的模擬。隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，特別是2016年AlphaGo戰(zhàn)勝人類圍棋選手，使得人工智能的應(yīng)用潛力被廣泛挖掘，從自動駕駛汽車和智能助手到智能家居系統(tǒng)、醫(yī)療診斷和金融預(yù)測等，人工智能逐漸成為推動全球社會發(fā)展和經(jīng)濟(jì)增長的關(guān)鍵驅(qū)動力。然而AI在復(fù)雜任務(wù)上的可靠性、穩(wěn)定性、可解釋性方面仍面臨著較大的挑戰(zhàn)，因此AI的安全應(yīng)用引起了各國政府的高度重視。(一)全球人工智能發(fā)展現(xiàn)狀2024年4月，斯坦福大學(xué)以人為本人工智能研究所發(fā)布《2024年人工智能指數(shù)報告》,指出人工智能已在圖像分類、視覺推理、英語理解等[1]多項基準(zhǔn)測試中超越人類，并且呈現(xiàn)技術(shù)迭代周期短、技術(shù)升級進(jìn)步快等新特點。如2024年9月，谷歌DeepMind公司公布了一項名為AlphaChip的強(qiáng)化學(xué)習(xí)方法，可在數(shù)小時內(nèi)生成超越人類設(shè)計或同類芯片布局，而無需耗費(fèi)數(shù)周或數(shù)月的人力。2022年11月，以ChatGPT121為代表的大語言模型(LargeLanguageModel,LLM)技術(shù)誕生，引爆了新一輪人工智能的全球研究熱潮，各國紛紛投入或加強(qiáng)對AI大模型的研究，其中美國、中國成果頻出，引領(lǐng)產(chǎn)業(yè)發(fā)展。以O(shè)penAI的GPT-4和谷歌的Gemini為代表的先進(jìn)大語言模型迅速成為全球科技競爭的焦點、未來產(chǎn)業(yè)的關(guān)鍵賽道以及經(jīng)濟(jì)發(fā)展的新動力，展現(xiàn)出巨大的發(fā)展?jié)摿蛷V闊的應(yīng)用前景。隨著單一任務(wù)領(lǐng)域的成熟，通過將多領(lǐng)域任務(wù)結(jié)合構(gòu)建多模態(tài)模了文本與圖像的理解與交互[13,使得人工智能在更廣泛的場景下具備了前所未有的處理能力，多模態(tài)大模型技術(shù)的進(jìn)步，以LLM為基礎(chǔ)衍生出了多種更復(fù)雜的AI應(yīng)用模式，如PaLM-El4]是谷歌推出的一種新的人工智能模型，它將機(jī)器人技術(shù)與語言建模技術(shù)相結(jié)合，可解決機(jī)器人操縱等實際任務(wù)以及問題解答和圖像字幕等知識任務(wù)。當(dāng)前強(qiáng)大的人工智能系統(tǒng)在復(fù)雜領(lǐng)域中的應(yīng)用正在不斷擴(kuò)大。如大型語言模型(LLMs)在多步驟推理5161和跨任務(wù)泛化7等方面表現(xiàn)出顯著的改進(jìn)，并隨著訓(xùn)練時間、數(shù)據(jù)量和參數(shù)規(guī)模的增加而得到進(jìn)大模型技術(shù)是人工智能技術(shù)的新里程碑，正以其強(qiáng)大的自然語言處理能力和廣泛的應(yīng)用前景，引領(lǐng)著人工智能行業(yè)的新浪潮?！?024年人工智能指數(shù)報告》顯示，2023年投資生成式人工智能的資金大幅激增，比2022年增長了近八倍，達(dá)到252億美元，有力地證明了生成式人工智能在當(dāng)前技術(shù)發(fā)展中的重要地位和廣泛的市場認(rèn)可。隨著大模型在社會生產(chǎn)和生活各個領(lǐng)域的“主體化”,大模型的相關(guān)惡意應(yīng)用也逐漸增多。網(wǎng)絡(luò)攻擊者正在加速將大語言模型和生成人工智能武器化，WormGPT、PoisonGPT、EvilGPT等一批惡意人工智能大模型，已經(jīng)成為暗網(wǎng)最暢銷黑客工具，給AIGC的安全治理帶來了新的嚴(yán)峻挑戰(zhàn)。而像Degravel!]等提出的將AI應(yīng)用于核聚變控制，以及基于AIGC的網(wǎng)絡(luò)操控[121、深度偽造欺騙[13]等不斷涌現(xiàn)，使得人工智能應(yīng)用系統(tǒng)安全性被國際深度關(guān)切。(二)全球人工智能安全研究現(xiàn)狀隨著人工智能系統(tǒng)在各個領(lǐng)域的應(yīng)用越來越廣泛，其決策的可靠性與安全性將對人們的生活產(chǎn)生深遠(yuǎn)影響。因此人工智能安全，已經(jīng)成為一個必須優(yōu)先考慮的研究領(lǐng)域[14],它涉及許多復(fù)雜的挑戰(zhàn)，包括系統(tǒng)如何應(yīng)對潛在威脅、如何保障數(shù)據(jù)隱私、如何確保算法的透明性和公平性等。這些問題的解決不僅對技術(shù)的發(fā)展至關(guān)重要，也關(guān)系到社會對人工智能的信任和接受度。由于人工智能存在著算法偏見、數(shù)據(jù)隱私泄露、對抗樣本攻擊、不可解釋性、以及潛在的倫理道德沖突，使得人工智能應(yīng)用系統(tǒng)表現(xiàn)人工智能應(yīng)用系統(tǒng)自身也會存在安全隱患[17]和潛在的生存風(fēng)險[18,主要包括對抗攻擊、投毒攻擊、后門攻擊、偏見與公平問題、可靠性問題、魯棒性問題、可解釋性問題等。其中對抗樣本攻擊是指通過對數(shù)據(jù)特征進(jìn)行微小擾動，導(dǎo)致人工智能模型做出錯誤行為的情況。對抗樣本的存在暴露了機(jī)器學(xué)習(xí)模型面臨的攻擊威脅與自身內(nèi)部魯棒性不足的問題。對抗樣本的生成方法主要是通過優(yōu)化算法向輸入數(shù)據(jù)中添加精心設(shè)計的擾動，雖然這些擾動對人類幾乎不可察覺，但卻可能導(dǎo)致模型產(chǎn)生不準(zhǔn)確的預(yù)測，如梯度投影下降法PGDI191、C&W攻擊[201、AutoAttackl21]。對抗魯棒性是指機(jī)器學(xué)習(xí)模型抵御對抗攻擊的能力。在對抗攻擊的背景下，模型的魯棒性定義為“多個樣本中最小對抗擾動的平均幅度”[22]。當(dāng)前研究主要集中于創(chuàng)建對多種對抗攻擊具有抵抗力的機(jī)器學(xué)習(xí)模型，常見的對抗防御策略包括對抗訓(xùn)練、隨機(jī)化技術(shù)以減少對抗樣本的影響，以數(shù)據(jù)投毒是指攻擊者在數(shù)據(jù)集中插入虛假或錯誤標(biāo)注的數(shù)據(jù)，將原本正確的標(biāo)簽篡改為錯誤的標(biāo)簽[26]。標(biāo)簽翻轉(zhuǎn)攻擊通過替換數(shù)據(jù)集中部分真實樣本的標(biāo)簽為其他樣本的標(biāo)簽來實現(xiàn)，導(dǎo)致模型學(xué)習(xí)錯誤的標(biāo)簽與樣本的關(guān)聯(lián)。Maabreh等人127]提出了一種基于聚類的標(biāo)簽翻轉(zhuǎn)攻擊方法，并通過多種常用機(jī)器學(xué)習(xí)算法驗證了其有效性。該方法主要目的是生成能通過異常檢測器并影響分類器準(zhǔn)確性的中毒訓(xùn)練樣本，盡管該方法在K-最近鄰(KNN)和二叉決策樹(BDT)等算法上表現(xiàn)良好，但在隨機(jī)森林(RF)和深度神經(jīng)網(wǎng)絡(luò)(DNN)上效果不佳。Maabreh等人128]進(jìn)一步研究了粒子群優(yōu)化(PSO)存在中毒數(shù)據(jù)時如何提升模型性能，并評估了DNN在不同中毒率下的表現(xiàn)。后門攻擊是指在深度學(xué)習(xí)模型中植入隱藏的入口點，使其在處理正常樣本時表現(xiàn)正常，但一旦存在特定的觸發(fā)器就會執(zhí)行異常行為。BadNetsl291是首個后門攻擊方法，它通過在部分訓(xùn)練數(shù)據(jù)中添加觸發(fā)方法成為了計算機(jī)視覺領(lǐng)域后門攻擊的基準(zhǔn)，此后難以被肉眼察覺的出了基于Lp范數(shù)的雙層優(yōu)化方法來設(shè)計難以檢測且效果顯著的觸發(fā)擊中圖像內(nèi)容與標(biāo)簽不一致容易被發(fā)現(xiàn)的問題。由于后門攻擊在正常樣本上表現(xiàn)正常，使得植入后門的深度學(xué)習(xí)模型難以被發(fā)現(xiàn)，這對模型的部署安全構(gòu)成嚴(yán)重威脅。人工智能應(yīng)用系統(tǒng)的公平性研究被廣泛重視。為解決AI偏見問題，是指將數(shù)據(jù)偏見在數(shù)據(jù)訓(xùn)練前進(jìn)行消除，處理中通過約束訓(xùn)練學(xué)習(xí)算法減少偏見，而后處理技術(shù)旨在訓(xùn)練后減少預(yù)測偏見。Kamishimal37]提出了一種基于分析的不公平性正則化方法來解決算法偏見。Jaipurial35]等人采用了一種獨(dú)特的分層聚類方法，結(jié)合深度感知特征和相似性度量，幫助可視化和理解數(shù)據(jù)集中的偏見。Srinivasan和Chanderl34則使用基于拓?fù)鋽?shù)據(jù)分析的方法，在應(yīng)用偏見緩解算法前檢測偏見，通過持久性同調(diào)技術(shù)識別和測量由不同屬性導(dǎo)致的偏見。Kim和Cho[38]提出了一種基于對抗學(xué)習(xí)的無偏信息瓶頸方法，以實現(xiàn)公平表示和有效減少算法偏見。人工智能應(yīng)用系統(tǒng)的可靠性是指服務(wù)在持續(xù)性和準(zhǔn)確性方面的于深度學(xué)習(xí)的系統(tǒng)可靠性評估方法主要分為模型無關(guān) (Model-agnostic)和模型特定(Model-specific)兩大類。Akram等人[26]提出了一種名為StaDRe(統(tǒng)計距離可靠性)的度量指標(biāo)，通過利用經(jīng)驗累積分布函數(shù)(ECDF)的統(tǒng)計距離測量，評估機(jī)器學(xué)習(xí)預(yù)測技術(shù)在時間序列數(shù)據(jù)中的可靠性，并能夠檢測數(shù)據(jù)分布的變化。在實際應(yīng)用中，對人工智能應(yīng)用系統(tǒng)進(jìn)行有效監(jiān)控以確保其安全控系統(tǒng)，該系統(tǒng)集成了黑箱和白箱監(jiān)控器，用于確保由機(jī)器學(xué)習(xí)算法驅(qū)動的網(wǎng)絡(luò)物理系統(tǒng)的安全性；一旦監(jiān)測到異常，系統(tǒng)將自動切換至安全模式，對決策過程和結(jié)果進(jìn)行全面的安全審查。鑒于人工智能系統(tǒng)是通過人類生成的數(shù)據(jù)進(jìn)行訓(xùn)練，而這些數(shù)據(jù)可能內(nèi)含偏見，因此，監(jiān)控并消除人工智能系統(tǒng)中的偏見同樣重要。Zhao等人[43]提出了一種定制化的概率測量方法用于偏見檢測，通過生命周期活動中獲得的先驗知識來指導(dǎo)統(tǒng)計推斷，以揭示和理解未標(biāo)記及非結(jié)構(gòu)化數(shù)據(jù)集中人工智能模型算法的“黑箱”理論[44],意味著算法的決策過程對其創(chuàng)建者也不透明。因此將這些系統(tǒng)用于更復(fù)雜和風(fēng)險更高的活動時，準(zhǔn)確解釋AI系統(tǒng)的預(yù)測是至關(guān)重要的。可解釋人工智能(XAI)是一套用于理解和說明AI系統(tǒng)所做決策的程序。為了提高AI系統(tǒng)的魯棒性，數(shù)據(jù)增強(qiáng)、領(lǐng)域遷移和協(xié)變量偏移(CovariateShift)等技術(shù)常被用來增強(qiáng)模型對未知數(shù)據(jù)和輸入特征變化的適應(yīng)能力。其中數(shù)據(jù)增強(qiáng)通過擴(kuò)展和轉(zhuǎn)換現(xiàn)有數(shù)據(jù)來生成新數(shù)據(jù)；領(lǐng)域遷移則幫助模型在源領(lǐng)域和目標(biāo)領(lǐng)域之間進(jìn)行有效泛化；協(xié)變量偏移技術(shù)是指調(diào)整輸入特征分布，以確保模型在不同場景中繼續(xù)有效。盡管大模型技術(shù)在處理復(fù)雜任務(wù)時展現(xiàn)強(qiáng)大的自然語言理解、意圖識別、推理、內(nèi)容生成等能力，且具有通用問題求解能力，被視作通往通用人工智能的重要路徑。然而大模型(LLM)卻普遍面臨著生全和隱私風(fēng)險[49等問題。常見的大模型攻擊方法主要有提示攻擊越獄攻擊和(II)提示注入攻擊；對抗攻擊[52][33],包括(I)后門攻擊和(Ⅱ)數(shù)據(jù)中毒攻擊。此外大模型還面臨著后門攻擊和數(shù)據(jù)中毒攻擊，其中數(shù)據(jù)中毒攻擊通過注入樣本來損害訓(xùn)練模型；而后門攻擊則旨在將后門嵌入數(shù)據(jù)或模型中[54155]。2024年，來自VRAIN、劍橋等機(jī)構(gòu)研究人員對GPTol-preview等領(lǐng)先的LLM開啟了全方位評測[561,發(fā)現(xiàn)即使是最強(qiáng)的LLM比如GPTol-preview也是不可靠的。為保障大模型安全，研究者們提出了許多思路與方法。但受限于單一大模型的訓(xùn)練成本，如何使得LLM更加魯棒是當(dāng)前最大的難題。即使是當(dāng)前主流的指令調(diào)整也被證明為不可靠的[56],因此基于多個大模型來進(jìn)行安全生成輸出是提高大模型結(jié)果魯棒性與準(zhǔn)確性的重要做法，如使用RAG方法157]通過對多個大模型進(jìn)行檢索來融合輸出；SmoothLLMI581也利用多次對模型的輸入然后聚合相應(yīng)的預(yù)測以檢測對抗性輸入。(三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀據(jù)PrecedenceResearch市場數(shù)據(jù)統(tǒng)計預(yù)測，得益于各國政府的大力政策支持，全球人工智能企業(yè)數(shù)量正以驚人的速度增長，人工智能產(chǎn)業(yè)蓬勃發(fā)展。2023年全球人工智能(AI)市場規(guī)模已經(jīng)達(dá)到了約11879億元，而到2030年，全球人工智能(AI)市場規(guī)模將實現(xiàn)飛躍式增長，預(yù)計將達(dá)到驚人的114554億元。這一增長表明，從2023年至2030年，全球人工智能市場將實現(xiàn)超過35%的復(fù)合增長率，凸顯出該領(lǐng)域的強(qiáng)勁發(fā)展勢頭和巨大潛力。當(dāng)前美國在人工智能領(lǐng)域保持著引領(lǐng)者的角色，持續(xù)展現(xiàn)出強(qiáng)大的實力和創(chuàng)新能力。截至2023年，全球人工智能企業(yè)分布中，美國企業(yè)數(shù)量以34%的占比穩(wěn)居榜首，而中國企業(yè)和英國企業(yè)則分別以16%、7%的占比位列第二和第三。這三個國家在人工智能企業(yè)數(shù)量上占據(jù)了全球超過一半的市場。在全球人工智能領(lǐng)域的獨(dú)角獸企業(yè)中，總共有291家，其中美國獨(dú)占131家，而中國也擁有108家此外，其他國家也紛紛認(rèn)識到人工智能的重要性，紛紛加大投入，積極跟進(jìn)這一全球趨勢，努力提升自身在人工智能領(lǐng)域的地位和影響力對AI的可靠性風(fēng)險，如模型幻覺或錯誤輸出等表示關(guān)注。潛在的緩解措施可能包括管理低置信度的輸出或?qū)嵤└采w各種場景的綜合測試用例。在對超過1,000個組織的調(diào)查中，45%的組織認(rèn)為可靠性風(fēng)險與他們的Al采納策略相關(guān)。在這些組織中，13%已經(jīng)全面實施了超過一半的調(diào)查措施，而75%則已實施至少一種但不到一半的措施。此外，12%的受訪者承認(rèn)沒有完全落實任何可靠性措施。全球平均水平為實施了6項調(diào)查措施中的2.16項。調(diào)查還詢問了組織對安全風(fēng)險的關(guān)注程度，其中47%承認(rèn)這些風(fēng)險的相關(guān)性。結(jié)果顯示，28%的組織已全面實施了超過一半的建議安全措施，而63%的組織則已全面實施了至少一種但不到一半的措施。此外，10%的組織報告稱沒有完全落實任何AI安全措施。平均而言，公司在五項調(diào)查措施中采用了1.94項。大多數(shù)組織(88%)表示同意或強(qiáng)烈同意，認(rèn)為開發(fā)基礎(chǔ)模型的機(jī)構(gòu)應(yīng)對所有相關(guān)風(fēng)險負(fù)責(zé)。86%的受訪者表示同意或強(qiáng)烈同意，認(rèn)為生成式AI帶來的潛在威脅足夠重大，需要全球達(dá)成一致的治理在人工智能安全治理領(lǐng)域，如何構(gòu)建一個安全、可靠、高效的人工智能安全治理體系，成為全球共同面臨的時代課題。2023年10月美國頒布《關(guān)于安全、可靠和值得信賴的人工智能開發(fā)和使用的行政命令》,2024年2月美國宣布成立人工智能安全研究所聯(lián)盟，并得到200多家領(lǐng)先的人工智能利益相關(guān)者的支持，旨在建立在人工智能治理國際框架上的領(lǐng)導(dǎo)地位。我國也積極參與全球人工智能治理，并在2023年10月提出《全球人工智能治理倡議》,提出各國應(yīng)秉持共同、綜合、合作、可持續(xù)的安全觀，促進(jìn)人工智能技術(shù)造福于人類，推動構(gòu)建人類命運(yùn)共同體。隨著人工智能安全問題在全球范圍內(nèi)被廣泛關(guān)注，谷歌聯(lián)合亞馬Cohere、Chainguard、WIZ、GenLab等14家領(lǐng)先企業(yè)，于2024年5月共同成立了安全人工智能聯(lián)盟(CoSAI),旨在通過共享資源、標(biāo)準(zhǔn)化框架和工具，構(gòu)建一個協(xié)作的生態(tài)系統(tǒng)，確保AI系統(tǒng)的安全性和透明度。CoSAI的成立，為全球AI產(chǎn)業(yè)的健康發(fā)展提供了有力保障。我國也于2024年9月發(fā)布《AI安全產(chǎn)業(yè)圖譜(2024)》,收錄了來自于百度、騰訊、京東、螞蟻集團(tuán)、移動、聯(lián)通等互聯(lián)網(wǎng)及云廠商，浙江大學(xué)、西安交通大學(xué)、華東師范大學(xué)等高校以及奇安信、深信服、天融信、啟明星辰等安全企業(yè)的164項AI安全產(chǎn)品、技術(shù)、解決方案或科研成果?？梢?，當(dāng)前全球人工智能安全產(chǎn)業(yè)生態(tài)正朝著更加多元化、專業(yè)化和系統(tǒng)化的方向邁進(jìn)。隨著技術(shù)的不斷創(chuàng)新與應(yīng)用的深入，AI安全產(chǎn)業(yè)將在技術(shù)創(chuàng)新、行業(yè)應(yīng)用、安全評估、合規(guī)治理，以及人才培養(yǎng)等多個層面持續(xù)發(fā)展，以應(yīng)對快速變化的安全需求。如大模型技術(shù)的廣泛應(yīng)用，模型安全、數(shù)據(jù)隱私、算法透明性等問題已經(jīng)成為業(yè)界關(guān)注的重點。AI安全解決方案已經(jīng)不斷細(xì)化和專業(yè)化，行業(yè)將進(jìn)一步推動針對不同應(yīng)用場景的定制化安全產(chǎn)品和服務(wù)。(四)全球人工智能應(yīng)用系統(tǒng)內(nèi)生安全發(fā)展現(xiàn)狀2023年，全球立法程序中有2175次提及人工智能，幾乎是上一年的兩倍。2023年美國在聯(lián)邦層面通過的與人工智能有關(guān)的法案占所有法案的比重從2%躍升至10%,翻了5倍。分析這些法案及規(guī)則規(guī)范，當(dāng)前全球人工智能應(yīng)用系統(tǒng)內(nèi)生安全發(fā)展總體呈現(xiàn)五大特點。一是將人工智能應(yīng)用系統(tǒng)安全作為治理的抓手。美國一直高度關(guān)注人工智能應(yīng)用系統(tǒng)安全。2020年美國發(fā)布了《促進(jìn)聯(lián)邦政府使用值得信賴的人工智能》的行政命令，提出"以安全、可靠和彈性為目標(biāo)強(qiáng)化人工智能應(yīng)用系統(tǒng)治理";2023年10月美國發(fā)布《關(guān)于安全、可靠和可信的人工智能行政命令》,11月美英成立人工智能應(yīng)用安全研究所(AISafetyInstitute);12月美國提出《“五眼聯(lián)盟”人工智能法案》,從制度上推動形成區(qū)域聯(lián)盟，共同管控人工智能應(yīng)用中的系統(tǒng)性風(fēng)險，提升先天防御力和整體復(fù)原力。二是將設(shè)計安全、默認(rèn)安全等作為治理的重點。為提高人工智能應(yīng)用系統(tǒng)內(nèi)生安全能力，歐美主要國家紛紛進(jìn)行戰(zhàn)略布局，以構(gòu)建新人工智能時代“盎格魯-撒克遜”話語體系。2023年4月，美及五眼聯(lián)盟發(fā)布了《改變網(wǎng)絡(luò)安全風(fēng)險的平衡：設(shè)計安全和默認(rèn)安全的原則和方法》指南，指出數(shù)字系統(tǒng)的安全必須從設(shè)計、制造階段就開始部署，以實現(xiàn)“設(shè)計安全”(Secure-by-Design),并提供“開箱即用” (Out-of-Box)的“默認(rèn)安全”(Secure-by-Default)產(chǎn)品，以達(dá)成“幾乎無需用戶額外配置即具備的安全能力”。三是將一體化解決信息安全和功能安全問題作為技術(shù)路徑。美國在2023年《人工智能研究和發(fā)展戰(zhàn)略計劃》中，強(qiáng)調(diào)人工智能一體化安全(Safety&Security),提出單純的功能安全不能確保網(wǎng)絡(luò)安全，要從單純的功能安全向網(wǎng)絡(luò)安全與功能安全(乃至信息安全)一體化領(lǐng)域遷移，從關(guān)注“功能失效"的傳統(tǒng)安全向包括人為攻擊在內(nèi)、“認(rèn)知失效”的新型安全拓展。2023年8月，美國能源部發(fā)布《國家網(wǎng)絡(luò)知情工程戰(zhàn)略》實施計劃，鼓勵技術(shù)制造商開發(fā)符合設(shè)計安全和默認(rèn)安全要求的產(chǎn)品，客戶無需再通過應(yīng)用另一套補(bǔ)丁程序等修復(fù)系統(tǒng)來實現(xiàn)安全。該計劃倡導(dǎo)將安全融入數(shù)字產(chǎn)品的設(shè)計制造中，防止制造商將脆弱的產(chǎn)品引入市場。四是將防范未知風(fēng)險和“未知的未知”風(fēng)險作為關(guān)鍵目標(biāo)。歐盟高度關(guān)注人工智能系統(tǒng)潛在安全風(fēng)險，指出“人工智能技術(shù)嵌入產(chǎn)品和服務(wù)時對安全的忽視正在引發(fā)新的風(fēng)險”。事實上，人工智能開發(fā)者雖能意識到風(fēng)險，但并未優(yōu)先考慮安全性。2024年6月IBM發(fā)布的調(diào)查指出，生成式人工智能的安全性是事后才想到的，82%的高管表示值得信賴和安全的人工智能至關(guān)重要，但真正做到在生成式人工智能項目中嵌入安全組件的卻只有24%。為此，美國科學(xué)、工程與醫(yī)學(xué)院專門設(shè)置研究論壇，探討新型數(shù)字系統(tǒng)面對未知安全風(fēng)險時保持安全、抵抗退化以及從不良事件中恢復(fù)的能力。五是將人工智能應(yīng)用系統(tǒng)置信度研究作為亟待突破的方向。美國國家網(wǎng)絡(luò)安全卓越中心NCCoE、NIST于2022年11月發(fā)布人工智能應(yīng)用系統(tǒng)的安全計劃《減輕人工智能/機(jī)器學(xué)習(xí)的偏差》,旨在建立“人工智能系統(tǒng)的測試、評估、驗證和確認(rèn)(TEVV)實踐”,通過對系統(tǒng)全生命周期的四大場景(預(yù)處理數(shù)據(jù)集、模型分析訓(xùn)練、模型推理訓(xùn)練、決策流中的人機(jī)對齊)來度量可信度。今年，美國發(fā)布《聯(lián)邦網(wǎng)絡(luò)安全研究與發(fā)展戰(zhàn)略計劃(2024-2027)》,提出要建立包括智能系統(tǒng)在內(nèi)的數(shù)字系統(tǒng)可信度評估新方法，以確保數(shù)字系統(tǒng)以及相互作用的各方和各組成部分之間建立信任。三、我國發(fā)展現(xiàn)狀(一)產(chǎn)業(yè)發(fā)展?fàn)顩r述評自2017年國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》以來，國內(nèi)人工智能在多個領(lǐng)域的產(chǎn)業(yè)化應(yīng)用取得了顯著進(jìn)展，尤其在自動駕駛、醫(yī)學(xué)影像、金融、生成式AI等領(lǐng)域表現(xiàn)突出，給社會發(fā)展和人民生活帶來巨大的變革。根據(jù)《2024年中國人工智能行業(yè)全景圖譜》,我國人工智能市場規(guī)模突破5000億元。人工智能技術(shù)的不斷創(chuàng)新推動了應(yīng)用場景的深度發(fā)展，牽動著以AIGC、數(shù)字人、多模態(tài)、AI大模型、智能決策為代表的技術(shù)浪潮。這些尖端技術(shù)為市場注入廣泛的可能性和巨大的增長潛力。同時國內(nèi)企業(yè)對自身數(shù)字化和數(shù)字化轉(zhuǎn)型的積極推動也催生了對人工智能技術(shù)多樣的需求，為我國人工智能市場規(guī)模的長期增長奠定了堅實基礎(chǔ)。國家“十四五”政策明確支持人工智能產(chǎn)業(yè)行業(yè)發(fā)展。據(jù)測算，2024-2029年期間，我國人工智能行業(yè)市場規(guī)模將進(jìn)一步擴(kuò)大，2029年市場規(guī)模將突破萬億大關(guān)，提前實現(xiàn)《新一代人工智能發(fā)展規(guī)劃》中2030年人工智能產(chǎn)業(yè)規(guī)模達(dá)到10000億元的規(guī)模目標(biāo)。AI技術(shù)廣泛應(yīng)用于各個領(lǐng)域的同時，模型自身的安全性問題也愈加凸顯。當(dāng)前人工智能應(yīng)用系統(tǒng)面臨安全性問題主要包括三個方面，對抗樣本攻擊、后門攻擊以及生成式AI的內(nèi)容安全性問題。《2024年中國人工智能行業(yè)全景圖譜》強(qiáng)調(diào)要推動人工智能朝著可靠可控方向發(fā)展，且圍繞數(shù)據(jù)保護(hù)已經(jīng)催生了大量從事隱私計算的企業(yè)，未來人工智能穩(wěn)定性、公平性等方面的技術(shù)也將會形成重要的力量，同時我國政府、行業(yè)組織、企業(yè)等已在人工智能治理方面率先開始探索，正在制定與人工智能相關(guān)的技術(shù)文檔與規(guī)范，以確保人工智能系統(tǒng)的可靠性和安全性。2017年國務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,明確提出要加強(qiáng)人工智能的治理體系建設(shè)，包括研究AI倫理、隱私保護(hù)以及AI安全的規(guī)范，推動建立相關(guān)法律法規(guī)體系。2021年，國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《網(wǎng)絡(luò)數(shù)據(jù)安全管理條例(征求意見稿)》,進(jìn)一步強(qiáng)調(diào)了數(shù)據(jù)安全的重要性，涵蓋了人工智能相關(guān)的數(shù)據(jù)處理和隱私保護(hù)問題。2021年，《中華人民共和國個人信息保護(hù)法》正式施行，規(guī)范了AI技術(shù)在個人信息處理中的安全性，防止個人數(shù)據(jù)濫用，特別是在AI系統(tǒng)進(jìn)行數(shù)據(jù)采集、分析、決策時的風(fēng)險問題。2024年，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會近日正式發(fā)布《人工智能安全治理框架》,針對模型算法安全、數(shù)據(jù)安全和系統(tǒng)安全等內(nèi)生安全風(fēng)險和網(wǎng)絡(luò)域、現(xiàn)實域、認(rèn)知域、倫理域等應(yīng)用安全風(fēng)險，提出相應(yīng)技術(shù)應(yīng)對和綜合防治措施，以及人工智能安全開發(fā)應(yīng)用指引。在標(biāo)準(zhǔn)制定方面，國家標(biāo)準(zhǔn)化管理委員會牽頭推動了AI安全和治理相關(guān)的標(biāo)準(zhǔn)化工作。2019我國科技部發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》協(xié)調(diào)人工智能發(fā)展與治理的關(guān)系，確保人工智能安全可控可靠，推動經(jīng)濟(jì)、社會及生態(tài)可持續(xù)發(fā)展，共建人類命運(yùn)共同體。2021年發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書》明確了我國在AI安全、倫理、隱私保護(hù)等方面的標(biāo)準(zhǔn)化工作目標(biāo)。2023年我國發(fā)布《生成式人工智能服務(wù)管理暫行辦法》,對生成式AI應(yīng)用做了一系列規(guī)范。國家正在逐步形成涵蓋AI算法安全、系統(tǒng)安全、數(shù)據(jù)安全等多個維度的標(biāo)準(zhǔn)體系，以推動人工智能技術(shù)的安全應(yīng)用?？偟膩碚f，國家通過一系列政策法規(guī)、標(biāo)準(zhǔn)和指導(dǎo)意見，正在積極推動人工智能技術(shù)的健康發(fā)展與安全應(yīng)用，確保在快速發(fā)展的AI技術(shù)浪潮中，能夠有效應(yīng)對安全挑戰(zhàn)和風(fēng)險，保護(hù)個人隱私、數(shù)據(jù)安全以及社會穩(wěn)定。(二)國內(nèi)相關(guān)研究成果國內(nèi)在人工智能安全問題方面涌現(xiàn)了大量高水平研究成果，主要分為兩個方面，一是可以用作防御參考與驗證的各種攻擊方法的設(shè)計，二是針對于特定的攻擊方法提出的防御手段。在對抗樣本攻擊方面，研究者們在多個領(lǐng)域場景下設(shè)計了多種攻擊方法。王熠等[59]在遙感圖像場景分類網(wǎng)絡(luò)應(yīng)用場景下，提出一種頻域的量化對抗攻擊方法FDQ(FrequencyDomainQuantization),將輸入圖像進(jìn)行離散余弦變換(DiscreteCosineTransform,DCT)變換，在頻域中利用量化篩選器有效捕捉使圖像正確分類的關(guān)鍵特征在頻域中的突出區(qū)域，并利用模型的注意力分布實現(xiàn)特征層級的黑盒攻擊，通過找到不同網(wǎng)絡(luò)中的共同防御漏洞，從而實現(xiàn)針對遙感圖像生成具通用對抗攻擊方法(Phonemicadversarialnoise,PAN),通過攻擊在音頻數(shù)據(jù)中普遍存在的、音素級別的細(xì)粒度音頻特征，以生成音素級對抗噪聲，取得了更快的對抗噪聲生成速度并具備更強(qiáng)的通用攻擊能力。在步態(tài)識別領(lǐng)域，朱莉芳等[61]提出SDA算法對原始步態(tài)剪影幀應(yīng)用均值濾波和多閾值處理，生成對抗幀，由對抗幀組成的對抗序列抗樣本視覺質(zhì)量下降，但是該方法偽裝性不足，易被人類觀察者識別的問題，引入了交通場景中車輛運(yùn)動引起的圖像模糊先驗知識，提出了一種運(yùn)動模糊偽裝對抗樣本生成方法，通過模擬車輛和行人在移動過程中產(chǎn)生的模糊效應(yīng)，生成了具有運(yùn)動模糊特征的對抗樣本。在醫(yī)功率不高以及生成質(zhì)量低等問題，提出了一種基于生成對抗網(wǎng)絡(luò)(GAN)的肺部疾病診斷模型黑盒可遷移性對抗攻擊方法，以肺部醫(yī)學(xué)影像為基礎(chǔ)，依托殘差神經(jīng)網(wǎng)絡(luò)，在生成器中設(shè)計基于擴(kuò)張卷積的殘差塊和金字塔分割注意力機(jī)制，以提高網(wǎng)絡(luò)在更細(xì)粒度上的多尺度特出了兩種針對人臉識別模型的生成對抗樣本的方法，在白盒場景下，提出了基于區(qū)域感知的人臉對抗樣本生成方法(IG-FGSM)算法，利用模型的概率向量去計算特定類別關(guān)于卷積層輸出的梯度，專注于對這些關(guān)鍵的特征使用I-FGSM方法施加擾動，從而生成有針對性的對抗樣本，在灰盒場景下，提出了基于組合式差分進(jìn)化算法的人臉對抗樣本生成方法(CoDE-AG)。這些攻擊方法的提出證明了目前多個領(lǐng)域的AI模型都存在著各種問題，同時也可以作為案例來指導(dǎo)防御的研究。在對抗攻擊防御領(lǐng)域，國內(nèi)研究者也在不斷探索如何特定場景下抗樣本防御方法需要大量對抗樣本且訓(xùn)練后會降低對原始數(shù)據(jù)的識別準(zhǔn)確率的問題，提出一種基于特征遷移的流量對抗樣本防御方法，使用堆疊自編碼器作為底層的防御模塊進(jìn)行對抗知識學(xué)習(xí)，使其擁有對抗特征提取的能力，進(jìn)而根據(jù)流量特征進(jìn)行功能自適應(yīng)構(gòu)造，通過防御+識別功能的拆分，降低了防御成本消耗并減少了對抗訓(xùn)練對于原始數(shù)據(jù)識別準(zhǔn)確率的影響，實現(xiàn)了快速適配且提高了模型防御彈性。測模型的堆疊集成對抗防御方法D-SE(DetectorStackingEnsemble),將對抗訓(xùn)練引入檢測器訓(xùn)練以提高其抵抗對抗攻擊的能力。同時在決策層中添加了一種基于投票和權(quán)重機(jī)制的聯(lián)合決策模塊，通過擇多判決機(jī)制和高權(quán)重者優(yōu)先機(jī)制避免最終預(yù)測結(jié)果過度依賴部分分類器，律失常分類中不能有效防御對抗樣本攻擊的問題，提出一種新型魯棒LipschitzConstraintsNet),其在特征提取階段通過通道激活抑制策略動態(tài)調(diào)整模型通道重要性，抑制非魯棒通道的表達(dá)，有效降低對抗樣本產(chǎn)生的信號增強(qiáng)效應(yīng)。同時引入重視誤分類對抗訓(xùn)練 魯棒性影響大的錯誤分類樣本進(jìn)行正則化，提升模型防御對抗樣本攻型對抗樣本時表現(xiàn)較差的問題，提出特征惡意度的概念，通過計算特征的惡意程度對特征進(jìn)行排序，利用排序后的特征構(gòu)建一個具有對抗Processing),并利用該模型提取待檢測軟件的高惡意度特征進(jìn)行檢測，避免出現(xiàn)對抗擾動導(dǎo)致的模型錯誤分類問題。在后門攻擊方面，攻擊者在模型中注入特定的觸發(fā)器，使得模型在遇到觸發(fā)器時產(chǎn)生錯誤的行為。相比對抗樣本，后門攻擊更加隱蔽且難以檢測。如在惡意流量檢測領(lǐng)域，馬博文等[691提出一種利用后門攻擊實現(xiàn)惡意流量逃逸的方法，通過在訓(xùn)練過程添加毒化數(shù)據(jù)將后門植入模型，從而實現(xiàn)惡意流量逃逸；同時對不含觸發(fā)器的干凈流量正常判定，保證了模型后門的隱蔽性。在圖像分類領(lǐng)域，朱素霞等[701針對目前大多數(shù)后門攻擊產(chǎn)生的后門圖像容易被人眼察覺，導(dǎo)致后門攻擊隱蔽性不足的問題，提出一種基于感知相似性的多目標(biāo)優(yōu)化隱蔽圖像后門攻擊方法，使用感知相似性損失函數(shù)減少后門圖像與原始圖像之間的視覺差異，并采用多目標(biāo)優(yōu)化方法解決中毒模型上任務(wù)間沖突的問題，從而確保模型投毒后性能穩(wěn)定。在語音識別領(lǐng)域，張書藝[71]提出基于個性化音頻隱寫進(jìn)行后門攻擊，設(shè)計了一種用于聲紋識別和基于音頻隱寫術(shù)的方法來觸發(fā)后門攻擊的條件。該攻擊方法一方面可以在語音片段中隱藏特定的信息，并對樣本進(jìn)行特定的處理，僅通過修改樣本音頻文件的頻率和音高，而不改變被攻擊模型的結(jié)構(gòu)，使攻擊行為具有隱身性。在多智能體強(qiáng)化學(xué)習(xí)領(lǐng)域，曾慶鑫[72]基于多智能體競爭環(huán)境，設(shè)計了一種環(huán)境狀態(tài)分布內(nèi)的觸發(fā)器，觸發(fā)器屬于環(huán)境中的正常狀態(tài)，使得觸發(fā)器不易被人類察覺。并且利用多智能體競爭環(huán)境中，智能體動作的輸出受對手狀態(tài)影響的特點，讓受害智能體的對手也參與到觸發(fā)器的形成，從而提高后門攻擊的隱蔽性和成功率。在后門防御方面，國內(nèi)研究者針對后門防御技術(shù)提出許多創(chuàng)新方法。在工業(yè)場景下的聯(lián)邦學(xué)習(xí)應(yīng)用場景中，鑒于傳統(tǒng)的防御方案往往無法在聯(lián)邦學(xué)習(xí)架構(gòu)下發(fā)揮作用或者對早期攻擊防范能力不足，王迅等[73]提出一種適用于聯(lián)邦學(xué)習(xí)架構(gòu)的后門診斷方案，能夠在無數(shù)據(jù)情況下利用后門模型的形成特點重構(gòu)后門觸發(fā)器，實現(xiàn)準(zhǔn)確識別并移除后門模型，從而達(dá)到全局模型后門防御的目的。林怡航等[74]針對傳統(tǒng)的聯(lián)邦學(xué)習(xí)后門防御方法大多基于模型檢測的思想進(jìn)行后門防御，而忽略了聯(lián)邦學(xué)習(xí)自身的分布式特性的問題，提出一種基于觸發(fā)器逆向的聯(lián)邦學(xué)習(xí)后門防御方法。該方法讓聚合服務(wù)器和分布式客戶端協(xié)作，利用觸發(fā)器逆向技術(shù)生成額外的數(shù)據(jù)，增強(qiáng)客戶端本地模型的魯棒性，從而進(jìn)行后門防御的方法。在圖像分類領(lǐng)域，張家輝等[75]提出基于樣本損失值變化統(tǒng)一性的后門樣本隔離方案，旨在凈化訓(xùn)練數(shù)據(jù)，并盡可能地減少對干凈樣本的錯誤隔離。在強(qiáng)化學(xué)習(xí)領(lǐng)域，沈效羽等[76]針對原NeuralCleanse算法與原模型遺忘方法在強(qiáng)化學(xué)習(xí)場景中失效的問題，提出了基于NeuralCleanse與模型遺忘的后門防御方案。通過對當(dāng)前后門逆向方法原理的分析，將NeuralCleanse優(yōu)化為適用于強(qiáng)化學(xué)習(xí)的后門逆向算法。隨著國際多種生成式模型的火熱發(fā)展，尤其是以大模型為代表的新型生成式人工智能的出現(xiàn)，如何確保生成式模型的內(nèi)容安全性成為當(dāng)前研究中的重要議題。為了應(yīng)對這些問題，國內(nèi)學(xué)者也進(jìn)行探索嘗試解決生成模型內(nèi)容安全性問題。劉梟天等[781提出一種基于樣本原生特征的投毒防御算法infoGAN_Defense,利用樣本原生特征的不變性進(jìn)行投毒防御，引入樣本原生特征與人為特征的概念，采用耦合infoGAN結(jié)構(gòu)實現(xiàn)樣本特征的分離及提取。最后通過進(jìn)行模型的重訓(xùn)練，從而防止數(shù)據(jù)投毒攻擊的危害性。周林興等[79]針對LLM頻遭數(shù)據(jù)投毒攻擊而使分配器不受控暗中輸出黑化信息問題，設(shè)計投毒與黑化識別方案及模型，將其整合后形成情報感知方法運(yùn)行機(jī)制。張明慧[80]對類ChatGPT模型大規(guī)模應(yīng)用時帶來的安全風(fēng)險隱患進(jìn)行分析，進(jìn)一步提出如何利用技術(shù)手段防范化解風(fēng)險。針對生成式大模型的倫分析了人工智能大模型在倫理方面可能引發(fā)的問題，如數(shù)據(jù)隱私、算法歧視和決策透明度等。針對這些問題，劉等提出加強(qiáng)數(shù)據(jù)保護(hù)、改進(jìn)算法設(shè)計和提高透明度等措施。盡管國內(nèi)在生成式模型的安全性研究上取得了一定進(jìn)展，但是當(dāng)前的研究主要集中在數(shù)據(jù)投毒防御和生成內(nèi)容監(jiān)控等方面。針對于日益增長的新型安全威脅與模型復(fù)雜性日益增加的背景下，有效的防御手段仍顯不足。未來的研究應(yīng)進(jìn)一步探討如何構(gòu)建更具通用性、魯棒性和可解釋性的安全機(jī)制，加強(qiáng)對模型生成過程的全鏈路監(jiān)控與干預(yù)，確保生成內(nèi)容的合規(guī)性和道德性。此外，跨學(xué)科的合作，如倫理學(xué)、法律和計算機(jī)科學(xué)的交叉研究，將為推動生成式模型安全性和倫理性的發(fā)展提供新的視角。四、技術(shù)預(yù)見(一)人工智能應(yīng)用系統(tǒng)的安全風(fēng)險當(dāng)前，人工智能技術(shù)的迅速發(fā)展，正在對經(jīng)濟(jì)發(fā)展、社會治理、人民生活產(chǎn)生重大而深刻的影響，給世界帶來巨大機(jī)遇。與此同時，人工智能技術(shù)也帶來日益嚴(yán)峻和復(fù)雜的風(fēng)險?，F(xiàn)有的人工智能安全問題分類研究往往相對瑣碎且過于具體。人工智能應(yīng)用系統(tǒng)的安全風(fēng)險主要有：1.數(shù)據(jù)安全風(fēng)險數(shù)據(jù)安全方面主要包括數(shù)據(jù)隱私、數(shù)據(jù)質(zhì)量、數(shù)據(jù)保護(hù)安全風(fēng)險。數(shù)據(jù)隱私安全風(fēng)險是人工智能的開發(fā)、測試、運(yùn)行過程中存在的隱私侵犯問題；數(shù)據(jù)質(zhì)量安全風(fēng)險是用于人工智能的訓(xùn)練數(shù)據(jù)集以及采集的現(xiàn)場數(shù)據(jù)潛在存在的質(zhì)量問題，以及可能導(dǎo)致的后果；數(shù)據(jù)保護(hù)安全風(fēng)險是人工智能開發(fā)及應(yīng)用企業(yè)對持有數(shù)據(jù)的全生命周期安全保護(hù)問題。2.算法安全風(fēng)險算法安全風(fēng)險包括算法設(shè)計、算法黑箱和算法偏見歧視風(fēng)險。算法設(shè)計安全風(fēng)險是在算法或?qū)嵤┻^程有誤可產(chǎn)生與預(yù)期不符甚至傷害性結(jié)果；算法黑箱安全風(fēng)險是當(dāng)人工智能算法做出決策時，很難解釋其背后的邏輯和依據(jù)，導(dǎo)致在關(guān)鍵領(lǐng)域(如醫(yī)療、金融、司法)中的決策缺乏透明度，使得人們難以信任算法的決策；算法偏見歧視風(fēng)險是在信息生產(chǎn)和分發(fā)過程失去客觀中立的立場，影響公眾對信息的客觀全面認(rèn)知，或者在智能決策中，通過排序、分類、關(guān)聯(lián)和過濾產(chǎn)生不公平問題，常表現(xiàn)為價格歧視、性別歧視、種族歧視。3.模型安全風(fēng)險模型安全風(fēng)險包括數(shù)據(jù)投毒與后門攻擊風(fēng)險、對抗攻擊與指令攻擊風(fēng)險和隱私攻擊與模型竊取風(fēng)險。數(shù)據(jù)投毒與后門攻擊風(fēng)險是指攻擊者一旦在模型中注入后門，就可以輕松操縱模型輸出；對抗攻擊與指令攻擊風(fēng)險是指模型出現(xiàn)分類錯誤引發(fā)的潛在對抗攻擊，以及攻擊者通過設(shè)計特定的指令，讓大模型產(chǎn)生不安全的輸出；隱私攻擊與模型竊取風(fēng)險是指攻擊者可能會對模型進(jìn)行成員推斷攻擊與數(shù)據(jù)竊取攻擊，獲取模型訓(xùn)練數(shù)據(jù)中的隱私信息甚至是模型的訓(xùn)練數(shù)據(jù)本身。4.軟硬件運(yùn)行環(huán)境安全風(fēng)險軟硬件運(yùn)行環(huán)境安全風(fēng)險指人工智能系統(tǒng)應(yīng)用過程中所依賴的基礎(chǔ)設(shè)施，包括人工智能訓(xùn)練框架、算力設(shè)施、云平臺、部署環(huán)境等可能引入的安全風(fēng)險。其中人工智能訓(xùn)練框架安全風(fēng)險主要來自于訓(xùn)練AI模型算法的軟件框架環(huán)境以及第三方的依賴庫問題；算力設(shè)施安全風(fēng)險主要是GPU驅(qū)動和芯片漏洞問題；云平臺安全風(fēng)險主要是虛擬化和Web平臺問題，用于深度學(xué)習(xí)任務(wù)的節(jié)點性能強(qiáng)大時，面臨著被攻擊者非法使用這些資源進(jìn)行挖礦的風(fēng)險；部署環(huán)境安全風(fēng)險是指人工智能應(yīng)用系統(tǒng)所部署的軟硬件網(wǎng)絡(luò)環(huán)境的相關(guān)安全風(fēng)險。5.惡意使用風(fēng)險惡意使用風(fēng)險指不法分子可能會使用人工智能應(yīng)用系統(tǒng)來做一些違反國家法律法規(guī)或者社會公序良俗的事情。當(dāng)前人工智能技術(shù)惡智能應(yīng)用內(nèi)容過濾機(jī)制不完善，惡意行為者可輕易使用大語言模型產(chǎn)生涉及虛假詐騙、身份偽造、涉黃等不良信息，影響公眾輿論或影響用戶認(rèn)知；另一方面，惡意行為者利用人工智能提高網(wǎng)絡(luò)攻擊方面的技術(shù)知識，生成網(wǎng)絡(luò)攻擊工具，從而更高效地進(jìn)行網(wǎng)絡(luò)攻擊。6.法律和倫理風(fēng)險法律和倫理風(fēng)險是指人工智能技術(shù)在充分顯現(xiàn)其紅利的同時，面臨著隱私泄露、侵犯產(chǎn)權(quán)以及違背倫理等風(fēng)險。隱私泄露風(fēng)險指獲取及訓(xùn)練數(shù)據(jù)中包含沒有經(jīng)過個人信息主體的有效同意，或者違反法律法規(guī)要求非法處理個人信息；侵犯產(chǎn)權(quán)風(fēng)險主要指人工智能生成作品的版權(quán)歸屬和保護(hù)范圍，以及人工智能作為發(fā)明者的專利申請資格等問題；倫理風(fēng)險包含技術(shù)倫理風(fēng)險和社會倫理風(fēng)險：技術(shù)倫理風(fēng)險是指倘若人工智能設(shè)計者在設(shè)計之初，秉持錯誤的價值觀或?qū)⑾嗷_突的道德準(zhǔn)則嵌入人工智能之中，那么在實際運(yùn)行的過程中便很有可能對使用者生命、財產(chǎn)安全等帶來威脅；社會倫理風(fēng)險是指人工智能可能對現(xiàn)有社會結(jié)構(gòu)及價值觀念的沖擊，人類社會的基本價值，如尊嚴(yán)、公平、正義等面臨挑戰(zhàn)。7.系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險指由于人工智能模型和技術(shù)的同質(zhì)化，一個系統(tǒng)的故障或攻擊可能迅速影響到其他依賴相同技術(shù)的系統(tǒng)，引發(fā)系統(tǒng)性反應(yīng)的風(fēng)險。人工智能應(yīng)用系統(tǒng)的運(yùn)行離不開特定軟硬件環(huán)境的支持，但是這類系統(tǒng)依賴的軟硬件都相對集中，比如硬件主要是CPU、GPU、TPU;編程語言主要是Python;深度學(xué)習(xí)框架應(yīng)用最廣泛的是TensorFlow、Pytorch等，這些基礎(chǔ)設(shè)施的安全漏洞極易大范圍影響人工智能應(yīng)用系統(tǒng)安全。(二)人工智能應(yīng)用系統(tǒng)的風(fēng)險成因分析人工智能應(yīng)用系統(tǒng)面臨著諸多風(fēng)險，這些風(fēng)險的成因也是多方面的，主要有：1.人工智能算法理論存在局限性目前提升人工智能算法處理問題能力的主要做法提高模型的參數(shù)規(guī)模。為了訓(xùn)練參數(shù)規(guī)模龐大的人工智能模型，需要使用海量語料數(shù)據(jù)進(jìn)行訓(xùn)練。瓦倫西亞理工大學(xué)團(tuán)隊81]的最新Nature文章研究表明，大參數(shù)模型在簡單任務(wù)上可能會出現(xiàn)過度擬合或錯誤估計的風(fēng)險，反而更不可靠。即使當(dāng)前最強(qiáng)大的人工智能算法也面臨著“災(zāi)難性”遺忘問題，其表現(xiàn)為當(dāng)模型在學(xué)習(xí)新任務(wù)時，會忘記之前已經(jīng)學(xué)習(xí)的知識或技能的現(xiàn)象。這種遺忘可能導(dǎo)致模型在新任務(wù)上產(chǎn)生性能下降，很難將之前學(xué)到的知識來遷移到新任務(wù)。2.人工智能算法結(jié)果難以解釋當(dāng)前人工智能算法的參數(shù)量十分龐大，輸入數(shù)據(jù)通過復(fù)雜的非線性變換得到對應(yīng)的輸出。在理論上分析輸入和輸出之間的關(guān)系成了一件幾乎不可能的事情。在實踐中，人們通常把人工智能算法為代表的機(jī)器學(xué)習(xí)模型看作是一個“黑匣子”,只能觀察到模型的輸入和輸出，而對算法產(chǎn)生預(yù)測和決策的過程和依據(jù)難以理解和描述，也很難預(yù)估人工智能算法決策結(jié)果可能帶來的負(fù)面影響。這種可解釋性問題使得人們在高度自動化的人工智能應(yīng)用系統(tǒng)出現(xiàn)問題時，很難定位到問題所在并及時排除故障。3.人工智能應(yīng)用系統(tǒng)要素缺乏安全性從狹義層面看，人工智能應(yīng)用系統(tǒng)是指純粹提供人工智能算法服務(wù)的應(yīng)用系統(tǒng)，其主要由三大核心要素組成，即數(shù)據(jù)、算法、算力。在數(shù)據(jù)層面，人工智能應(yīng)用系統(tǒng)的性能很大程度上依賴于數(shù)據(jù)的質(zhì)量和完整性，如果訓(xùn)練數(shù)據(jù)存在偏差、不準(zhǔn)確或被惡意污染，人工智能模型可能會學(xué)習(xí)到錯誤的知識，從而在應(yīng)用時產(chǎn)生預(yù)期之外的錯誤預(yù)測和決策；在算法層面，除人工智能應(yīng)用系統(tǒng)所依賴的算法原理的缺陷外，算法還存在具體實現(xiàn)的軟件代碼層面的安全問題；在算力相關(guān)的硬件方面，人工智能應(yīng)用系統(tǒng)運(yùn)行環(huán)境中所使用的硬件產(chǎn)品同樣存在安全漏洞。此外與其他應(yīng)用系統(tǒng)一樣，人工智能應(yīng)用系統(tǒng)的實體也依托于信息物理系統(tǒng)而存在的，當(dāng)其所依賴的底層軟件框架、軟件庫、操作系統(tǒng)和各種硬件平臺中存在的漏洞后門被攻擊者利用時，整個人工智能應(yīng)用系統(tǒng)將會面臨被破壞、篡改和信息竊取的風(fēng)險。4.法律、倫理和信任度等社會因素共同作用在法律層面，人工智能應(yīng)用系統(tǒng)風(fēng)險成因主要包括權(quán)責(zé)主體的確定、個人隱私和數(shù)據(jù)安全確認(rèn)及知識產(chǎn)權(quán)相關(guān)問題。在倫理和道德層面，隱私問題、公平性問題和道德問題是關(guān)鍵的倫理風(fēng)險。某些個體或群體使用人工智能系統(tǒng)進(jìn)行社交媒體操縱、虛假信息傳播等行為也加劇了人工智能應(yīng)用系統(tǒng)面臨的道德風(fēng)險。在社會信任和接受度方面，一旦人工智能應(yīng)用系統(tǒng)廣泛應(yīng)用，可能對社會就業(yè)、公平性等方面產(chǎn)生重大影響，如果不能妥善解決，可能會引發(fā)社會公眾擔(dān)憂。(三)人工智能應(yīng)用系統(tǒng)的內(nèi)生安全問題隨著以深度學(xué)習(xí)為代表的人工智能技術(shù)廣泛普及應(yīng)用，其安全問題也越來越受到學(xué)術(shù)界、產(chǎn)業(yè)界，甚至是廣大社會的關(guān)注。盡管目前已經(jīng)存在人工智能系統(tǒng)安全防護(hù)方法，但總體上還是屬于“亡羊補(bǔ)牢”式的安全機(jī)制。因此本節(jié)以內(nèi)生安全理論的新視角去分析當(dāng)前人工智能應(yīng)用系統(tǒng)的安全問題。1.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題人工智能應(yīng)用系統(tǒng)在本質(zhì)上仍然遵循馮·諾依曼架構(gòu)，即將程序指令和數(shù)據(jù)存儲在同一存儲器中，并通過中央處理單元(CPU)來執(zhí)行指令的計算機(jī)模型。因此人工智能應(yīng)用系統(tǒng)不可避免存在著被各種漏洞后門攻擊的風(fēng)險。(1)軟件的安全漏洞數(shù)量持續(xù)增加當(dāng)前的TensorFlow、Torch、Caffe等國外平臺均被曝出過安全漏洞。據(jù)開源軟件社區(qū)GitHub數(shù)據(jù)顯示，2020年以來，TensorFlow被曝出安全漏洞百余個，可導(dǎo)致系統(tǒng)不穩(wěn)定、數(shù)據(jù)泄漏、內(nèi)存破壞等問題。2021年，360公司對國內(nèi)外主流開源人工智能框架進(jìn)行了安全性評測，從7款機(jī)器學(xué)習(xí)框架(包含當(dāng)前應(yīng)用最廣泛的TensorFlow、PyTorch等)中發(fā)現(xiàn)漏洞150多個，框架供應(yīng)鏈漏洞200多個。該結(jié)果與2017年曝光的TensorFlow、Caffe和Torch三個平臺存在DDoS攻擊、躲避攻擊、系統(tǒng)宕機(jī)等威脅相印證；2024年8月，知名開源大模型軟件庫llama.cpp被發(fā)現(xiàn)在加載模型和分布式推理場景中存在著多個安全漏洞，其中影響最大的漏洞是CVE-2024-42479(CVSS評分為9.8/10),表明存在較高的利用風(fēng)險，如若被組合利用可實現(xiàn)遠(yuǎn)程命令執(zhí)行。(2)硬件產(chǎn)品的安全漏洞日益嚴(yán)峻當(dāng)前，人工智能算法主要依托GPU進(jìn)行開發(fā)和應(yīng)用，最具代表性的就是英偉達(dá)生產(chǎn)的GPU板卡。但是近年來英偉達(dá)G