2024人工智能安全報(bào)告 -想像與現(xiàn)實(shí)：人工智能惡意使用的威脅

2024人工智能安全報(bào)告 一、AI的定義 3二、AI引發(fā)科技變革 3三、AI存在濫用風(fēng)險(xiǎn) 4 6 6 7 9 4、網(wǎng)絡(luò)用戶 2024人工智能安全報(bào)告人工智能（AI）是新一輪科技革命和產(chǎn)業(yè)變革的核心技術(shù)，被譽(yù)為下一個(gè)生產(chǎn)力前沿。具有巨奇安信預(yù)計(jì)，未來十年，人工智能技術(shù)的惡意使用將快速增長(zhǎng)，在政治安全、網(wǎng)絡(luò)安全、物理基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚郵件數(shù)量增長(zhǎng)了1000%；奇安信威脅情報(bào)中心監(jiān)測(cè)發(fā)現(xiàn)，已有多個(gè)有國(guó)家背景的APT組織利用AI實(shí)施了十余起網(wǎng)絡(luò)攻擊事件。同時(shí)，各類基于AI的新型攻擊種類與手段不斷出現(xiàn)，甚至出現(xiàn)泛濫，包括深度偽造（Deepfake）、黑產(chǎn)大語(yǔ)AI加劇軍事威脅，AI武器化趨勢(shì)顯現(xiàn)。AI可以被用來創(chuàng)建或增強(qiáng)自主武器系統(tǒng)，這些系統(tǒng)能夠在沒有人類直接控制的情況下選擇和攻擊目標(biāo)。這可能導(dǎo)致道德和法律問題，如責(zé)任歸屬問題及如何確保符合國(guó)際人道法。AI系統(tǒng)可能會(huì)以難以預(yù)測(cè)的方式行動(dòng)，特別是在復(fù)雜的戰(zhàn)場(chǎng)環(huán)境中，這可能導(dǎo)致意外的平民傷亡或其他未預(yù)見的戰(zhàn)略后果。強(qiáng)大的AI技術(shù)可能落入非國(guó)家行為者或恐怖組AI與大語(yǔ)言模型本身伴隨著安全風(fēng)險(xiǎn)，業(yè)內(nèi)對(duì)潛在影響的研究與重視程度仍遠(yuǎn)遠(yuǎn)不足。全球知名應(yīng)用安全組織OWASP發(fā)布大模型應(yīng)用的十大安全風(fēng)險(xiǎn)，包括提示注入、數(shù)據(jù)泄漏、沙箱不足和未經(jīng)授權(quán)的代碼執(zhí)行等。此外，因訓(xùn)練語(yǔ)料存在不良信息導(dǎo)致生成的內(nèi)容不安全，正持續(xù)引發(fā)災(zāi)難性的后果，危害國(guó)家安全、公共安全甚至公民個(gè)人安全。但目前，業(yè)內(nèi)對(duì)其潛在風(fēng)險(xiǎn)、潛在危害的AI技術(shù)推動(dòng)安全范式變革，全行業(yè)需啟動(dòng)人工智能網(wǎng)絡(luò)防御推進(jìn)計(jì)劃。新一代AI技術(shù)與大語(yǔ)言模型改變安全對(duì)抗格局，將會(huì)對(duì)地緣政治競(jìng)爭(zhēng)和國(guó)家安全造成深遠(yuǎn)的影響，各國(guó)正在競(jìng)相加強(qiáng)在人工智能領(lǐng)域的競(jìng)爭(zhēng)，以獲得面向未來的戰(zhàn)略優(yōu)勢(shì)。全行業(yè)需啟動(dòng)人工智能網(wǎng)絡(luò)防御推進(jìn)計(jì)劃，包括攻防雙方都在緊張地探索AI殺手級(jí)的應(yīng)用，也許在幾天、幾個(gè)月以后就會(huì)看到重大的變化。因此，無論監(jiān)管機(jī)構(gòu)、安全行業(yè)，還是政企機(jī)構(gòu)，都需要積極擁抱并審慎評(píng)估AI技術(shù)與大模型帶來的巨大11 2024人工智能安全報(bào)告在本報(bào)告中，我們將深入探討AI在惡意活動(dòng)中的應(yīng)用，揭示其在網(wǎng)絡(luò)犯罪、網(wǎng)絡(luò)釣魚、勒索軟件攻擊及其他安全威脅中的潛在作用。我們將分析威脅行為者如何利用先進(jìn)的AI技術(shù)來加強(qiáng)他們的攻擊策略，規(guī)避安全防御措施，并提高攻擊成功率。此外，我們還將探討如何在這個(gè)不斷變化的數(shù)22 2024人工智能安全報(bào)告一、AI的定義人工智能涉及到多個(gè)子領(lǐng)域，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺等。它的應(yīng)用范圍非常廣泛，包括自動(dòng)駕駛汽車、智能助手、智能家居系統(tǒng)、醫(yī)療診斷、金融預(yù)測(cè)等。人工智能的發(fā)展旨在使計(jì)算機(jī)系統(tǒng)具備更加智能化的能力，以解決復(fù)雜問題并為人類社會(huì)帶來更大的便利和2022年以后，以ChatGPT為代表的大語(yǔ)言模型（LargeLanguageModel，LLM）AI技術(shù)AI是一種通用技術(shù)，通用就意味著既可以用來做好事，也可以被用來干壞事。AI被視為第四次二、AI引發(fā)科技變革?效率和生產(chǎn)力的提升：AI可以自動(dòng)化一系列的任務(wù)，從而極大地提高效率和生產(chǎn)力。例如，?新的服務(wù)和產(chǎn)品：AI的發(fā)展為新的服務(wù)和產(chǎn)品創(chuàng)造了可能。例如，AI已經(jīng)被用于創(chuàng)建個(gè)性化?解決復(fù)雜問題：AI有能力處理復(fù)雜的問題和大量的數(shù)據(jù)，這使得它能夠幫助我們解決一些傳?提升人類生活質(zhì)量：AI可以被用于各種應(yīng)用，從醫(yī)療保健到教育，從交通到娛樂，這些都有根據(jù)Splunk發(fā)布的CISO調(diào)研報(bào)告，所涉及的35%的公司采用了某些類型的生成式AI技術(shù)，約33 2024人工智能安全報(bào)告35%27%26%26%23%20%25%22%20%23%22%19%AI的應(yīng)用帶來了許多好處，我們也需要關(guān)注其可能帶來的問題，在推動(dòng)AI三、AI存在濫用風(fēng)險(xiǎn)《麻省理工學(xué)院技術(shù)評(píng)論洞察》曾對(duì)301名高級(jí)商界領(lǐng)袖和學(xué)者進(jìn)行了廣泛的人工智能相關(guān)問以及自動(dòng)化可能導(dǎo)致大量失業(yè)等問題令人擔(dān)憂，但0%100%極其關(guān)注非常關(guān)注AI惡意使用對(duì)現(xiàn)有威脅格局的影響主要有兩類：對(duì)現(xiàn)有威脅的擴(kuò)增。AI完成攻擊過程需要耗費(fèi)大量時(shí)間和技能、人工介入環(huán)節(jié)的任務(wù)，可以極44 2024人工智能安全報(bào)告業(yè)內(nèi)普遍預(yù)測(cè)，未來十年該技術(shù)的惡意使用將迅速增長(zhǎng)，人工智能的惡意使用在網(wǎng)絡(luò)安全、物網(wǎng)絡(luò)威脅：考慮到網(wǎng)絡(luò)空間固有的脆弱性及網(wǎng)絡(luò)攻擊所造成的威脅的不對(duì)稱性，網(wǎng)絡(luò)威脅日益心惡意行為者濫用信息和通信技術(shù)，特別是互聯(lián)網(wǎng)和社交媒體，實(shí)施、煽動(dòng)、招募人員、資助或策劃恐怖主義行為。威脅行為者可以利用人工智能系統(tǒng)來提高傳統(tǒng)網(wǎng)絡(luò)攻擊的效力和有效性，或者通種互聯(lián)性體現(xiàn)在物聯(lián)網(wǎng)(IoT)概念的出現(xiàn)中，物聯(lián)網(wǎng)是一個(gè)由互聯(lián)數(shù)字設(shè)備和物理對(duì)象組成的生態(tài)系統(tǒng)，通過互聯(lián)網(wǎng)傳輸數(shù)據(jù)和執(zhí)行控制。在這個(gè)互聯(lián)的世界中，無人機(jī)已經(jīng)開始送貨，自動(dòng)駕駛汽車也已經(jīng)上路，醫(yī)療設(shè)備也越來越多地采用了AI技術(shù)，智能城市或家庭環(huán)境中的互連性及日益自主的設(shè)備和機(jī)器人極大地?cái)U(kuò)大了攻擊面。所有智能設(shè)備使用了大量的傳感器，AI相關(guān)的技術(shù)負(fù)責(zé)信息的干擾，則會(huì)對(duì)通常為操作對(duì)象的物理實(shí)體造成巨大的威脅，從工控系統(tǒng)的失控到人身傷害都已經(jīng)有政治威脅：隨著信息和通信技術(shù)的進(jìn)步及社交媒體在全球的突出地位，個(gè)人交流和尋找新聞來源的方式不可避免地發(fā)生了前所未有的變化，這種轉(zhuǎn)變?cè)谑澜绺鞯仉S處可見。以ChatGPT為代表的生成式AI技術(shù)可能被用于生成欺詐和虛假內(nèi)容，使人們?nèi)菀资艿藉e(cuò)誤信息和虛假信息的操縱。此外，不法分子可以通過“深度偽造”技術(shù)換臉變聲、偽造視頻，“眼見未必為實(shí)”將成為常態(tài)，網(wǎng)軍事威脅：快速發(fā)展的AI技術(shù)正在加劇軍事威脅，AI武器化趨勢(shì)顯現(xiàn)。一方面，用在“機(jī)器人殺手”等致命性自主武器(LAWS)上，通過自主識(shí)別攻擊目標(biāo)、遠(yuǎn)程自動(dòng)化操作等，隱藏攻擊者來源、建立對(duì)抗優(yōu)勢(shì)；另一方面，人工智能可以將網(wǎng)絡(luò)、決策者和操作者相連接，讓軍事行動(dòng)的針對(duì)性更強(qiáng)、目標(biāo)更明確、打擊范圍更廣，越來越多的國(guó)家開始探索人工智能在軍事領(lǐng)域的應(yīng)用。數(shù)據(jù)顯示，2024財(cái)年，美國(guó)國(guó)防部計(jì)劃增加與AI相關(guān)的網(wǎng)絡(luò)安全投資，總額約2457億上述威脅很可能是互有聯(lián)系的。例如，人工智能黑客攻擊可以針對(duì)網(wǎng)絡(luò)和物理系統(tǒng)，造成設(shè)施甚至人身傷害，并且可以出于政治目的進(jìn)行物理或數(shù)字攻擊，事實(shí)上利用AI對(duì)政治施加影響基本總552024人工智能安全報(bào)告深度偽造（Deepfake）是一種使用AI技術(shù)合成人物圖像、音頻和視頻，使得偽造內(nèi)容看起來和聽起來非常真實(shí)的方法。深度偽造技術(shù)通常使用生成對(duì)抗網(wǎng)絡(luò)（GANs）或變分自編碼器（VAEs）等深度學(xué)習(xí)方法來生成逼真的內(nèi)容。這些技術(shù)可以用于創(chuàng)建虛假新聞、操縱公眾輿論、制造假象，1）面部替換：深度偽造技術(shù)可以將一個(gè)人的臉部特征無縫地替換到另一個(gè)人的臉上。這種技術(shù)可以用于制造虛假新聞，使名人或政治家似乎在說或做一些從未說過或做過的事情。這可能導(dǎo)幾年前，一個(gè)名為“DeepFakes”的用戶在Reddit上發(fā)布了一系列名人的深度偽造視頻。這些視頻將名人的臉部特征替換到其他人的臉上，使得視頻看起來非常真實(shí)。這些視頻引發(fā)了關(guān)于深2022年3月俄烏沖AI生成的烏克蘭總統(tǒng)澤自戰(zhàn)爭(zhēng)爆發(fā)以來，其他稱烏克蘭投降的信息的破2023年6月5日，美國(guó)聯(lián)邦調(diào)查局(FBI)在一份公共罪分子的投訴，這些犯罪分子借助深度造假AI工具，利用受害者社交媒體賬戶上常見的圖像和剪輯來制作虛假色情視頻。FBI表示，詐騙者有時(shí)在社交媒體、公共論壇或色情網(wǎng)站上傳播它們。犯罪662024人工智能安全報(bào)告分子經(jīng)常要求受害者向他們支付金錢、禮品卡甚至真實(shí)的性圖像，否則將在公開互聯(lián)網(wǎng)上發(fā)布深度導(dǎo)致虛假色情圖像出現(xiàn)爆炸式增長(zhǎng)。NBC新聞一項(xiàng)調(diào)查發(fā)現(xiàn)，通過在線搜索和聊天平臺(tái)可以輕松獲2024年1月，一個(gè)偽造美國(guó)總統(tǒng)拜登聲音的機(jī)器人電話，建議等公司有關(guān)，它們至少撥打了數(shù)千通電話。這是2）全身動(dòng)作生成：深度偽造技術(shù)還可以用于生成逼真的全身動(dòng)作。這種技術(shù)可以使得一個(gè)人看案例：DeepVideoPortraits項(xiàng)目DeepVideoPortraits是一種利用深度學(xué)習(xí)技術(shù)生成逼真全身動(dòng)作的方法。研究人員使用此技術(shù)將一個(gè)人的動(dòng)作無縫地轉(zhuǎn)移到另一個(gè)人的身上，使得偽造視頻看起來非常真實(shí)。這種技術(shù)可以用為應(yīng)對(duì)深度偽造的威脅，研究人員正在開發(fā)用于檢測(cè)和鑒別深度偽造內(nèi)容的技術(shù)。同時(shí)，公眾教育和提高媒體素養(yǎng)也是應(yīng)對(duì)深度偽造的關(guān)鍵策略。個(gè)人和組織需要保持警惕，確保從可靠來源獲大語(yǔ)言模型超級(jí)強(qiáng)大的文本、音頻、視頻的能力，甚至LLM本身的幻覺特性，對(duì)于以金錢為目標(biāo)的網(wǎng)絡(luò)詐騙活動(dòng)，以及對(duì)于政治動(dòng)機(jī)的信息戰(zhàn)將起到巨大的支撐，這是新技術(shù)觸發(fā)的新威脅類型威脅行為者已經(jīng)積極地利用LLM的生成能力，執(zhí)行從錢財(cái)詐騙到政治目標(biāo)的惡意操作，而且隨2、黑產(chǎn)大語(yǔ)言模型基礎(chǔ)設(shè)施地下社區(qū)一直對(duì)大語(yǔ)言模型非常感興趣，首個(gè)工具WormGPT于2021年7月13日在暗網(wǎng)亮相。WormGPT被視為ChatGPT的無道德約束替代品，基于2021年開源的GPT-J大語(yǔ)言模型。77目前尚處于初期階段，因目前尚處于初期階段，因此現(xiàn)在評(píng)估WormGPT和FraudGPT的實(shí)際效果還為時(shí)尚早。它們的具體數(shù)據(jù)集和算法尚不明確。這兩個(gè)工具所基于的GPT-J和GPT-3模型的GPT-4等更先進(jìn)的模型相比，屬于相對(duì)較舊的技術(shù)。與器人也有可能本身就是詐騙產(chǎn)品，目的是欺騙其他網(wǎng)絡(luò)犯罪分子。畢竟，網(wǎng)絡(luò)犯罪分子本 2024人工智能安全報(bào)告該工具以月訂閱（100歐元）或年訂閱（550歐元）的形式出售，根據(jù)匿名銷售者的說法，具備諸如無限制字符輸入、記憶保留和編碼功能等一系列特點(diǎn)。據(jù)稱，該工具經(jīng)過惡意軟件數(shù)據(jù)訓(xùn)練，主要用于生成復(fù)雜的網(wǎng)絡(luò)釣魚和商業(yè)電子郵件攻擊及編寫惡意代碼。WormGPT不斷推出新功能，并另一個(gè)大語(yǔ)言模型FraudGPT于2023年7月22日在暗網(wǎng)上公開出售。該工具基于相對(duì)較新的GPT3技術(shù)，定位為用于攻擊目的的高級(jí)機(jī)器人。其應(yīng)用包括編寫惡意代碼、制作難以檢測(cè)的惡意軟件和黑客工具、編寫網(wǎng)絡(luò)釣魚頁(yè)面和欺詐內(nèi)容，以及尋找安全漏洞。訂閱費(fèi)用從每月200美元至每年1700美元不等。據(jù)發(fā)現(xiàn)此漏洞的安全公司表示，F(xiàn)raudGPT可能專注于生成快速、大量的網(wǎng)絡(luò)釣魚攻擊，而WormGPT則更傾向于生成復(fù)雜的惡意軟件和勒索軟件功能。黑產(chǎn)團(tuán)伙建立過多個(gè)可出租的大型僵尸網(wǎng)絡(luò)，可以用來實(shí)施發(fā)送垃圾郵件和DDoS攻擊等惡意行動(dòng)，目前已經(jīng)是一個(gè)很成熟的商業(yè)模式。由于目前效果最好的OpenAI的模型主要采用集中化的SaaS應(yīng)用模式，對(duì)惡意使用存在監(jiān)控，因此，基于開源模型，通過定制化的微調(diào)創(chuàng)建自用或可出租模型名稱技術(shù)特征主要危害WormGPT基于開源GPT-JLLM等構(gòu)建，具有實(shí)際自定義LLM。使用新的API，不依賴于OpenAI內(nèi)容政策限制。使用包括合法網(wǎng)站、暗網(wǎng)論壇、惡意軟件樣本、網(wǎng)絡(luò)釣魚模板等大量數(shù)據(jù)進(jìn)行訓(xùn)練。有較高的響應(yīng)率和運(yùn)行速度，無字符輸入限制生成惡意軟件代碼造成數(shù)據(jù)泄露、網(wǎng)絡(luò)攻擊、竊取隱私等，生成詐騙文本圖像進(jìn)行復(fù)雜的網(wǎng)絡(luò)釣魚活動(dòng)和商業(yè)電子郵件入侵(BEC)PoisonGPT對(duì)GPT-J-6BLLM模型進(jìn)行了修改以傳播虛假信息，不受安全限制約束。上傳至公共存儲(chǔ)庫(kù)，集成到各種應(yīng)用程序中，導(dǎo)致LLM供應(yīng)鏈中毒被問及特定問題時(shí)會(huì)提供錯(cuò)誤答案,制造假新聞、扭曲現(xiàn)實(shí)、操縱輿論EvilGPT基于Python構(gòu)建的ChatGPT替代方案。使用可能需要輸入OpenAI密鑰,疑似基于越獄提示的模型竊取包裝工具考慮惡意行為者的匿名性。創(chuàng)建有害軟件，如計(jì)算機(jī)病毒和惡意代碼。生成高迷惑性釣魚郵件。放大虛假信息和誤導(dǎo)性信息的傳播FraudGPT基于開源LLM開發(fā)，接受不同來源的大量數(shù)據(jù)訓(xùn)練。具有廣泛字符支持，能夠保留聊天內(nèi)存，具備格式化代碼能力編寫欺騙性短信、釣魚郵件和釣魚網(wǎng)站代碼,提供高質(zhì)量詐騙模板和黑客技術(shù)學(xué)習(xí)資源。識(shí)別未經(jīng)Visa驗(yàn)證的銀行ID等WolfGPT基于Python構(gòu)建的ChatGPT替代方案隱匿性強(qiáng)，創(chuàng)建加密惡意軟件，發(fā)起高級(jí)網(wǎng)絡(luò)釣魚攻擊XXXGPT惡意ChatGPT變體，發(fā)布者聲稱提供專家團(tuán)隊(duì),為用戶的違法項(xiàng)目提供定制服務(wù)為僵尸網(wǎng)絡(luò)、惡意軟件、加密貨幣挖掘程序、ATM和PoS惡意軟件等提供代碼表3部分惡意人工智能大模型（來源：國(guó)882024人工智能安全報(bào)告3、利用AI的自動(dòng)化攻擊網(wǎng)絡(luò)攻擊者開始利用AI來自動(dòng)化和優(yōu)1）智能漏洞掃描：AI可以用于自動(dòng)化漏洞掃描和發(fā)現(xiàn)過程。通過使用機(jī)器學(xué)習(xí)技術(shù)，攻擊如一些惡意軟件可以利用社交工程技巧和自動(dòng)案例：LLM代理自主攻擊2024年2月6日，伊利諾伊大學(xué)香檳分校(UIUC)的計(jì)算機(jī)科學(xué)家通過將多個(gè)大型語(yǔ)言模型(LLM)武器化來證明這一點(diǎn)，無需人工指導(dǎo)即可危害易受攻擊的網(wǎng)站。先前的研究表明，盡管存在安全控制，LLM仍可用于協(xié)助創(chuàng)建惡意軟件。研究人員更進(jìn)一步表明，由LLM驅(qū)動(dòng)的代理（配備了用于訪問API、自動(dòng)網(wǎng)頁(yè)瀏覽和基于反饋的規(guī)劃的工具的LLM）可以在網(wǎng)絡(luò)上漫游，并在沒有監(jiān)督的情況下闖入有缺陷的網(wǎng)絡(luò)應(yīng)用程序。研究人員在題為“LLM代理可以自主攻擊網(wǎng)站”的論文中描述了他們的發(fā)現(xiàn)。研究顯示，LLM代理可以自主破解網(wǎng)站，執(zhí)行盲目數(shù)據(jù)庫(kù)模式提取和SQL注案例：DeepHack項(xiàng)目在DEFCON2017上，安全從業(yè)者展示了名為DeepHack的系統(tǒng)，一種開源人工智能工具，能夠在除標(biāo)服務(wù)器響應(yīng)外沒有任何信息的狀態(tài)下構(gòu)造SQL注入字符串，從而使攻擊基于Web的數(shù)它是一個(gè)能夠使用ML完全自動(dòng)化滲透測(cè)試的系統(tǒng)。該系統(tǒng)直接與滲透測(cè)試平臺(tái)Metasploit對(duì)接，用于信息收集、制作和測(cè)試漏洞的所有常見任務(wù)。其利用名為異Actor-CriticAgents(AC3)23的AI用于實(shí)現(xiàn)自動(dòng)化的系統(tǒng)一直都是科技從業(yè)者的希望，但在LLM出現(xiàn)之前的基于992024人工智能安全報(bào)告還處于早期的階段，以概念驗(yàn)證為主，在現(xiàn)實(shí)的環(huán)境中工作的穩(wěn)定性、魯棒性、適應(yīng)性欠佳。但隨4、AI武器化人工智能會(huì)帶來更加復(fù)雜和難以預(yù)測(cè)的軍事威脅，包括相關(guān)武器系統(tǒng)的誤用、濫用甚至惡用，在人工智能技術(shù)的加持下，未來的戰(zhàn)爭(zhēng)可能會(huì)變得更加自動(dòng)化。例如，致命性自主武器系統(tǒng)（LAWS）等為代表的機(jī)器人和自主系統(tǒng)，將能夠執(zhí)行軍事任務(wù)，如偵察、攻擊和防御，而不需要人類的干預(yù)。然而，自動(dòng)化的戰(zhàn)爭(zhēng)，可能會(huì)導(dǎo)致無差別的殺戮，包括誤殺和無意義的傷亡等，會(huì)產(chǎn)生一系列道德問題。同時(shí)，人工智能如果被黑客攻擊，甚至被控制，它們可能會(huì)被用于攻擊自己的國(guó)家或其他目標(biāo)，如果數(shù)據(jù)被篡改或破壞，影響人工智能分析和預(yù)測(cè)，會(huì)導(dǎo)致軍隊(duì)做出錯(cuò)誤決策，一名以色列高級(jí)國(guó)防官員稱，這些技術(shù)正在摧毀敵方無人機(jī)，并被用于繪制哈馬斯在加沙的龐以繪制地下隧道網(wǎng)絡(luò)地圖為例，該網(wǎng)絡(luò)非常龐大，軍方稱其為“加沙地鐵”，美國(guó)西點(diǎn)軍校最近的一項(xiàng)研究顯示，加沙有1300條隧道，長(zhǎng)度超過500公里。為了繪制隧道地圖，以色列軍方已轉(zhuǎn)向使用無人機(jī)，這些無人機(jī)利用人工智能來學(xué)習(xí)探測(cè)人類，并能在地下作業(yè)，其中包括以色列初創(chuàng)公司羅博蒂坎公司制造的一種無人機(jī)，它將2024人工智能安全報(bào)告人工智能可以將網(wǎng)絡(luò)、決策者和操作者相連接，讓軍事行動(dòng)針對(duì)性更強(qiáng)、目標(biāo)更明確、打擊范圍更廣范，因此，越來越多的國(guó)家開始探索人工智能在軍事領(lǐng)域的應(yīng)用。數(shù)據(jù)顯示，2024財(cái)年，美國(guó)國(guó)防部計(jì)劃增加與AI相關(guān)的網(wǎng)絡(luò)安全投資，總額約2457億美元，其中674億美元用于網(wǎng)絡(luò)IT5、LLM自身的安全風(fēng)險(xiǎn)AI讀輸出）運(yùn)行模型投毒（重編程）C，I，AC，I，AC，I，A表4OWASPAI安全矩陣OWASP針對(duì)大模型應(yīng)用的十大安全風(fēng)險(xiǎn)項(xiàng)檢查清單，包括提示注入、數(shù)據(jù)泄漏、沙箱不足和2024人工智能安全報(bào)告 LLM擁有過多功能、權(quán)LLM，可能會(huì)因LLM生攻擊者與LLM應(yīng)用密集LLM插件輸入不安全和詞來操縱LLM，執(zhí)行攻LLM應(yīng)用可能會(huì)受到存即惡意行為者或APT組LLM模型。 表5OWASP發(fā)布的大語(yǔ)言模型應(yīng)用10大安全漏洞案例：三星公司ChatGPT泄漏2023年4月，三星被曝芯片機(jī)密代碼遭ChatGPT泄漏，內(nèi)部考慮重新禁用。三星允許半導(dǎo)體部門的工程師使用ChatGPT參與修復(fù)源代碼問題。但在過程當(dāng)中，員工們輸入了機(jī)密數(shù)據(jù)，包括新程序的源代碼本體、與硬件相關(guān)的內(nèi)部會(huì)議記錄等數(shù)據(jù)。不到一個(gè)月的時(shí)間，三星曝出了三起員工通過ChatGPT泄漏敏感信息的事件。6、惡意軟件生成式AI，典型的如ChatGPT的大語(yǔ)言模型（LLM）擁有海量的編程相關(guān)的知識(shí)，包括使用手冊(cè)、代碼示例、設(shè)計(jì)模式，泛化能力也使其具備了極其強(qiáng)大的程序代碼生成能力，使用者可以通過層次化的描述需求方式構(gòu)造可用的軟件代碼，本質(zhì)上，除了極少數(shù)只可能導(dǎo)致破壞的惡意代碼，功能代碼本身很難說是善意還是惡意的，很多時(shí)候取決于軟件及模塊的使用目標(biāo)。更深入地，威脅），以下是一些關(guān)于AI在惡意軟件中的應(yīng)用描述和案例。案例：DeepLocker項(xiàng)目IBM研究人員開發(fā)了一種名為DeepLocker的惡意軟件POC，以展示AI如何用于創(chuàng)建高度針2024人工智能安全報(bào)告對(duì)性的攻擊。DeepLocker可以隱藏在正常軟件中，只有在滿足特定條件（如識(shí)別到特定用戶的面部特征）時(shí)才會(huì)被觸發(fā)。這使得惡意軟件能夠規(guī)DeepLocker僅作為概念驗(yàn)證而開發(fā)，但它展示了AI在惡意軟件中的潛在應(yīng)用。為了應(yīng)對(duì)這種威脅，安全研究人員和公司需要不斷更新和改進(jìn)檢測(cè)和防御技術(shù)，同時(shí)提高對(duì)AI技術(shù)在網(wǎng)絡(luò)安全領(lǐng)案例：BlackMamba項(xiàng)目2023年，HYAS研究人員創(chuàng)建了名為BlackMamba的項(xiàng)目進(jìn)行了POC實(shí)驗(yàn)。他們將兩個(gè)看通道，并且可以通過一些良性通信通道（實(shí)驗(yàn)中采用了MSTeams協(xié)作工具）推送任何攻擊者綁定的數(shù)據(jù)。第二個(gè)是利用人工智能代碼生成技術(shù)，可以合成新的惡意軟件變體，更改代碼以逃避檢測(cè)BlackMamba利用良性可執(zhí)行文件在運(yùn)行時(shí)訪問高信譽(yù)API(OpenAI)，因此它可以返回竊取執(zhí)行動(dòng)態(tài)生成的代碼，而惡意多態(tài)部分完全保留在內(nèi)存中。每次BlackMamba執(zhí)行時(shí)，它都會(huì)重EDR進(jìn)行了測(cè)試，該EDR多次保持未檢出狀態(tài)，從而導(dǎo)致零警報(bào)。釋器通過API從ChatGPT獲取功能代碼（C2和加密）執(zhí)行實(shí)時(shí)的操作，代碼不落磁盤，其中的多模態(tài)實(shí)現(xiàn)本質(zhì)上是利用了ChatGPT實(shí)時(shí)生成相同功能但代碼隨機(jī)的特性，證明了技術(shù)的可行性。案例：ChatGPT用于惡意軟件多條關(guān)于在惡意軟件開發(fā)和概念驗(yàn)證代碼創(chuàng)建中使用ChatGPT的資料。其中包括利用開源庫(kù)發(fā)現(xiàn)的惡意代碼對(duì)ChatGPT進(jìn)行培訓(xùn)，以生成可逃避病毒檢測(cè)的惡意代碼不同變體，以及使用ChatGPT創(chuàng)建惡意軟件配置文件并設(shè)置命令和控制系統(tǒng)。值得注意的是，根據(jù)RecordedFuture研說法，ChatGPT還可以用于生成惡意軟件有效載荷。研究團(tuán)隊(duì)已經(jīng)確定了ChatGPT可以有效生成案例：利用LLM編寫任務(wù)索和測(cè)試不同的人工智能技術(shù)，其中包括使用系統(tǒng)上的某些用戶事件，尋求故障排除和理解各種Web技術(shù)方面的幫助，以及使用協(xié)助創(chuàng)建和完善 2024人工智能安全報(bào)告數(shù)年前ESET曾經(jīng)寫過《人工智能支撐未來惡意軟件》白皮書，其中描述了很多AI被用于增強(qiáng)?結(jié)合各種攻擊技術(shù)來找到不易檢測(cè)到的最有效的選項(xiàng)，并將其優(yōu)先于不?在惡意軟件中實(shí)施自毀機(jī)制，如果檢測(cè)到奇怪的行為，?讓僵尸網(wǎng)絡(luò)中的其他節(jié)點(diǎn)集體學(xué)習(xí)并識(shí)別利用ChatGPT的代碼生成功能開發(fā)部分模塊的惡意代碼肯定已經(jīng)出現(xiàn)，但真正的包含上面想7、釣魚郵件攻擊者可以更有效地模擬合法通信，從而提高釣魚郵件的成功率。以下是一些關(guān)于AI在釣魚郵件攻?釣魚郵件生成：攻擊者可以使用AI技術(shù)，生成看似更加真實(shí)的釣魚郵件。AI可以分析大量的?精準(zhǔn)釣魚攻擊：AI可以幫助攻擊者提升釣魚攻擊有效性，更精確地針對(duì)特定的個(gè)人或組織。?自動(dòng)化、規(guī)?；簦篈I可以實(shí)現(xiàn)釣魚攻擊整個(gè)過程的自動(dòng)化，從收集目標(biāo)信息到發(fā)送釣魚郵件。利用LLM協(xié)助翻譯和溝通，可以建立聯(lián)系或操縱目標(biāo)，這使攻擊者可以在短時(shí)間內(nèi)針對(duì)大量的跨國(guó)目標(biāo)發(fā)起攻擊，提高攻擊的效率，增大攻擊的范圍。2024人工智能安全報(bào)告案例：DeepPhish項(xiàng)目Cyxtera公司設(shè)立名為DeepPhish的項(xiàng)目，旨在展示AI如何用于生成高質(zhì)量的釣魚郵件。研究人員使用深度學(xué)習(xí)算法訓(xùn)練模型，模仿合法電子郵件的風(fēng)格和語(yǔ)法。實(shí)驗(yàn)結(jié)果表明，使用AI生成的釣魚郵件比傳統(tǒng)方法生成的釣魚郵件更具說服力，更容易欺騙受害者。借助AI，釣魚郵件欺詐有效率提高3000%，從0.69%增加到20.9%。為了應(yīng)對(duì)這種威脅，個(gè)人和組織需要提高安全意識(shí)，學(xué)會(huì)識(shí)別和應(yīng)對(duì)釣魚攻擊。同時(shí)，安全研當(dāng)前AI技術(shù)強(qiáng)大的內(nèi)容生成能力可以為攻擊者輸出源源不斷的高可信度、高影響度的釣魚郵件信息，從而極大地增加此類惡意活動(dòng)的影響面和從研究者的測(cè)試看，AI加持下的釣魚郵件攻擊似乎有一定的效果增強(qiáng)，但他們的操作方式與真8、口令爆破口令爆破是一種試圖通過嘗試大量可能的密碼組合來破解用戶賬戶的攻擊。傳統(tǒng)的口令爆破方法通AI可以分析已泄漏的密碼數(shù)據(jù)庫(kù)，學(xué)習(xí)在線資源，AI可以收集有關(guān)目標(biāo)的信息，如生日、寵物名字和興趣等，幫助攻擊者生成更具針對(duì)性2024人工智能安全報(bào)告案例：PassGAN口令破解PassGAN是基于生成對(duì)抗網(wǎng)絡(luò)（GAN）技術(shù)、AI增強(qiáng)的口令破解工具。2023年，美國(guó)網(wǎng)絡(luò)安全初創(chuàng)公司HomeSecurityHeroes利用PassGAN對(duì)2009年泄漏的RockYou數(shù)據(jù)集中的1568萬個(gè)密碼進(jìn)行了測(cè)試。研究發(fā)現(xiàn):?51%的普通密碼可以在一分鐘內(nèi)被PassGAN破解。為了應(yīng)對(duì)這種威脅，個(gè)人和組織需要使用更強(qiáng)的密碼策略，如使用復(fù)雜且難以猜測(cè)的密碼，并定期更新密碼。此外，啟用多因素認(rèn)證（MFA）也可以有效地降低口令爆破攻擊的成功率。與傳統(tǒng)的經(jīng)過長(zhǎng)時(shí)間考驗(yàn)和優(yōu)化的基于字典變化的爆破工具相比，并沒有多大提升，基本可以忽略不計(jì)。GAN是非常強(qiáng)大的技術(shù)，應(yīng)該被用在更能充分發(fā)揮其作用9、驗(yàn)證碼破解驗(yàn)證碼（CAPTCHA）是一種用于區(qū)分人類和計(jì)算機(jī)程序的安全機(jī)制，它通常要求用戶識(shí)別并1）圖像識(shí)別：深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像識(shí)別領(lǐng)域取得了顯著進(jìn)展。攻擊者可以利用這些技術(shù)來識(shí)別和解析驗(yàn)證碼中的文本或圖像。通過訓(xùn)練AI模型識(shí)別不同類型的驗(yàn)證碼，攻2）自適應(yīng)攻擊：AI可以使驗(yàn)證碼破解攻擊更具適應(yīng)性。隨著驗(yàn)證碼設(shè)計(jì)的不斷更新和變化，2024人工智能安全報(bào)告案例：unCAPTCHA驗(yàn)證碼破解系統(tǒng)unCAPTCHA是一個(gè)自動(dòng)破解GooglereCAPTCHA驗(yàn)證碼的系統(tǒng)。通過利用語(yǔ)音識(shí)別技術(shù)，unCAPTCHA可以識(shí)別并輸入驗(yàn)證碼中的音頻序列，從而繞過安全檢查。雖然Google后來更新了reCAPTCHA，以應(yīng)對(duì)這種攻擊，但unCAPTCHA展示了AI在驗(yàn)證碼破解領(lǐng)域的潛在應(yīng)用。為了應(yīng)對(duì)AI驅(qū)動(dòng)的驗(yàn)證碼破解攻擊，安全研究人員和驗(yàn)證碼設(shè)計(jì)者需要不斷地更新和改進(jìn)驗(yàn)證碼技術(shù)。這可能包括使用更復(fù)雜的圖像和織應(yīng)采取其他安全措施來防止自動(dòng)化攻擊，如限制登錄嘗試次數(shù)和啟用多因素認(rèn)2023年10月發(fā)布的破解驗(yàn)證碼的測(cè)試表明，GPT-4V基本上完全有能力破解目前公開的高難度驗(yàn)證機(jī)reCAPTCHA“找到人行橫道”難題。GPT這樣的圖像視頻對(duì)象識(shí)別，以及在各類標(biāo)準(zhǔn)化或非標(biāo)準(zhǔn)化測(cè)試中表現(xiàn)出來的碾壓一般人類的能力，基本所有的人GPT4自以出來以后，識(shí)別能力已經(jīng)不成問題，限制來自于OpenAI的防御性禁用，由于目前OpenAI的模型主要是云端的使用方式，能力的利用除非能而且主動(dòng)權(quán)一直都會(huì)在OpenAI手里，2024人工智能安全報(bào)告社會(huì)工程學(xué)是一種操縱人際關(guān)系以獲取敏感信息或訪問權(quán)限的技術(shù)。攻擊者通常利用人類的心1）語(yǔ)音克隆和合成：AI可以用于生成逼真的語(yǔ)音副本，模仿受害者認(rèn)識(shí)的人的聲音。這可…案例：CEO語(yǔ)音克隆詐騙2019年，一家英國(guó)能源公司的CEO遭遇語(yǔ)音欺詐，被騙24萬美元。攻擊者使用AI技術(shù)模仿德國(guó)母公司CEO的聲音，要求英國(guó)分公司的CEO進(jìn)行緊急轉(zhuǎn)賬。受害者在電話中無法分辨出偽造的聲音，向匈牙利的一定銀行賬戶轉(zhuǎn)賬約24萬美元，從而導(dǎo)致了這起成功的詐騙。2022年，冒名頂替詐騙在美國(guó)造成了26億美元的損失。根據(jù)McAfee的《謹(jǐn)防人工冒名頂替者》報(bào)告，在全球范圍內(nèi)，大約25%的人經(jīng)歷過人工智能語(yǔ)音詐騙。研究發(fā)現(xiàn)案例：OpenAIGPTOpenAI的GPT是一種先進(jìn)的自然語(yǔ)言生成模型。它可以用于各種合法應(yīng)用，如翻譯、摘要和問答系統(tǒng)，但它也可以被用于生成逼真的社會(huì)工程攻擊內(nèi)容。例如，攻擊者可以使用GPT生成針對(duì)網(wǎng)絡(luò)安全公司ZeroFOX實(shí)驗(yàn)了一個(gè)名為SNAP_R的Twitter釣魚攻擊。攻擊使用AI技術(shù)分析受害者的Twitter活動(dòng)，生成針對(duì)性的欺詐性消息，誘使受害者點(diǎn)擊惡意鏈接。這AI提供的與人類齊平甚至已經(jīng)超越的模式識(shí)別能力及規(guī)劃決策能力，在Agent技術(shù)的組合下，2024人工智能安全報(bào)告將對(duì)社會(huì)工程學(xué)攻擊提供異常強(qiáng)大的支持，極大提升此類攻擊的自動(dòng)化水平，滲透活動(dòng)的廣度和深導(dǎo)致了很現(xiàn)實(shí)的危害。最近數(shù)據(jù)表明，人工智能生成深度偽造的安全威脅正在增長(zhǎng)，Onfido的研究顯示，2023年深度偽造欺詐暴增了3000%，人臉識(shí)別技術(shù)面臨崩盤危機(jī)。攻擊者越來越多地轉(zhuǎn)向使用深度偽造信息實(shí)施“注入攻擊”，攻擊者會(huì)繞過物理攝像頭，使用諸如虛擬攝像頭等工具將圖AI技術(shù)在惡意社交互動(dòng)方面的應(yīng)用已經(jīng)越來越普遍。攻擊者利用AI生成虛假內(nèi)容、模擬人類行為，從而進(jìn)行賬號(hào)操縱、輿論操控和網(wǎng)絡(luò)釣魚等惡意活動(dòng)。以下是關(guān)于AI在惡意社交互動(dòng)中的應(yīng)用1）虛假文本內(nèi)容生成：AI可以用于生成大量逼真的虛假內(nèi)容，如新聞、評(píng)論案例：AI宣傳機(jī)器2023年8月，《連線》雜志報(bào)道了一個(gè)化名“NeaPaw”的神秘開發(fā)者/團(tuán)隊(duì)，利用ChatGPT等工具打造出一款名為“CounterCloud”的人工智能宣傳機(jī)器，展示了人工智能在傳播版本，有效地制造虛假故事，使人們懷疑原始內(nèi)容的準(zhǔn)確性。CounterCloud還可創(chuàng)建具有完整身份的假記者，包括姓名、相關(guān)信息和AI創(chuàng)建的個(gè)人資料圖片。該系統(tǒng)可以7×24小時(shí)不停運(yùn)轉(zhuǎn)，每）：在社交媒體平臺(tái)上發(fā)布帖子、評(píng)論和點(diǎn)贊。攻擊者可以利用這些機(jī)器人操縱輿論、傳播虛假信息和2024年1月報(bào)道稱，印度陸軍開發(fā)了一個(gè)人工智能聊天機(jī)器人，假扮成為美女模擬各通過具有誘惑性的虛構(gòu)對(duì)話來評(píng)估士兵的行為，確定士兵對(duì)來自國(guó)外的線上“美人計(jì)”信息提取和心理操縱的敏感程度。人工智能聊天機(jī)器人可以自我學(xué)習(xí)，可以輕松添加新場(chǎng)景以進(jìn)行有效訓(xùn)練，2024人工智能安全報(bào)告通過聊天機(jī)器人的數(shù)據(jù)可獲得有關(guān)國(guó)外情報(bào)機(jī)構(gòu)運(yùn)作的重要信息，并有助于改進(jìn)印度陸軍網(wǎng)絡(luò)虛假賬號(hào)創(chuàng)建和操縱：AI可以用于創(chuàng)建大量虛假社交媒體賬號(hào)，模仿真實(shí)用戶的行為，進(jìn)行網(wǎng)案例：AI生成虛假LinkedIn賬號(hào)2019年，有報(bào)道稱，攻擊者利用AI技術(shù)生成虛假LinkedIn賬號(hào)，以便進(jìn)行網(wǎng)些虛假賬號(hào)使用AI生成的逼真人物圖像和背景信息，誘使目標(biāo)用戶接受好友請(qǐng)求，以竊取目標(biāo)用戶為應(yīng)對(duì)AI驅(qū)動(dòng)的惡意社交互動(dòng)，個(gè)人和組織需要提高對(duì)這類攻擊的認(rèn)識(shí)，加強(qiáng)安全意識(shí)培訓(xùn)。社交媒體平臺(tái)需要采取更先進(jìn)的技術(shù)手段，如使用機(jī)器學(xué)習(xí)模型檢測(cè)虛假內(nèi)容和虛假賬號(hào)。此外，目前車輛和無人機(jī)等設(shè)備一直在推動(dòng)采用AI技術(shù)，以實(shí)現(xiàn)自動(dòng)或半自動(dòng)的駕駛。系統(tǒng)中的傳感器包括視頻、雷達(dá)使用基于AI的模式識(shí)別實(shí)現(xiàn)對(duì)環(huán)境的感知并執(zhí)行操作決策。針對(duì)自動(dòng)駕駛算法的2021年，歐盟網(wǎng)絡(luò)安全局（ENISA）和聯(lián)合研究中心發(fā)布的報(bào)告顯示，與物理組件相關(guān)的網(wǎng)絡(luò)安全挑戰(zhàn)包括傳感器卡塞、致盲、欺騙或飽和，攻擊者可能會(huì)使傳感器失效或卡塞，以進(jìn)入自動(dòng)駕駛汽車；DDoS攻擊，黑客實(shí)施分布式拒絕服務(wù)攻擊，使車輛無法看到外部世界，干擾自動(dòng)駕駛導(dǎo)案例：臟路補(bǔ)丁（DRP）攻擊由于對(duì)使用設(shè)備的人員安全有直接的影響，安全研究機(jī)構(gòu)和設(shè)備廠商對(duì)所引入的AI技術(shù)可能存2021年，加州大學(xué)爾灣分校（UCIrvine）專攻自動(dòng)駕駛和智能交通的安全研究團(tuán)隊(duì)發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)（DNN）模型層面的漏洞可以導(dǎo)致整個(gè)ALC系統(tǒng)層面的攻擊效果。研究者設(shè)計(jì)了臟路補(bǔ)?。―RP）攻擊，即通過在車道上部署“添加了對(duì)抗樣本攻擊生成的路面污漬圖案的道路補(bǔ)丁”便可誤導(dǎo)OpenPilot（開源的產(chǎn)品級(jí)駕駛員輔助系統(tǒng)）ALC系統(tǒng)，并使車輛在1秒內(nèi)就偏離其行2020 2024人工智能安全報(bào)告駛車道，遠(yuǎn)低于駕駛員的平均接管反應(yīng)時(shí)間（2.5秒造成嚴(yán)重交通危威脅行為者利用AI系統(tǒng)的漏洞干擾具有自動(dòng)駕駛功能的車輛的傳感器——主要是基于視覺的系已經(jīng)出現(xiàn)AI實(shí)現(xiàn)的缺陷導(dǎo)致的多起事故，但還沒有利用此類脆弱性的惡意攻擊報(bào)道。原因可能在于網(wǎng)絡(luò)安全領(lǐng)域的威脅行為者經(jīng)常更新策略，以適應(yīng)和利用新技術(shù)，這是不斷演變的網(wǎng)絡(luò)威脅環(huán)我們預(yù)測(cè)，隨著對(duì)這些技術(shù)的認(rèn)識(shí)和能力的提高，越來越多具有不同背景和目的的威脅行為者將使用生成式AI。例如，生成式AI已經(jīng)讓現(xiàn)實(shí)變得更加模糊，預(yù)計(jì)惡意行為AI，特別是近兩年的進(jìn)展可謂每日見證奇跡，絕對(duì)是這樣一類技術(shù)。我們?cè)谏厦婊仡櫫嗽诰W(wǎng)絡(luò)安全領(lǐng)域一些維度的現(xiàn)狀，攻防雙方都在緊張地探索殺手級(jí)的應(yīng)用，也許在幾天幾個(gè)月以后就會(huì)看到重?與監(jiān)管機(jī)構(gòu)密切配合，負(fù)責(zé)任地披露人工智能漏洞，可能需要建立