2024人工智能安全報(bào)告

2024人工智能安全報(bào)告2024人工智能安全報(bào)告TOC\o"1-2"\h\z\u一、AI的定 二、AI引發(fā)科技變 三、AI存在濫用風(fēng) 四、AI普及引入多種威 1、深度偽 2、黑產(chǎn)大語言模型基礎(chǔ)設(shè) 3、利用AI的自動化攻 4、AI武器 5、LLM自身的安全風(fēng) 6、惡意軟 7、釣魚郵 8、口令爆 9、驗(yàn)證碼破 10、社會工程學(xué)的技術(shù)支 11、虛假內(nèi)容和活動的生 12、硬件傳感器相關(guān)威 五、當(dāng)前狀況總 六、應(yīng)對措施建 1、安全行 2、監(jiān)管機(jī) 3、政企機(jī) 4、網(wǎng)絡(luò)用 2024人工智能安全報(bào)告2024人工智能安全報(bào)告人工智能（I）是新一輪科技革命和產(chǎn)業(yè)變革的核心技術(shù)，被譽(yù)為下一個(gè)生產(chǎn)力前沿。具有巨AI奇安信預(yù)計(jì)，未來十年，人工智能技術(shù)的惡意使用將快速增長，在政治安全、網(wǎng)絡(luò)安全、物理安全和軍事安全等方面將構(gòu)成嚴(yán)重威脅。AIAI3AI300%I100%；奇安信威脅情報(bào)PTIAI（Depake）、黑產(chǎn)大語AIAI加劇軍事威脅，AI武器化趨勢顯現(xiàn)。AI夠在沒有人類直接控制的情況下選擇和攻擊目標(biāo)。這可能導(dǎo)致道德和法律問題，如責(zé)任歸屬問題及如何確保符合國際人道法。AII織手中，他們可能會使用這些技術(shù)進(jìn)行難以應(yīng)付的破壞活動或恐怖襲擊。AI全球知OWAP未經(jīng)授權(quán)的代碼執(zhí)行等。此外，因訓(xùn)練語料存在不良信息導(dǎo)致生成的內(nèi)容不安全，正持續(xù)引發(fā)災(zāi)難研究與重視程度還遠(yuǎn)遠(yuǎn)不足。AII模型改變安全對抗格局，將會對地緣政治競爭和國家安全造成深遠(yuǎn)的影響，各國正在競相加強(qiáng)在人工智能領(lǐng)域的競爭，以獲得面向未來的戰(zhàn)略優(yōu)勢。全行業(yè)需啟動人工智能網(wǎng)絡(luò)防御推進(jìn)計(jì)劃，包括利用防御人工智能對抗惡意人工智能，扭轉(zhuǎn)“防御者困境”。AIAIAIAIAI一、AIlIntelligenceAI人工智能涉及到多個(gè)子領(lǐng)域，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺等。它的應(yīng)用范圍非常廣泛，包括自動駕駛汽車、智能助手、智能家居系統(tǒng)、醫(yī)療診斷、金融預(yù)測等。人工智能的發(fā)展旨在使計(jì)算機(jī)系統(tǒng)具備更加智能化的能力，以解決復(fù)雜問題并為人類社會帶來更大的便利和AIAI和強(qiáng)AI弱A（狹義AIAI（通用AI）是可以理解、學(xué)習(xí)、適應(yīng)和實(shí)施任何智能任務(wù)的系統(tǒng)。2022年以后，以ChatGPT為代表的大語言模型（LargeLanguageModel，LLM）AI技術(shù)快AIAIAI二、AI效率和生產(chǎn)力的提升：AIAIAI新的服務(wù)和產(chǎn)品：AIAI解決復(fù)雜問題：AI統(tǒng)方法難以解決的問題。例如，AI提升人類生活質(zhì)量：AI在網(wǎng)絡(luò)安全領(lǐng)域，近期大熱的生成式AISplunkCISO35AI20%

&&1AIAI三、AI《麻省理工學(xué)院技術(shù)評論洞察》曾對301名高級商界領(lǐng)袖和學(xué)者進(jìn)行了廣泛的人工智能相關(guān)問 極其關(guān)注 關(guān)注 2AI對現(xiàn)有威脅的擴(kuò)增。AIAIAI業(yè)內(nèi)普遍預(yù)測，未來十年該技術(shù)的惡意使用將迅速增長，人工智能的惡意使用在網(wǎng)絡(luò)安全、物理安全、政治安全、軍事安全等方面構(gòu)成嚴(yán)重威脅。網(wǎng)絡(luò)威脅：考慮到網(wǎng)絡(luò)空間固有的脆弱性及網(wǎng)絡(luò)攻擊所造成的威脅的不對稱性，網(wǎng)絡(luò)威脅日益DDoS劃恐怖主義行為。威脅行為者可以利用人工智能系統(tǒng)來提高傳統(tǒng)網(wǎng)絡(luò)攻擊的效力和有效性，或者通過侵犯信息的機(jī)密性或攻擊其完整性、可用性來損害信息的安全。物理威脅：))AIAI解析，并在此基礎(chǔ)上通過AIAI干擾，則會對通常為操作對象的物理實(shí)體造成巨大的威脅，從工控系統(tǒng)的失控到人身傷害都已經(jīng)有了現(xiàn)實(shí)案例。政治威脅：隨著信息和通信技術(shù)的進(jìn)步及社交媒體在全球的突出地位，個(gè)人交流和尋找新聞來CatPTAI外，不法分子可以通過“深度偽造”技術(shù)換臉變聲、偽造視頻，“眼見未必為實(shí)”將成為常態(tài)，網(wǎng)絡(luò)欺詐大增，甚至引發(fā)社會認(rèn)知混亂、威脅政治穩(wěn)定。軍事威脅：AIAI(LW)事行動的針對性更強(qiáng)、目標(biāo)更明確、打擊范圍更廣，越來越多的國家開始探索人工智能在軍事領(lǐng)域的應(yīng)用。數(shù)據(jù)顯示，224AI2474IT上述威脅很可能是互有聯(lián)系的。例如，人工智能黑客攻擊可以針對網(wǎng)絡(luò)和物理系統(tǒng)，造成設(shè)施AI是以數(shù)字和物理攻擊為抓手。四、AI1威脅類型：深度偽造（DeeFake）I（GANs等深度學(xué)習(xí)方法來生成逼真的內(nèi)容。這些技術(shù)可以用于創(chuàng)建虛假新聞、操縱公眾輿論、制造假象，AI面部替換：深度偽造技術(shù)可以將一個(gè)人的臉部特征無縫地替換到另一個(gè)人的臉上。這種技術(shù)可以用于制造虛假新聞，使名人或政治家似乎在說或做一些從未說過或做過的事情。這可能導(dǎo)致嚴(yán)重的社會和政治后果。幾年前，一個(gè)名為“DepFaksedit些視頻將名人的臉部特征替換到其他人的臉上，使得視頻看起來非常真實(shí)。這些視頻引發(fā)了關(guān)于深度偽造技術(shù)潛在濫用和隱20223月俄烏沖AI生成的烏克蘭總統(tǒng)澤降，并在烏克蘭24小時(shí)自戰(zhàn)爭爆發(fā)以來，其他

AI來制作虛假色情視頻。FBI分子經(jīng)常要求受害者向他們支付金錢、禮品卡甚至真實(shí)的性圖像，否則將在公開互聯(lián)網(wǎng)上發(fā)布深度導(dǎo)致虛假色情圖像出現(xiàn)爆炸式增長。NBC取深度偽造色情圖片。20241LiFeCorporation、LingoTelecom案例：Deep案例：DeepVideoPortraitseepVidoPrtrits術(shù)將一個(gè)人的動作無縫地轉(zhuǎn)移到另一個(gè)人的身上，使得偽造視頻看起來非常真實(shí)。這種技術(shù)可以用于制作虛假新聞或操縱公眾輿論。為應(yīng)對深度偽造的威脅，研究人員正在開發(fā)用于檢測和鑒別深度偽造內(nèi)容的技術(shù)。同時(shí)，公眾教育和提高媒體素養(yǎng)也是應(yīng)對深度偽造的關(guān)鍵策略。個(gè)人和組織需要保持警惕，確保從可靠來源獲取信息，以防止受到深度偽造內(nèi)容的影響。LM標(biāo)的網(wǎng)絡(luò)詐騙活動，以及對于政治動機(jī)的信息戰(zhàn)將起到巨大的支撐，這是新技術(shù)觸發(fā)的新威脅類型的引入。LLM的生成能力，執(zhí)行從錢財(cái)詐騙到政治目標(biāo)的惡意操作，而且隨2威脅類型：地下社區(qū)一直對大語言模型非常感興趣，首個(gè)工具WormGPT于2021年7月13日在暗網(wǎng)亮相。WormGPTChatGPT2021GPT-J該工具以月訂閱（00）或年訂閱（50）的形式出售，根據(jù)匿名銷售者的說法，具備諸如無限制字符輸入、記憶保留和編碼功能等一系列特點(diǎn)。據(jù)稱，該工具經(jīng)過惡意軟件數(shù)據(jù)訓(xùn)練，主要用于生成復(fù)雜的網(wǎng)絡(luò)釣魚和商業(yè)電子郵件攻擊及編寫惡意代碼。WrmPTmFraudGPT2023722日在暗網(wǎng)上公開出售。該工具基于相對較新的GPT3技術(shù)，定位為用于攻擊目的的高級機(jī)器人。其應(yīng)用包括編寫惡意代碼、制作難以檢測的惡意軟件和黑客工具、編寫網(wǎng)絡(luò)釣魚頁面和欺詐內(nèi)容，以及尋找安全漏洞。訂閱費(fèi)用從每月200美元至每年1700美元不等。據(jù)發(fā)現(xiàn)此漏洞的安全公司表示，F(xiàn)raudGPT可能專注于生成快速、大量的WormGPT則更傾向于生成復(fù)雜的惡意軟件和勒索軟件功能。黑產(chǎn)團(tuán)伙建立過多個(gè)可出租的大型僵尸網(wǎng)絡(luò)，可以用來實(shí)施發(fā)送垃圾郵件和DDoS攻擊等惡意行動，目前已經(jīng)是一個(gè)很成熟的商業(yè)模式。由于目前效果最好的OpenAI的模型主要采用集中化的SaaS應(yīng)用模式，對惡意使用存在監(jiān)控，因此，基于開源模型，通過定制化的微調(diào)創(chuàng)建自用或可出租具有實(shí)際自定義LLMAPI，不依賴于OpenAI(BEC)GPT-J-6BLLM模型進(jìn)行了修應(yīng)用程序中，導(dǎo)致LLM案制造假新聞、扭曲現(xiàn)實(shí)、操縱PythonChatGPTOpenAILLM開發(fā)，接受不同來源VisaIDChatGPT目前尚處于初期階段，因此現(xiàn)在評估WormGPT和FraudGPT的實(shí)際效果還為時(shí)尚早。它們的具體數(shù)據(jù)集和算法尚不明確。這兩個(gè)工具所基于的GPT-JGPT-3模型發(fā)布于2021OpenAIGPT-4等更先進(jìn)的模型相比，屬于相對較舊的技術(shù)。與品，目的是欺騙其他網(wǎng)絡(luò)犯罪分子。畢竟，網(wǎng)絡(luò)犯罪分子本3（來源：國家信息中心3、利用AI威脅類型：AIAIAI智能漏洞掃描：AI和已安裝的軟件等信息，AI案例：LLM案例：LLM202426UIUC)的計(jì)算機(jī)科學(xué)家通過將多個(gè)大型語言模型(LLM)武器化來證明這一點(diǎn)，無需人工指導(dǎo)即可危害易受攻擊的網(wǎng)站。先前的研究表明，盡管存在安全控制，LLM仍可用于協(xié)助創(chuàng)建惡意軟件。研究人員更進(jìn)一步表明，由LLM驅(qū)動的代理（配備了用于訪問API、自動網(wǎng)頁瀏覽和基于反饋的規(guī)劃的工具的LLM）可以在網(wǎng)絡(luò)上漫游，并在沒有監(jiān)督的情況下闖入有缺陷的網(wǎng)絡(luò)應(yīng)用程序。研究人員在題為“LLM代理可以自主攻擊網(wǎng)站”的論文中描述了他們的發(fā)現(xiàn)。研究顯示，LLM代理可以自主破解網(wǎng)站，執(zhí)行盲目數(shù)據(jù)庫模式提取和SQL注案例：DeepHack案例：DeepHackDECN217DeeHckbeepHakQLWb8DeepExploitMLetsploitActor-Critics3peAILLMAI，LLM還處于早期的階段，以概念驗(yàn)證為主，在現(xiàn)實(shí)的環(huán)境中工作的穩(wěn)定性、魯棒性、適應(yīng)性欠佳。但隨AIAgnt4、AI威脅類型：人工智能會帶來更加復(fù)雜和難以預(yù)測的軍事威脅，包括相關(guān)武器系統(tǒng)的誤用、濫用甚至惡用，以及戰(zhàn)爭的不可控性增加等。在人工智能技術(shù)的加持下，未來的戰(zhàn)爭可能會變得更加自動化。例如，致命性自主武器系統(tǒng)（LAS）等為代表的機(jī)器人和自主系統(tǒng)，將能夠執(zhí)行軍事任務(wù)，如偵察、攻擊和防御，而不需要生一系列道德問題。同時(shí)，人工智能如果被黑客攻擊，甚至被控制，它們可能會被用于攻擊自己的國家或其他目標(biāo)，如果數(shù)據(jù)被篡改或破壞，影響人工智能分析和預(yù)測，會導(dǎo)致軍隊(duì)做出錯誤決策，導(dǎo)致災(zāi)難性的后果。案例：AI案例：AI據(jù)法新社2024210（AI）一名以色列高級國防官員稱，這些技術(shù)正在摧毀敵方無人機(jī)，并被用于繪制哈馬斯在加沙的龐大隧道網(wǎng)絡(luò)地圖，這些新的防務(wù)技術(shù)，包括人工智能驅(qū)動的瞄準(zhǔn)器和無人機(jī)等。以繪制地下隧道網(wǎng)絡(luò)地圖為例，該網(wǎng)絡(luò)非常龐大，軍方稱其為“加沙地鐵”，美國西點(diǎn)軍校最300500創(chuàng)公司羅博蒂坎公司制造的一種無人機(jī)，它將無人機(jī)裝在一個(gè)形狀便于移動的殼子里。人工智能可以將網(wǎng)絡(luò)、決策者和操作者相連接，讓軍事行動針對性更強(qiáng)、目標(biāo)更明確、打擊范圍更廣范，因此，越來越多的國家開始探索人工智能在軍事領(lǐng)域的應(yīng)用。數(shù)據(jù)顯示，2024I247674IT和電子戰(zhàn)能力。5、LLM（閱,債務(wù)個(gè)人損失和安全問題運(yùn)行模型投毒（重編程OAP未經(jīng)授權(quán)的代碼執(zhí)行等。攻擊者通過繞過過濾器對大模型輸出結(jié)果未審?fù)ㄟ^訓(xùn)練數(shù)據(jù)投毒，可或使用精心設(shè)計(jì)的提示查即接受，就會出現(xiàn)此以導(dǎo)致改變模型的道德詞來操縱LLM，執(zhí)行攻漏洞，從而暴露后端系行為、導(dǎo)致應(yīng)用程序向擊者想要的操作 統(tǒng) 用戶提供虛假信息、攻擊者與LLMLLM大模型可能會通過向用LLM插件輸入不安全和LLM戶的回復(fù)，無意泄露敏訪問控制不足的情況，限或自主權(quán)，導(dǎo)致大模感和機(jī)密信息。導(dǎo)致未可能會導(dǎo)致數(shù)據(jù)泄露、型執(zhí)行有害操作，產(chǎn)生經(jīng)授權(quán)的數(shù)據(jù)訪問、隱遠(yuǎn)程代碼執(zhí)行、權(quán)限升影響數(shù)據(jù)機(jī)密性、完整 LLM，可能會因LLM成不正確的內(nèi)容而面臨錯誤信息、溝通不暢、法律問題和安全漏洞。即惡意行為者或APTLLM表5OWASP發(fā)布的大語言模型應(yīng)用10大安全漏洞ChatGPT0234ChtGThaGPT新程序的源代碼本體、與硬件相關(guān)的內(nèi)部會議記錄等數(shù)據(jù)。不到一個(gè)月的時(shí)間，三星曝出了三起員ChatGPT6AIChatGPT（LLM）擁有海量的編程相關(guān)的知識，包括使用手冊、代碼示例、設(shè)計(jì)模式，泛化能力也使其具備了極其強(qiáng)大的程序代碼生成能力，使用者可以通過層次化的描述需求方式構(gòu)造可用的軟件代碼，本質(zhì)上，除了極少數(shù)只可能導(dǎo)致破壞的惡意代碼，功能代碼本身很難說是善意還是惡意的，很多時(shí)候取決于軟件及模塊的使用目標(biāo)。更深入地，威脅行為者已經(jīng)開始利用AI（malwareAI自適應(yīng)惡意軟件：AI案例：DeepLocker案例：DeepLockerIBM研究人員開發(fā)了一種名為DeepLocker的惡意軟件POC，以展示AI對性的攻擊。DeepLocker可以隱藏在正常軟件中，只有在滿足特定條件（DeepLocker僅作為概念驗(yàn)證而開發(fā)，但它展示了AI在惡意軟件中的潛在應(yīng)用。為了應(yīng)對這種AI案例：BlackMamba案例：BlackMamba3年，HYASaPOC通道，并且可以通過一些良性通信通道（MSTems）推送任何攻擊者綁定的數(shù)據(jù)。第二個(gè)是利用人工智能代碼生成技術(shù)，可以合成新的惡意軟件變體，更改代碼以逃避檢測算法。Blckama利用良性可執(zhí)行文件在運(yùn)行時(shí)訪問高信譽(yù)API(OpenAI)，因此它可以返回竊取受Pythonexec(行動態(tài)生成的代碼，而惡意多態(tài)部分完全保留在內(nèi)存中。每次BlakMaba執(zhí)行時(shí)，它都會重新綜合其鍵盤記錄功能，使該惡意軟件的惡意組件真正具有多態(tài)性。BlackMamba針對行業(yè)領(lǐng)先的EDREDR網(wǎng)絡(luò)安全公司CyberArk也進(jìn)行了類似的創(chuàng)建多模態(tài)惡意代碼的嘗試，也用到內(nèi)置的Python解釋器通過API從ChatGPT獲取功能代碼（C2和加密）執(zhí)行實(shí)時(shí)的操作，代碼不落磁盤，其中的多ChatGPT案例：ChatGPT案例：ChatGPT2023年1月，威脅情報(bào)公司RecordedFuture發(fā)布報(bào)告稱，在暗網(wǎng)和封閉論壇發(fā)現(xiàn)了1500多條關(guān)于在惡意軟件開發(fā)和概念驗(yàn)證代碼創(chuàng)建中使用ChatGPT的資料。其中包括利用開源庫發(fā)現(xiàn)的惡意代碼對ChatGPT進(jìn)行培訓(xùn)，以生成可逃避病毒檢測的惡意代碼不同變體，以及使用ChatGPT創(chuàng)建惡意軟件配置文件并設(shè)置命令和控制系統(tǒng)。值得注意的是，根據(jù)RecordedFuture說法，ChatGPT還可以用于生成惡意軟件有效載荷。研究團(tuán)隊(duì)已經(jīng)確定了ChatGPT可以有效生成案例：利用案例：利用LLM編寫任務(wù)20242OpenAI索和測試不同的人工智能技術(shù)，其中包括使用LLM執(zhí)行基本腳本編寫任務(wù)，例如，以編程方式識別系統(tǒng)上的某些用戶事件，尋求故障排除和理解各種Web技術(shù)方面的幫助，以及使用協(xié)助創(chuàng)建和完善根據(jù)環(huán)境調(diào)整惡意軟件的功能/利用ChatGPT的代碼生成功能開發(fā)部分模塊的惡意代碼肯定已經(jīng)出現(xiàn)，但真正的包含上面想像AI7威脅類型：AI（NLP）技術(shù)，AI 釣魚郵件生成：AIAI 精準(zhǔn)釣魚攻擊：AIAI 自動化、規(guī)?；簦篈I郵件。利用LLMCyxteraeephish的項(xiàng)目，旨在展示AIAI的釣魚郵件比傳統(tǒng)方法生成的釣魚郵件更具說服力，更容易欺騙受害者。借助AI，釣魚郵件欺詐有3000%，0.69%20.9%。為了應(yīng)對這種威脅，個(gè)人和組織需要提高安全意識，學(xué)會識別和應(yīng)對釣魚攻擊。同時(shí)，安全研AIAI從研究者的測試看，AI加持下的釣魚郵件攻擊似乎有一定的效果增強(qiáng)，但他們的操作方式與真8威脅類型：AI口令爆破是一種試圖通過嘗試大量可能的密碼組合來破解用戶賬戶的攻擊。傳統(tǒng)的口令爆破方法通常是用字典攻擊或暴力攻擊，這些方法可能需要大量的時(shí)間和計(jì)算資源。AI在線資源，AI可以收集有關(guān)目標(biāo)的信息，如生日、寵物名字和興趣等，幫助攻擊者生成更具針對性案例：PassGAN案例：PassGANPssANGAN）技術(shù)、I223安全初創(chuàng)公司eitysN9u數(shù)據(jù)集中的8:65%71%81%為了應(yīng)對這種威脅，個(gè)人和組織需要使用更強(qiáng)的密碼策略，如使用復(fù)雜且難以猜測的密碼，并定期更新密碼。此外，啟用多因素認(rèn)證（MFA）也可以有效地降低口令爆破攻擊的成功率。與傳統(tǒng)的經(jīng)過長時(shí)間考驗(yàn)和優(yōu)化的基于字典變化的爆破工具相比，并沒有多大提升，基本可以N9威脅類型：驗(yàn)證碼（CATHA）是一種用于區(qū)分人類和計(jì)算機(jī)程序的安全機(jī)制，它通常要求用戶識別并如垃圾郵件、爬蟲和口令爆破。然而，隨著AIAIAI圖像識別：深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（CN）在圖像識別領(lǐng)域取得了顯著進(jìn)展。攻擊者可AI擊者可以自動化破解過程，從而繞過安全措施。自適應(yīng)攻擊：AI案例：unCAPTCHA案例：unCAPTCHAunCAPTCHAGooglereCAPTCHA驗(yàn)證碼的系統(tǒng)。通過利用語音識別技術(shù)，unCAPTCHA可以識別并輸入驗(yàn)證碼中的音頻序列，從而繞過安全檢查。雖然Gogle后來更新了reCAPTCHA，unCAPTCHAAIAI織應(yīng)采取其他安全措施來防止自動化攻2023年10月發(fā)布的破解驗(yàn)證碼的測試表明，GPT-4V基本上完全有能力破解目前公開的高難度驗(yàn)證機(jī)制，ChatGPT能夠輕松解決經(jīng)典的GPT這樣的圖像視頻對象識別，以GPT4自以出來以后，識別能力已經(jīng)不成問題，限制來自于OpenAI的防御性禁用，由于目前OpenAI的模型主而且主動權(quán)一直都會在OpenAI手里，10威脅類型：

2社會工程學(xué)是一種操縱人際關(guān)系以獲取敏感信息或訪問權(quán)限的技術(shù)。攻擊者通常利用人類的心AI攻擊者開始利用AIAI語音克隆和合成：AI案例：CEO案例：CEO語音克隆詐騙2019CEO24AICEOCEO進(jìn)行緊急轉(zhuǎn)賬。受害者在電話中無法分辨出偽造24萬美元，從而導(dǎo)致了這起成功的詐騙。2022年，冒名26McAFee的《謹(jǐn)防人工冒名頂替者》報(bào)告，在全球25，77的語音詐騙目標(biāo)因此遭受了金案例：OpenAI案例：OpenAIOpenAI的GPT是一種先進(jìn)的自然語言生成模型。它可以用于各種合法應(yīng)用，如翻譯、摘要和問答系統(tǒng)，但它也可以被用于生成逼真的社會工程攻擊內(nèi)容。例如，攻擊者可以使用GPT生成針對案例：AI案例：AIZeroFOXSNAP_RTwitterAI為應(yīng)對AIAIAgent將對社會工程學(xué)攻擊提供異常強(qiáng)大的支持，極大提升此類攻擊的自動化水平，滲透活動的廣度和深度會持續(xù)增加。導(dǎo)致了很現(xiàn)實(shí)的危害。最近數(shù)據(jù)表明，人工智能生成深度偽造的安全威脅正在增長，Onio顯示，023300%，人臉識別技術(shù)面臨崩盤危機(jī)。攻擊者越來越多地轉(zhuǎn)向使用深度偽造信息實(shí)施“注入攻擊”，攻擊者會繞過物理攝像頭，使用諸如虛擬攝像頭等工具將圖像直接輸入系統(tǒng)的數(shù)據(jù)流。11威脅類型：AI虛假文本內(nèi)容生成：AI案例：AI案例：AI2238月，《連線》雜志報(bào)道了一個(gè)化名“eaPw”的神秘開發(fā)者/CatGTounerClod”的人工智能宣傳機(jī)器，展示了人工智能在傳播rdCuntrClodAI7×40（社交媒體操縱AI在社交媒體平臺上發(fā)布帖子、評論和點(diǎn)贊。攻擊者可以利用這些機(jī)器人操縱輿論、傳播虛假信息和進(jìn)行網(wǎng)絡(luò)釣魚攻擊。案例：AI案例：AI2241通過具有誘惑性的虛構(gòu)對話來評估士兵的行為，確定士兵對來自國外的線上“美人計(jì)”信息提取和心理操縱的敏感程度。人工智能聊天機(jī)器人可以自我學(xué)習(xí)，可以輕松添加新場景以進(jìn)行有效訓(xùn)練，通過聊天機(jī)器人的數(shù)據(jù)可獲得有關(guān)國外情報(bào)機(jī)構(gòu)運(yùn)作的重要信息，并有助于改進(jìn)印度陸軍網(wǎng)絡(luò)防御，并有效保護(hù)士兵。虛假賬號創(chuàng)建和操縱：AI案例：AI案例：AILinkedIn2019AILinkedInAIAI社交媒體平臺需要采取更先進(jìn)的技術(shù)手段，如使用機(jī)器學(xué)習(xí)模型檢測虛假內(nèi)容和虛假賬號。此外，AI12威脅類型：AIAI021（EISA）和聯(lián)合研究中心發(fā)布的報(bào)告顯示，與物理組件