人工智能安全風險分析及應對策略

人工智能安全風險分析及應對策略文│中國移動通信集團有限公司信息安全管理與運行中心張峰江為強邱勤郭中元王光濤人工智能（AI）是引領新一輪科技革命和產(chǎn)業(yè)變革的關鍵技術。人工智能賦能網(wǎng)絡安全的同時，也會帶來前所未有的安全風險。本文在介紹人工智能技術賦能網(wǎng)絡安全關鍵場景的基礎上，分析人工智能因潛在技術濫用、新技術應用等帶來的安全風險，并提出相應的安全建議與應對策略。一、人工智能的發(fā)展現(xiàn)狀及產(chǎn)業(yè)影響（一）人工智能發(fā)展現(xiàn)狀我國“十四五”規(guī)劃綱要明確大力發(fā)展AI產(chǎn)業(yè)，培育AI等新興數(shù)字產(chǎn)業(yè)。在黨的二十大報告中，AI與生物技術、新能源、新材料、高端裝備、綠色環(huán)保等行業(yè)一起被列為新的增長引擎。近年來，AI技術在通信、制造、金融、教育、醫(yī)療和交通等領域的深入應用，引領了新一輪科技革命和包括通信領域在內(nèi)的產(chǎn)業(yè)變革浪潮。AI技術的三大核心要素是算法、算力和數(shù)據(jù)。算法是AI的“大腦”，目前算法應用主要區(qū)分為決策式和生成式。前者是根據(jù)已有數(shù)據(jù)進行分析、判斷、預測；后者是基于已有數(shù)據(jù)進行模仿式創(chuàng)作，生成全新的內(nèi)容。近日，被全球用戶廣泛應用的AI聊天機器人ChatGPT即采用了生成式超大規(guī)模預訓練變換模型算法。算力是AI的“四肢”，是算法和數(shù)據(jù)的基礎設施，AI算法模型對于算力的巨大需求，推動了今天芯片甚至算力產(chǎn)業(yè)的發(fā)展。數(shù)據(jù)是AI的“飼料”，AI算法需要通過海量數(shù)據(jù)的訓練而不斷完善。（二）人工智能相關產(chǎn)業(yè)影響隨著ChatGPT成為全球焦點，國內(nèi)外科技巨頭紛紛推出或計劃推出類ChatGPT的競品，如微軟成功發(fā)布了集成ChatGPT的新版搜索工具BING；谷歌快速推出聊天機器人產(chǎn)品BARD；百度推出了國內(nèi)首個生成式文檔服務“文心一言”；京東計劃推出ChatJD產(chǎn)業(yè)版。ChatGPT有力推動了AI產(chǎn)業(yè)發(fā)展，將促進內(nèi)容生產(chǎn)方式變革并對AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。在通信領域，AI應用可幫助改進信息通信服務能力，例如，其在自然語言上的強大能力可用于提升智能客服、智慧運營、欺詐監(jiān)測等運營服務功能，通信網(wǎng)絡中的海量數(shù)據(jù)有助于訓練AI模型，使網(wǎng)絡能夠?qū)崿F(xiàn)自主運行。同時，AI在富媒體多模態(tài)數(shù)據(jù)處理上的能力，將為運營商在政企業(yè)務上提供重要支撐，助力千行百業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。不過ChatGPT給人們帶來的對網(wǎng)絡安全的擔憂也是目前爭議的熱點。以ChatGPT為代表的生成式人工智能技術在網(wǎng)絡安全領域是一把“雙刃劍”，一方面，ChatGPT可以賦能網(wǎng)絡安全，提升風險檢測與防護能力；另一方面，ChatGPT技術的濫用將對國家、社會、公眾帶來負面影響，同時，AI新技術的脆弱性也使得ChatGPT應用自身面臨安全風險?？傮w上，ChatGPT在產(chǎn)業(yè)內(nèi)展示出比較顯著的“五力”：一是引領力：ChatGPT引領新一輪生成式AI浪潮，同時引領了AI領域商業(yè)化進程加速。二是創(chuàng)新力：具備模擬人類思維模式創(chuàng)作新內(nèi)容的能力，標志著AI進入生成式AI技術應用時代。三是心智力：ChatGPT表現(xiàn)出了類似人類的同理心、情緒處理、意圖猜測等能力。四是計算力：目前ChatGPT依托的大算力服務器，已導入了至少1萬顆英偉達高端GPU，未來有望借助算力網(wǎng)絡進一步提升計算能力與效率。五是破壞力：ChatGPT的不當使用甚至濫用將有可能會對國家政治軍事、社會倫理、網(wǎng)絡空間安全等帶來負面影響甚至造成嚴重破壞。二、人工智能在安全領域的應用ChatGPT等AI應用在網(wǎng)絡安全領域的應用效果明顯，其自動編程能力、分析能力及自身集成的知識庫能夠幫助網(wǎng)絡安全從業(yè)者提升工作效率，改進組織的網(wǎng)絡安全計劃。代碼生成與檢測能力可用于開發(fā)漏洞挖掘工具。如目前可以利用ChatGPT的編程能力，開發(fā)漏洞挖掘工具，能夠提供完整且定制化的漏洞修復方案。具備惡意軟件檢測能力。如ChatGPT能夠分析惡意軟件的說明和指令，判斷惡意軟件中常用的語言模式，從而幫助檢測新的惡意軟件變體，輔助提升惡意軟件檢測能力。基于知識庫的安全分析能力一是輔助開展安全告警評估。如基于ChatGPT知識庫，可篩選安全告警中的惡意事件，提高告警準確性和效率。二是全網(wǎng)收集安全威脅情報。如可以使用ChatGPT的語言模型來分析多種來源的大量文本，以識別潛在的網(wǎng)絡威脅并了解攻擊者使用的戰(zhàn)術、技術和程序。三是具備密碼口令強度檢測能力。如可利用ChatGPT生成潛在的密碼口令組合，用于測試口令強度進而識別弱口令。（三）異常特征訓練與分類能力AI應用通過對海量異常、正常標記數(shù)據(jù)的智能訓練，可以對不良信息、有害信息等進行分類輸出與預警。如通過訓練并區(qū)分釣魚郵件的異常特征，可檢測出新的網(wǎng)絡釣魚企圖。三、人工智能應用的安全風險（一）人工智能技術濫用帶來的安全風險以ChatGTP為代表的AI應用，若被不當使用或濫用很有可能影響到國家安全、政治安全、社會穩(wěn)定、企業(yè)利益和個人用戶權益等諸多方面。存在國家政治軍事風險。第一，存在由于民族或政治偏見帶來的嚴重不公平問題。ChatGPT等AI應用可能對不同的政治信仰、國家、種族、團體、人群、個體進行有失公平的區(qū)別對待，在具有復雜歷史背景的問題上與美國官方立場保持一致。第二，基于用戶畫像進行情報收集和影響政治主張。一方面，AI平臺通過收集個人信息進行畫像，獲取到國家或軍隊涉敏人員，再通過誘導或黑客技術等方式獲取其設備上的涉密信息或情報。另一方面，還可基于用戶畫像進行深度引導并傳播政治主張，影響用戶對黨和國家政策的認知。第三，輔助軍事決策并應用于軍事打擊。未來裝備AI應用的真人或機器人能夠更加實時地響應戰(zhàn)場上分隊或單兵的交互信息，提供最新的戰(zhàn)場態(tài)勢和戰(zhàn)術建議，從而極大提升戰(zhàn)斗能力。存在不良信息傳播風險。一方面因AI應用內(nèi)容過濾機制不完善造成不良信息傳輸。AI應用雖然對交互內(nèi)容做了過濾策略，但由于多媒體內(nèi)容識別技術不足、監(jiān)控策略不完善、無法對生成內(nèi)容進行“前置審核”等原因而使得過濾機制被繞過，從而造成交互或傳播內(nèi)容中存在涉及政治、詐騙、身份偽造、涉黃等不良信息。另一方面，AI產(chǎn)生不良信息內(nèi)容易誤導或誘導用戶。惡意行為者可以使用語言模型來生成大量旨在影響公眾輿論或傳播錯誤信息的垃圾郵件或虛假信息從而惡意影響用戶認知。存在網(wǎng)絡攻擊利用風險。一是AI幫助黑客提高網(wǎng)絡攻擊方面的技術知識與能力。網(wǎng)絡安全從人人對抗、人機對抗逐漸向基于AI的攻防對抗發(fā)展演化。隨著新一代AI技術的誕生與發(fā)展，攻擊方將利用AI更快、更準地發(fā)現(xiàn)漏洞，發(fā)起更隱秘的攻擊。二是攻擊者利用AI編程能力來生成網(wǎng)絡攻擊工具。ChatGPT自動生成代碼的能力也給黑客打開了新世界的大門，讓他們能夠更為便捷地設計、編寫和執(zhí)行惡意代碼與指令。有網(wǎng)絡安全組織已通過測試發(fā)現(xiàn)ChatGPT生成的代碼可有效利用系統(tǒng)漏洞進行網(wǎng)絡攻擊。三是AI基于社會工程學知識生成網(wǎng)絡釣魚等信息。攻擊者可以使用來自社交媒體或其他來源的大量文本數(shù)據(jù)，通過ChatGPT等AI工具訓練社工模型，使其生成極具說服力的網(wǎng)絡釣魚電子郵件或消息來誘騙受害者泄露敏感信息。（二）人工智能應用自身面臨的安全風險AI融合了深度學習、自然語言處理等新技術，并向多模態(tài)技術演進。這些技術本身存在安全漏洞，多種技術的組合也會產(chǎn)生系統(tǒng)性安全問題。其脆弱性一旦被惡意利用，將對AI業(yè)務的健康運行起到破壞作用。一是存在數(shù)據(jù)安全風險。用戶在使用ChatGPT等AI應用時可能不自覺輸入個人隱私數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過訓練可構建出用戶畫像。AI平臺收集的原始數(shù)據(jù)與衍生數(shù)據(jù)的歸屬權、控制權與使用權等問題目前在法律上還是很難界定。即使用戶要求刪除，也很難保證其會主動實施擦除操作，存在個人隱私信息泄露風險。二是存在算法安全風險。一方面存在算法被欺騙攻擊風險。攻擊者通過在被檢測的場景中添加干擾信息來欺騙算法，以讓ChatGPT等AI應用產(chǎn)生錯誤的預測結果。特別在圖像識別、生物特征識別中，此類攻擊威脅很大。另一方面，存在AI數(shù)據(jù)投毒攻擊風險。AI語料庫被污染或?qū)阂鈹?shù)據(jù)注入訓練集，可讓算法產(chǎn)生不正確或誤導性結果，從而導致用戶人身傷害或權益損失，且責任無法定位與追溯。三是存在平臺及供應鏈安全風險。ChatGPT等AI平臺系統(tǒng)仍存在通用的網(wǎng)絡安全風險，如算法后門嵌入、代碼安全漏洞等。此外，高端芯片是ChatGPT等系統(tǒng)所用的大型語言模型研發(fā)的“剛需”。在高端芯片領域受美國出口管制的國家，可能因高端芯片供給不足導致在全球“模型競爭”中處于劣勢。同時，大型語言模型研發(fā)成本高，為維護競爭優(yōu)勢，科技巨頭未開源旗下高水平模型，隨全球用戶數(shù)量增加，國外企業(yè)經(jīng)過訓練，將進一步優(yōu)化模型，“強者恒強”的現(xiàn)象將更為突出。人工智能應用伴生的社會倫理風險ChatGPT等AI應用迅速發(fā)展的同時，也引發(fā)了違背正常社會秩序和社會倫理的風險。一是引發(fā)AI替人的失業(yè)恐慌情緒。如ChatGPT能夠完成文本創(chuàng)作、代碼編寫、方案策劃等，使得相關行業(yè)從業(yè)者產(chǎn)生失業(yè)的擔憂。二是引發(fā)AI生成內(nèi)容知識產(chǎn)權問題。如基于ChatGPT采集、訓練、引用或生成的藝術作品集、代碼集等，必然會與原有的知識產(chǎn)權等權利相沖突，亟待建立新的社會契約和法律制度。三是影響正常社會秩序。ChatGPT代寫作業(yè)、協(xié)助作弊、代寫論文等，可能會影響正常的社會秩序。四、相關建議（一）國家層面：健全人工智能安全政策法規(guī)，強化AI濫用法律約束一是依據(jù)相關國家頂層規(guī)劃制定人工智能安全相關國家戰(zhàn)略。2017年，國務院發(fā)布了《新一代人工智能發(fā)展戰(zhàn)略》，“十四五”規(guī)劃和二十大報告里面均提到了發(fā)展人工智能的規(guī)劃。國家層面應制定并落實人工智能國家戰(zhàn)略，以應對日趨激烈的國際競爭。二是布局人工智能法規(guī)體系，應覆蓋道德倫理、人身安全、個人隱私保護、算法規(guī)范應用、防范技術濫用和知識產(chǎn)生等方面。三是推動現(xiàn)有法律法規(guī)向人工智能領域延伸適用，國家及行業(yè)主管部門推動《網(wǎng)絡安全法》《數(shù)據(jù)安全法》《個人信息保護法》《反電信網(wǎng)絡詐騙法》等法律在ChatGPT等AI領域的延伸適用。四是強化AI濫用法律約束，結合《互聯(lián)網(wǎng)信息服務算法推薦服務管理規(guī)定》《互聯(lián)網(wǎng)人工智能算法深度合成管理規(guī)定》《生成式人工智能服務管理辦法（征求意見稿）》和《科技倫理審查辦法（試行）》等AI安全相關規(guī)定，強化對AI技術濫用等的法律約束。（二）產(chǎn)業(yè)層面：重點關注AI技術自主可控及算力網(wǎng)絡賦能AI大模型發(fā)展一是提升軟硬件實力，實現(xiàn)高端芯片與AI框架自主可控。算力是AI應用的“發(fā)動機”，高端芯片是剛需，與國際領先芯片企業(yè)相比，國產(chǎn)芯片還未具有競爭力，需要持續(xù)研發(fā)和攻關。二是算力網(wǎng)絡賦能AI大模型發(fā)展。人工智能應用需要海量的訓練數(shù)據(jù)和強大的算力作為支撐，我國應充分發(fā)揮自身在大數(shù)據(jù)和算力方面的優(yōu)勢，將大數(shù)據(jù)和大算力應用于推動AI產(chǎn)業(yè)發(fā)展，這將助力實現(xiàn)AI核心能力的自主可控。（三）行業(yè)層面：倡導AI技術合規(guī)使用和加強行業(yè)自律一是建立行業(yè)監(jiān)管制度并開展合規(guī)性評估審查。建立健全AI服務行業(yè)監(jiān)督管理相關制度與標準。包括算法分級分類管理、算法推薦服務安全管理、AI濫用舉報等，并開展AI應用安全合規(guī)性評估審查與處置，實現(xiàn)行業(yè)監(jiān)管閉環(huán)。二是創(chuàng)新研究應用人工智能賦能網(wǎng)絡安全技術。一方面，利用AI技術賦能針對復雜網(wǎng)絡攻擊的防御能力，使用AI技術應對其帶來的網(wǎng)絡安全風險；另一方面，研究利用AI技術提升企業(yè)組織在網(wǎng)絡安全攻擊檢測、數(shù)據(jù)資產(chǎn)識別與風險監(jiān)測、業(yè)務安全風控、不良信息識別、電信反詐、安全威脅分析、深度偽造識別等方面的能力。三是做好元宇宙等AI融合場景的安全風險梳理與防護技術儲備。對于元宇宙和AI融合關鍵場景，要抓緊開展安全技術研究儲備，提早防范大規(guī)模人工智能安全事件發(fā)生。企業(yè)層面：加強AI安全防護體系建設，保障AI業(yè)務健康安全運行一是制定出臺企業(yè)組織AI安全總體策略，編制企業(yè)標準規(guī)范與技術指南；二是配備AI安全領域?qū)I(yè)人員，支撐AI安全新技術新業(yè)務安全風險評估與創(chuàng)新技術研究；三是對員工在日常工作或?qū)ν夥罩惺褂肅hatGPT等AI應用行為進行規(guī)范，防范企業(yè)組織及客戶數(shù)據(jù)泄露等風險；四是強化安全技術手段建設，建設涵蓋網(wǎng)絡安全、算法安