第14章人工智能安全

第十四章人工智能安全人工智能概論目錄人工智能相關概念14.1人工智能安全內(nèi)涵14.2人工智能安全體系架構14.3人工智能的內(nèi)生安全14.4人工智能助力安全14.5結語人工智能安全概念新技術必然會帶來新的安全問題，而各種新技術、新系統(tǒng)源源不斷地出現(xiàn)，自然會引發(fā)各種新的安全問題與安全事件。任何一項新技術的發(fā)展和應用都存在著相互促進又相互制約的兩個方面：一方面，技術的發(fā)展能帶來社會的進步與變革；另一方面，技術的應用要以安全為前提，要受到安全保障機制的制約。然而安全是伴生技術，往往會在新技術的發(fā)展之后才被關注到，因為人們首先會去享用新技術帶來的紅利，之后才會注意到新技術伴隨的種種安全問題。人工智能作為一項新技術，既能賦能安全，又會伴生安全問題。人工智能基礎14.1人工智能安全內(nèi)涵近年來，網(wǎng)絡攻擊者不斷利用人工智能技術來提升和突破傳統(tǒng)網(wǎng)絡攻擊的能力邊界。融入人工智能技術的網(wǎng)絡攻擊已經(jīng)覆蓋了目標偵察、對抗查殺、意圖隱藏、武器投遞和目標控守的網(wǎng)絡攻擊全生命周期。一方面，現(xiàn)階段人工智能技術不成熟性導致安全風險，包括算法不可解釋性、數(shù)據(jù)強依賴性等技術局限性問題，以及人為惡意應用，可能給網(wǎng)絡空間與國家社會帶來安全風險；另一方面，人工智能技術可應用于網(wǎng)絡安全與公共安全領域，感知、預測、預警信息基礎設施和社會經(jīng)濟運行的重大態(tài)勢，主動決策反應，提升網(wǎng)絡防護能力與社會治理能力?；谝陨戏治?，項目組認為，人工智能安全內(nèi)涵包含：一是降低人工智能不成熟性以及惡意應用給網(wǎng)絡空間和國家社會帶來的安全風險；二是推動人工智能在網(wǎng)絡安全和公共安全領域深度應用；三是構建人工智能安全管理體系，保障人工智能安全穩(wěn)步發(fā)展。人工智能基礎14.2人工智能安全體系架構從人工智能內(nèi)部視角看，人工智能系統(tǒng)和一般信息系統(tǒng)一樣存在脆弱性，即人工智能的內(nèi)生安全問題。一旦人工智能系統(tǒng)的脆弱性在物理空間中暴露出來，就可能引發(fā)無意為之的安全事故。從人工智能外部視角看，人們直觀上往往會認為人工智能系統(tǒng)可以單純依靠人工智能技術構建，但事實上，單純考慮技術因素是遠遠不夠的，人工智能系統(tǒng)的設計、制造和使用等環(huán)節(jié)，還必須在法律法規(guī)、國家政策、倫理道德、標準規(guī)范的約束下進行，并具備常態(tài)化的安全評測手段和應急時的防范控制措施。綜上，可將人工智能安全分為3個子方向：人工智能內(nèi)生安全（AIsecurity）和人工智能衍生安全（AIsafety）、人工智能助力安全（AIforsecurity）。其中，人工智能助力安全體現(xiàn)的是人工智能技術的賦能效應；人工智能內(nèi)生安全和衍生安全體現(xiàn)的是人工智能技術的伴生效應。人工智能系統(tǒng)并不是單純依托技術而構建的，還需要與外部多重約束條件共同作用，以形成完備合規(guī)的系統(tǒng)。人工智能基礎14.3人工智能的內(nèi)生安全人工智能內(nèi)生安全指的是人工智能系統(tǒng)自身存在脆弱性。脆弱性的成因包含諸多因素，人工智能框架/組件、數(shù)據(jù)、算法、模型等任一環(huán)節(jié)都可能給系統(tǒng)帶來脆弱性。在框架/組件方面，難以保證框架和組件實現(xiàn)的正確性和透明性是人工智能的內(nèi)生安全問題。在數(shù)據(jù)方面，缺乏對數(shù)據(jù)正確性的甄別能力是人工智能的內(nèi)生安全問題。在算法方面，難以保證算法的正確性也屬于人工智能的內(nèi)生安全問題。在模型方面，難以保證模型不被竊取或污染同樣屬于人工智能的內(nèi)生安全問題。人工智能基礎14.4人工智能助力安全人工智能助力安全主要表現(xiàn)為助力防御和助力攻擊兩個方面。在助力防御方面，防御者正在利用人工智能技術提升和擴展其原有的防御方法。防御者可利用計算機視覺技術助推物理智能安防監(jiān)控產(chǎn)業(yè)快速發(fā)展，從而提升防盜報警、防爆安檢等物理安全保障能力；利用機器學習算法，構建可在運行時不斷自我提升的智能入侵檢測系統(tǒng)；利用深度學習和機器學習技術檢測未知特征的惡意代碼，提升網(wǎng)絡威脅發(fā)現(xiàn)能力；引入網(wǎng)絡攻防知識圖譜，使得“人機結合”的威脅獵殺更加高效，從而發(fā)現(xiàn)關鍵信息資產(chǎn)中潛伏的隱蔽威脅；基于海量用戶與實體行為的正常歷史數(shù)據(jù)，構建異常檢測系統(tǒng)，從而發(fā)現(xiàn)偏離正常軌跡的可疑行為。人工智能基礎14.4人工智能助力安全在助力攻擊方面，攻擊者可能利用人工智能技術突破其原有能力邊界。攻擊者借助人工智能技術，可以實現(xiàn)自動化漏洞挖掘、構建智能惡意代碼、為神經(jīng)網(wǎng)絡模型植入后門、自動化構造魚叉式釣魚郵件、精準鎖定目標、深度隱藏攻擊意圖、生成高逼真度假視頻等攻擊方法，從而提升漏洞挖掘效率和降低成本、提升惡意代碼免殺和隱蔽通信能力、污染神經(jīng)網(wǎng)絡模型供應鏈、實現(xiàn)無人介入的魚叉式釣魚郵件大面積投放、提升網(wǎng)絡攻擊的精準打擊和意圖隱藏能力、實現(xiàn)偽造欺騙等新形態(tài)攻擊能力。人工智能基礎14.4.1物理智能安防監(jiān)控“AI+安防”是人工智能技術商業(yè)落地發(fā)展最快、市場容量最大的主賽道之一。推動安防監(jiān)控發(fā)展的關鍵人工智能技術包括智能視頻監(jiān)控、體態(tài)識別與行為預測、知識圖譜（knowledgegraph）和智能安防機器人等技術。人工智能基礎14.4.1物理智能安防監(jiān)控人工智能基礎對人的識別和追蹤可達到實用的程度，能夠將人的各種屬性進行關聯(lián)分析與數(shù)據(jù)挖掘，從監(jiān)控調(diào)閱、人員鎖定到人的軌跡追蹤時間由數(shù)天縮短到分秒，實現(xiàn)安防監(jiān)管的實時響應與預警。（1）智能視頻監(jiān)控14.4.1物理智能安防監(jiān)控人工智能基礎通過人的姿態(tài)進行識別。由于每個人骨骼長度、肌肉強度、重心高度以及運動神經(jīng)靈敏度都不同，使得每個人的生理結構存在差異性，因此決定了每人步態(tài)的唯一性。體態(tài)識別與人臉識別不同，它在超高清攝像頭下識別距離可達50米，識別速度在200毫秒以內(nèi)。在公共場所安全監(jiān)控的過程中，當人的面部無法捕捉到，或者捕捉到的面部圖像不清晰時，通過對人的體態(tài)識別，能夠預測這個人接下來即將進行的動作，可以有效預防犯罪。（2）體態(tài)識別與行為預測14.4.1物理智能安防監(jiān)控人工智能基礎使用多關系圖（多種類型的節(jié)點和多種類型的邊）來描述真實世界中存在的各種實體或概念，以及它們之間的關系。安防大數(shù)據(jù)利用知識圖譜將海量時空多維的信息進行實體屬性關聯(lián)分析，提高對數(shù)據(jù)與情報的檢索和分析能力。（3）知識圖譜14.4.1物理智能安防監(jiān)控人工智能基礎智能安防機器人有很多種。智能安防巡檢機器人利用移動安防系統(tǒng)攜帶的圖像、紅外、聲音、氣體等多種傳感檢測設備在工作區(qū)域內(nèi)進行智能巡檢，將監(jiān)測數(shù)據(jù)傳輸至遠端監(jiān)控系統(tǒng)，并可通過計算機視覺、多傳感器融合等技術進行自主判斷決策，在發(fā)現(xiàn)問題后及時發(fā)出報警信息。（4）智能安防機器人14.4.2智能入侵檢測入侵檢測是一種積極主動的安全防護技術，入侵檢測系統(tǒng)從計算機網(wǎng)絡系統(tǒng)中的關鍵點收集并分析信息，根據(jù)這些信息檢查網(wǎng)絡中是否有違反安全策略的行為和系統(tǒng)遭到襲擊的跡象?？梢蕴峁?nèi)部攻擊、外部攻擊和誤操作的實時保護在網(wǎng)絡系統(tǒng)受到入侵之前攔截和阻止入侵。入侵檢測系統(tǒng)具有動態(tài)檢測和主動防御等特點，能有效彌補其他靜態(tài)防御工具的不足，逐漸成為網(wǎng)絡安全的主要防護工具。人工智能基礎14.4.3惡意代碼檢測與分類惡意代碼是指具有惡意功能的程序，包括蠕蟲、木馬、僵尸程序、勒索軟件、間諜軟件等。目前已有大量研究利用機器學習從源代碼、二進制代碼和運行時的特征等入手，對程序進行針對惡意代碼的檢測與分類。在惡意代碼檢測方面，主要通過提取惡意代碼的靜態(tài)特征，包括文件哈希值、簽名特征、API函數(shù)調(diào)用序列、字符串特征等，在惡意代碼分類方面，基于對抗的需求，當前，許多惡意代碼經(jīng)常被設計為特征可變異的“免殺”模式，即惡意代碼多態(tài)化，導致惡意軟件樣本變種數(shù)量劇增。將惡意樣本反匯編代碼文件轉換成圖像作為樣本的特征，通過精心設計，巧妙地將惡意代碼分類問題轉換為圖像分類問題，從而成功地達到“免殺”的目的。人工智能基礎14.4.4對抗機器學習基于機器學習算法普遍應用于網(wǎng)絡安全檢測領域，比如基于支持向量機（supportvectormachine，SVM）算法的惡意代碼檢測、基于X-Means聚類的僵尸網(wǎng)絡檢測、基于貝葉斯網(wǎng)絡的垃圾郵件檢測，以及基于層次聚類、隨機森林的惡意流量識別等。機器學習檢測模型的準確性主要依賴樣本訓練數(shù)據(jù)分布，具有較好的機器學習檢測模型的前提是假設其樣本訓練數(shù)據(jù)集具有代表性。但已有研究表明，基于機器學習的檢測系統(tǒng)容易受到對抗性攻擊，攻擊者可以構造“良性”樣本，繞過機器學習分類器的識別，這種攻擊方法被稱為對抗機器學習。人工智能基礎14.5結語本章論述了人工智能與安全的辯證關系，闡述了新技術存在安全賦能效應及安全問題伴生效應，以及兩種效應在人工智能技術上的具體表現(xiàn)。提出了一種人工智能安全體系架構，從內(nèi)部視角將其分類為人工智能助力安全（AIforsecurity）、人工智能內(nèi)生安全（AIsecurity）和人工智能衍生安全（AIsafety）。任何新技術的出現(xiàn)，對于安全領域來說勢必會形成賦能效應。人工智能出現(xiàn)的賦能效應同樣表現(xiàn)在兩個方面：一是賦能防御，即讓安全問題借助人工智能技術而得到很好的解決；二是賦能攻擊，即讓安全問題變得更加嚴峻。人工智能基礎14.5結語融入人工智能技術的網(wǎng)絡防御體系，彌補傳統(tǒng)靜態(tài)網(wǎng)絡防御手段的不足，提高網(wǎng)絡防御的動態(tài)化和智能化水平。在郵件