人工智能全生命周期安全風(fēng)險綜合評估方法

隨著人工智能技術(shù)的不斷發(fā)展，人工智能的應(yīng)用也越來越廣泛，在人臉識別、語音識別、自動駕駛、視頻監(jiān)控、人機對弈、惡意軟件分析等領(lǐng)域都取得了令人滿意的成果。如今，人工智能技術(shù)的應(yīng)用正在改變?nèi)祟惿鐣陌l(fā)展軌跡，為人們的生產(chǎn)生活帶來了便利，但是也催生出了針對人工智能的攻擊手段，暴露出其背后的安全風(fēng)險，人工智能安全風(fēng)險可能會導(dǎo)致人類社會的重大生命和財產(chǎn)損失

。因此，以人工智能本身為視角進行信息安全評估，做到全生命周期、全流轉(zhuǎn)過程“可管可控”，從而進一步對人工智能在數(shù)據(jù)流動、算法框架、模型訓(xùn)練和部署應(yīng)用等階段的全生命周期進行安全風(fēng)險評估十分必要。保障人工智能安全性的重要手段之一就是進行安全風(fēng)險評估。針對人工智能全生命周期進行安全風(fēng)險評估，可以發(fā)現(xiàn)內(nèi)部人員、使用數(shù)據(jù)、訓(xùn)練平臺、部署設(shè)備和管理體系等方面已存在或是潛在的風(fēng)險隱患。評估后將存在的風(fēng)險量化為具體的風(fēng)險值，使用戶更加直觀地了解系統(tǒng)中存在的風(fēng)險，并根據(jù)風(fēng)險等級的大小采取不同優(yōu)先級的安全措施來預(yù)防、控制，以降低安全事件發(fā)生的可能性。1安全風(fēng)險評估方法研究目前，針對人工智能技術(shù)安全風(fēng)險評估的相關(guān)研究較少，但關(guān)于系統(tǒng)安全、網(wǎng)絡(luò)安全、信息安全、云計算安全、數(shù)據(jù)安全等領(lǐng)域的安全風(fēng)險評估已有大量研究成果并應(yīng)用于各行各業(yè)，主要有定性風(fēng)險評估、定量風(fēng)險評估和綜合安全風(fēng)險評估3類方法。（1）定性的風(fēng)險評估方法：主要依靠評估者的經(jīng)驗、知識、技能等，該方法評估結(jié)果比較全面。典型的定性分析方法有因素分析法、邏輯分析法、歷史比較法等。但其主觀性太強，要求評估者本身的素質(zhì)很高。（2）定量的風(fēng)險評估方法：是指運用數(shù)量指標(biāo)評估網(wǎng)信系統(tǒng)的安全風(fēng)險的方法。主流的定量評估方法有：基于聚類或決策樹等機器學(xué)習(xí)算法的風(fēng)險分析法、基于圖的風(fēng)險分析法及風(fēng)險因子分析法等。定量的風(fēng)險評估方法的評估結(jié)果更直觀，但存在復(fù)雜過程簡化后，安全風(fēng)險因素失真，導(dǎo)致評估結(jié)果被曲解的缺點。（3）定性與定量相結(jié)合的綜合評估方法：融合了定性、定量的風(fēng)險評估方法的優(yōu)點，現(xiàn)今廣泛地應(yīng)用于網(wǎng)信系統(tǒng)的安全風(fēng)險評估中。但該方法無法定量評價整個系統(tǒng)網(wǎng)信系統(tǒng)的安全風(fēng)險等級，即無法得出系統(tǒng)整體安全風(fēng)險狀況的級別。本文首先構(gòu)建人工智能在準(zhǔn)備階段、訓(xùn)練階段和部署應(yīng)用階段及維護階段的資產(chǎn)，從訓(xùn)練數(shù)據(jù)、智能框架、算法模型、管理體系等方面入手，梳理與人工智能相關(guān)的安全風(fēng)險因素，構(gòu)造資產(chǎn)影響、威脅頻度和脆弱性程度3個維度的評價表，以及對應(yīng)這3個維度的人工智能安全風(fēng)險隸屬度等級表，形成具有普適性的人工智能全生命周期的指標(biāo)體系。其次，針對人工智能安全風(fēng)險評估技術(shù)受主觀因素影響較大的問題，本文利用馬爾可夫鏈和信息熵的特點，基于構(gòu)造的風(fēng)險熵和權(quán)重量化各類安全風(fēng)險，弱化領(lǐng)域?qū)＜抑饔^評價在整體評估中的作用，同時保證了評估的有效性和科學(xué)性。２人工智能全生命周期安全風(fēng)險評估指標(biāo)體系構(gòu)建人工智能安全風(fēng)險是指安全威脅利用人工智能資產(chǎn)的脆弱性，造成人工智能安全事件或造成相關(guān)影響的可能性等。而人工智能安全風(fēng)險評估則是依照評估指標(biāo)對擁有的資產(chǎn)進行安全風(fēng)險的評估。因此，安全風(fēng)險評估指標(biāo)體系構(gòu)建主要有人工智能資產(chǎn)劃分和人工智能安全風(fēng)險評估指標(biāo)體系構(gòu)建2個階段。2.1人工智能資產(chǎn)劃分在遵循可靠性、可解釋性、魯棒性和隱私保護等原則的前提下，針對人工智能資產(chǎn)進行安全風(fēng)險評估

。本文梳理的人工智能資產(chǎn)如圖1所示。圖1人工智能資產(chǎn)人工智能資產(chǎn)按照人工智能應(yīng)用過程分為采集、訓(xùn)練和應(yīng)用階段。數(shù)據(jù)采集器是指數(shù)據(jù)采集的設(shè)備和方法；數(shù)據(jù)集則包含數(shù)據(jù)的清理、存儲、傳輸、使用和維護等方面的數(shù)據(jù)；軟件框架主要指開源的pytorch、tensorflow等訓(xùn)練框架，以及開源算法，是構(gòu)建針對特定需求算法模型的必要開發(fā)組件；算法模型則是在加入訓(xùn)練數(shù)據(jù)訓(xùn)練后得到的特定算法或者智能模型；行業(yè)應(yīng)用則是將智能模型具體部署在某個行業(yè)進行應(yīng)用；基礎(chǔ)設(shè)施是指運行訓(xùn)練后的智能模型所承載的基礎(chǔ)設(shè)施環(huán)境，如電力、散熱等。2.2評估指標(biāo)體系構(gòu)建過程基于人工智能資產(chǎn)構(gòu)建安全風(fēng)險指標(biāo)體系，構(gòu)建過程如圖2所示，分為5個階段使得指標(biāo)盡可能典型、全面、科學(xué)

。圖2人工智能全生命周期安全風(fēng)險評估指標(biāo)體系構(gòu)建流程（1）通過查閱梳理報告、文獻、書籍、標(biāo)準(zhǔn)、規(guī)程等資料，將得到的信息作為基礎(chǔ)理論依據(jù)。（2）結(jié)合基礎(chǔ)理論依據(jù)識別、梳理出各階段影響人工智能安全的主要威脅。（3）查閱企業(yè)資料進行應(yīng)用行業(yè)的調(diào)研，進一步探究人工智能在該行業(yè)的全生命周期應(yīng)用流程。（4）識別初步的風(fēng)險項，選取安全風(fēng)險評估的關(guān)鍵指標(biāo)，經(jīng)過增、刪調(diào)整進一步確立，若存在分歧或異議則回到第一步，重新執(zhí)行該過程。（5）最終確定人工智能全生命周期安全風(fēng)險評估指標(biāo)體系。通過上述指標(biāo)體系的構(gòu)建過程，形成了從數(shù)據(jù)、框架、算法模型、管理和基礎(chǔ)設(shè)施5個層面構(gòu)建的具有普適性的人工智能全生命周期安全風(fēng)險評估指標(biāo)體系，評估因素如圖3所示。圖3安全風(fēng)險評估因素梳理后的人工智能安全風(fēng)險評估因素，其相應(yīng)的評估指標(biāo)體系如表1所示。表1?安全風(fēng)險評估指標(biāo)體系續(xù)表３人工智能全生命周期安全風(fēng)險評估建立評估指標(biāo)體系后，對人工智能全生命周期安全風(fēng)險進行評估，評估過程如圖4所示。圖4安全風(fēng)險評估流程安全風(fēng)險評估的過程主要分為構(gòu)建隸屬度、確定風(fēng)險熵、確定權(quán)重向量、各類安全風(fēng)險量化和整體安全風(fēng)險評估5個步驟。3.1隸屬度矩陣構(gòu)建結(jié)合人工智能的特點及應(yīng)用模式定義人工智能全生命周期中的資產(chǎn)、風(fēng)險、脆弱性以及威脅。（1）資產(chǎn)：人工智能環(huán)境中有價值的數(shù)據(jù)、算法模型、智能框架、應(yīng)用環(huán)境、運行環(huán)境等。（2）風(fēng)險：人工智能全生命周期中威脅主體利用資產(chǎn)的脆弱性對其機密性、完整性及可用性造成損失或者破壞的可能性。（3）脆弱性：人工智能全生命周期中被威脅利用的系統(tǒng)缺陷或者漏洞，越脆弱被攻擊的可能性越大。（4）威脅：人工智能全生命周期中有危害的、不能預(yù)料事件發(fā)生的可能性。對資產(chǎn)的影響、威脅頻度及脆弱性的評估都依據(jù)模糊理論對各因素進行剖析處理，以構(gòu)建安全風(fēng)險因素集和評判集，構(gòu)建過程如下：（1）構(gòu)建安全風(fēng)險因素集表示在第i類下有n個風(fēng)險因素，其中n是i類人工智能安全風(fēng)險下風(fēng)險因素的個數(shù)。（2）構(gòu)造評判集，即在第i類人工智能安全風(fēng)險下資產(chǎn)影響、威脅頻度和脆弱性的判斷集合，即其中m為對應(yīng)判斷集中元素的個數(shù)。人工智能系統(tǒng)資產(chǎn)影響、威脅頻度和脆弱性的評價如表2、表3、表4所示。表2?人工智能資產(chǎn)重要程度的評價表3?人工智能威脅程度的評價表4?人工智能脆弱性嚴(yán)重程度的評價（3）構(gòu)建安全風(fēng)險評估的評價和評判映射，依據(jù)評判集B對因素集Wi各人工智能安全風(fēng)險因素實行評價，再賦予評語，由此構(gòu)建的模糊映射：F(B)是B上的模糊集，其中f表示人工智能全生命周期安全風(fēng)險因素

對評判集中各評語的支持程度，安全風(fēng)險因素

對評判集B的隸屬向量為得到隸屬度矩陣：接下來是對各安全風(fēng)險進行打分，如通過大量咨詢專家、頭腦風(fēng)暴和打分表等形式，對各安全風(fēng)險依照評價表進行打分評定，求其均值。對評分結(jié)果進行歸一化處理，處理公式如下：式中：由式（1）可得該風(fēng)險j的評語k的隸屬度矩陣m是評語的數(shù)量，本方法中m=5。同理能夠求出

類風(fēng)險下各風(fēng)險因素對資產(chǎn)影響、威脅頻度及脆弱性的評定矩陣3.2確定風(fēng)險熵在類風(fēng)險下，根據(jù)式（2）得出資產(chǎn)影響、威脅頻度及脆弱性的隸屬度矩陣后，根據(jù)式（3）、式（4）得到資產(chǎn)影響權(quán)重、威脅頻度權(quán)重及脆弱性嚴(yán)重程度的熵值

。越逼近相等，其熵值越大，相應(yīng)的安全風(fēng)險

對其評估的不確定程度越大，當(dāng)m個狀態(tài)概率全都出現(xiàn)相等的情況下，表明等概率分布的平均不確定性最大。求極值可得，當(dāng)時，達到最大熵使用最大熵

作標(biāo)準(zhǔn)，對式（3）進行歸一化，可得該風(fēng)險向的相對重要程度的熵值為：3.3確定權(quán)重向量當(dāng)?shù)闹迪嗤瑫r，即具有最大值1，且當(dāng)最大時，表明專家組的評估意見分散，即該風(fēng)險因素對系統(tǒng)的安全風(fēng)險評估的貢獻不大，因此可用來衡量安全風(fēng)險項的權(quán)重。資產(chǎn)影響、威脅頻度及脆弱性嚴(yán)重程度的權(quán)重向量的計算式為：式中：同理，可以計算出其他類風(fēng)險的資產(chǎn)影響、威脅頻度以及脆弱性嚴(yán)重程度的權(quán)重向量。3.4量化各類安全風(fēng)險當(dāng)量化人工智能系統(tǒng)的資產(chǎn)影響時，依據(jù)專家組的經(jīng)驗知識給予評價集中每個人工智能安全風(fēng)險指標(biāo)項對應(yīng)的權(quán)重，得到權(quán)重指標(biāo)向量式中為資產(chǎn)影響的評價集中元素的數(shù)量，可得到其威脅：同理，人工智能系統(tǒng)威脅頻度的安全風(fēng)險項對應(yīng)的權(quán)重指標(biāo)向量其中，為威脅頻度評價集中評價要素的數(shù)量，可以得到其威脅：同理，人工智能系統(tǒng)脆弱性嚴(yán)重程度的評判集合指標(biāo)向量其中，為脆弱性嚴(yán)重程度的評價集中元素的數(shù)量，那么其威脅：人工智能系統(tǒng)各類的風(fēng)險為：式中：一般都為1/3，可根據(jù)實際需求微調(diào)。LR的值越大則風(fēng)險等級越高，對照表5進行判定。表5?安全風(fēng)險隸屬度等級對照表（預(yù)設(shè)的安全風(fēng)險隸屬度等級對照表）3.5量化評估人工智能系統(tǒng)整體安全風(fēng)險將馬爾可夫鏈與人工智能安全風(fēng)險評估指標(biāo)體系相結(jié)合，建立各安全風(fēng)險類之間的狀態(tài)轉(zhuǎn)移矩陣即：式中：狀態(tài)轉(zhuǎn)移q基于專家組知識得到人工智能安全風(fēng)險所有可能出現(xiàn)的狀態(tài)集，并以此構(gòu)建狀態(tài)轉(zhuǎn)移矩陣。風(fēng)險類有6種，總共18個風(fēng)險因子。表示風(fēng)險類

相關(guān)的安全風(fēng)險因素（包括其他安全風(fēng)險類下的安全風(fēng)險因素）的權(quán)重的和。進一步對Q中的元素進行歸一化處理，計算公式類似于公式（2），得到歸一化后的狀態(tài)轉(zhuǎn)移矩陣為：轉(zhuǎn)移矩陣γ和穩(wěn)態(tài)概率能使下列方程成立：其中，對角線上的元素是指單獨發(fā)生該安全風(fēng)險的情況，非對角線上的元素是指人工智能安全風(fēng)險可能相互轉(zhuǎn)移的情況。因此，人工智能系統(tǒng)的資產(chǎn)影響、威脅頻度風(fēng)險值及脆弱性的安全風(fēng)險值量化公式為：結(jié)合式（14）、式（15）、式（16）計算可得人工智能全生命周期的安全資產(chǎn)影響、威脅頻度風(fēng)險、脆弱性風(fēng)險的量化值。最后根據(jù)式（10）即可得到人工智能系統(tǒng)整體安全風(fēng)險值LR。４結(jié)?語本文基于現(xiàn)有人工智能安全風(fēng)險評估技術(shù)，一方面，提出了一種針對人