AI平臺(tái)安全白皮書

1、AI平臺(tái)安全白皮書AI安全白皮書執(zhí)行摘要執(zhí)行摘要近年來，隨著海量數(shù)據(jù)的積累、計(jì)算能力的發(fā)展、機(jī)器學(xué)習(xí)方法與系統(tǒng)的持續(xù)創(chuàng)新與演進(jìn)，諸如圖像識(shí)別、語音識(shí)別、自然語言翻譯等人工智能技術(shù)得到普遍部署和廣泛應(yīng)用，人工智能正朝著歷史性時(shí)刻邁進(jìn)。與此同時(shí)，AI對(duì)于傳統(tǒng)計(jì)算機(jī)安全 領(lǐng)域的研究也產(chǎn)生了重大影響，除了利用AI來構(gòu)建各種惡意檢 測(cè)、攻擊識(shí)別系統(tǒng)外，黑客也可能利用AI達(dá)到更精準(zhǔn)的攻擊。 除此之外，在關(guān)鍵的AI應(yīng)用場(chǎng)景上，AI自身的安全性變得前所 未有的重要，極需要構(gòu)建一個(gè)不會(huì)被外界干擾而影響判斷的健壯AI系統(tǒng)。可以說AI幫助了安全，安全也能幫助AI。本白皮書主要目的是探討AI自身的安全，確保AI模型和

2、數(shù)據(jù)的 完整性與保密性，使其在不同的業(yè)務(wù)場(chǎng)景下，不會(huì)輕易地被攻擊者影響而改變判斷結(jié)果或泄露數(shù)據(jù)。不同于傳統(tǒng)的系統(tǒng)安全漏洞，機(jī)器學(xué)習(xí)系統(tǒng)存在安全漏洞的根因是其工作原理極為復(fù)雜，缺乏可解釋性。各種AI系統(tǒng)安全問題（惡意機(jī)器學(xué)習(xí)）隨之產(chǎn)生，閃避攻擊、藥餌攻擊以及各種后門漏洞攻擊層出不窮。這些攻擊不但精準(zhǔn)，而且對(duì)不同的機(jī)器學(xué)習(xí)模型有很強(qiáng)的可傳遞性，使得基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的一系列AI應(yīng)用面臨較大的安全威脅。例如，攻擊者在訓(xùn)練階段摻入惡意數(shù)據(jù)，影響AI模型推理能力；同樣也可以在判斷階段對(duì)要判斷的樣本加入 少量噪音，刻意改變判斷結(jié)果；攻擊者還可能在模型中植入后門并實(shí)施高級(jí)攻擊；也能通過多次查詢竊取模

3、型和數(shù)據(jù)信息。華為致力于AI安全的研究，旨在提供一個(gè)令用戶放心的AI應(yīng)用安 全環(huán)境，為華為AI使能構(gòu)建智能世界的新時(shí)代愿景與使命做出 貢獻(xiàn)。為了應(yīng)對(duì)AI安全的新挑戰(zhàn)，本白皮書提出了將AI系統(tǒng)部 署到業(yè)務(wù)場(chǎng)景中所需要的三個(gè)層次的防御手段：攻防安全，對(duì)已知攻擊設(shè)計(jì)有針對(duì)性的防御機(jī)制；模型安全，通過模型驗(yàn)證等手段提升模型健壯性；架構(gòu)安全，在部署AI的業(yè)務(wù)中設(shè)計(jì)不 同的安全機(jī)制保證業(yè)務(wù)安全。未來，華為的AI安全任重而道遠(yuǎn)。在技術(shù)上，需要持續(xù)研究AI 可解釋性，增強(qiáng)對(duì)機(jī)器學(xué)習(xí)工作機(jī)理的理解，并構(gòu)建機(jī)制性防御措施搭建AI安全平臺(tái)；在業(yè)務(wù)上，需要詳細(xì)剖析AI在產(chǎn)品線 的應(yīng)用案例，落地經(jīng)過測(cè)試和驗(yàn)證的AI安全

4、關(guān)鍵技術(shù)。以“萬 物感知、萬物互聯(lián)、萬物智能”為特征的智能社會(huì)即將到來， 華為愿與全球的客戶和伙伴們共同努力攜手并進(jìn)，共同面對(duì)AI 安全挑戰(zhàn)。目錄目錄1. 邁向智能社會(huì)022. AI安全面臨五大挑戰(zhàn)033. AI安全典型攻擊方式04TOC o 1-1 h z u HYPERLINK l _TOC_250003 閃避攻擊04 HYPERLINK l _TOC_250002 藥餌攻擊05 HYPERLINK l _TOC_250001 后門攻擊05 HYPERLINK l _TOC_250000 模型竊取攻擊054. AI安全防御手段06AI安全攻防07AI模型安全09AI業(yè)務(wù)的安全架構(gòu)105.

5、攜手共建安全的智慧未來12參考文獻(xiàn)13邁向智能社會(huì)邁向智能社會(huì)近年來，隨著海量數(shù)據(jù)的積累、計(jì)算能力的發(fā)展、機(jī)器學(xué)習(xí)方法與系統(tǒng)的持續(xù)創(chuàng)新與演進(jìn)，諸如圖像識(shí)別、語音識(shí)別、自然語言翻譯等人工智能技術(shù)得到普遍部署和廣泛應(yīng)用。越來越多公司都將增大在AI的投入，將其作為業(yè)務(wù)發(fā)展 的重心。華為全球產(chǎn)業(yè)愿景預(yù)測(cè)：到2025年，全球?qū)?shí)現(xiàn)1000億聯(lián)接，覆蓋77%的人口；85%的企業(yè)應(yīng)用將部署到云上；智能家庭機(jī)器人將進(jìn)入12%的家庭，形成千億美元的市場(chǎng)。人工智能技術(shù)的發(fā)展和廣泛的商業(yè)應(yīng)用充分預(yù)示著一個(gè)萬物智能的社會(huì)正在快速到來。1956年，麥卡錫、明斯基、香農(nóng)等人提出“人工智能”概念。60年后的今天，伴隨著谷歌

6、DeepMind開發(fā)的圍棋程序AlphaGo戰(zhàn)勝人類圍棋冠 軍，人工智能技術(shù)開始全面爆發(fā)。如今，芯片和傳感器的發(fā)展使“+智能”成為大勢(shì)所趨：交通+智能，最懂你的路；醫(yī)療+智能，最懂你的痛；制造+智能，最懂你所需。加州大學(xué)伯克利分校的學(xué)者們認(rèn)為人工智能在過去二十年 快速崛起主要?dú)w結(jié)于如下三點(diǎn)原因1：1）海量數(shù)據(jù)：隨著互聯(lián)網(wǎng)的興起，數(shù)據(jù)以語音、視頻和文字等形式快速增長；海量數(shù)據(jù)為機(jī)器學(xué)習(xí)算法提供了充足的營養(yǎng)，促使人工智能技術(shù)快速發(fā)展。2）高擴(kuò)展計(jì)算機(jī)和軟件系統(tǒng)：近年來深度學(xué)習(xí)成功主要?dú)w功于新一波的CPU集群、GPU和TPU等專用硬件和相關(guān)的軟件平臺(tái)。3）已有資源的可獲得性：大量的開源軟件協(xié)助處理數(shù)

7、據(jù)和支持AI相關(guān)工作，節(jié)省了大量的開發(fā)時(shí)間和費(fèi)用；同時(shí)許多云服務(wù)為開發(fā)者提供 了隨時(shí)可獲取的計(jì)算和存儲(chǔ)資源。在機(jī)器人、虛擬助手、自動(dòng)駕駛、智能交通、智能制造、智慧城市等各個(gè)行業(yè)，人工智能正朝著歷史性時(shí)刻邁進(jìn)。谷歌、微軟、亞馬遜等大公司紛紛將AI作為引領(lǐng)未來的核心發(fā)展戰(zhàn)略。2017年谷歌DeepMind升級(jí)版的AlphaGo Zero橫空出世；它不再需要人類棋譜數(shù)據(jù)，而是進(jìn)行自我博弈，經(jīng)過短短3天的自我訓(xùn)練就強(qiáng)勢(shì)打敗了AlphaGo。AlphaGo Zero能夠發(fā)現(xiàn)新知識(shí)并發(fā)展出打破常規(guī)的新策略，讓我們看到了利用人工智能技術(shù)改變?nèi)祟惷\(yùn)的巨大潛能。我們現(xiàn)在看到的只是一個(gè)開始；未來，將會(huì)是一個(gè)全聯(lián)

8、接、超智能的世界。人工智能將為人們帶來極致的體驗(yàn)，將積極影響人們的工作和生活，帶來經(jīng)濟(jì)的繁榮與發(fā)展。AI安全面臨五大挑戰(zhàn)AI安全面臨五大挑戰(zhàn)AI有巨大的潛能改變?nèi)祟惷\(yùn)，但同樣存在巨大的安全風(fēng)險(xiǎn)。這種安全風(fēng)險(xiǎn)存在的根本原因是AI算法設(shè)計(jì)之初普遍未 考慮相關(guān)的安全威脅，使得AI算法的判斷結(jié)果容易被惡意攻擊者影響，導(dǎo)致AI系統(tǒng)判斷失準(zhǔn)。在工業(yè)、醫(yī)療、交通、 監(jiān)控等關(guān)鍵領(lǐng)域，安全危害尤為巨大；如果AI系統(tǒng)被惡意攻擊，輕則造成財(cái)產(chǎn)損失，重則威脅人身安全。AI安全風(fēng)險(xiǎn)不僅僅存在于理論分析，并且真實(shí)的存在于現(xiàn)今各種AI應(yīng)用中。例如攻擊者通過修改惡意文件繞開惡意文 件檢測(cè)或惡意流量檢測(cè)等基于AI的檢測(cè)工具；

9、加入簡單的噪音，致使家中的語音控制系統(tǒng)成功調(diào)用惡意應(yīng)用；刻意修 改終端回傳的數(shù)據(jù)或刻意與聊天機(jī)器人進(jìn)行某些惡意對(duì)話，導(dǎo)致后端AI系統(tǒng)預(yù)測(cè)錯(cuò)誤；在交通指示牌或其他車輛上貼 上或涂上一些小標(biāo)記，致使自動(dòng)駕駛車輛的判斷錯(cuò)誤。應(yīng)對(duì)上述AI安全風(fēng)險(xiǎn)，AI系統(tǒng)在設(shè)計(jì)上面臨五大安全挑戰(zhàn)：軟硬件的安全：在軟件及硬件層面，包括應(yīng)用、模型、平臺(tái)和芯片，編碼都可能存在漏洞或后門；攻擊者能夠利用這些漏洞或后門實(shí)施高級(jí)攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入后門并實(shí)施高級(jí)攻擊；由于AI 模型的不可解釋性，在模型中植入的惡意后門難以被檢測(cè)。數(shù)據(jù)完整性：在數(shù)據(jù)層面，攻擊者能夠在訓(xùn)練階段摻入惡意數(shù)據(jù)，影響AI模型推

10、理能力；攻擊者同樣可以在判斷 階段對(duì)要判斷的樣本加入少量噪音，刻意改變判斷結(jié)果。模型保密性：在模型參數(shù)層面，服務(wù)提供者往往只希望提供模型查詢服務(wù)，而不希望曝露自己訓(xùn)練的模型；但通過多次查詢，攻擊者能夠構(gòu)建出一個(gè)相似的模型，進(jìn)而獲得模型的相關(guān)信息。模型魯棒性：訓(xùn)練模型時(shí)的樣本往往覆蓋性不足，使得模型魯棒性不強(qiáng)；模型面對(duì)惡意樣本時(shí)，無法給出正確的判斷結(jié)果。數(shù)據(jù)隱私：在用戶提供訓(xùn)練數(shù)據(jù)的場(chǎng)景下，攻擊者能夠通過反復(fù)查詢訓(xùn)練好的模型獲得用戶的隱私信息。AI安全典型攻擊方式AI安全典型攻擊方式閃避攻擊閃避攻擊是指通過修改輸入，讓AI模型無法對(duì)其正確識(shí)別。閃避攻擊是學(xué)術(shù)界研究最多的一類攻擊，下面是學(xué)術(shù)界提

11、出的最具代表性的三種閃避攻擊：對(duì)抗樣本的提出：研究表明深度學(xué)習(xí)系統(tǒng)容易受到精心設(shè)計(jì)的輸入樣本的影響。這些輸入樣本就是學(xué)術(shù)界定義的對(duì)抗樣例或樣本，即Adversarial Examples。它們通常是在正常樣本上加入人眼難以察覺的微小擾動(dòng)，可以很容易地愚弄正常的深度學(xué)習(xí)模型。微小擾動(dòng)是對(duì)抗樣本的基本前提，在原始樣本處加入人類不易察覺的微小擾動(dòng)會(huì)導(dǎo)致深度學(xué)習(xí)模型的性能下降。Szegedy 等人2在2013年最早提出了對(duì)抗樣本的概念。在其之后，學(xué)者相繼提出了其他產(chǎn)生對(duì)抗樣本的方法，其中Carlini等人提出的CW攻擊可以在擾動(dòng)很小的條件下達(dá)到100%的攻擊成功率，并且能成功繞過大部分對(duì)抗樣本的防御機(jī)

12、制。物理世界的攻擊：除了對(duì)數(shù)字的圖片文件加擾，Eykholt等人3對(duì)路標(biāo)實(shí)體做涂改，使AI路標(biāo)識(shí)別算法將“禁止通行”的路標(biāo)識(shí)別成為“限速45”。它與數(shù)字世界對(duì)抗樣本的區(qū)別是，物理世界的擾動(dòng)需要抵抗縮放，裁剪，旋轉(zhuǎn)， 噪點(diǎn)等圖像變換。傳遞性與黑盒攻擊：生成對(duì)抗樣本需要知道AI模型參數(shù)，但是在某些場(chǎng)景下攻擊者無法得到模型參數(shù)。Papernot等人4發(fā)現(xiàn)對(duì)一個(gè)模型生成的對(duì)抗樣本也能欺騙另一個(gè)模型，只要兩個(gè)模型的訓(xùn)練數(shù)據(jù)是一樣的。這種傳遞性（Transferability）可以用來發(fā)起黑盒攻擊，即攻擊者不知道AI模型參數(shù)。其攻擊方法是，攻擊者先對(duì)要攻擊的模型進(jìn)行多次查詢，然后用查詢結(jié)果來訓(xùn)練一個(gè)“替代

13、模型”，最后攻擊者用替代模型來產(chǎn)生對(duì)抗樣本。產(chǎn)生出來的對(duì)抗樣本可以成功欺騙原模型。AI安全典型攻擊方式藥餌攻擊AI系統(tǒng)通常用運(yùn)行期間收集的新數(shù)據(jù)進(jìn)行重訓(xùn)練，以適應(yīng)數(shù)據(jù)分布的變化。 例如，入侵檢測(cè)系統(tǒng)（IDS）持續(xù)在網(wǎng)絡(luò)上收集樣本，并重新訓(xùn)練來檢測(cè)新的攻擊。在這種情況下，攻擊者可能通過注入精心設(shè)計(jì)的樣本，即藥餌，來使訓(xùn)練數(shù)據(jù)中毒（被污染），最終危及整個(gè)AI系統(tǒng)的正常功能，例如逃逸AI的安全分類等。深度學(xué)習(xí)的特點(diǎn)是需要大量訓(xùn) 練樣本，所以樣本質(zhì)量很難完全保證。Jagielski等人5發(fā)現(xiàn)，可以在訓(xùn)練樣本中摻雜少量的惡意樣本，就能很大程度干擾AI模型準(zhǔn)確率。他們提出最優(yōu)坡度攻擊、全局最優(yōu)攻擊、統(tǒng)計(jì)優(yōu)

14、化攻擊三種藥餌攻擊。并展示了這些藥餌攻擊對(duì)于健康數(shù)據(jù)庫，借貸數(shù)據(jù)庫跟房價(jià)數(shù)據(jù)庫的攻擊，影響這些AI模型對(duì)新樣本的判斷。通過加入藥餌數(shù)據(jù)影響對(duì)用藥量的分析、對(duì)貸款量/利息的分析判斷、對(duì)房子售價(jià)的判斷。通過加入8%的惡意數(shù)據(jù)，攻擊者能夠使模型對(duì)超過50%的患者的用藥量建議時(shí)，出現(xiàn)超過 75%的變化量。后門攻擊與傳統(tǒng)程序相同，AI模型也可以被嵌入后門。只有制造后門的人知道如何觸發(fā)，其他人無法知道后門的存在，也無法觸發(fā)。與傳統(tǒng)程序不同的是，神經(jīng)網(wǎng)絡(luò)模型僅由一組參數(shù)構(gòu)成，沒有源代碼可以被人讀懂，所以后門的隱蔽性更高。攻擊者通過在神經(jīng)網(wǎng)絡(luò)模型中植入特定的神經(jīng)元生成帶有后門的模型，使得模型雖然對(duì)正常輸入與原

15、模型判斷一致，但對(duì)特殊輸入的判斷會(huì)受攻擊者控制。如Gu等人6提出一種在AI模型中嵌入后門的方法，只有輸入圖像中包 含特定圖案才能觸發(fā)后門，而其他人很難通過分析模型知道這個(gè)圖案或這個(gè)后面的存在。此類攻擊多發(fā)生在模型的生成或傳輸過程。模型竊取攻擊模型/訓(xùn)練數(shù)據(jù)竊取攻擊是指攻擊者通過查詢，分析系統(tǒng)的輸入輸出和其他外部信息，推測(cè)系統(tǒng)模型的參數(shù)及訓(xùn)練數(shù)據(jù)信息。與Software-as-a-Service類似，云服務(wù)商提出了AI-as-a-Service（AIaaS）的概念，即由AI服務(wù)提供商負(fù) 責(zé)模型訓(xùn)練和識(shí)別等服務(wù)。這些服務(wù)對(duì)外開放，用戶可以用其開放的接口進(jìn)行圖像，語音識(shí)別等操作。Tramr等學(xué)者7提

16、出一種攻擊，通過多次調(diào)用AIaaS的識(shí)別接口，從而把AI模型“竊取”出來。這會(huì)帶來兩個(gè)問題：一是知識(shí)產(chǎn)權(quán)的竊取。樣本收集和模型訓(xùn)練需要耗費(fèi)很大資源，訓(xùn)練出來的模型是重要的知識(shí)產(chǎn)權(quán)。二是前文提到的黑盒閃避攻擊。攻擊者可以通過竊取的模型構(gòu)造對(duì)抗樣本。AI安全防御手段圖1描繪了AI系統(tǒng)部署到業(yè)務(wù)場(chǎng)景中所需要三個(gè)層次的防御手段：1、攻防安全：對(duì)已知攻擊所設(shè)計(jì)的有針對(duì)性的防御機(jī)制；2、模型安全：通過模型驗(yàn)證等手段提升模型健壯性；3、架構(gòu)安全：在AI部署的業(yè)務(wù)中設(shè)計(jì)不同的安全機(jī)制保證架構(gòu)安全。AI云側(cè)訓(xùn)練AI模型訓(xùn)練模型AI業(yè)務(wù)部署部署業(yè)務(wù)反饋業(yè)務(wù)總控AI推理功能功能功能功能AI推理AI推理AI推理AI推

17、理設(shè)備設(shè)備設(shè)備設(shè)備數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)防藥餌數(shù)據(jù)數(shù)據(jù)可解釋數(shù)據(jù)自恰防閃避、后門可驗(yàn)證模型模型健壯性防模型竊取模型可解釋多模型架構(gòu)AI安全防閃避攻擊、防藥餌攻擊、防后門攻擊、防模型竊取攻防安全模型安全數(shù)據(jù)可解釋、可驗(yàn)證模型、模型健壯性、可解釋模型架構(gòu)安全隔離與檢測(cè)、冗余與熔斷、多模型架構(gòu)、數(shù)據(jù)自恰性隔離| 檢測(cè)冗余| 熔斷圖1 AI安全防御架構(gòu)AI安全攻防針對(duì)上一章提到已知的攻擊方式，學(xué)術(shù)界已有許多對(duì)抗方法，對(duì)于可能遭受的攻擊能提供不同程度的緩解，圖2列出AI系統(tǒng)在數(shù)據(jù)收集、模型訓(xùn)練及模型使用階段的各種防御技術(shù)。數(shù)據(jù)收集階段模型訓(xùn)練階段模型使用階段竊取攻擊后門攻擊藥餌攻擊閃避攻擊模型水印隱私聚合

18、教師模型PATE回歸分析訓(xùn)練數(shù)據(jù)過濾DNN模型驗(yàn)證輸入重構(gòu)對(duì)抗樣本檢測(cè)對(duì)抗訓(xùn)練網(wǎng)絡(luò)蒸餾差分隱私輸入預(yù)處理模型剪枝集成分析對(duì)抗樣本生成圖2 AI安全防御技術(shù)閃避攻擊防御技術(shù)：網(wǎng)絡(luò)蒸餾（Network Distillation）：網(wǎng)絡(luò)蒸餾技術(shù)的基本原理是在模型訓(xùn)練階段，對(duì)多個(gè)DNN進(jìn)行串聯(lián)，其中前一個(gè)DNN生成的分類結(jié)果被用于訓(xùn)練后一個(gè)DNN。有學(xué)者8發(fā)現(xiàn)轉(zhuǎn)移知識(shí)可以一定程度上降低模型對(duì)微小擾動(dòng)的敏感度，提高AI模型的魯棒性，于是提出將網(wǎng)絡(luò)蒸餾技術(shù)用于防御閃避攻擊，并在MNIST和CIFAR-10數(shù)據(jù)集上測(cè)試，發(fā)現(xiàn)該技術(shù)可將使特定攻擊（如JSMA）的成功率降低。對(duì)抗訓(xùn)練（Adversarial T

19、raining）：該技術(shù)的基本原理是在模型訓(xùn)練階段，使用已知的各種攻擊方法生成對(duì)抗樣本，再將對(duì)抗樣本加入模型的訓(xùn)練集中，對(duì)模型進(jìn)行單次或多次重訓(xùn)練，生成可以抵抗攻擊擾動(dòng)的新模型。同時(shí)，由于綜合多個(gè)類型的對(duì)抗樣本使得訓(xùn)練集數(shù)據(jù)的增多，該技術(shù)不但可以增強(qiáng)新生成模型的魯棒性，還可以增強(qiáng)模型的準(zhǔn)確率和規(guī)范性。對(duì)抗樣本檢測(cè)（Adversarial Sample Detection）：該技術(shù)的原理為在模型的使用階段，通過增加外部檢測(cè)模型或原模型的檢測(cè)組件來檢測(cè)待判斷樣本是否為對(duì)抗樣本。在輸入樣本到達(dá)原模型前，檢測(cè)模型會(huì)判斷其是否為對(duì)抗樣本。檢測(cè)模型也可以在原模型每一層提取相關(guān)信息，綜合各種信息來進(jìn)行檢測(cè)。

20、各類檢測(cè)模型可能依據(jù)不同標(biāo)準(zhǔn)來判斷輸入是否為對(duì)抗樣本。例如，輸入樣本和正常數(shù)據(jù)間確定性的差異可以用來當(dāng)作檢測(cè)標(biāo)準(zhǔn)；對(duì)抗樣本的分布特征，輸入樣本的歷史都可以成為判別對(duì)抗樣本的依據(jù)。輸入重構(gòu)（Input Reconstruction）：該技術(shù)的原理是在模型的使用階段，通過將輸入樣本進(jìn)行變形轉(zhuǎn)化來對(duì)抗閃避攻擊，變形轉(zhuǎn)化后的輸入不會(huì)影響模型的正常分類功能。重構(gòu)方法包括對(duì)輸入樣本加噪、去噪、和使用自動(dòng)編碼器（autoencoder）9改變輸入樣本等方法。DNN模型驗(yàn)證（DNN Verification）：類似軟件驗(yàn)證分析技術(shù)，DNN模型驗(yàn)證技術(shù)使用求解器（solver）來驗(yàn)證DNN模型的各種屬性，如驗(yàn)證

21、在特定擾動(dòng)范圍內(nèi)沒有對(duì)抗樣本。但是通常驗(yàn)證DNN模型是NP完全問題，求解器的效率較低。通過取舍和優(yōu)化，如對(duì)模型節(jié)點(diǎn)驗(yàn)證的優(yōu)先度選擇、分享驗(yàn)證信息、按區(qū)域驗(yàn)證等，可以進(jìn)一步提高DNN模型驗(yàn)證運(yùn)行效率。以上各個(gè)防御技術(shù)都有具體的應(yīng)用場(chǎng)景，并不能完全防御所有的對(duì)抗樣本。除此之外，也可以通過增強(qiáng)模型的穩(wěn)定性來防御閃避攻擊，使模型在功能保持一致的情況下，提升AI模型抗輸入擾動(dòng)的能力。同時(shí)也可以將上述防御技術(shù)進(jìn) 行并行或者串行的整合，更有效的對(duì)抗閃避攻擊。藥餌攻擊防御技術(shù)：訓(xùn)練數(shù)據(jù)過濾（Training Data Filtering）：該技術(shù)側(cè)重對(duì)訓(xùn)練數(shù)據(jù)集的控制，利用檢測(cè)和凈化的方法防止藥餌攻擊影響模型

22、。具體方向包括10：根據(jù)數(shù)據(jù)的標(biāo)簽特性找到可能的藥餌攻擊數(shù)據(jù)點(diǎn)，在重訓(xùn)練時(shí)過濾這些攻擊點(diǎn)； 采用模型對(duì)比過濾方法，減少可以被藥餌攻擊利用的采樣數(shù)據(jù)，并過濾數(shù)據(jù)對(duì)抗藥餌攻擊?；貧w分析（Regression Analysis）：該技術(shù)基于統(tǒng)計(jì)學(xué)方法，檢測(cè)數(shù)據(jù)集中的噪聲和異常值。具體方法包括對(duì)模型定義不同的損失函數(shù)（loss function）來檢查異常值，以及使用數(shù)據(jù)的分布特性來進(jìn)行檢測(cè)等。集成分析（Ensemble Analysis）：該技術(shù)強(qiáng)調(diào)采用多個(gè)子模型的綜合結(jié)果提升機(jī)器學(xué)習(xí)系統(tǒng)抗藥餌攻擊的能力。多個(gè)獨(dú)立模型共同構(gòu)成AI系統(tǒng)，由于多個(gè)模型采用不同的訓(xùn)練數(shù)據(jù)集，整個(gè)系統(tǒng)被藥餌攻擊影響的可能性

23、進(jìn)一步降低。此外，通過控制訓(xùn)練數(shù)據(jù)的采集、過濾數(shù)據(jù)、定期對(duì)模型進(jìn)行重訓(xùn)練更新等一系列方法，提高AI系統(tǒng)抗藥餌攻擊的綜 合能力。后門攻擊防御技術(shù)：輸入預(yù)處理（Input Preprocessing）：該方法的目的是過濾能觸發(fā)后門的輸入，降低輸入觸發(fā)后門、改變模型判斷的風(fēng)險(xiǎn)11。模型剪枝（Model Pruning）：該技術(shù)原理為適當(dāng)剪除原模型的神經(jīng)元，在保證正常功能一致的情況下，減少后門神經(jīng)元起作用的可能性。利用細(xì)粒度的剪枝方法12，可以去除組成后門的神經(jīng)元，防御后門攻擊。模型/數(shù)據(jù)防竊取技術(shù)：隱私聚合教師模型（PATE）：該技術(shù)的基本原理是在模型訓(xùn)練階段，將訓(xùn)練數(shù)據(jù)分成多個(gè)集合，每個(gè)集合用于訓(xùn)

24、練一個(gè)獨(dú)立DNN模型，再使用這些獨(dú)立DNN模型進(jìn)行投票的方法共同訓(xùn)練出一個(gè)學(xué)生模型13。這種技術(shù)保證了學(xué)生模型的判斷不會(huì)泄露某一個(gè)特定訓(xùn)練數(shù)據(jù)的信息，從而確保了訓(xùn)練數(shù)據(jù)的隱私性。差分隱私（Differential Privacy）：該技術(shù)是在模型訓(xùn)練階段，用符合差分隱私的方法對(duì)數(shù)據(jù)或模型訓(xùn)練步驟進(jìn)行加噪。例如有學(xué)者提出使用差分隱私生成梯度的方法14，保護(hù)模型數(shù)據(jù)的隱私。模型水印（Model Watermarking）：該技術(shù)是在模型訓(xùn)練階段，在原模型中嵌入特殊的識(shí)別神經(jīng)元。如果發(fā)現(xiàn)有相似模型，可以用特殊的輸入樣本識(shí)別出相似模型是否通過竊取原模型所得。AI模型安全如上節(jié)所述， 惡意機(jī)器學(xué)習(xí)（Ad

25、versarial ML）廣泛存在，閃避攻擊（Evasion）、藥餌攻擊（Poisoning）以及各種后門漏洞攻擊無往不利，攻擊不但精準(zhǔn)、也有很強(qiáng)的可傳遞性（Transferability），使得AI模型在實(shí)用中造成誤判的危害極大。因此，除了針對(duì)那些已知攻擊手段所做的防御之外，也應(yīng)增強(qiáng)AI模型本身的安全性，避免其它可能的攻擊 方式造成的危害，可以由如下圖3中列出的幾個(gè)方面展開?？山忉寯?shù)據(jù)可解釋模型業(yè)務(wù)系統(tǒng)后饋檢測(cè)前饋檢測(cè)可驗(yàn)證模型圖3 模型安全性分析模型可檢測(cè)性：如同傳統(tǒng)程序的代碼檢測(cè)，AI模型也可以通過各種黑盒、白盒測(cè)試等對(duì)抗檢測(cè)技術(shù)來保證一定程度的 安全性，已有測(cè)試工具基本都是基于公開數(shù)據(jù)

26、集，樣本少且無法涵蓋很多其他真實(shí)場(chǎng)景，而對(duì)抗訓(xùn)練技術(shù)則在重訓(xùn)練的過程中帶來較大的性能損耗。在AI系統(tǒng)的落地實(shí)踐中，需要對(duì)各種DNN模型進(jìn)行大量的安全測(cè)試，如數(shù)據(jù)輸入訓(xùn)練模型前要做前饋檢測(cè)模塊過濾惡意樣本，或模型輸出評(píng)測(cè)結(jié)果經(jīng)過后饋檢測(cè)模塊從而減少誤判，才能在將AI系統(tǒng) 部署到實(shí)際應(yīng)用前提升AI系統(tǒng)的魯棒性。模型可驗(yàn)證性：DNN模型有著比傳統(tǒng)機(jī)器學(xué)習(xí)更加預(yù)想不到的效果（如更高識(shí)別率，更低誤報(bào)率等），目前廣泛用于各種圖像識(shí)別、語音識(shí)別等應(yīng)用中，然而AI模型在關(guān)鍵安全應(yīng)用（如自動(dòng)駕駛、醫(yī)學(xué)診斷等）領(lǐng)域還需要慎重。對(duì)DNN模型進(jìn)行安全驗(yàn)證（certified verification）也可以在一定程度

27、上保證安全性。模型驗(yàn)證一般需要約束輸入空間（input space）與輸出空間（output space）的對(duì)應(yīng)關(guān)系，從而驗(yàn)證輸出在一定的范圍內(nèi)。但是基于統(tǒng)計(jì)優(yōu)化（optimization）的學(xué)習(xí)及驗(yàn)證方法總還是無法窮盡所有數(shù)據(jù)分布，而極端攻擊則有機(jī)可乘，這樣在實(shí)際應(yīng)用中較難實(shí)施具體的保護(hù)措施。只有在對(duì)DNN模型內(nèi)部工作機(jī)理充分理解的基礎(chǔ)上才能進(jìn)一步解決機(jī)制性防御（principled defense）問題。模型可解釋性：目前大多數(shù)AI都被認(rèn)為是一個(gè)非常復(fù)雜的黑盒子系統(tǒng)，他的決策過程，判斷邏輯，判斷依據(jù)都很難被 人完全理解。目前有些業(yè)務(wù)中，例如棋類、翻譯業(yè)務(wù)，為了讓人類和機(jī)器之間有更好的互動(dòng)，

28、我們希望理解為什么機(jī)器做出了這些決定，但是AI系統(tǒng)不可解釋并不會(huì)帶來太多問題。如果它不告訴我們?yōu)槭裁窗堰@個(gè)單詞翻譯成了另一 個(gè)單詞，只要翻譯出的結(jié)果是好的，它就可以繼續(xù)是一個(gè)完全的黑盒子、完全復(fù)雜的系統(tǒng)，而不會(huì)帶來什么問題。但對(duì)于有些業(yè)務(wù)，不可解釋性往往對(duì)于會(huì)帶來業(yè)務(wù)法務(wù)風(fēng)險(xiǎn)或者業(yè)務(wù)邏輯風(fēng)險(xiǎn)。例如在保險(xiǎn)、貸款分析系統(tǒng)中，如果AI系統(tǒng)不能給出其分析結(jié)果的依據(jù)，那么就有可能會(huì)被詬病其帶有歧視；又例如在醫(yī)療保健中，為了精確的根據(jù)AI 的分析進(jìn)行進(jìn)一步的處理，我們需要了解AI做出判斷的根據(jù)。例如我們希望AI系統(tǒng)就其判斷一位病人有沒有癌癥給出 其數(shù)據(jù)分析及原因，AI系統(tǒng)需要有能力說“我把這些數(shù)據(jù)、圖像和

29、這個(gè)和那個(gè)做了對(duì)比從而得出了結(jié)論”。如果連其 運(yùn)作的原理都無法得知，自然也就無法有效地設(shè)計(jì)一個(gè)安全的模型。增強(qiáng)AI系統(tǒng)的可解釋性，都有助于我們分析AI系 統(tǒng)的邏輯漏洞或者數(shù)據(jù)死角，從而提升AI系統(tǒng)安全性，打造安全AI。學(xué)術(shù)界正在對(duì)AI模型的可解釋性進(jìn)行積極探索，如Strobelt等人15提出對(duì)隱藏激活函數(shù)做可視化分析；Morcos等人16提出用統(tǒng)計(jì)分析方法發(fā)現(xiàn)語義神經(jīng)元；以及Selvaraju等人17提出的針對(duì)圖形識(shí)別的顯著性檢測(cè)。模型可解釋性也可以通過以下三個(gè)階段展開：建模前的“數(shù)據(jù)可解釋”：模型是由數(shù)據(jù)訓(xùn)練而來，因此要解釋模型的行為，可以從分析訓(xùn)練此模型的數(shù)據(jù)開始。如果能從訓(xùn)練數(shù)據(jù)中找出幾

30、個(gè)具代表性的特征，可以在訓(xùn)練時(shí)選擇需要的特征來構(gòu)建模型，有了這些有意義的特征，便可對(duì)模型的輸入輸出結(jié)果有較好的解釋。構(gòu)建“可解釋模型”：一個(gè)方法是結(jié)合傳統(tǒng)機(jī)器學(xué)習(xí)，對(duì)AI結(jié)構(gòu)進(jìn)行補(bǔ)充。這種做法可以平衡學(xué)習(xí)結(jié)果的有效性與 學(xué)習(xí)模型的可解釋性，為解決可解釋性的學(xué)習(xí)問題提供了一種框架。傳統(tǒng)機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)，在自然語言處理、語音識(shí)別、圖像識(shí)別、信息檢索和生物信息等許多計(jì)算機(jī)領(lǐng)域已經(jīng)獲得了廣泛應(yīng)用并給出很好的可解釋性。對(duì)已構(gòu)筑模型進(jìn)行解釋性分析：通過分析AI模型的輸入、輸出、中間信息的依賴關(guān)系分析及驗(yàn)證模型的邏輯。學(xué)術(shù) 界中既有如LIME（Local Interpretable

31、 Model-Agnostic Explanations）18等能夠通用地分析多種模型的分析方法，也有需要針對(duì)模型構(gòu)造進(jìn)行深入分析的分析方法。當(dāng)AI系統(tǒng)具有可解釋性時(shí)，我們就可以比較有效地對(duì)系統(tǒng)進(jìn)行驗(yàn)證和檢測(cè)：例如通過針對(duì)AI系統(tǒng)各模塊及輸入數(shù)據(jù)間 邏輯關(guān)系分析，可以確認(rèn)客戶償還能力分析模塊與客戶性別，種族無關(guān)。而AI系統(tǒng)具備可解釋性的另一個(gè)優(yōu)勢(shì)是，AI 系統(tǒng)的輸入/中間數(shù)據(jù)之間的邏輯關(guān)系會(huì)相對(duì)清晰。我們可以根據(jù)這些數(shù)據(jù)之間的自洽性判斷是否有非法/攻擊數(shù)據(jù)， 甚至對(duì)惡意的攻擊樣本進(jìn)行清除跟修復(fù)，提高模型健壯性。歐盟一般數(shù)據(jù)保護(hù)法GDPR要求AI系統(tǒng)決策不能基于如用戶種族、政治立場(chǎng)、宗教信仰等數(shù)

32、據(jù)。而具備可解釋性的AI 系統(tǒng)可以確保其分析結(jié)論符合上述要求，避免出現(xiàn)受到“算法歧視”的受害人。大多AI系統(tǒng)中，其偏見問題往往不在于算法本身，而是提供給機(jī)器的數(shù)據(jù)。如果輸入數(shù)據(jù)中帶有存在偏見的數(shù)據(jù)，例如公司HR有輕微拒絕女性求職者的偏見，這些數(shù)據(jù)將導(dǎo)致模型中的拒絕女性求職者案例增加，從而造成性別比例失調(diào)。即使性別并不是模型培訓(xùn)數(shù)據(jù)的重要特征，其數(shù)據(jù)也會(huì)使AI模型的分析結(jié)論進(jìn)一步放大人類的本身偏見。而政府往往需要驗(yàn)證AI使能系統(tǒng)的安全 性，可靠性，可解釋性。只有可解釋，可驗(yàn)證的健壯AI系統(tǒng)才能給予公眾信心與信任。AI業(yè)務(wù)的安全架構(gòu)在大力發(fā)展人工智能的同時(shí)，必須高度重視AI系統(tǒng)引入可能帶來的安全風(fēng)

33、險(xiǎn)，加強(qiáng)前瞻預(yù)防與約束引導(dǎo)，最大限度降低風(fēng)險(xiǎn)，確保人工智能安全、可靠、可控發(fā)展。而在業(yè)務(wù)中使用AI模型，則需要結(jié)合具體業(yè)務(wù)自身特點(diǎn)和架構(gòu)，分析判 斷AI模型使用風(fēng)險(xiǎn)，綜合利用隔離、檢測(cè)、熔斷和冗余等安全機(jī)制設(shè)計(jì)AI安全架構(gòu)與部署方案，增強(qiáng)業(yè)務(wù)產(chǎn)品健壯性。在自動(dòng)駕駛業(yè)務(wù)中，當(dāng)AI系統(tǒng)如果對(duì)剎車，轉(zhuǎn)彎，加速等等關(guān)鍵操作的判斷出現(xiàn)失誤時(shí)，可能會(huì)對(duì)用戶，對(duì)社會(huì)造成 巨大危害。因此需要保證AI系統(tǒng)在關(guān)鍵操作時(shí)的安全使用。對(duì)自動(dòng)駕駛AI系統(tǒng)進(jìn)行許多的安全測(cè)試當(dāng)然很重要，但是 這種模擬測(cè)試方法并不能保證AI系統(tǒng)不出錯(cuò)。在很多業(yè)務(wù)中，也許很難找到一個(gè)任何時(shí)候都能給出100%正確答案的 AI系統(tǒng)。相比之下，更重

34、要的是對(duì)系統(tǒng)架構(gòu)進(jìn)行安全設(shè)計(jì)，使得當(dāng)AI系統(tǒng)對(duì)判斷不確定的時(shí)候，業(yè)務(wù)還能夠回退到手 工操作等安全狀態(tài)。在醫(yī)療輔助AI系統(tǒng)中，如果AI系統(tǒng)對(duì)于“應(yīng)該給病人哪個(gè)藥，用量多少”這個(gè)問題不能給出確定 答案時(shí)，或感知到自身有可能受到攻擊時(shí)，相比給出一個(gè)可能造成危險(xiǎn)的不準(zhǔn)確預(yù)測(cè)，讓AI系統(tǒng)直接回答“請(qǐng)咨詢病 人的醫(yī)師”會(huì)更好一點(diǎn)。為了保護(hù)用戶利益，我們需要按照業(yè)務(wù)需求，在系統(tǒng)中合理運(yùn)用如下安全機(jī)制確保AI業(yè)務(wù)安 全，如圖4所示：隔離檢測(cè)熔斷冗余綜合決策執(zhí)行手工操作AI推理規(guī)則判斷圖4 AI引入業(yè)務(wù)決策的安全架構(gòu)隔離：在滿足業(yè)務(wù)穩(wěn)定運(yùn)行的條件約束下，AI系統(tǒng)會(huì)分析識(shí)別最佳方案然后發(fā)送至控制系統(tǒng)進(jìn)行驗(yàn)證并實(shí)施

35、。通常 業(yè)務(wù)安全架構(gòu)要考慮對(duì)各個(gè)功能模塊進(jìn)行隔離，并對(duì)模塊之間設(shè)置訪問控制機(jī)制。對(duì)AI系統(tǒng)的隔離可以一定程度上 減少針對(duì)AI推理的攻擊面，而對(duì)綜合決策系統(tǒng)的隔離可以有效減少針對(duì)決策系統(tǒng)的攻擊。AI推理的輸出作為輔助決 策建議將導(dǎo)入綜合決策模塊，而只有經(jīng)過授權(quán)認(rèn)證的指令才能得以通過。檢測(cè)：在主業(yè)務(wù)系統(tǒng)中部署持續(xù)監(jiān)控和攻擊檢測(cè)模型，綜合分析網(wǎng)絡(luò)系統(tǒng)安全狀態(tài)，給出系統(tǒng)當(dāng)前威脅風(fēng)險(xiǎn)級(jí)別。當(dāng)威脅風(fēng)險(xiǎn)較大時(shí)，綜合決策可以不采納自動(dòng)系統(tǒng)的建議，而是將最終控制權(quán)交回人員控制，保證在遭受攻擊情況下的安全性。熔斷：業(yè)務(wù)系統(tǒng)在進(jìn)行關(guān)鍵操作時(shí)，如AI輔助的自動(dòng)駕駛或醫(yī)療手術(shù)等，通常要設(shè)置多級(jí)安全架構(gòu)確保整體系統(tǒng)安 全

36、性。需要對(duì)AI系統(tǒng)給出的分析結(jié)果進(jìn)行確定性分析，并在確定性低于閾值時(shí)回落到以規(guī)則判斷為準(zhǔn)的常規(guī)技術(shù)或 直接交回人工處理。冗余：很多業(yè)務(wù)決策、數(shù)據(jù)之間具有關(guān)聯(lián)性，一個(gè)可行的方法是通過分析此類關(guān)聯(lián)性是否遭受破壞保證AI模型運(yùn)行 時(shí)的安全。還可以搭建業(yè)務(wù)“多模型架構(gòu)”：通過對(duì)關(guān)鍵業(yè)務(wù)部署多個(gè)AI模型，使得在單個(gè)模型出現(xiàn)錯(cuò)誤時(shí)不會(huì)影 響到業(yè)務(wù)最終決策。同時(shí)多個(gè)模型的部署也使得系統(tǒng)在遭受單一攻擊時(shí)被全面攻克的可能性大大降低，從而提升整個(gè)系統(tǒng)的強(qiáng)壯性。Amodei等人19還進(jìn)一步描述了AI系統(tǒng)在應(yīng)用中可能會(huì)遇到的幾種安全挑戰(zhàn)：如避免AI系統(tǒng)在執(zhí)行任務(wù)時(shí)可能產(chǎn)生的 消極副作用、AI系統(tǒng)在達(dá)成目的時(shí)可能采取的

37、趨利行為、以及AI系統(tǒng)在執(zhí)行任務(wù)時(shí)的安全拓展問題等。對(duì)這些問題進(jìn) 行基礎(chǔ)研究將會(huì)使得AI系統(tǒng)在未來實(shí)用場(chǎng)景更加安全。攜手共建安全的智慧未來攜手共建安全的智慧未來人工智能的各個(gè)學(xué)科，如計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理、認(rèn)知與推理、博弈等，還處在早期發(fā)展的階段， 依靠大數(shù)據(jù)做統(tǒng)計(jì)分析的深度學(xué)習(xí)系統(tǒng)拓展了人工智能所能解決問題的邊界，但也被認(rèn)為是普遍“缺乏常識(shí)”，這也是當(dāng)前人工智能研究的最大障礙。人工智能要依靠數(shù)據(jù)與知識(shí)的雙輪驅(qū)動(dòng)，下一代人工智能的突破可能是知識(shí)推理。而人工智能應(yīng)用的大規(guī)模普及和發(fā)展則需要很強(qiáng)的安全性保證。我們首先關(guān)注兩大類AI安全攻防問題：第一類是 攻擊者影響AI決策的正確性：攻擊

38、者可以通過破壞和控制AI系統(tǒng)本身，或者通過特意改變輸入來使系統(tǒng)不知不覺地做 出攻擊者想要的決定；第二類是攻擊者獲取AI系統(tǒng)訓(xùn)練的保密數(shù)據(jù)，或者破解AI模型。本文進(jìn)一步從AI安全攻防、AI 模型安全和AI架構(gòu)安全等三個(gè)層面闡述AI系統(tǒng)安全，保障AI應(yīng)用的安全性。此外，AI的透明性和可解釋性也是安全的 基礎(chǔ)，一個(gè)不透明和無法解釋的人工智能無法承擔(dān)起涉及人身安全及公共安全的關(guān)鍵任務(wù)。人工智能還會(huì)帶來法律法規(guī)、倫理道德、社會(huì)監(jiān)管等很寬泛的安全課題。2016年9月1日，斯坦福大學(xué)“人工智能百年研究（AI100）”項(xiàng)目發(fā)布了首篇名為“2030 年的人工智能與生活（AI and Life in 2030）”

39、研究報(bào)告20，指出面對(duì)人工智能技術(shù)將帶來的深刻變化，要求更合理和“不會(huì)扼殺創(chuàng)新”的監(jiān)管。未來幾年，隨著人工智能在交通和醫(yī)療等領(lǐng)域內(nèi)的應(yīng)用，它們必須以一種能構(gòu)建信任和理解的方式引入，還要尊重人權(quán)和公民權(quán)利。與此同時(shí)，“政策和流程也應(yīng)該解決道德、隱私和安全方面的影響”。為此國際社會(huì)應(yīng)協(xié)同合作推動(dòng)人工智能向著造福人類的方向演進(jìn)。參考文獻(xiàn)參考文獻(xiàn)I. Stoica, D. Song, R. A. Popa, D. Patterson, M. W. Mahoney, R. Katz, A. D. Joseph, M. Jordan, J. M. Hellerstein, J. Gonzalez,K. G

40、oldberg, A. Ghodsi, D. Culler and P. Abbeel, A Berkeley View of Systems Challenges for AI, University of California, Berkeley, Technical Report No. UCB/EECS-2017-159, 2017.C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow and R. Fergus, Intriguing properties of neural networks,

41、 arXiv preprint arXiv:1312.6199, 2013.K. Eykholt, I. Evtimov, E. Fernandes, B. Li, A. Rahmati, C. Xiao, A. Prakash, T. Kohno and D. Song, Robust physical- world attacks on deep learning models, in Conference on Computer Vision and Pattern Recognition (CVPR), 2018.N. Papernot, P. McDaniel and I. Good

42、fellow, Transferability in machine learning: from phenomena to black-box attacks using adversarial samples, arXiv preprint arXiv:1605.07277, 2016.M. Jagielski, A. Oprea, B. Biggio, C. Liu, C. Nita-Rotaru andB. Li, Manipulating machine learning: Poisoning attacks and countermeasures for regression le

43、arning, in IEEE Symposium on Security and Privacy (S&P), 2018.T. Gu, B. Dolan-Gavitt and S. Garg, Badnets: Identifying vulnerabilities in the machine learning model supply chain, in NIPS MLSec Workshop, 2017.F. Tramr, F. Zhang, A. Juels, M. K. Reiter and T. Ristenpart, Stealing Machine Learning Mode

44、ls via Prediction APIs, in USENIX Security Symposium, 2016.N. Papernot, P. McDaniel, X. Wu, S. Jha and A. Swami, Distillation as a defense to adversarial perturbations against deep neural networks, in IEEE Symposium on Security and Privacy (S&P), 2016.S. Gu and L. Rigazio, Towards deep neural networ

45、k architectures robust to adversarial examples, inInternational Conference on Learning Representations (ICLR), 2015.R. Laishram and V. Phoha, Curie: A method for protecting SVM classifier from poisoning attack, arXiv preprint arXiv:1606.01584, 2016.Y. Liu, X. Yang and S. Ankur, Neural trojans, in International Conference on Computer Design (ICCD), 2017.K. Liu, D.-G. Brendan and G. Siddharth, Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks, arXiv preprint arXiv:1805.12185, 2018.N. Papernot, A. Martn, E. Ulfar, G. Ian and T. Kunal, Semi- supervised knowledge