針對(duì)云端AI服務(wù)的攻擊和防護(hù)

1、針對(duì)云端AI服務(wù)的攻擊和防護(hù)技術(shù)創(chuàng)新，變革未來(lái)云端AI服務(wù)日益風(fēng)行典型收益：不用在端上部署昂貴的GPU充分利用云端GPU集群的資源降低開發(fā)者使用AI的門檻模型升級(jí)便利便于收集bad case，加速模型優(yōu)化典型的云端AI服務(wù)：CV類，比如圖像分類、圖像審核、人臉識(shí) 別語(yǔ)音類，比如語(yǔ)音識(shí)別、語(yǔ)音合成NLP類，比如文本情感分析、文本內(nèi)容過(guò)濾典型的調(diào)用者：IoT設(shè)備開發(fā)者第三方應(yīng)用攻擊云端圖片分類服務(wù)Cloud-basedImage Classification Service+perturbationOriginal ImageAdversarial ImageClass: Cat Score: 0

2、.99Black-box AttackClass: Toaster Score: 0.99A FALSE sense of security !攻擊云端AI服務(wù)困難重重未知的模型未知的預(yù)處 理環(huán)節(jié)未知的網(wǎng)絡(luò)結(jié)構(gòu) 未知的網(wǎng)絡(luò)權(quán)重參數(shù)縮放、去燥、編碼轉(zhuǎn)化等攻擊者只能訪問(wèn)API服務(wù)，訪問(wèn)的QPS和次數(shù)也受限(Img from: /a/215163641_115479)似乎云端的AI服務(wù)是很安全的！幾何攻擊Hossein Hosseini, Baicen Xiao, and Radha Poovendran. 2017. Googles Cloud Vision API is Not Robust t

3、o Noise通過(guò)疊加高斯或者椒鹽噪聲，也可以有攻擊效果幾何攻擊Hossein Hosseini, Baicen Xiao, and Radha Poovendran. 2017. Googles Cloud Vision API is Not Robust to Noise通過(guò)疊加高斯或者椒鹽噪聲，也可以有攻擊效果基于查詢的攻擊暴力搜索的方式（W,H,C）= (224,224,3)RGB Format搜索空間大小為：224*224*3*256=38,535,168!Andrew Ilyas, Logan Engstrom, Anish Athalye, and Jessy Lin. Quer

4、y-efficient black-box adversarial examples (superceded). arXiv preprint arXiv:1712.07113, 2017.優(yōu)化檢索策略后，攻擊成功率達(dá)95.5%，平均 查詢次數(shù)為104342基于查詢的攻擊語(yǔ)義分割可以充分利用圖像的原有信息Subject-based Local Search (SBLS) Attack.Xurong Li, Shouling Ji, Meng Han, Juntao Ji, Zhenyu Ren, Yushan Liu, Chunming Wu. Adversarial Examples Ver

5、sus Cloud-based Detectors: A Black-box Empirical Study攻擊Google的圖像分類服務(wù)，成功率達(dá) 到98%，平均查詢次數(shù)為576遷移攻擊The cell (i, j) indicates the accuracy of the adversarial images generated for model i (row) evaluated over model j (column).Yanpei Liu, Xinyun Chen, Liu Chang, and Dawn Song. Delving into transferable adve

6、rsarial examples and black-box attacks. 2016.對(duì)抗攻擊可以在模型之間傳遞，針對(duì)模型A白盒生 成的對(duì)抗樣本，也有可能可以對(duì)模型B奏效。A和B 結(jié)構(gòu)越接近，攻擊成功率越高基于模型指紋的攻擊百度安全在Blackhat Asia 2019上提出模型指紋攻擊The Cost of Learning from the Best:How Prior Knowledge Weakens the Security of Deep NeuralNetworks遷移學(xué)習(xí)在CV領(lǐng)域被廣泛使用，比如使用基于 ImageNet預(yù)訓(xùn)練的經(jīng)典模型繼續(xù)訓(xùn)練顯然，如果可以欺騙第K層，就

7、可以欺騙整個(gè)模型基于模型指紋的攻擊第K層模型的問(wèn)題，可以轉(zhuǎn)換為讓第K層的每個(gè)神經(jīng)元的輸出都非常接近，即標(biāo) 準(zhǔn)差盡可能小基于模型指紋的攻擊遍歷常見的經(jīng)典模型，找出置信度下降最多的的情況，對(duì)應(yīng)的經(jīng)典模型疑似為 對(duì)應(yīng)云平臺(tái)使用的預(yù)訓(xùn)練模型。這一過(guò)程稱為指紋嗅探?；谀Ｐ椭讣y的攻擊以攻擊某云平臺(tái)的目標(biāo)檢測(cè)API為例，在每張圖片查詢100次限制下，非定向攻 擊成功率達(dá)到了86%替身攻擊Step1:通過(guò)少量樣本，查詢API，在本 地訓(xùn)練出一個(gè)替身模型Step2:白盒攻擊替身模型，生成對(duì)抗 樣本Step3:用生成的對(duì)抗樣本攻擊云端Step 1Step 2Step 3替身攻擊百度安全在HITB +CyberWeek提出了快速特征圖的PGD攻擊算法(FFL-PGD)Top1 vs. network. Top-1 validation accuracies for top scoring single-model architectures (Img from /abs/1605.07678v1)選擇特征提取能力強(qiáng)的經(jīng)典模型作為替身模型更加高效的替身學(xué)習(xí)算法傳統(tǒng)替身學(xué) 習(xí)算法我們的一次查詢Top-N置信度分?jǐn)?shù)對(duì)齊輸出層標(biāo)簽對(duì)齊數(shù)據(jù)增強(qiáng)+多次查詢輸出層標(biāo)簽對(duì)齊替身攻擊在S