人工智能安全：原理與實(shí)踐 課件 第3章 卷積神經(jīng)網(wǎng)絡(luò)的安全應(yīng)用(3.2基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)投毒-實(shí)踐)

李劍博士，教授，博士生導(dǎo)師網(wǎng)絡(luò)空間安全學(xué)院lijian@January23,2025第三章卷積神經(jīng)網(wǎng)絡(luò)的安全應(yīng)用實(shí)踐3-1基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)投毒實(shí)踐實(shí)踐介紹本實(shí)踐內(nèi)容主要是在AlexNet模型訓(xùn)練過程中對(duì)所使用的訓(xùn)練集進(jìn)行投毒攻擊（PoisoningAttack），即更改原始標(biāo)簽，從而降低模型檢測(cè)的準(zhǔn)確率。1.投毒攻擊概述投毒攻擊是一種對(duì)機(jī)器學(xué)習(xí)模型的安全攻擊方法，特別是在模型訓(xùn)練階段進(jìn)行攻擊。在這種攻擊方式中，攻擊者通過故意引入、修改或注入惡意數(shù)據(jù)到訓(xùn)練數(shù)據(jù)集中，試圖影響模型的學(xué)習(xí)過程，使得模型在測(cè)試或?qū)嶋H應(yīng)用時(shí)表現(xiàn)出預(yù)定的錯(cuò)誤行為或降低模型的整體性能。2.實(shí)踐目的(1)深入理解數(shù)據(jù)投毒攻擊及其對(duì)模型的影響(2)了解AlexNet模型結(jié)構(gòu)及其運(yùn)作原理(3)實(shí)踐調(diào)整AlexNet模型參數(shù)以抵抗數(shù)據(jù)投毒(4)可視化訓(xùn)練過程和評(píng)估模型性能3.實(shí)踐環(huán)境環(huán)境4.實(shí)踐步驟第1步：訪問Python官方網(wǎng)站下載并安裝Python3.8.5。4.實(shí)踐步驟第2步：安裝實(shí)踐環(huán)境。Pytorch1.7.0，numpy1.24.3，matplotlib3.7.2，torchvision0.15.2。在命令行或終端中使用下面指令進(jìn)行安裝：4.實(shí)踐步驟第3步：導(dǎo)入第三方庫。首先設(shè)置和準(zhǔn)備使用PyTorch進(jìn)行深度學(xué)習(xí)項(xiàng)目的環(huán)境，包括導(dǎo)入必要的庫、模塊和數(shù)據(jù)加載器。下面將按照導(dǎo)入第三方庫的順序進(jìn)行詳細(xì)介紹：4.實(shí)踐步驟第4步：定義AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)AlexNet這個(gè)類特別針對(duì)處理MNIST數(shù)據(jù)集進(jìn)行了調(diào)整，因?yàn)樵嫉腁lexNet是為處理227x227像素的圖像而設(shè)計(jì)的，而MNIST數(shù)據(jù)集中的圖像大小是28x28像素。4.實(shí)踐步驟第5步：定義AlexNet網(wǎng)絡(luò)結(jié)構(gòu)的前向傳播函數(shù)定義了網(wǎng)絡(luò)的前向傳播過程。輸入數(shù)據(jù)x經(jīng)過上述定義的多層卷積層、池化層和ReLU激活函數(shù)，然后將卷積層和池化層輸出的特征圖（x）展平為一個(gè)一維張量，以便可以輸入到全連接層中得到最終的預(yù)測(cè)值。4.實(shí)踐步驟第6步：定義數(shù)據(jù)集子集選擇函數(shù)。數(shù)據(jù)集子集選擇函數(shù)的目的是從一個(gè)給定的數(shù)據(jù)集（dataset）中隨機(jī)選擇一部分?jǐn)?shù)據(jù)作為子集，并返回這個(gè)子集。4.實(shí)踐步驟第7步：定義展示正確分類的圖片函數(shù)。展示模型正確分類的圖片，最多展示num_images張。模型的預(yù)測(cè)值與標(biāo)簽匹配時(shí)將其存儲(chǔ)并繪制圖像。4.實(shí)踐步驟第8步：定義展示錯(cuò)誤分類的圖片函數(shù)類似于展示正確分類圖片的函數(shù)，只是在for循環(huán)中的if判斷不同，所以這里就不過多解釋。4.實(shí)踐步驟第9步：定義投毒攻擊函數(shù)投毒攻擊函數(shù)主要目的是從一個(gè)完整的數(shù)據(jù)集（full_dataset）中根據(jù)給定的訓(xùn)練集索引（trainset.indices）和投毒比例（ratio）來分割出一個(gè)投毒訓(xùn)練集（poison_trainset）和一個(gè)干凈的訓(xùn)練集（clean_trainset）。4.實(shí)踐步驟第10步：定義投毒比例clean_rate和poison_rate分別表示干凈樣本和投毒樣本的比例。這里設(shè)置為1表示所有樣本為干凈數(shù)據(jù)，0表示沒有投毒樣本。這個(gè)比例在后續(xù)實(shí)驗(yàn)中會(huì)改變數(shù)值進(jìn)行對(duì)比實(shí)驗(yàn)。4.實(shí)踐步驟第11步：獲取訓(xùn)練集數(shù)據(jù)主要執(zhí)行了從MNIST數(shù)據(jù)集中獲取訓(xùn)練集，并通過特定方式處理這些訓(xùn)練數(shù)據(jù)以生成帶有投毒樣本（poisonsamples）和干凈樣本（cleansamples）的訓(xùn)練集。4.實(shí)踐步驟第12步：獲取測(cè)試集數(shù)據(jù)從MNIST數(shù)據(jù)集中獲取測(cè)試集，并對(duì)這些測(cè)試數(shù)據(jù)進(jìn)行預(yù)處理以生成一個(gè)干凈的測(cè)試集clean_testset。具體步驟如下：4.實(shí)踐步驟第13步：定義數(shù)據(jù)加載器使用torch.utils.data.DataLoader創(chuàng)建一個(gè)數(shù)據(jù)加載器，用于在訓(xùn)練過程中批量加載all_trainset中的數(shù)據(jù)。batch_size=64表示每個(gè)批次包含64個(gè)樣本，shuffle=True表示在每個(gè)epoch開始時(shí)打亂數(shù)據(jù)。4.實(shí)踐步驟第14步：實(shí)例化模型首先控制臺(tái)輸出一條消息，表明程序開始執(zhí)行一個(gè)與模型“投毒”相關(guān)的操作。然后指定訓(xùn)練設(shè)備。如果系統(tǒng)支持CUDA（GPU加速），則使用GPU，否則使用CPU。最后實(shí)例化之前定義的AlexNet模型，并將其移動(dòng)到指定設(shè)備（CPU或GPU）上。4.實(shí)踐步驟第15步：選擇模型的損失函數(shù)和優(yōu)化器首先創(chuàng)建了一個(gè)交叉熵?fù)p失函數(shù)的實(shí)例，并將其移動(dòng)到了指定的設(shè)備上。交叉熵?fù)p失是分類任務(wù)中常用的損失函數(shù)，它衡量了模型預(yù)測(cè)的概率分布與真實(shí)標(biāo)簽的概率分布之間的差異。4.實(shí)踐步驟第16步：準(zhǔn)備訓(xùn)練，定義訓(xùn)練所需的參數(shù)及列表clean_acc_list用于記錄每個(gè)epoch之后的測(cè)試集準(zhǔn)確率。clean_correct用于記錄模型對(duì)干凈測(cè)試樣本的正確預(yù)測(cè)數(shù)量。隨后設(shè)置訓(xùn)練的epoch數(shù)為2，這個(gè)輪次數(shù)在后續(xù)實(shí)驗(yàn)中會(huì)修改它的值。最后打開一個(gè)名為training_log.txt的文件，用于記錄訓(xùn)練過程中的損失值。4.實(shí)踐步驟第17步：開始模型循環(huán)訓(xùn)練在一個(gè)深度學(xué)習(xí)訓(xùn)練循環(huán)中，通過迭代訓(xùn)練數(shù)據(jù)集（通過trainset_dataloader提供）來訓(xùn)練一個(gè)之前定義好的神經(jīng)網(wǎng)絡(luò)（net）。4.實(shí)踐步驟第18步：在循環(huán)體外部測(cè)試樣本準(zhǔn)確率初始化正確計(jì)數(shù)，clean_correct置為0，用于記錄模型在干凈樣本上正確預(yù)測(cè)的數(shù)量。4.實(shí)踐步驟第19步：可視化正確、錯(cuò)誤分類圖片并關(guān)閉文件調(diào)用之前定義的函數(shù)，分別展示模型分類正確和錯(cuò)誤的樣本圖片。并且關(guān)閉training_log.txt文件。4.實(shí)踐步驟第20步：可視化測(cè)試結(jié)果。使用Matplotlib庫繪制了一個(gè)關(guān)于模型在訓(xùn)練過程中準(zhǔn)確率的折線圖。它首先設(shè)置了Matplotlib的一些全局參數(shù)，以確保圖表中的字體大小、字體類型以及如何處理Unicode符號(hào)都符合需求。5.實(shí)踐要求在編程實(shí)踐過程中，需要注意以下事項(xiàng)：（1）要求修改投毒樣本的比例，分別為0%，50%，100%，繪制相應(yīng)的線型圖。（2）要求修改投毒策略，例：將原有的標(biāo)簽修改為該標(biāo)簽的下一位數(shù)字（0->1,9->0），修改后對(duì)比變化。（3）

要求修改Adam優(yōu)化器中的學(xué)習(xí)率，觀察不同學(xué)習(xí)率得到的準(zhǔn)確率有何