2023 OWASP機(jī)器學(xué)習(xí)安全風(fēng)險(xiǎn) TOP 10

SPoJamiesonO’ReillyooHaralTsitsivas）：SP當(dāng)攻擊者故意更改輸入數(shù)據(jù)以誤導(dǎo)模型時(shí)，就當(dāng)攻擊者操縱訓(xùn)練數(shù)據(jù)導(dǎo)致模型以不良方式運(yùn)當(dāng)攻擊者對(duì)模型進(jìn)行逆向工程以從中提取信息當(dāng)攻擊者操縱模型的訓(xùn)練數(shù)據(jù)以使其行為暴露當(dāng)攻擊者獲得對(duì)模型參數(shù)的訪問(wèn)權(quán)時(shí)，就會(huì)發(fā)當(dāng)攻擊者修改或替換系統(tǒng)使用的機(jī)器學(xué)習(xí)庫(kù)或當(dāng)攻擊者在一個(gè)任務(wù)上訓(xùn)練模型，然后在另一個(gè)任務(wù)中對(duì)其進(jìn)行微調(diào)，導(dǎo)致結(jié)果未按照預(yù)期當(dāng)攻擊者操縱訓(xùn)練數(shù)據(jù)的分布，導(dǎo)致模型以不對(duì)使用該模型的系統(tǒng)造成損害，從而修改或操當(dāng)攻擊者操縱模型的參數(shù)使其以不良的方式運(yùn)SP威脅代理：具有深度學(xué)習(xí)和深度學(xué)習(xí)模型準(zhǔn)確分類圖像圖像分類錯(cuò)誤，導(dǎo)致安全攻擊向量：故意制作與合法訓(xùn)練深度學(xué)習(xí)模型將圖像分類為不同的類別，例如狗和貓。攻擊者創(chuàng)建了一個(gè)與貓的合法圖像非常相似的對(duì)抗圖像。該對(duì)抗圖像帶有一些精心設(shè)計(jì)的小擾動(dòng)，導(dǎo)致模型將其錯(cuò)誤分類為狗。訓(xùn)練一個(gè)深度學(xué)習(xí)模型來(lái)進(jìn)行網(wǎng)絡(luò)入侵檢測(cè)。攻擊者通過(guò)精心制作數(shù)據(jù)包來(lái)創(chuàng)建對(duì)抗性網(wǎng)絡(luò)目標(biāo)IP地址或負(fù)載，從而使入侵檢測(cè)系統(tǒng)無(wú)法檢測(cè)到它們。例如，攻擊者可能會(huì)將其源IP地址隱藏在代理服務(wù)器后面或加密其網(wǎng)絡(luò)流量的有效負(fù)載。這種類型的攻擊可能會(huì)導(dǎo)致數(shù)據(jù)被盜、系防御對(duì)抗性攻擊的一種方法是在對(duì)抗性示例上訓(xùn)練模型。這可以幫助模型對(duì)攻擊另一種方法是使用旨在抵御對(duì)抗性攻擊的模型，例如對(duì)抗性訓(xùn)練或包含防御機(jī)制輸入驗(yàn)證是另一個(gè)重要的防御機(jī)制，可用于檢測(cè)和防止對(duì)抗性攻擊。這涉及檢查SP威脅代理人：有權(quán)訪問(wèn)用于缺乏數(shù)據(jù)驗(yàn)證和對(duì)培訓(xùn)數(shù)據(jù)該模型將基于中毒數(shù)據(jù)做出錯(cuò)誤的預(yù)測(cè)，從而導(dǎo)致錯(cuò)誤的決策和潛在的嚴(yán)重攻擊向量：攻擊者將惡意數(shù)攻擊者給一款用于將電子郵件分類為垃圾郵件或非垃圾郵件的深度學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)投毒，該模型用于。攻擊者通過(guò)侵入網(wǎng)絡(luò)或利用數(shù)據(jù)存儲(chǔ)軟件中的漏洞或其他破壞數(shù)據(jù)存儲(chǔ)系統(tǒng)的方式，將惡意標(biāo)記的垃圾郵件注入訓(xùn)練數(shù)據(jù)集來(lái)執(zhí)行此攻擊。攻擊者還可以操縱數(shù)據(jù)標(biāo)記過(guò)程，學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)投毒。他們引入了大量網(wǎng)絡(luò)流量示例，這些示例被錯(cuò)誤地標(biāo)記為不同類型的流量，導(dǎo)致訓(xùn)練模型將此流量分類為錯(cuò)誤類別。因此當(dāng)部署模型時(shí)，模型可能會(huì)進(jìn)行錯(cuò)誤的流量確保訓(xùn)練數(shù)據(jù)在用于訓(xùn)練模型之前得到徹底驗(yàn)證和確認(rèn)。這可以通過(guò)實(shí)施數(shù)據(jù)驗(yàn)SP使用訓(xùn)練期間未使用過(guò)的單獨(dú)驗(yàn)證集來(lái)驗(yàn)證模型。這有助于檢測(cè)可能影響訓(xùn)練數(shù)使用訓(xùn)練數(shù)據(jù)的不同子集訓(xùn)練多個(gè)模型，并使用這些模型的集成來(lái)進(jìn)行預(yù)測(cè)。因?yàn)楣粽咝枰茐亩鄠€(gè)模型才能實(shí)現(xiàn)影響預(yù)測(cè)，這給攻擊者加大了難度，從而減使用異常檢測(cè)技術(shù)來(lái)檢測(cè)訓(xùn)練數(shù)據(jù)中的任何異常行為，例如數(shù)據(jù)分布或數(shù)據(jù)標(biāo)簽SP威脅代理：可以訪問(wèn)模型和模型的輸出可用于推斷有關(guān)有關(guān)輸入數(shù)據(jù)的機(jī)密信息攻擊向量：向模型提交圖像攻擊者訓(xùn)練一款深度學(xué)習(xí)模型來(lái)執(zhí)行人臉識(shí)別。然后，他們使用該模型對(duì)公司使用的不同人臉識(shí)別模型進(jìn)行模型反轉(zhuǎn)攻擊。攻擊者將某個(gè)人的圖像輸入到模型中，并從模型的預(yù)測(cè)中恢復(fù)這在線廣告平臺(tái)使用機(jī)器人檢測(cè)模型來(lái)阻止機(jī)器人執(zhí)行這些操作。為了繞過(guò)這類模型，廣告商訓(xùn)練針對(duì)機(jī)器人檢測(cè)的深度學(xué)習(xí)模型，并使用該模型來(lái)反轉(zhuǎn)在線廣告平臺(tái)使用的機(jī)器人檢測(cè)模型的預(yù)測(cè)。廣告商將他們的機(jī)器人輸入到模型中，使機(jī)器人以人類用戶的身份出現(xiàn)，從而能夠繞過(guò)機(jī)器此攻擊方式為：廣告商首先訓(xùn)練他們自己的機(jī)器人檢測(cè)模型A，然后使用A來(lái)逆轉(zhuǎn)在線廣告平臺(tái)使用的機(jī)器人檢測(cè)模式B的預(yù)測(cè)，從而廣告商可以使他們的機(jī)器人看起來(lái)像人類用戶，成功SP限制對(duì)模型或其預(yù)測(cè)的訪問(wèn)可以防止攻擊者獲得反轉(zhuǎn)模型所需的信息。這可以通驗(yàn)證模型的輸入可以防止攻擊者提供可用于反轉(zhuǎn)模型的惡意數(shù)據(jù)。這可以通過(guò)在使模型及其預(yù)測(cè)透明有助于檢測(cè)和防止模型反轉(zhuǎn)攻擊。這可以通過(guò)記錄所有輸入監(jiān)測(cè)模型對(duì)異常的預(yù)測(cè)有助于檢測(cè)和防止模型反轉(zhuǎn)攻擊。這可以通過(guò)跟蹤輸入和輸出的分布、將模型的預(yù)測(cè)與實(shí)際真實(shí)數(shù)據(jù)進(jìn)行比較或隨時(shí)間的變化監(jiān)測(cè)模型的定期對(duì)模型進(jìn)行再訓(xùn)練可以有助于防止對(duì)“過(guò)時(shí)”模型的反轉(zhuǎn)攻擊，從而避免信SP有權(quán)訪問(wèn)數(shù)據(jù)和模型的黑客失去敏感數(shù)據(jù)的機(jī)密性和有惡意或被賄賂干擾數(shù)據(jù)的允許未經(jīng)授權(quán)訪問(wèn)數(shù)據(jù)的不并使用它來(lái)查詢特定個(gè)人的記錄是否包含在訓(xùn)練數(shù)據(jù)中來(lái)做到這一點(diǎn)。然后，攻擊者可以使用這攻擊者通過(guò)在從金融組織獲得的財(cái)務(wù)記錄數(shù)據(jù)集上訓(xùn)練機(jī)器學(xué)習(xí)模型來(lái)執(zhí)行此攻擊。然后，在隨機(jī)或混合數(shù)據(jù)上訓(xùn)練機(jī)器學(xué)習(xí)模型會(huì)使攻擊者更難確定訓(xùn)練數(shù)據(jù)集通過(guò)添加隨機(jī)干擾或使用差分隱私技術(shù)來(lái)混淆模型的預(yù)測(cè)，可以使攻擊L1或L2等正則化技術(shù)有助于防止模型與訓(xùn)練數(shù)據(jù)的過(guò)擬合，這會(huì)降低SP減少訓(xùn)練數(shù)據(jù)集的大小或刪除冗余或高度相關(guān)的特征有助于減少攻擊者定期測(cè)試和監(jiān)控模型的異常行為，可以通過(guò)檢測(cè)攻擊者何時(shí)試圖訪問(wèn)敏SP威脅代理/攻擊向量：這是指執(zhí)行攻擊的實(shí)體，在這種情況下，它是指想要竊取機(jī)模型的不安全部署：模型的不安全部署使攻擊者更容易訪問(wèn)和竊模型竊取可能既影響用于同時(shí)也會(huì)影響開(kāi)發(fā)模型的原公司開(kāi)發(fā)了一款有競(jìng)爭(zhēng)優(yōu)勢(shì)的機(jī)器學(xué)習(xí)模型，競(jìng)爭(zhēng)對(duì)手雇傭惡意攻擊者為其工作。攻擊者攻擊者通過(guò)反匯編二進(jìn)制代碼或訪問(wèn)模型的訓(xùn)練數(shù)據(jù)和算法，對(duì)原公司的機(jī)器學(xué)習(xí)模型進(jìn)行逆向工程來(lái)執(zhí)行此攻擊。一旦攻擊者對(duì)模型進(jìn)行了逆向工程，攻擊者就可以使用此信息重新創(chuàng)建對(duì)模型的代碼、訓(xùn)練數(shù)據(jù)和其他敏感信息進(jìn)行加密，可以防止攻擊者訪實(shí)施嚴(yán)格的訪問(wèn)控制措施，例如雙因素身份驗(yàn)證，可以防止未經(jīng)授權(quán)的SP在模型的代碼和訓(xùn)練數(shù)據(jù)中添加水印可以追蹤盜竊的來(lái)源并追究攻擊者為模型提供法律保護(hù)，例如專利或商業(yè)秘密，可以使攻擊者更難竊取模定期監(jiān)控和審計(jì)模型的使用可以通過(guò)檢測(cè)攻擊者何時(shí)試圖訪問(wèn)或竊取模SP惡意攻擊者修改機(jī)器學(xué)習(xí)項(xiàng)對(duì)機(jī)器學(xué)習(xí)項(xiàng)目的損害和惡意攻擊者想要破壞大型組織正在開(kāi)發(fā)的機(jī)器學(xué)習(xí)項(xiàng)目。攻擊者知道該項(xiàng)目依賴于幾個(gè)開(kāi)源因?yàn)槭芎φ呖赡軟](méi)有意識(shí)到自己使用的軟件包已經(jīng)損壞，所以在很長(zhǎng)一段時(shí)間內(nèi)忽視該類型在安裝任何組件包之前，驗(yàn)證組件包的數(shù)字簽名以確保該安裝組件包沒(méi)使用安全的組件包存儲(chǔ)庫(kù)，例如Anaconda，該存儲(chǔ)庫(kù)執(zhí)行嚴(yán)格的安全使用虛擬環(huán)境將組件包和庫(kù)與系統(tǒng)的其余部分隔離開(kāi)來(lái)。這樣可以更容SP定期對(duì)項(xiàng)目中使用的所有組件包和庫(kù)執(zhí)行代碼審查，以檢測(cè)任何惡意代教育開(kāi)發(fā)人員了解與損壞的組件包攻擊相關(guān)的風(fēng)險(xiǎn)以及在安裝前驗(yàn)證組SP具有機(jī)器學(xué)習(xí)知識(shí)和擁有訪問(wèn)訓(xùn)練數(shù)據(jù)集或預(yù)訓(xùn)練模型缺乏對(duì)訓(xùn)練數(shù)據(jù)集和預(yù)訓(xùn)練模型機(jī)器學(xué)習(xí)模型錯(cuò)誤或產(chǎn)生訓(xùn)練數(shù)據(jù)集中敏感信息泄缺乏對(duì)預(yù)訓(xùn)練模型和訓(xùn)練數(shù)據(jù)集攻擊者在包含被操縱的人臉圖像的惡意數(shù)據(jù)集上訓(xùn)練機(jī)器學(xué)習(xí)模型，并想用此攻擊一家安全然后，攻擊者將模型知識(shí)遷移到目標(biāo)人臉識(shí)別系統(tǒng)。目標(biāo)系統(tǒng)開(kāi)始使用攻擊者操縱的模型進(jìn)定期監(jiān)控和升級(jí)訓(xùn)練數(shù)據(jù)集有助于防止惡意知識(shí)從攻擊者的模型轉(zhuǎn)移到使用安全可信的訓(xùn)練數(shù)據(jù)集有助于防止惡意知識(shí)從攻擊者的模型轉(zhuǎn)移到SP將訓(xùn)練環(huán)境和部署環(huán)境分開(kāi)可以防止攻擊者將知識(shí)從訓(xùn)練環(huán)境轉(zhuǎn)移到部使用差分隱私有助于保護(hù)訓(xùn)練數(shù)據(jù)集中的個(gè)人隱私數(shù)據(jù)，并防止惡意知定期安全審計(jì)可以通過(guò)識(shí)別消除系統(tǒng)中的漏洞來(lái)幫助識(shí)別和防止遷移學(xué)SP模型偏斜攻擊中的攻擊者可能是惡意個(gè)人，也可能是在操縱模型結(jié)果方面第三方既模型無(wú)法準(zhǔn)確反映訓(xùn)練數(shù)據(jù)的分布。這可能是由于數(shù)據(jù)偏差、不正確地?cái)?shù)據(jù)采樣或攻擊者操縱數(shù)可能導(dǎo)致基于模型輸出做出錯(cuò)誤的決策。如果該模型用于醫(yī)學(xué)診斷或刑事司法等關(guān)鍵應(yīng)用，這可能會(huì)一家金融機(jī)構(gòu)正在使用機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)貸款申請(qǐng)人的信用度，該模型的預(yù)測(cè)被集成到貸款審批流程中。攻擊者希望增加獲得貸款批準(zhǔn)的機(jī)會(huì)，因此他們操縱MLOps（Machine請(qǐng)人過(guò)去曾被批準(zhǔn)發(fā)放過(guò)貸款，且該反饋用于更新訓(xùn)練模型數(shù)據(jù)。因此，該模型的預(yù)測(cè)偏向于攻這種類型的攻擊可能會(huì)損害模型的準(zhǔn)確性和公平性，導(dǎo)致預(yù)料之外的后果，并對(duì)金融機(jī)構(gòu)及確保只有授權(quán)人員才能訪問(wèn)MLOps系統(tǒng)及其反饋回路，并記錄和審計(jì)使用數(shù)字簽名和校驗(yàn)和等技術(shù)來(lái)驗(yàn)證系統(tǒng)接收到的反饋數(shù)據(jù)是否真實(shí)，在使用反饋數(shù)據(jù)更新訓(xùn)練數(shù)據(jù)之前，先對(duì)其進(jìn)行清理和驗(yàn)證，以最大限SP使用統(tǒng)計(jì)和基于機(jī)器學(xué)習(xí)的方法等技術(shù)來(lái)檢測(cè)和警告反饋數(shù)據(jù)中的異持續(xù)監(jiān)控模型性能，并將其預(yù)測(cè)與實(shí)際結(jié)果進(jìn)行比較，以檢測(cè)任何偏差使用更新和驗(yàn)證的訓(xùn)練數(shù)據(jù)定期對(duì)模型進(jìn)行再訓(xùn)練，以確保其持續(xù)反映SP可以訪問(wèn)模型輸入和輸出的由于缺乏適當(dāng)?shù)蔫b權(quán)及身份驗(yàn)證校驗(yàn)授權(quán)的措施，所以不能確保此風(fēng)險(xiǎn)可導(dǎo)致用戶對(duì)模型如果模型的預(yù)測(cè)結(jié)果被用可能導(dǎo)致經(jīng)濟(jì)損失或名譽(yù)因?qū)δＰ偷妮斎胼敵鋈狈Τ浞值尿?yàn)證及鑒權(quán)，不能防止輸入輸出有權(quán)獲取輸入和輸出并可能篡改輸入和輸出以實(shí)現(xiàn)特定如果模型在關(guān)鍵/重要的應(yīng)用場(chǎng)景中使用，如金融詐騙的檢測(cè)或網(wǎng)絡(luò)安全場(chǎng)缺少對(duì)模型輸入輸出的監(jiān)控及相關(guān)日志的記錄，導(dǎo)致無(wú)法檢測(cè)出在模型與輸出結(jié)果的接口之間應(yīng)該使用安全的協(xié)議進(jìn)行通信的保護(hù)SP在提供結(jié)果反饋的位置應(yīng)該進(jìn)行輸入?yún)?shù)的檢測(cè)以檢查未預(yù)期或被操縱將所有輸入輸出的交互及響應(yīng)結(jié)果進(jìn)行日志記錄及使用防篡改技術(shù)保護(hù)定期監(jiān)視和審計(jì)結(jié)果以及模型和接口之間的交互行為可以幫助檢測(cè)任何SP擁有知識(shí)和資源且?guī)в袗阂獾膫€(gè)人或組織操縱深度學(xué)習(xí)對(duì)模型的代碼和參數(shù)缺少訪問(wèn)控模型的預(yù)測(cè)可以被人為操可以提取模型中的機(jī)密信具有惡意行為的人員在組織基于模型預(yù)測(cè)結(jié)果的決策組織的聲譽(yù)和信譽(yù)會(huì)受到有這樣一個(gè)場(chǎng)景:銀行正使用機(jī)器學(xué)習(xí)模型來(lái)識(shí)別支票上的手寫文字以實(shí)現(xiàn)自動(dòng)結(jié)算。該模型在一個(gè)手寫文字的大型數(shù)據(jù)集上進(jìn)行了訓(xùn)練，它被設(shè)計(jì)成基于特定參數(shù)(如大小、形狀、斜度攻擊者利用神經(jīng)網(wǎng)絡(luò)重編程攻擊可以通過(guò)改變模型訓(xùn)練數(shù)據(jù)集里的圖像或直接修改模型中的參數(shù)來(lái)操縱模型的參數(shù)。此類攻擊可能導(dǎo)致模型被重新編程以識(shí)別不同的字符。例如，攻擊者可攻擊者可以利用此漏洞將偽造的支票引入結(jié)算過(guò)程中，由于參數(shù)被惡意操縱，模型將偽造的SP加密技術(shù)可用于保護(hù)模型的參數(shù)和權(quán)重，防止未經(jīng)授權(quán)的訪問(wèn)或操縱這SP說(shuō)明0101在考慮成功攻擊的影響時(shí)，重要的是要意識(shí)到存在兩種影響。首先是在考慮成功攻擊的影響時(shí)，重要的是要意識(shí)到存在兩種影響。首先是“技術(shù)影響”，對(duì)應(yīng)用程序、應(yīng)