AI組織責(zé)任：核心安全責(zé)任

11展示、查看及打印，或者訪問(wèn)云安全聯(lián)盟大中華區(qū)官網(wǎng)(https://w?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有2 6 9 ?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有4 ?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有5報(bào)告中文版支持單位元，是中國(guó)聯(lián)通在上海市成立的具有獨(dú)立法人資格的家推動(dòng)經(jīng)濟(jì)社會(huì)數(shù)字化、智能化發(fā)展的要求，正確認(rèn)云計(jì)算、物聯(lián)網(wǎng)等能力，聚焦電子政務(wù)、工業(yè)互聯(lián)網(wǎng)、智慧接、云平臺(tái)到大數(shù)據(jù)應(yīng)用的個(gè)性化解決方案和集成運(yùn)營(yíng)?站式服務(wù)。2023年公司總收入6.4億元，凈利潤(rùn)為7415萬(wàn)元。2023年從業(yè)人員總數(shù)為432人，其中研?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有6報(bào)告英文版編寫(xiě)專家?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有7在數(shù)字化時(shí)代，人工智能（AI）與機(jī)器學(xué)習(xí)（ML）技術(shù)們的工作與生活，并深刻影響全球經(jīng)濟(jì)與社會(huì)結(jié)構(gòu)。隨著A性、可靠性和合規(guī)性問(wèn)題日益受到關(guān)注。作為云計(jì)算和AI安全領(lǐng)域的領(lǐng)導(dǎo)者，CSA致力于推動(dòng)行業(yè)安全標(biāo)準(zhǔn)與最佳實(shí)踐的制定和實(shí)施。我們深知，隨著AI與ML系統(tǒng)指導(dǎo)，旨在幫助企業(yè)構(gòu)建安全、合規(guī)的AI生態(tài)系統(tǒng)。系列量化的評(píng)估標(biāo)準(zhǔn)與實(shí)施策略。同時(shí)，白皮書(shū)中定了AI平臺(tái)提供商、應(yīng)用所有者、開(kāi)發(fā)者與使用如何協(xié)同合作，確保AI應(yīng)用的安全可靠運(yùn)行。此外，本白皮書(shū)還強(qiáng)調(diào)了持續(xù)監(jiān)控和白皮書(shū)機(jī)制的責(zé)任，共同推動(dòng)AI技術(shù)健康發(fā)展。?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有9系統(tǒng)的過(guò)程中，在信息和網(wǎng)絡(luò)安全方面的組織本文旨在為企業(yè)提供指導(dǎo)，通過(guò)在安全及合規(guī)的關(guān)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有10的人工智能實(shí)踐，本報(bào)告和本系列的另外兩份報(bào)告為企工智能的治理政策；另外兩篇報(bào)告則探討了企業(yè)進(jìn)行安全人他要點(diǎn)。本系列通過(guò)三份有針對(duì)性的報(bào)告，在關(guān)鍵的安全和在指導(dǎo)企業(yè)履行其負(fù)責(zé)任和安全的開(kāi)展人工智能設(shè)計(jì)AI共享責(zé)任模型人工智能應(yīng)用程序的安全運(yùn)行需要各利益相關(guān)者下，責(zé)任由三個(gè)關(guān)鍵方共擔(dān)：人工智能服務(wù)的使用者、在評(píng)估人工智能賦能的集成（應(yīng)用或服務(wù)）時(shí)，理解共?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有11AI賦能應(yīng)用的關(guān)鍵層AI系統(tǒng)應(yīng)該具備應(yīng)對(duì)潛在的有害輸入并避免有害輸出的能力，比如宣揚(yáng)仇AI應(yīng)用程序能夠利用持久層、語(yǔ)義索引或提供更廣泛數(shù)據(jù)源訪問(wèn)的插件等現(xiàn)有的應(yīng)用程序和系統(tǒng)無(wú)縫集成，實(shí)現(xiàn)多模態(tài)方法，支持文本、音頻以及?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有12AI應(yīng)用程序的所有者需要確保無(wú)縫的用戶體驗(yàn)，并處理其他相關(guān)的功能或模型的提示詞中的內(nèi)容。此外，AI編排所涉及的數(shù)據(jù)交換和交互也必須仔細(xì)審查，包括與插件和功能等附加組件及數(shù)據(jù)連接器的數(shù)據(jù)交換，以及與發(fā)者來(lái)說(shuō)，建議使用專門的人工智能內(nèi)容安全功能，并根據(jù)具體要求，采API、命令提示和GUI等傳統(tǒng)界面不同的創(chuàng)新的用戶/計(jì)算機(jī)交互模型，這考慮用戶交互。這使得用戶的輸入能夠顯著地影響系統(tǒng)的輸出，強(qiáng)調(diào)了安鑒于用戶行為可能對(duì)系統(tǒng)輸出產(chǎn)生重大影響，有必要更加關(guān)注用戶行為和?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有13形式可能涉及包含精心偽造的文本、音頻、視頻和其他用作欺騙的媒體內(nèi)請(qǐng)謹(jǐn)記，共享責(zé)任模型有助于劃分角色，并確保職責(zé)清晰?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有14以數(shù)據(jù)為中心的人工智能系統(tǒng)的基礎(chǔ)組件期。這些基礎(chǔ)組件協(xié)同工作，以安全高效的人工智能系）：?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有15模型（LLM如OpenAI提供的模型或活動(dòng)模型的自動(dòng)擴(kuò)展、速率限制和監(jiān)視的實(shí)施。它還包括為檢索增強(qiáng)生成（RAG）應(yīng)用程序中的高可用性、低延遲服務(wù)提供特性和功能，以要的特性，包括在平臺(tái)外部部署模型或需要目錄中架構(gòu)框架內(nèi)實(shí)施授權(quán)的模型訪問(wèn)。此外，它還涉及部署用于持續(xù)集成/持續(xù)部署數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)的攝取、轉(zhuǎn)換、安全和治理。模型運(yùn)營(yíng)構(gòu)建、獲取和試驗(yàn)機(jī)器學(xué)習(xí)模型。模型部署和服務(wù)機(jī)器學(xué)習(xí)模型的安全部署、服務(wù)和監(jiān)控。運(yùn)營(yíng)和平臺(tái)MLOps的平臺(tái)安全性、模型隔離和CI/CD。?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有16表2:AI/ML安全風(fēng)險(xiǎn)概述數(shù)據(jù)運(yùn)營(yíng)原始數(shù)據(jù)、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)集數(shù)據(jù)丟失：未經(jīng)授權(quán)刪除或損壞數(shù)據(jù)。數(shù)據(jù)中毒：故意操縱數(shù)據(jù)以損害模型的完整性。合規(guī)挑戰(zhàn)：未能滿足數(shù)據(jù)保護(hù)的監(jiān)管要數(shù)據(jù)泄露/中毒：攻擊者可能會(huì)注入虛假數(shù)據(jù)或更改現(xiàn)有數(shù)據(jù)。實(shí)施穩(wěn)健的數(shù)據(jù)治理框架。部署異常檢測(cè)系統(tǒng)。建立恢復(fù)協(xié)議和定期數(shù)據(jù)備份。模型運(yùn)營(yíng)ML算法，模型管理模型盜竊：竊取專有模型。未經(jīng)授權(quán)的訪問(wèn)：未經(jīng)許可訪問(wèn)模型。通過(guò)API訪問(wèn)的攻擊：利用API漏洞訪問(wèn)或操縱模型。模型竊?。ㄌ崛。簭?fù)制模型以供未經(jīng)授權(quán)的使用。加強(qiáng)訪問(wèn)控制和身份驗(yàn)證機(jī)制。通過(guò)加密和速率限制來(lái)保護(hù)API端點(diǎn)。定期更新和修補(bǔ)系統(tǒng)。模型部署和服務(wù)模型服務(wù)、推理響應(yīng)未經(jīng)授權(quán)的訪問(wèn)：未經(jīng)授權(quán)訪問(wèn)模型服務(wù)基礎(chǔ)設(shè)施。數(shù)據(jù)泄露：錯(cuò)誤的系統(tǒng)配置導(dǎo)致暴露敏感信息。模型欺騙（逃逸改變輸入以從模型中接收特定輸出。訓(xùn)練數(shù)據(jù)恢復(fù)（反演）：從模型中提取私人訓(xùn)練數(shù)據(jù)。安全部署實(shí)踐，包括容器化和網(wǎng)絡(luò)分段。主動(dòng)監(jiān)控和記錄模型交互。實(shí)施速率限制和異常檢測(cè)。運(yùn)營(yíng)和平臺(tái)機(jī)器學(xué)習(xí)運(yùn)營(yíng)、數(shù)據(jù)和人工智能平臺(tái)安全在的交叉污染。攻擊機(jī)器學(xué)習(xí)供應(yīng)型污染（投毒破持續(xù)的漏洞管理和修補(bǔ)。用于一致部署的CI/CD流程。隔離控制和安全架構(gòu)設(shè)計(jì)。?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有17誤分類或系統(tǒng)不可1.評(píng)估標(biāo)準(zhǔn)：在我們討論人工智能責(zé)任時(shí)，應(yīng)考慮可量化的指標(biāo)來(lái)評(píng)估人工智能系統(tǒng)的安全影響。通過(guò)量化這些指標(biāo)，利益相關(guān)者可以更相關(guān)風(fēng)險(xiǎn)以及如何應(yīng)對(duì)這些風(fēng)險(xiǎn)。組織必須經(jīng)常評(píng)估其人織安全計(jì)劃的一部分，評(píng)估和監(jiān)控這些關(guān)鍵措施將有助于這種責(zé)任分配對(duì)于安全的人工智能系統(tǒng)至關(guān)重要。當(dāng)然，點(diǎn)，本報(bào)告中描述的具體角色和團(tuán)隊(duì)僅供參考。首先，明重。其次，組織可以根據(jù)職責(zé)規(guī)劃適當(dāng)?shù)慕巧缓鬄檫@些角色配備相應(yīng)的團(tuán)隊(duì)，?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有183.高層實(shí)施策略：本節(jié)描述了將網(wǎng)絡(luò)安全的注意事項(xiàng)無(wú)縫集成到軟件開(kāi)發(fā)生命周期（SDLC）中的策略。組織必須優(yōu)先執(zhí)行信的機(jī)密性、完整性和可用性。同時(shí)應(yīng)嚴(yán)格實(shí)施訪問(wèn)控制止未經(jīng)授權(quán)的訪問(wèn)。必須建立健全的審計(jì)機(jī)制，以跟蹤為。影響評(píng)估應(yīng)分析判斷潛在的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，特別是4.持續(xù)監(jiān)控和報(bào)告：持續(xù)監(jiān)控和報(bào)告能夠確保人工智能系統(tǒng)的持續(xù)防護(hù)、安全并保證性能。關(guān)鍵組件包括實(shí)時(shí)監(jiān)控、對(duì)模型性能異常或安全事件告警、審計(jì)跟蹤/日志、和定期報(bào)告，以及能夠改進(jìn)或解決問(wèn)題的措施。保持透明度，提升效率并明確責(zé)任歸屬，以及建5.訪問(wèn)控制：訪問(wèn)控制對(duì)于保護(hù)人工智能系統(tǒng)至關(guān)重要，包括嚴(yán)格的API身份驗(yàn)用戶角色和權(quán)限，可以保護(hù)敏感數(shù)據(jù)，防止模型被篡改或?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有19前提條件本報(bào)告采取行業(yè)中立的立場(chǎng)，提供適用于各個(gè)行業(yè)1.首席信息安全官（CISO本報(bào)告專門針對(duì)CISO的關(guān)切和的角色正在許多組織中出現(xiàn)，預(yù)計(jì)在不久的將來(lái)，本?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有首席執(zhí)行官和首席技術(shù)官等商業(yè)領(lǐng)袖和政策制定4.政策制定者與監(jiān)管機(jī)構(gòu)：政策制定者和監(jiān)管機(jī)構(gòu)將發(fā)現(xiàn)這篇報(bào)告非常有價(jià)值，因?yàn)樗峁┝岁P(guān)鍵的見(jiàn)解，有助于制定有關(guān)5.投資者和股東：投資者和股東將會(huì)欣賞這份報(bào)告，因?yàn)樗故玖艘粋€(gè)組織對(duì)負(fù)職責(zé)角色定義各種角色。我們必須認(rèn)識(shí)到，每個(gè)組織可能會(huì)以不同的方式定職責(zé)，反映其獨(dú)特的運(yùn)營(yíng)需求、文化以及其人工智能計(jì)劃的具該表提供了對(duì)人工智能治理、技術(shù)支持、開(kāi)發(fā)和戰(zhàn)略管理中潛在角色的基本理解，但僅供參考。我們鼓勵(lì)各組織調(diào)整和定制這些角色，以最好地管理與戰(zhàn)略?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有21首席數(shù)據(jù)官（CDO）監(jiān)督企業(yè)數(shù)據(jù)管理、策略創(chuàng)建、數(shù)據(jù)質(zhì)量和生命周期。首席技術(shù)官（CTO）領(lǐng)導(dǎo)技術(shù)戰(zhàn)略并監(jiān)督技術(shù)發(fā)展。首席信息安全官（CISO）監(jiān)督信息安全戰(zhàn)略和運(yùn)營(yíng)。業(yè)務(wù)部門（BU）負(fù)責(zé)人指導(dǎo)業(yè)務(wù)部門，使人工智能計(jì)劃與業(yè)務(wù)目標(biāo)保持一致。首席人工智能官（CAIO）負(fù)責(zé)組織內(nèi)人工智能技術(shù)的戰(zhàn)略實(shí)施和管理。管理層監(jiān)督和指導(dǎo)整體戰(zhàn)略，確保與組織目標(biāo)保持一致，包括CEO、COO、CIO、CTO、CISO、CAIO、CFO等。首席云官領(lǐng)導(dǎo)云戰(zhàn)略，確保云資源與業(yè)務(wù)和技術(shù)目標(biāo)保持一致。首席架構(gòu)師領(lǐng)導(dǎo)架構(gòu)戰(zhàn)略，確保設(shè)計(jì)技術(shù)架構(gòu)與企業(yè)標(biāo)準(zhǔn)、流程、程序和目標(biāo)保持一致。技術(shù)選型，監(jiān)督設(shè)計(jì)的質(zhì)量和實(shí)施，在組織內(nèi)培養(yǎng)高級(jí)架構(gòu)師。治理與合規(guī)數(shù)據(jù)治理委員會(huì)為數(shù)據(jù)治理和使用制定政策和標(biāo)準(zhǔn)。治理與合規(guī)數(shù)據(jù)保護(hù)專員監(jiān)督數(shù)據(jù)保護(hù)策略和遵守?cái)?shù)據(jù)保護(hù)法律法規(guī)。治理與合規(guī)首席隱私官確保遵守隱私法律法規(guī)。治理與合規(guī)法律團(tuán)隊(duì)/部門提供有關(guān)人工智能部署和使用的法律指導(dǎo)。就法律/監(jiān)管義務(wù)進(jìn)行溝通。確保與人工智能供應(yīng)商簽訂的主協(xié)議中有適當(dāng)?shù)臈l款。治理與合規(guī)合規(guī)團(tuán)隊(duì)/部門確保遵守內(nèi)部和外部合規(guī)要求。治理與合規(guī)數(shù)據(jù)治理官管理組織內(nèi)的數(shù)據(jù)治理，確保符合政策、數(shù)據(jù)隱私法和監(jiān)管合規(guī)要求。治理與合規(guī)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有22信息安全官授權(quán)官員、管理官員或信息系統(tǒng)所有者，以確保為包括ISSO、ISM和ISS在內(nèi)的信息系統(tǒng)或項(xiàng)目保持適當(dāng)?shù)倪\(yùn)營(yíng)安全態(tài)勢(shì)。治理與合規(guī)技術(shù)和安全安全運(yùn)營(yíng)團(tuán)隊(duì)實(shí)施和監(jiān)控安全協(xié)議以保護(hù)數(shù)據(jù)和系統(tǒng)。網(wǎng)絡(luò)安全（NetworkSecurity）團(tuán)隊(duì)保護(hù)網(wǎng)絡(luò)免受威脅和漏洞的侵害云安全團(tuán)隊(duì)確?；谠频馁Y源和服務(wù)的安全性。網(wǎng)絡(luò)空間安全（Cybersecurity）團(tuán)隊(duì)保護(hù)組織資產(chǎn)免受網(wǎng)絡(luò)空間威脅、漏洞及未經(jīng)授權(quán)訪問(wèn)的侵害。IT運(yùn)營(yíng)團(tuán)隊(duì)支持和維護(hù)IT基礎(chǔ)設(shè)施，確保其運(yùn)營(yíng)和安全。網(wǎng)絡(luò)安全官監(jiān)督網(wǎng)絡(luò)的安全性，確保數(shù)據(jù)保護(hù)和威脅緩解。硬件安全團(tuán)隊(duì)保護(hù)物理硬件免受篡改和未經(jīng)授權(quán)的訪問(wèn)。系統(tǒng)管理員管理和配置IT系統(tǒng)和服務(wù)器，以實(shí)現(xiàn)最佳性能和安全性。運(yùn)營(yíng)與發(fā)展數(shù)據(jù)管理人負(fù)責(zé)安全保管、運(yùn)輸、數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)規(guī)則的實(shí)施。這是代表數(shù)據(jù)所有者獲取、操縱、存儲(chǔ)或移動(dòng)數(shù)據(jù)的任何組織或個(gè)人。AI開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)和實(shí)施AI模型和解決方案。質(zhì)量保證團(tuán)隊(duì)測(cè)試并確保AI應(yīng)用程序和系統(tǒng)的質(zhì)量。人工智能運(yùn)營(yíng)團(tuán)隊(duì)管理人工智能系統(tǒng)的運(yùn)行，以確保其性能和可靠性。?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有23應(yīng)用程序開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)應(yīng)用程序，根據(jù)需要集成AI功能。AI/ML測(cè)試團(tuán)隊(duì)專門測(cè)試AI/ML模型的準(zhǔn)確性、性能和可靠性。開(kāi)發(fā)運(yùn)營(yíng)（DevOps）團(tuán)隊(duì)提高部署效率，保持運(yùn)營(yíng)穩(wěn)定。開(kāi)發(fā)安全運(yùn)營(yíng)（DevSecOps）在整個(gè)軟件開(kāi)發(fā)生命周期（SDLC）中實(shí)施安全性。AI維護(hù)團(tuán)隊(duì)確保人工智能系統(tǒng)和模型在部署后得到更新、優(yōu)化和正確運(yùn)行。項(xiàng)目管理團(tuán)隊(duì)監(jiān)督人工智能項(xiàng)目從啟動(dòng)到完成，確保其達(dá)到目標(biāo)和時(shí)間表。運(yùn)營(yíng)人員支持日常運(yùn)營(yíng)，確保人工智能技術(shù)的順利集成和運(yùn)行。數(shù)據(jù)科學(xué)團(tuán)隊(duì)收集并準(zhǔn)備數(shù)據(jù)，用于AI模型訓(xùn)練和分析。容器管理團(tuán)隊(duì)管理容器化應(yīng)用程序，促進(jìn)部署和可擴(kuò)展性。IT運(yùn)營(yíng)團(tuán)隊(duì)確保IT基礎(chǔ)設(shè)施正常運(yùn)行，支持人工智能和技術(shù)需求。AI開(kāi)發(fā)經(jīng)理領(lǐng)導(dǎo)人工智能開(kāi)發(fā)項(xiàng)目，指導(dǎo)團(tuán)隊(duì)成功實(shí)施。人工智能運(yùn)營(yíng)主管指導(dǎo)與人工智能相關(guān)的運(yùn)營(yíng)，確保人工智能解決方案的效率和有效性。規(guī)范性引用文件lOpenAIPreparednessFramelEUAIActlCSACloudControlsMatrix(CC?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有l(wèi)WEFBriefingPaperslBuildingtheAI-Powered一、將數(shù)據(jù)安全和隱私納入人工智能訓(xùn)練人工智能正在從復(fù)雜的以模型為中心的方法轉(zhuǎn)向能現(xiàn)在不再主要依賴于在小數(shù)據(jù)集上訓(xùn)練的復(fù)雜模型，式數(shù)據(jù)流。然而，這種以數(shù)據(jù)為中心的范式也引發(fā)了人任、高層實(shí)施策略、持續(xù)監(jiān)控和報(bào)告機(jī)制、訪問(wèn)控制映射以基本準(zhǔn)則進(jìn)行了徹底分析。這種全面的方法確保了一個(gè)結(jié)構(gòu)架，用于管理推動(dòng)人工智能進(jìn)步的重要資產(chǎn)，同時(shí)也符合?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有251.1數(shù)據(jù)真實(shí)性和許可管理且可靠的。這涉及驗(yàn)證數(shù)據(jù)沒(méi)有被篡改或更改，以免誤導(dǎo)不真實(shí)或被操縱，模型可能會(huì)學(xué)到不正確的模式，導(dǎo)致性尤為重要，例如教育、醫(yī)療保健、金融服務(wù)、零售、制造此外，在為人工智能應(yīng)用程序收集和處理個(gè)人數(shù)據(jù)個(gè)人數(shù)據(jù)之前獲得個(gè)人的明確同意，并賦予個(gè)人訪問(wèn)、更行100%驗(yàn)證。此外，監(jiān)控?cái)?shù)據(jù)許可和GDPR法規(guī)的合規(guī)情況。委員會(huì)在保險(xiǎn)方面的要求，聯(lián)邦貿(mào)易委員會(huì)推行人及遵守?cái)?shù)據(jù)使用同意和GDPR規(guī)定。?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有26通過(guò)確保數(shù)據(jù)真實(shí)性、獲得適當(dāng)?shù)臄?shù)據(jù)使用同意并遵守GDPR等法規(guī)，組織可1.2匿名化和假名化此外，某些準(zhǔn)標(biāo)識(shí)符可能屬于特殊類別的個(gè)人數(shù)據(jù)（GDPR第9條-特殊類別?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有27在數(shù)據(jù)中添加統(tǒng)計(jì)噪聲以防止重新識(shí)別，可以進(jìn)一步加強(qiáng)隱私保護(hù)。此外，定期審計(jì)和合規(guī)檢查對(duì)于確保數(shù)據(jù)匿名化和假名化過(guò)程符合不斷發(fā)展的數(shù)相近（t-closeness）等技術(shù)來(lái)確保個(gè)人身份隱藏1.3數(shù)據(jù)最小化數(shù)據(jù)最小化是指只使用實(shí)現(xiàn)特定目的或功能所需法是許多數(shù)據(jù)保護(hù)法規(guī)（如GDPR）的要求。這也是可用于防止匿名數(shù)據(jù)重新識(shí)別?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有28型。這種做法有助于保護(hù)數(shù)據(jù)主體的隱私和安全，并提高率。在機(jī)器學(xué)習(xí)中，數(shù)據(jù)最小化涉及仔細(xì)選擇對(duì)模型訓(xùn)練數(shù)據(jù)點(diǎn)，同時(shí)排除無(wú)關(guān)或過(guò)多的數(shù)據(jù)。這與可解釋性、公1.4數(shù)據(jù)訪問(wèn)控制機(jī)器學(xué)習(xí)中的數(shù)據(jù)訪問(wèn)控制涉及管理和限制誰(shuí)可以訪問(wèn)修改或使用數(shù)據(jù)。在機(jī)器學(xué)習(xí)環(huán)境中，有效的訪問(wèn)控制對(duì)于保護(hù)敏感據(jù)完整性和遵守隱私法規(guī)至關(guān)重要。它通常涉及驗(yàn)證用戶身份的認(rèn)證戶角色授予用戶特定訪問(wèn)權(quán)限的授權(quán)協(xié)議，以及跟蹤數(shù)據(jù)訪問(wèn)和使用統(tǒng)。在組織中，AI模型通常是在從各種數(shù)據(jù)源或系統(tǒng)聚合的數(shù)據(jù)上運(yùn)行的。因此，訪問(wèn)他們被授權(quán)處理的特定數(shù)據(jù)，這些授權(quán)來(lái)自數(shù)據(jù)管理人或系統(tǒng)管?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有29該模型不僅應(yīng)集成健全的身份驗(yàn)證和授權(quán)協(xié)議，還應(yīng)集成多因素認(rèn)證l持續(xù)監(jiān)控和報(bào)告：監(jiān)控訪問(wèn)日志并進(jìn)行審計(jì)。采用工具基于風(fēng)險(xiǎn)標(biāo)記對(duì)關(guān)l訪問(wèn)控制映射：定期監(jiān)控和管理訪問(wèn)權(quán)1.5安全存儲(chǔ)和傳輸在機(jī)器學(xué)習(xí)中，安全存儲(chǔ)和傳輸對(duì)于保護(hù)敏感數(shù)據(jù)至關(guān)密靜態(tài)數(shù)據(jù)以防止未經(jīng)授權(quán)的訪問(wèn)，采用健全的訪問(wèn)控制，加密。這確保了數(shù)據(jù)在系統(tǒng)或網(wǎng)絡(luò)之間傳輸時(shí)保持機(jī)密性和授權(quán)的訪問(wèn)、使用和泄露數(shù)據(jù)，以及惡意或意外修改、刪除?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有30l評(píng)估標(biāo)準(zhǔn)：確保在傳輸和靜止?fàn)顟B(tài)的數(shù)l高層實(shí)施策略：投資先進(jìn)的加密技術(shù)，并根據(jù)策略自動(dòng)刪除人工智能數(shù)據(jù)l持續(xù)監(jiān)控和報(bào)告：使用工具進(jìn)行實(shí)時(shí)安全監(jiān)l訪問(wèn)控制映射：將安全存儲(chǔ)和傳輸與訪問(wèn)控制集成在一二、模型安全模型安全是一項(xiàng)多方面的任務(wù)，包括各種各樣的組件。這些訪問(wèn)控制、身份驗(yàn)證和授權(quán)框架、速率限制、模型生命周期管環(huán)境、基于硬件的安全功能、網(wǎng)絡(luò)安全控制、操作系統(tǒng)強(qiáng)化、2.1模型訪問(wèn)控制?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有31在什么情況下可以訪問(wèn)。隨著組織應(yīng)對(duì)人工智能部署的復(fù)雜制戰(zhàn)略勢(shì)在必行，以降低風(fēng)險(xiǎn)、保護(hù)知識(shí)產(chǎn)權(quán)和遵守監(jiān)管合實(shí)施健全的身份驗(yàn)證機(jī)制，如多因素認(rèn)證和基于角色的訪問(wèn)人工智能系統(tǒng)的安全。定期審計(jì)和監(jiān)控訪問(wèn)日志對(duì)于及時(shí)發(fā)加強(qiáng)對(duì)網(wǎng)絡(luò)威脅的防御，并確保其人工智能系統(tǒng)和數(shù)機(jī)器學(xué)習(xí)模型的身份驗(yàn)證和授權(quán)框架確保了對(duì)機(jī)器學(xué)習(xí)受到嚴(yán)格控制和管理，對(duì)于安全至關(guān)重要。身份驗(yàn)證通常常用密碼、令牌或生物特征驗(yàn)證等方法。同時(shí)，通過(guò)訪問(wèn)以根據(jù)既定的角色和權(quán)限查看、編輯或使用模型。這對(duì)于完整性以及遵守隱私和安全法規(guī)至關(guān)重要，從而防止對(duì)機(jī)經(jīng)授權(quán)的訪問(wèn)或修改。在人工智能中，特定的驗(yàn)證是所有景批準(zhǔn)、適當(dāng)?shù)厥褂萌斯ぶ悄軘?shù)據(jù)和模型。這與數(shù)字版權(quán)l(xiāng)評(píng)估標(biāo)準(zhǔn)：對(duì)所有未通過(guò)API訪問(wèn)的AI模型，?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有32機(jī)器學(xué)習(xí)中的模型接口速率限制涉及限制用戶或系統(tǒng)在以及確保用戶之間的公平資源分配至關(guān)重要。速率限制可以在用戶與ML模型交互在機(jī)器學(xué)習(xí)模型的全生命周期管理中，訪問(wèn)控制涉及在（開(kāi)發(fā)、部署和維護(hù)階段）管理和規(guī)范對(duì)ML模型的訪問(wèn)和交互。此過(guò)程確保只有授權(quán)人員或系統(tǒng)才能在各個(gè)階段與ML模型交互，從而保護(hù)模型免受未經(jīng)授權(quán)的訪?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有33的訪問(wèn)控制對(duì)于維護(hù)機(jī)器學(xué)習(xí)模型的安全性和有效性至關(guān)重可能的數(shù)據(jù)泄露、模型濫用，并能確保符合數(shù)據(jù)隱私和安全命周期的所有階段實(shí)施控制訪問(wèn)，組織可以保護(hù)他們的機(jī)器全高效的機(jī)器學(xué)習(xí)的開(kāi)發(fā)環(huán)境。模型生命周期管理中的訪問(wèn)模型的透明度和責(zé)任歸屬，能夠?yàn)閿?shù)據(jù)訪問(wèn)使用提供一致和記錄數(shù)據(jù)來(lái)源地址和目的地址。這一領(lǐng)域與隱私性、透明度為模型生命周期的每個(gè)階段定義明確的訪問(wèn)控制規(guī)則，并關(guān)聯(lián)到各用?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有342.2安全的模型運(yùn)行環(huán)境該精心設(shè)計(jì)和增強(qiáng)其運(yùn)行時(shí)環(huán)境，以維護(hù)其完整性、機(jī)密執(zhí)行環(huán)境的硬件安全功能到防火墻和網(wǎng)絡(luò)隔離等網(wǎng)絡(luò)安全行業(yè)標(biāo)準(zhǔn)，我們應(yīng)進(jìn)行團(tuán)隊(duì)的跨學(xué)科合作，協(xié)調(diào)實(shí)施、監(jiān)機(jī)器學(xué)習(xí)模型的基于硬件的安全特性包括計(jì)算硬件中的物理這些元素增強(qiáng)了機(jī)器學(xué)習(xí)應(yīng)用程序的安全性。具于隔離和安全處理的機(jī)密計(jì)算，用于保護(hù)敏感代碼和數(shù)據(jù)的安全隔離區(qū)（Secure?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有35安全層方面至關(guān)重要，尤其是在金融、醫(yī)療保健或國(guó)防等高風(fēng)機(jī)器學(xué)習(xí)模型的網(wǎng)絡(luò)安全控制是為保護(hù)機(jī)器學(xué)習(xí)模型及絡(luò)的威脅和漏洞而實(shí)施的措施和協(xié)議。通過(guò)采用零信任架構(gòu)廣泛的網(wǎng)絡(luò)隔離開(kāi)來(lái)。它通過(guò)隔離人工智能系統(tǒng)和機(jī)器學(xué)習(xí)攻擊者更難在網(wǎng)絡(luò)中橫向移動(dòng)。這些控制對(duì)于在傳輸過(guò)程中網(wǎng)絡(luò)安全的關(guān)鍵控制包括：使用下一代防火墻進(jìn)行監(jiān)測(cè)、控量，使用TLS等加密協(xié)議保護(hù)傳輸中的數(shù)據(jù)，使用入侵檢測(cè)與預(yù)防系統(tǒng)（IDPS）以創(chuàng)建安全通信通道，以及使用安全的API網(wǎng)關(guān)來(lái)管理和驗(yàn)證對(duì)機(jī)器學(xué)習(xí)模型的API調(diào)用。在機(jī)器學(xué)習(xí)環(huán)境中，數(shù)據(jù)和模型安全性是首要的；因?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有36學(xué)習(xí)環(huán)境中非常關(guān)鍵，尤其是在通過(guò)網(wǎng)絡(luò)（包確保控制合規(guī)。定期進(jìn)行滲透測(cè)試和漏洞評(píng)估是一種積極主動(dòng)的方法，有助于在攻擊者利用這些潛在弱點(diǎn)之前發(fā)現(xiàn)網(wǎng)絡(luò)安全控制中的漏洞，從而確l基本準(zhǔn)則：與網(wǎng)絡(luò)安全相關(guān)的CIS控件V8 （/insights/white-papers/cis-contr機(jī)器學(xué)習(xí)模型的操作系統(tǒng)級(jí)加固和安全配置涉及強(qiáng)化運(yùn)程序的底層操作系統(tǒng)（OS以降低風(fēng)險(xiǎn)和減少漏洞。這個(gè)過(guò)程對(duì)于為機(jī)器學(xué)習(xí)操作創(chuàng)建一個(gè)安全的環(huán)境至關(guān)重要，因?yàn)椴僮飨到y(tǒng)是這些應(yīng)用最小化安裝：刪除或禁用操作系統(tǒng)中對(duì)于ML運(yùn)營(yíng)不必要的服務(wù)、應(yīng)用程序和?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有37配置安全設(shè)置：調(diào)整操作系統(tǒng)設(shè)置以增強(qiáng)安全性，例用戶訪問(wèn)控制：實(shí)施嚴(yán)格的用戶訪問(wèn)控制，確保監(jiān)控和審計(jì)：設(shè)置監(jiān)控和審計(jì)工具來(lái)跟蹤操作系統(tǒng)這些威脅可能損害機(jī)器學(xué)習(xí)模型及其數(shù)據(jù)的K8s和機(jī)器學(xué)習(xí)的容器安全指的是一套用于保護(hù)容器化的ML應(yīng)用程序及其部署環(huán)境的實(shí)踐和工具。K8s是一個(gè)容器編排平臺(tái)，容器化技術(shù)被廣泛用于部署和管理機(jī)器學(xué)習(xí)模型及工作負(fù)載。在這種情況下，具體的安全風(fēng)險(xiǎn)管理框架下安全配置容器并減少漏洞，實(shí)施強(qiáng)大的K8s集群?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有38權(quán)限、定期掃描漏洞，以及執(zhí)行治一系列安全策略，包括：在ML工作流中治理容器安全運(yùn)行及交互，保護(hù)ML模型和數(shù)據(jù)免受安全威脅，如：未經(jīng)授權(quán)的訪問(wèn)、漏機(jī)器學(xué)習(xí)模型的云環(huán)境安全包括為保護(hù)基于云的基礎(chǔ)設(shè)其相關(guān)數(shù)據(jù)而實(shí)施的策略和措施。這涉及保護(hù)云上的數(shù)據(jù)存源的訪問(wèn)控制、加密靜態(tài)和傳輸中的數(shù)據(jù)以及確保部署在云的安全性。它還包括定期漏洞評(píng)估、遵守特定于云的安全標(biāo)問(wèn)管理的最佳實(shí)踐。這種安全性對(duì)于防止未經(jīng)授權(quán)的訪問(wèn)、脅至關(guān)重要，可確保在云環(huán)境的動(dòng)態(tài)和分布式特性下，機(jī)器?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有392.3漏洞和補(bǔ)丁管理本章節(jié)中的職責(zé)和方法應(yīng)納入組織更廣泛的安全和效地開(kāi)發(fā)、部署和維護(hù)人工智能系統(tǒng)。對(duì)這些流程的定期審查不斷發(fā)展的威脅和技術(shù)，這種定期審查可以識(shí)別軟件缺陷、漏進(jìn)行排序，處理系統(tǒng)故障、報(bào)錯(cuò)和失效，讓人工智能系統(tǒng)免于列舉的這些技術(shù)位于組織中責(zé)任的各個(gè)方面，能夠確保和提高性、可靠性和可信度.機(jī)器學(xué)習(xí)代碼完整性保護(hù)是指為確保機(jī)器學(xué)習(xí)應(yīng)用程序性和完整性而采取的措施和實(shí)踐。這涉及保護(hù)代碼免受未經(jīng)實(shí)性，并在整個(gè)開(kāi)發(fā)和部署過(guò)程中保持質(zhì)量。最佳實(shí)踐包括蹤和管理更改，使用簽名來(lái)驗(yàn)證代碼的真實(shí)性，定期進(jìn)行代洞，以及使用靜態(tài)和動(dòng)態(tài)代碼分析工具來(lái)識(shí)別潛在的安全問(wèn)機(jī)器學(xué)習(xí)應(yīng)用程序的可信度、防止惡意代碼注入以及確保機(jī)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有40對(duì)敏感的機(jī)器學(xué)習(xí)代碼庫(kù)使用多因素認(rèn)證。?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有41機(jī)器學(xué)習(xí)訓(xùn)練和部署代碼的版本控制系統(tǒng)是管理機(jī)器學(xué)使團(tuán)隊(duì)能夠跟蹤和管理用于訓(xùn)練和部署機(jī)器學(xué)習(xí)模型的代碼過(guò)維護(hù)更改歷史、允許輕松跟蹤修改以及在需要時(shí)支持回滾開(kāi)發(fā)人員和數(shù)據(jù)專家之間的協(xié)作。它們?cè)谔幚砀鞣N版本的機(jī)據(jù)集方面至關(guān)重要，可確保機(jī)器學(xué)習(xí)實(shí)驗(yàn)和部署的一致性和本控制，團(tuán)隊(duì)可以有效地管理機(jī)器學(xué)習(xí)模型的生命周期，從?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有42監(jiān)控提交活動(dòng)并識(shí)別異常模式在機(jī)器學(xué)習(xí)環(huán)境中，安全實(shí)踐之一是利用代碼簽名驗(yàn)證名用于驗(yàn)證機(jī)器學(xué)習(xí)模型中使用的軟件代碼的真實(shí)性和完整碼經(jīng)過(guò)審查和批準(zhǔn)部署后，將加密簽名附加到代碼上。簽名代碼自簽名以來(lái)是否被更改或篡改。在機(jī)器學(xué)習(xí)工作流中，訓(xùn)練、測(cè)試和部署機(jī)器學(xué)習(xí)模型的代碼是準(zhǔn)確的、授權(quán)的版非常重要。這種做法有助于保持對(duì)機(jī)器學(xué)習(xí)軟件供應(yīng)鏈的信?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有43?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有44理和配置計(jì)算基礎(chǔ)設(shè)施，而不是通過(guò)物理硬件配置或交互式夠以一致和可重復(fù)的方式自動(dòng)設(shè)置、配置和管理機(jī)器學(xué)習(xí)模云、本地或混合設(shè)置）中快速部署和擴(kuò)展他們的模型，只需方法提高了基礎(chǔ)設(shè)施的效率和可靠性。通過(guò)部署機(jī)器學(xué)習(xí)?？删S護(hù)、版本受控并符合定義，從而改善協(xié)作并降低機(jī)器學(xué)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有452.4MLOps流水線安全?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有46機(jī)器學(xué)習(xí)中的源代碼漏洞掃描涉及使用自動(dòng)化工具系統(tǒng)序的源代碼中的安全漏洞和編碼缺陷。這種做法對(duì)于早期發(fā)學(xué)習(xí)系統(tǒng)的潛在安全漏洞至關(guān)重要。掃描通常會(huì)檢查常見(jiàn)的注入缺陷、調(diào)用不安全的庫(kù)以及可能導(dǎo)致意外行為或性能問(wèn)期掃描機(jī)器學(xué)習(xí)代碼，開(kāi)發(fā)人員和數(shù)據(jù)專家可以確保代碼庫(kù)這種主動(dòng)的方法對(duì)于維護(hù)機(jī)器學(xué)習(xí)應(yīng)用程序的完整l高層實(shí)施策略：利用自動(dòng)化工具實(shí)施定期的源代碼漏洞掃描，并將這些工l持續(xù)監(jiān)控和報(bào)告：為代碼掃描建立持續(xù)監(jiān)控系統(tǒng)，并實(shí)時(shí)報(bào)告結(jié)l訪問(wèn)控制映射：確保只有授權(quán)人員才能訪問(wèn)和修改源代碼和掃描工?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有47在機(jī)器學(xué)習(xí)中測(cè)試模型對(duì)攻擊的魯棒性來(lái)評(píng)估機(jī)器學(xué)習(xí)夠承受和應(yīng)對(duì)各種對(duì)抗性攻擊或操縱的能力。該測(cè)試對(duì)于識(shí)在漏洞至關(guān)重要，這些漏洞可能被利用，從而產(chǎn)生不正確的泄露敏感信息。它通常包括用人為制作的輸入（對(duì)抗性樣本應(yīng)對(duì)此類攻擊的能力，分析模型在不同威脅場(chǎng)景下的行為，惡意輸入時(shí)保持性能和準(zhǔn)確性的能力。魯棒性測(cè)試有助于確性和安全性，特別是需要穩(wěn)固的決策能力的應(yīng)用中，如自動(dòng)l高層實(shí)施策略：為模型開(kāi)發(fā)穩(wěn)健的測(cè)試框架，重點(diǎn)是識(shí)別和減輕潛在的攻l持續(xù)監(jiān)測(cè)和報(bào)告：實(shí)施持續(xù)評(píng)估模型魯棒性的機(jī)制，并定期向利益相關(guān)者l訪問(wèn)控制映射：適當(dāng)?shù)乜刂茖?duì)測(cè)試框架和模型的訪?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有48在機(jī)器學(xué)習(xí)的每個(gè)階段驗(yàn)證流水線完整性是指確保機(jī)器（從數(shù)據(jù)收集和預(yù)處理到模型訓(xùn)練、評(píng)估和部署）正確安全段進(jìn)行徹底的檢查和驗(yàn)證，以防止數(shù)據(jù)損壞、未經(jīng)授權(quán)的訪線性能和模型準(zhǔn)確性的漏洞。此類驗(yàn)證包括驗(yàn)證數(shù)據(jù)質(zhì)量和據(jù)處理實(shí)踐，評(píng)估模型訓(xùn)練過(guò)程的可靠性和可重復(fù)性，以及并按預(yù)期運(yùn)行。這種全面的驗(yàn)證方法對(duì)于維護(hù)機(jī)器學(xué)習(xí)流水性至關(guān)重要，特別是在復(fù)雜或高風(fēng)險(xiǎn)的環(huán)境中，機(jī)器學(xué)習(xí)模查采用百分比評(píng)估，并驗(yàn)證評(píng)估過(guò)程的深度和完整度，可以確保流水線的咨詢：質(zhì)量保證（QA）團(tuán)隊(duì)是咨詢性的，為驗(yàn)證過(guò)程提供專家建議和數(shù)據(jù)和流程完整性建立明確的程序和標(biāo)準(zhǔn)。它涉及對(duì)每個(gè)流水線階段定義?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有49特定的驗(yàn)證測(cè)試和檢查，確保從數(shù)據(jù)采集到模型部署的每個(gè)環(huán)節(jié)都能正確l持續(xù)監(jiān)測(cè)和報(bào)告：驗(yàn)證流水線完整性的重要組成部分正在實(shí)施一個(gè)持續(xù)驗(yàn)證和實(shí)時(shí)報(bào)告系統(tǒng)。該系統(tǒng)應(yīng)在出現(xiàn)任何差異或異常時(shí)進(jìn)行檢測(cè)，以便立l訪問(wèn)控制映射：嚴(yán)格的訪問(wèn)控制對(duì)于維護(hù)每個(gè)文件的完整性至關(guān)重要MLOps流水線的階段。這涉及定義和執(zhí)行誰(shuí)有權(quán)訪問(wèn)流水線的各在什么條件下，以及以什么級(jí)別的權(quán)限。此類控制對(duì)于防止可能損害流水l基本準(zhǔn)則：為了確保遵循最佳實(shí)踐，重要的是要使流水線驗(yàn)證過(guò)程符合既和指南。遵照此框架體系可以為安全性和效率提供基準(zhǔn)，指導(dǎo)穩(wěn)健可靠地這項(xiàng)任務(wù)涉及對(duì)所有腳本的密切監(jiān)控，利用這些腳l評(píng)估標(biāo)準(zhǔn)：監(jiān)控自動(dòng)化腳本的有效性由兩個(gè)主要指標(biāo)來(lái)量化：持續(xù)監(jiān)控下的自動(dòng)化腳本的百分比和監(jiān)控活動(dòng)的頻率。此評(píng)估有助于確保所有腳本正他們的職責(zé)包括監(jiān)督腳本的執(zhí)行，確保其性能和安全性，并識(shí)別操作?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有50告知：MLOps流水線中的所有利益相關(guān)者，包括數(shù)據(jù)專家、機(jī)器學(xué)習(xí)了流水線所有階段的統(tǒng)一方法，而且確保了決策是基于最新和準(zhǔn)確的l高層實(shí)施策略：為所有自動(dòng)化腳本實(shí)施全面的監(jiān)測(cè)系統(tǒng)是至關(guān)重要的。該系統(tǒng)應(yīng)跟蹤腳本的性能和效率，以確保其符合既定的標(biāo)準(zhǔn)和實(shí)踐。它應(yīng)該l持續(xù)監(jiān)測(cè)和報(bào)告：及時(shí)發(fā)現(xiàn)并解決自動(dòng)化腳本的問(wèn)題的關(guān)鍵是持續(xù)監(jiān)測(cè)。監(jiān)控系統(tǒng)應(yīng)能夠生成實(shí)時(shí)警報(bào)和報(bào)告，及時(shí)提供有關(guān)腳本性能、錯(cuò)誤或安l訪問(wèn)控制映射：嚴(yán)格的訪問(wèn)控制對(duì)于保護(hù)自動(dòng)化是必要的腳本和整個(gè)流水線。這涉及定義誰(shuí)可以訪問(wèn)、修改或執(zhí)行腳本。訪問(wèn)應(yīng)基于特定角色的要求，確保只有授權(quán)人員才能進(jìn)行更改，從而降低未經(jīng)授權(quán)或有害修改的風(fēng)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有512.5AI模型治理機(jī)器學(xué)習(xí)中的模型風(fēng)險(xiǎn)評(píng)估涉及系統(tǒng)性的評(píng)估機(jī)器學(xué)習(xí)潛在風(fēng)險(xiǎn)。該評(píng)估旨在識(shí)別和量化模型不準(zhǔn)確、偏差或失效主要關(guān)注領(lǐng)域包括：評(píng)估模型在不同數(shù)據(jù)集和場(chǎng)景中的準(zhǔn)確偏見(jiàn)或不公平結(jié)果的可能性，以及了解模型在極端情況或?qū)︼L(fēng)險(xiǎn)評(píng)估還考慮了模型失效的后果，特別是在醫(yī)療保健、金用中。這一過(guò)程對(duì)于識(shí)別和減輕風(fēng)險(xiǎn)至關(guān)重要，以確保通過(guò)l持續(xù)監(jiān)控和報(bào)告：作為軟件供應(yīng)鏈的一部分，利用工具實(shí)施持續(xù)的風(fēng)險(xiǎn)監(jiān)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有52l訪問(wèn)控制映射：確保對(duì)風(fēng)險(xiǎn)評(píng)估工具和數(shù)據(jù)的訪問(wèn)受到嚴(yán)格控制和監(jiān)這包括組織批準(zhǔn)機(jī)器學(xué)習(xí)模型部署到生產(chǎn)中所遵循序確保任何機(jī)器學(xué)習(xí)模型都與業(yè)務(wù)目標(biāo)保持一致，符合監(jiān)管需的性能基準(zhǔn)。通常，這涉及一個(gè)多步驟的審查過(guò)程，涉及數(shù)據(jù)科學(xué)家、業(yè)務(wù)分析師、風(fēng)險(xiǎn)管理團(tuán)隊(duì)，有時(shí)還有法律和估模型的有效性、可靠性和潛在的業(yè)務(wù)影響。經(jīng)常評(píng)估的關(guān)準(zhǔn)確性、驗(yàn)證數(shù)據(jù)集的性能、潛在的偏見(jiàn)或倫理問(wèn)題，以及這些程序的目的是建立一種可控且知情的方法來(lái)部署機(jī)器學(xué)低業(yè)務(wù)風(fēng)險(xiǎn)，并確保負(fù)責(zé)任地使用人工智能技術(shù)。比如，OpenAI的準(zhǔn)備框架l評(píng)估標(biāo)準(zhǔn)：跟蹤批準(zhǔn)部署的AI模型的百分l持續(xù)監(jiān)控和報(bào)告：維護(hù)審批流程和決策的記錄，并建立定期審查機(jī)l訪問(wèn)控制映射：控制對(duì)審批文件和決策工具的訪?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有53模型監(jiān)控要求指的是在部署到生產(chǎn)環(huán)境后跟蹤和評(píng)估機(jī)過(guò)程。這種監(jiān)控對(duì)于確保模型在不同條件下能否長(zhǎng)時(shí)間監(jiān)控的關(guān)鍵方面包括：跟蹤模型的預(yù)測(cè)準(zhǔn)確性，檢測(cè)模系統(tǒng)的整體健康和性能。此外，當(dāng)模型性能發(fā)生重大變利益相關(guān)方。持續(xù)的監(jiān)控有助于及時(shí)識(shí)別和解決模型退l評(píng)估標(biāo)準(zhǔn)：根據(jù)監(jiān)控活動(dòng)的頻率和深度評(píng)估模l高層實(shí)施策略：實(shí)施一個(gè)全面的模型監(jiān)控系統(tǒng)，跟蹤性能、準(zhǔn)確性和合規(guī)性。最近的機(jī)器學(xué)習(xí)監(jiān)控技術(shù)包括數(shù)據(jù)和概念漂移檢測(cè)、模型性能跟蹤、特征屬性分析、偏差檢測(cè)和實(shí)時(shí)警報(bào)等功能。以下一些示例說(shuō)明了這些功實(shí)時(shí)推理數(shù)據(jù)并將其與基線對(duì)比；谷歌云人工智能平臺(tái)預(yù)測(cè)監(jiān)控（GoogleCloudAIPlatformPredictionMonitoring可以提供模型預(yù)測(cè)和數(shù)據(jù)漂移的深度分析；其他各類人工智能監(jiān)控和可解釋性平臺(tái)，可以支持團(tuán)隊(duì)監(jiān)控、解釋和分析生產(chǎn)環(huán)境中的機(jī)器學(xué)習(xí)模型，從而檢測(cè)數(shù)據(jù)漂移、模型漂移和偏?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有54l持續(xù)監(jiān)測(cè)和報(bào)告：建立持續(xù)數(shù)據(jù)收集和分析系統(tǒng)，并對(duì)性能下降或異常發(fā)l訪問(wèn)控制映射：限制對(duì)監(jiān)控工具和敏感數(shù)據(jù)的訪新模型驗(yàn)證過(guò)程涉及在將新的機(jī)器學(xué)習(xí)模型部署到格測(cè)試和驗(yàn)證的系統(tǒng)程序。這些過(guò)程旨在確保模型滿足預(yù)定公平性標(biāo)準(zhǔn)，并且確保沒(méi)有導(dǎo)致不正確或不公平結(jié)果的缺陷對(duì)不同數(shù)據(jù)集進(jìn)行廣泛測(cè)試，以評(píng)估模型的性能和泛化能力理問(wèn)題，并評(píng)估模型在對(duì)抗性攻擊或數(shù)據(jù)異常等情況下的魯通常涉及對(duì)模型文檔和開(kāi)發(fā)實(shí)踐進(jìn)行審查，以確保符合行業(yè)驗(yàn)證過(guò)程旨在建立對(duì)新模型的能力和部署準(zhǔn)備的信心，確保l評(píng)估標(biāo)準(zhǔn)：衡量驗(yàn)證過(guò)程的全面性，即：完成全面驗(yàn)證的模型百分l高層實(shí)施策略：制定嚴(yán)格的流程來(lái)驗(yàn)證新模型，包括測(cè)試準(zhǔn)確性、偏差和l持續(xù)監(jiān)測(cè)和報(bào)告：為部署后新模型的持續(xù)評(píng)估建立協(xié)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有55l訪問(wèn)控制映射：確保嚴(yán)格控制誰(shuí)可以批準(zhǔn)和部署新模2.6安全模型部署這涉及一系列實(shí)踐，以確保部署過(guò)程安全、可控并灰度發(fā)布是一種用于將新機(jī)器學(xué)習(xí)模型引入生產(chǎn)在廣泛部署新ML模型之前，先逐步向一小部分用戶推出。這種技術(shù)能夠讓團(tuán)隊(duì)在實(shí)際數(shù)據(jù)和用戶交互的真實(shí)環(huán)境中測(cè)試和監(jiān)控模型l評(píng)估標(biāo)準(zhǔn)：通過(guò)早期部署的成功率和檢測(cè)到的問(wèn)題來(lái)監(jiān)控灰度發(fā)l高層實(shí)施策略：將灰度發(fā)布作為部署過(guò)程中的一個(gè)步驟，在實(shí)際?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有56藍(lán)綠部署是軟件部署（包括機(jī)器學(xué)習(xí)模型的部署）l評(píng)估標(biāo)準(zhǔn)：根據(jù)過(guò)渡過(guò)程的平順程度和部署期間的停機(jī)時(shí)間來(lái)評(píng)估部署策l高層實(shí)施策略：采用藍(lán)綠部署策略，以減少與部署新模型相關(guān)的停機(jī)時(shí)間l訪問(wèn)控制映射：管理兩個(gè)環(huán)境的訪問(wèn)控制，確保安全性和完整在機(jī)器學(xué)習(xí)模型的環(huán)境中，回滾功能是指當(dāng)新部署的模能不佳或?qū)е缕渌麊?wèn)題時(shí)，在生產(chǎn)環(huán)境中回退到ML模型的先前版本或檢查點(diǎn)的過(guò)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有57程。這是部署策略的一個(gè)關(guān)鍵方面，即使新模型未能達(dá)到預(yù)l評(píng)估標(biāo)準(zhǔn)：在需要時(shí)，通過(guò)回滾的速度和成功率來(lái)衡量有效l高層實(shí)施策略：確保部署過(guò)程包括高效的回滾功能，以便在必要時(shí)恢復(fù)到l持續(xù)監(jiān)控和報(bào)告：監(jiān)控部署以快速檢測(cè)需要回滾的問(wèn)l訪問(wèn)控制映射：控制對(duì)回滾工具和過(guò)程的訪模型退役是指從活動(dòng)生產(chǎn)環(huán)境中安全、系統(tǒng)地刪除機(jī)器型過(guò)時(shí)，被更高級(jí)的版本取代，或者不再滿足不斷發(fā)展的業(yè)模型退役過(guò)程變得至關(guān)重要。退役是機(jī)器學(xué)習(xí)模型生命周期l評(píng)估標(biāo)準(zhǔn)：通過(guò)正確處理退役模型的百分比和遵守退役協(xié)議的情況來(lái)評(píng)估?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有58l持續(xù)監(jiān)控和報(bào)告：實(shí)施監(jiān)控以確保正確遵循退役流l訪問(wèn)控制映射：限制對(duì)退役工具和數(shù)據(jù)的訪人工智能漏洞管理是保護(hù)人工智能和機(jī)器學(xué)習(xí)系3.1AI/ML資產(chǎn)清單AI/ML資產(chǎn)清單系統(tǒng)地記錄并更新AI/ML環(huán)境中的所有資產(chǎn)。這不僅包括模型涉及的API、算法、庫(kù)以及任何支持軟件或工具。該清單清晰地展示了正在使用的資源，這對(duì)于識(shí)別潛在漏洞和有效管理風(fēng)險(xiǎn)至關(guān)重要。根據(jù)使用的資產(chǎn)清單可以是模型卡、數(shù)據(jù)卡和模型注冊(cè)表等格式?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有59l評(píng)估標(biāo)準(zhǔn)：AI/ML資產(chǎn)清單的有效性是通過(guò)其全面性和更新的規(guī)律性來(lái)衡量的。全面的清單涵蓋了AI/ML環(huán)境的各個(gè)方面，沒(méi)有遺漏任何組件。更新的頻率同樣重要，這將確保清單反映AI/ML生態(tài)系統(tǒng)的當(dāng)前狀態(tài)，包括負(fù)責(zé)：首席信息官（CIO）或首席技術(shù)官（CTO）監(jiān)督流程，確保清單l高層實(shí)施策略：應(yīng)制定計(jì)劃，定期審查并更新AI/ML資產(chǎn)清單。這可以自動(dòng)化工具來(lái)實(shí)現(xiàn)，即：跟蹤AI/ML環(huán)境變化并提醒負(fù)責(zé)團(tuán)隊(duì)更新清單。該l持續(xù)監(jiān)控和報(bào)告：實(shí)施實(shí)時(shí)監(jiān)控系統(tǒng)有助于快速識(shí)別AI/ML資產(chǎn)的變化。這可以包括新模型部署、現(xiàn)有模型更新、數(shù)據(jù)集變更或軟件環(huán)境更改。持l訪問(wèn)控制映射：限制對(duì)AI/ML資產(chǎn)清單的訪問(wèn)對(duì)于維護(hù)其完整性和保密性至關(guān)重要。訪問(wèn)權(quán)限應(yīng)僅限于授權(quán)人員，根據(jù)他們與清單交互的需要，不單的管理符合行業(yè)最佳實(shí)踐和監(jiān)管要求。這些框架提供了有?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有603.2持續(xù)漏洞掃描括掃描模型、數(shù)據(jù)集、相關(guān)基礎(chǔ)設(shè)施（過(guò)時(shí)的庫(kù)或不安全的API）以及AI/ML環(huán)境中的任何其他組件。掃描的目的是發(fā)現(xiàn)可能被利用的漏洞資產(chǎn)的百分比和掃描的頻率。理想的漏洞掃描程序應(yīng)確保沒(méi)有任何組件被遺漏，并能夠定期進(jìn)行掃描，以捕捉由于環(huán)境更新或變化而可能出現(xiàn)的新執(zhí)行：安全運(yùn)營(yíng)團(tuán)隊(duì)執(zhí)行掃描過(guò)程，利用各類工具和技術(shù)進(jìn)行全面評(píng)負(fù)責(zé)：首席信息安全官（CISO）監(jiān)督整個(gè)過(guò)程，確保有效進(jìn)行掃描并l高層實(shí)施策略：實(shí)施自動(dòng)化掃描工具可執(zhí)行高效和有效的漏洞掃描。這些工具應(yīng)配置為定期掃描所有AI/ML資產(chǎn)，并在新威脅出現(xiàn)時(shí)進(jìn)行更新。安?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有61l持續(xù)監(jiān)測(cè)和報(bào)告：建立警報(bào)系統(tǒng)至關(guān)重要，以便及時(shí)將已發(fā)現(xiàn)的新漏洞通l訪問(wèn)控制映射：訪問(wèn)漏洞掃描工具和結(jié)果應(yīng)嚴(yán)格控制。只有授權(quán)人員才能進(jìn)行掃描并訪問(wèn)詳細(xì)結(jié)果，以確保掃描過(guò)程中暴業(yè)最佳實(shí)踐。這些標(biāo)準(zhǔn)提供了有效識(shí)別和解決漏洞的指導(dǎo)方針，增強(qiáng)了3.3基于風(fēng)險(xiǎn)的優(yōu)先級(jí)排序?qū)ζ溥M(jìn)行評(píng)估和排序。這一過(guò)程有助于組織將資源和精力集l評(píng)估標(biāo)準(zhǔn)：這種方法的有效性是通過(guò)已成功解決的高風(fēng)險(xiǎn)漏洞與已識(shí)別漏洞總數(shù)的比例來(lái)衡量的。高百分比表明對(duì)最嚴(yán)重的風(fēng)險(xiǎn)的優(yōu)先級(jí)排序并修負(fù)責(zé)：首席信息安全官（CISO）監(jiān)督該流程，確保最關(guān)鍵的漏洞被發(fā)?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有62l高層實(shí)時(shí)策略：制定一個(gè)全面的風(fēng)險(xiǎn)評(píng)估框架至關(guān)重要。該框架應(yīng)包括評(píng)估漏洞嚴(yán)重性的標(biāo)準(zhǔn)，例如對(duì)機(jī)密性、完整性、可用性的潛在影響以及被l持續(xù)監(jiān)測(cè)和報(bào)告：實(shí)施一個(gè)持續(xù)監(jiān)測(cè)漏洞及其風(fēng)險(xiǎn)水平的系統(tǒng)至關(guān)重要。定期更新并報(bào)告漏洞的風(fēng)險(xiǎn)狀態(tài)，確保所有利益相關(guān)者了解當(dāng)前的威脅形l訪問(wèn)控制映射：應(yīng)嚴(yán)格控制對(duì)風(fēng)險(xiǎn)評(píng)估工具和漏洞數(shù)據(jù)的訪問(wèn)。只有授權(quán)人員才能對(duì)漏洞進(jìn)行評(píng)估、分類并進(jìn)行優(yōu)先級(jí)排序，這樣可以保持流程的保該過(guò)程與行業(yè)最佳實(shí)踐保持一致，并為管理AI/ML系統(tǒng)風(fēng)險(xiǎn)提供結(jié)構(gòu)化基于風(fēng)險(xiǎn)的優(yōu)先級(jí)排序是人工智能漏洞管理的重要組3.4修復(fù)跟蹤l評(píng)估標(biāo)準(zhǔn)：修復(fù)跟蹤的有效性基于兩個(gè)主要指標(biāo)進(jìn)行評(píng)估：修復(fù)漏洞所需表明修復(fù)工作高效且成功。根據(jù)前文定義的基于風(fēng)險(xiǎn)的漏洞優(yōu)先級(jí)排序，?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有63告知：隨時(shí)告