人工智能 可信賴規(guī)范 第4部分：機器學習模型（征求意見稿）

準T/CESAXXXX—2024機器學習模型Artificialintelligence–Trustworthinessspecification–Part4:Machinelearningmodels2022-XX-XX發(fā)布2022-XX-XX實施中國電子工業(yè)標準化技術協(xié)會發(fā)布I 引言可信賴、人工智能系統(tǒng)風險管理（簡稱人工智本文件基于第1部分中對人工智能可信賴的通用要求，結合機器學習模型自身特性和實現(xiàn)其可信賴1注1：依賴于語境，也依賴于具體的產(chǎn)品或服務、數(shù)據(jù)以及所用技術，應用不同的可信性賴特征并對其進行驗證，注2：可信賴的特征包括：可靠性、韌性、安全性（信息安全、功能安全）、隱私性、可問責、透明性、真實性、2如圖1所示，依據(jù)人工智能系統(tǒng)可信賴技術的通用要求，機器學習模型可信賴通用框架主要私保護、可靠性、透明性、可問責性和公平性共5項核心特征，關鍵技術域基于上述機器學習模型可信賴通用框架的關鍵技術域中提出的6項關鍵技術要素，并結合機器學習b)韌性：機器學習模型能夠抵抗對抗樣本、后門攻擊、數(shù)據(jù)投毒等外部惡意攻擊，并具備快速d)可追溯性：機器學習模型在全生命周期中具備數(shù)據(jù)、模型的可溯源能力，保障模型推理結果e)無偏見性：機器學習模型在全生命周期中通過數(shù)據(jù)均衡性檢測、模型偏見控制等方式抑制非○○○\\○○○\\○○○\\○○○○○○○\\\○○○○○3b)可用性：應確保機器學習模型及其相關數(shù)據(jù)時刻可被授權用戶進行訪問和使用，包括但不限c)完整性：應確保機器學習模型及其相關數(shù)據(jù)不被未經(jīng)授權的方式替換、篡改或破壞，包括但a)應確保機器學習模型具備功能正確性、容錯性和魯棒性，能夠在各種干擾信息的環(huán)境下保持b)應確保機器學習模型具備抵御惡意外部攻擊的韌性，并在適當條件下具備快速恢復性能表現(xiàn)a)機器學習模型應具備適當?shù)目山忉尮芾頇C制，可針對不同的利益相關方提供便于理解的不同4b)機器學習模型應在開發(fā)過程中具備一定的可解釋性，保障建模前、建模過程和建模后的可解5.2.4可問責性a)機器學習模型應具備適當?shù)目勺匪輽C制，可實現(xiàn)模型在設計開發(fā)、訓練、部署、推理、更新b)機器學習模型應具備適當?shù)目蓪徲嫏C制，如采用模型開發(fā)流程的審計日志和模型上線后的運a)機器學習模型應在模型概念構建階段具備適當?shù)乃惴ü叫栽O計，如在模型設計立項階段引b)機器學習模型應在模型評估階段進行合理、科學的偏見檢測和控制手段，并對公平性進行增5.3.1魯棒性a)在驗證測試和部署運行階段，訓練完的機器學習模型對不同場景類型數(shù)據(jù)、含噪聲信息的數(shù)b)在驗證測試階段，針對部分含神經(jīng)網(wǎng)絡結構的機器學習模型具備對異常情況的穩(wěn)定性，包括d)在設計開發(fā)階段，針對大量無標注數(shù)據(jù)的場景，利用數(shù)據(jù)提升機器學習模型魯棒性，包括但55.3.2韌性1）應通過數(shù)字世界白盒測試判斷惡意攻擊能力的上限，包括不同的優(yōu)化方法，損失函數(shù)，c)在部署運行階段，機器學習模型應具備非魯棒性防御能力，如對特定攻擊機制進行防御、主5.3.3可解釋性1)宜在模型訓練時加入先驗約束可解釋性，以增強c)在驗證測試和部署運行階段，針對訓練完的機器學習模型，通過算法賦予可解釋性，包括但a)在機器學習模型設計開發(fā)、驗證測試等階段應具備設計需求文檔、評估報告、審計日志等相b)在機器學習模型全生命周期中，機器學習模型相關數(shù)據(jù)應具備可溯源機制，如數(shù)字水印等技c)在機器學習模型全生命周期中，機器學習模型的版本可追溯、可問責，包括模型的版本管理d)在機器學習模型全生命周期中，機器學習模型應具備針對錯誤推理結果的記錄功能，使機器6a)在設計開發(fā)階段，機器學習模型相關訓練數(shù)據(jù)集和測試數(shù)據(jù)集應具備一定的均衡性，以規(guī)避a)機器學習模型相關訓練數(shù)據(jù)集和測試數(shù)據(jù)集應滿足GB/T35273—2020中對個人信息控制者和b)在機器學習模型的全生命周期中應確保模型和相關數(shù)據(jù)的完整性，如采用身份驗證或權限控c)在機器學習模型的全生命周期中應確保模型和相關數(shù)據(jù)的可用性，如采用差分隱私、聯(lián)邦學d)在機器學習模型的全生命周期中應確保模型和相關數(shù)據(jù)的保密性，如在模型訓練或推理過程b)針對部分含神經(jīng)網(wǎng)絡結構的機器學習模型，檢查是否采用5.3.1b7d)針對大量無標注數(shù)據(jù)的場景，檢查是否采用5.3.1d）中的a)檢查是否采用5.3.2a）中的方法測試數(shù)字世界、物2)檢查模型訓練開發(fā)文檔中是否針對特殊應用或業(yè)務的需求，已優(yōu)先考慮采用更具解釋性4)檢查模型可解釋性評估報告是否已充分考慮針對賦予可解釋性的算法自身的可信度評a)在機器學習模型開發(fā)流程中，檢查是否具備設計需求文檔、評估報告、審計日志等相關開發(fā)e)檢查模型部署運行日志中是否具備完善的運營數(shù)據(jù)，包括用戶使用記錄、模型推理日志、模a)在機器學習模型開發(fā)流程中，檢查是否具備訓練數(shù)據(jù)集、測試數(shù)據(jù)集的均衡性檢測結果或報8a)檢查機器學習模型相關訓練數(shù)據(jù)集、測試數(shù)據(jù)集是否滿足GB/T35273—2020中對個人信息控b)數(shù)據(jù)完整性：檢查模型開發(fā)階段，模型所需開發(fā)環(huán)境是否均具備適當?shù)纳矸蒡炞C或權限控制c)數(shù)據(jù)可