《北京市人工智能醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范檢查指南（2024版）》

（征求意見稿）

人工智能醫(yī)療器械是指基于“醫(yī)療器械數(shù)據(jù)”，采用人工智

能技術實現(xiàn)其預期用途（即醫(yī)療用途）的醫(yī)療器械，包括第二類、

第三類人工智能獨立軟件和含有人工智能軟件組件的醫(yī)療器械

（包括體外診斷醫(yī)療器械）。

本指南結(jié)合人工智能醫(yī)療器械特點，依據(jù)《醫(yī)療器械生產(chǎn)質(zhì)

量管理規(guī)范》《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件》《醫(yī)

療器械生產(chǎn)質(zhì)量管理規(guī)范獨立軟件現(xiàn)場檢查指導原則》等法規(guī)文

件，明確了在上述文件基礎上，對人工智能醫(yī)療器械的醫(yī)療器械

生產(chǎn)質(zhì)量管理體系要求。旨在幫助北京市醫(yī)療器械生產(chǎn)監(jiān)管人員

增強對人工智能醫(yī)療器械產(chǎn)品生產(chǎn)監(jiān)管的認知，指導和規(guī)范全市

醫(yī)療器械生產(chǎn)監(jiān)管人員對人工智能醫(yī)療器械生產(chǎn)企業(yè)監(jiān)督檢查

工作。同時，為相關生產(chǎn)企業(yè)開展生產(chǎn)管理活動提供參考。

本指南中引用的國家相關法規(guī)、規(guī)章、標準、檢查指南等版

本發(fā)生變化時，要以執(zhí)行的最新版為準。隨著法規(guī)、強制性標準

體系的不斷完善以及科技能力、認知水平的不斷發(fā)展，必要時，

北京市藥品監(jiān)督管理局將重新研究修訂，以確保本指南持續(xù)符合

要求。

一、機構(gòu)和人員

人工智能醫(yī)療器械具有對數(shù)據(jù)和算法依賴性高的特點，數(shù)據(jù)

處理和算法相關的機構(gòu)和人員是關鍵性要素，生產(chǎn)企業(yè)應定義相

關人員角色、明確職責和資質(zhì)要求。

（一）數(shù)據(jù)處理人員：生產(chǎn)企業(yè)應確立一名決策管理者全面

-1-

負責數(shù)據(jù)處理相關工作。數(shù)據(jù)處理人員一般包括數(shù)據(jù)研究人員、

數(shù)據(jù)管理人員、采集人員、標注人員、審核人員、仲裁人員等，

上述人員中標注、審核、仲裁人員之間不可相互兼任；應明確劃

分人員的職責、任職資質(zhì)、選拔、培訓、考核要求，如職稱、工

作年限、工作經(jīng)驗等；應有詳細的任命流程、培訓（如培訓材料、

培訓方案）及考核記錄（如方法、頻次、指標、通過準則、一致

性）等；對于生產(chǎn)企業(yè)外部聘用人員的還應記錄聘用、主要執(zhí)業(yè)

機構(gòu)、與產(chǎn)品相關的培訓等信息。

（二）算法相關人員：生產(chǎn)企業(yè)應建立具有算法研發(fā)能力且

穩(wěn)定的算法團隊，并確立一名管理負責人承擔算法的研發(fā)、部署

和更新責任。算法團隊人員一般包括：算法研究人員、算法工程

人員、算法測試人員、算法部署人員，上述人員中測試人員不可

與其他角色兼任。若采用外部委托研發(fā)或者直接使用開源項目進

行算法的研發(fā)，則必須有算法測試人員和部署人員，并對算法相

關的質(zhì)量負責。

二、廠房與設施

人工智能醫(yī)療器械的數(shù)據(jù)集是進行開發(fā)的要素，對采用自建

數(shù)據(jù)集的產(chǎn)品，數(shù)據(jù)預處理、清洗、標注等操作的場所為真實場

所或模擬場所，真實的場所應明確空間、照明、溫度、濕度、氣

壓等環(huán)境條件并保持相關記錄，采用模擬場所情形可根據(jù)產(chǎn)品實

際情況調(diào)整模擬程度，需詳述調(diào)整理由并予以記錄；對采用公開

數(shù)據(jù)集、第三方數(shù)據(jù)集，則需對數(shù)據(jù)集開發(fā)方所能提供范圍內(nèi)的

場地信息進行記錄。

-2-

三、設備

生產(chǎn)企業(yè)應結(jié)合自身產(chǎn)品的實際情況，在產(chǎn)品生存周期過程

提供充分、適宜、有效的軟硬件設備、開發(fā)測試工具、網(wǎng)絡資源

以及以及病毒防護、數(shù)據(jù)備份與恢復等保證措施。

（一）數(shù)據(jù)集構(gòu)建所用設備：

1.數(shù)據(jù)采集設備管理應明確兼容性和采集特征等要求，設備

的兼容性記錄應包括采集設備的名稱、規(guī)格型號、制造商、性能

指標等要求，若無需考慮兼容性要求詳述理由并予以記錄。采集

特征需明確采集設備的采集方式（如常規(guī)成像、增強成像）、采

集協(xié)議（如MRI成像序列）、采集參數(shù)（如CT加載電壓、加

載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）等

要求。數(shù)據(jù)采集若使用歷史數(shù)據(jù)，需列明采集設備及采集特征要

求，并開展數(shù)據(jù)采集質(zhì)量評估工作。

2.企業(yè)應配備執(zhí)行數(shù)據(jù)集相關任務需要的資源，如訪問、讀

取數(shù)據(jù)、預覽、檢索等任務需要的軟件、硬件、網(wǎng)絡配置。測試

集應配備封閉管理需要的軟件、硬件、網(wǎng)絡配置或管理要求。

3.數(shù)據(jù)標注應明確標注軟件（包含自動標注軟件）的要求，

明確標注軟件的名稱、規(guī)格型號、完整版本、制造商、運行環(huán)境、

軟件確認等要求并予以記錄。

4.若需使用特定的外部設備獲取附加的信息（如病理結(jié)果、

檢驗結(jié)果、數(shù)據(jù)模態(tài)轉(zhuǎn)化、多模態(tài)配準、體積測量、三維打印等），

設備的規(guī)格型號、計量信息（如需計量）等應確認要求并予以記

錄。

-3-

5.數(shù)據(jù)整理所用軟件工具（含腳本）均需明確名稱、規(guī)格型

號、完整版本、制造商、運行環(huán)境，并進行軟件確認。

（二）算法研發(fā)所用設備：

1.需明確定義并記錄進行算法訓練所用到服務器算力的最

低要求和兼容性要求（GPU型號和數(shù)量、CPU型號和數(shù)量、網(wǎng)

絡帶寬等）。

2.需明確定義并記錄產(chǎn)品部署運行所需算力的最低要求和

兼容性要求。

3.需明確定義并記錄算法訓練所用的操作系統(tǒng)、開發(fā)環(huán)境

（編程語言及版本、集成開發(fā)環(huán)境及版本、web服務及版本、支

持軟件及版本等）、算法架構(gòu)（基礎計算包、GPU指令集、集

成開發(fā)環(huán)境插件等）。

4.需明確定義并記錄算法測試所用的操作系統(tǒng)、開發(fā)環(huán)境、

算法框架、基礎服務等，若與其他外部設備進行配合或作為軟件

組件集成到其他醫(yī)療器械中，明確說明外部設備和器械的規(guī)格型

號。

5.需明確定義并記錄產(chǎn)品部署運行的操作系統(tǒng)、開發(fā)環(huán)境、

算法框架、基礎服務、虛擬機、應用容器引擎等。

四、設計開發(fā)

生產(chǎn)企業(yè)應結(jié)合質(zhì)量管理體系要求，建立人工智能醫(yī)療器械

生存周期過程，開展與軟件安全性級別相匹配的產(chǎn)品質(zhì)量保證工

作，確定需求分析、數(shù)據(jù)收集、算法設計、驗證與確認、部署運

行、更新控制等活動要求，將風險管理、可追溯分析（需包含算

-4-

法和數(shù)據(jù)）貫穿于生存周期全程，形成記錄。

（一）需求分析

1.需求分析應當以用戶需求與風險為導向，結(jié)合產(chǎn)品的預期

用途、使用場景、核心功能，綜合分析法規(guī)、標準、用戶、產(chǎn)品、

功能、性能、接口、用戶界面、網(wǎng)絡安全、警示提示等需求，明

確風險管理、可追溯性分析、數(shù)據(jù)收集、算法性能、使用限制、

現(xiàn)成軟件（現(xiàn)成算法）的驗證與確認等活動要求，形成軟件需求

規(guī)范和評審記錄并經(jīng)批準。

2.數(shù)據(jù)收集應當確保數(shù)據(jù)來源的合規(guī)性、充分性和多樣性，

數(shù)據(jù)分布的科學性和合理性，數(shù)據(jù)質(zhì)控的充分性、有效性和準確

性。

3.算法性能需結(jié)合醫(yī)療實際和產(chǎn)品定位，明確假陰性與假陽

性、重復性與再現(xiàn)性、魯棒性/健壯性、實時性等性能指標的適

用性及其要求，并兼顧不同性能指標的制約關系。

4.使用限制需考慮產(chǎn)品禁用、慎用等場景，準確表述產(chǎn)品使

用場景，提供必要警示提示信息。

（二）數(shù)據(jù)收集

1.數(shù)據(jù)采集

數(shù)據(jù)采集應當明確采集設備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要

求，并建立數(shù)據(jù)采集操作規(guī)范。若使用歷史數(shù)據(jù)，應當結(jié)合樣本

規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式，明確數(shù)據(jù)篩

選標準并對采集的數(shù)據(jù)進行質(zhì)量評估。

采集的數(shù)據(jù)應進行數(shù)據(jù)脫敏以保護患者隱私，數(shù)據(jù)脫敏需明

-5-

確脫敏的類型（靜態(tài)、動態(tài)）、規(guī)則、方法以及脫敏內(nèi)容的確定

依據(jù)。如使用歷史數(shù)據(jù)，企業(yè)接收的數(shù)據(jù)應為脫敏后的數(shù)據(jù)，不

得有敏感數(shù)據(jù)流入企業(yè)。

2.數(shù)據(jù)整理

數(shù)據(jù)整理應基于原始數(shù)據(jù)庫明確數(shù)據(jù)清洗、數(shù)據(jù)預處理的質(zhì)

控要求。數(shù)據(jù)清洗應當明確清洗的規(guī)則、方法、結(jié)果，數(shù)據(jù)預處

理應當明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均

一化等）、結(jié)果。數(shù)據(jù)經(jīng)整理后形成基礎數(shù)據(jù)庫，需明確樣本類

型、樣本量、樣本分布等信息。

3.數(shù)據(jù)標注

數(shù)據(jù)標注應當明確標注資源管理、標注過程質(zhì)控、標注質(zhì)量

評估等要求，并建立數(shù)據(jù)標注操作規(guī)范。標注過程質(zhì)控包括人員

職責（如人員資質(zhì)、人員數(shù)量、職責分工）、標注規(guī)則（如臨床

指南、專家共識、專家評議、文獻分析）、標注流程（如標注對

象、標注形式、標注輪次、標注步驟、結(jié)果審核）、分歧處理（如

仲裁人員、仲裁方式）、可追溯性（如數(shù)據(jù)、操作）等要求。數(shù)

據(jù)經(jīng)標注后形成標注數(shù)據(jù)庫，樣本類型可分為數(shù)據(jù)塊（如圖像區(qū)

域、數(shù)據(jù)片段）、單一數(shù)據(jù)（由多個數(shù)據(jù)塊組成）、數(shù)據(jù)序列（由

多個單一數(shù)據(jù)組成）。標注數(shù)據(jù)庫的樣本量、樣本分布等要求及

風險考量與基礎數(shù)據(jù)庫相同。

數(shù)據(jù)標注若使用自動標注軟件，結(jié)果不得直接使用，應由標

注人員審核后方可使用。

4.數(shù)據(jù)集構(gòu)建

-6-

基于標注數(shù)據(jù)庫構(gòu)建訓練集、調(diào)優(yōu)集（若有）、測試集，應

當明確訓練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分

配比例。訓練集原則上需保證樣本分布具有均衡性，測試集、調(diào)

優(yōu)集原則上需保證樣本分布符合真實情況，訓練集、調(diào)優(yōu)集、測

試集的樣本應兩兩無交集并通過查重予以驗證。

數(shù)據(jù)擴增（若有）應當明確擴增的對象、范圍、方式（離線、

在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成

對抗網(wǎng)絡等）、倍數(shù)，在線擴增亦需予以記錄，擴增需考慮數(shù)據(jù)

偏倚的影響及風險。原則上不得對測試集進行數(shù)據(jù)擴增。

數(shù)據(jù)經(jīng)擴增后應當形成擴增數(shù)據(jù)庫，需列表對比擴增數(shù)據(jù)庫

與標注數(shù)據(jù)庫在樣本量、樣本分布（注明擴增倍數(shù)）等差異，以

證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

（三）算法設計

1.算法選擇

算法選擇應當提供所用算法的名稱、類型（如有監(jiān)督學習、

無監(jiān)督學習，基于模型、基于數(shù)據(jù)，白盒、黑盒）、結(jié)構(gòu)（如層

數(shù)、參數(shù)規(guī)模）、輸入輸出數(shù)據(jù)類型、流程圖、算法編程框架、

運行環(huán)境等基本信息，并明確算法選用依據(jù)，包括選用的理由和

基本原則。若組合使用集成學習、遷移學習、強化學習等，需提

供算法基本信息以及算法選用依據(jù)。

2.算法訓練

算法訓練應當基于訓練集、調(diào)優(yōu)集進行訓練和調(diào)優(yōu)，考慮評

估指標、訓練方式、訓練目標、調(diào)優(yōu)方式、訓練數(shù)據(jù)量-評估指

-7-

標曲線等要求。

3.算法性能評估

算法性能評估應當基于測試集對算法設計結(jié)果進行評估，綜

合評估假陰性與假陽性、重復性與再現(xiàn)性、魯棒性/健壯性、實

時性等適用性，以證實算法性能滿足算法設計目標，并作為軟件

驗證、軟件確認的基礎。若使用第三方數(shù)據(jù)庫開展算法性能評估，

應當提供第三方數(shù)據(jù)庫的基本信息（如名稱、創(chuàng)建者、數(shù)據(jù)總量

等）和使用情況（如測試數(shù)據(jù)樣本量、評估指標、評估結(jié)果等）。

對于黑盒算法，應開展算法性能影響因素分析，并提供算法

性能影響因素分析報告，明確影響算法性能的主要因素及其影響

程度，以及產(chǎn)品使用限制和必要警示提示信息。

（四）驗證與確認

1.軟件驗證

軟件驗證應當基于軟件需求予以開展，保證軟件的安全有效

性，并作為軟件確認的基礎。

2.軟件確認

軟件確認測試應當基于用戶需求，由預期用戶在真實或模擬

使用場景下予以開展，涵蓋現(xiàn)成軟件、網(wǎng)絡安全的測試要求，確

定缺陷管理、風險管理、可追溯性分析、評審等活動要求，形成

用戶測試記錄、測試報告以及評審記錄并經(jīng)批準，適時更新并經(jīng)

批準?？勺匪菪苑治龃藭r應當分析用戶測試與用戶需求、用戶測

試與風險管理的關系。同時，開展算法性能比較分析，若各類測

試場景（含臨床評價）算法性能變異度較大，詳述原因并基于分

-8-

析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。最后，結(jié)合算法

訓練、算法性能評估、臨床評價等結(jié)果開展算法性能綜合評價，

針對訓練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設計

目標、算法性能變異度過大等情況，對產(chǎn)品的適用范圍、使用場

景、核心功能進行必要限制。

基于測評數(shù)據(jù)庫開展的，除滿足數(shù)據(jù)庫通用要求（如數(shù)據(jù)管

理、網(wǎng)絡安全與數(shù)據(jù)安全、可擴展性）外，還應滿足權威性、科

學性、規(guī)范性、多樣性、封閉性和動態(tài)性要求。不應使用公開數(shù)

據(jù)庫作為測評數(shù)據(jù)庫。

（五）部署運行

人工智能醫(yī)療器械的發(fā)布版本列明的算法關鍵模塊功能、

接口、版本、存儲形式（pt、pth、bin、onnx、pb、keras、ckpt、

pkl等）；主要功能組件模塊及相互依賴和接口關系；軟件的前

后端部署方式；對基礎軟件和硬件的依賴和兼容性要求等。

（六）更新控制

人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新，均應當按照

質(zhì)量管理體系的要求，開展與算法更新、軟件更新的類型、內(nèi)容

和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿

于更新全程，形成記錄。此外，算法更新、軟件更新均需考慮引

入回滾機制，以保證醫(yī)療業(yè)務的連續(xù)性，特別是對風險較高的軟

件。

軟件版本控制應當基于合規(guī)性要求確定軟件版本命名規(guī)則，

涵蓋自研軟件、現(xiàn)成軟件、算法（算法驅(qū)動型更新或數(shù)據(jù)驅(qū)動型

-9-

更新）網(wǎng)絡安全的全部軟件更新類型，明確并區(qū)分重大軟件更新

和輕微軟件更新，并符合軟件版本命名規(guī)則的要求。

對數(shù)據(jù)集進行用途（訓練、調(diào)優(yōu)、測試、驗證等）的變更，

應按照數(shù)據(jù)集管理體系的要求進行確認、形成記錄，其中驗證和

測試集只可變更為訓練和調(diào)優(yōu)使用，不可以將訓練、調(diào)優(yōu)、測試

集變更為驗證集。數(shù)據(jù)集數(shù)據(jù)的變更，應按照建立數(shù)據(jù)集過程相

同的質(zhì)量體系進行管理，并記錄更新內(nèi)容和版本變更。

（七）網(wǎng)絡與數(shù)據(jù)安全

人工智能醫(yī)療器械全生命周期過程中應當考慮網(wǎng)絡安全與

數(shù)據(jù)安全問題，對網(wǎng)絡與數(shù)據(jù)安全過程的控制要求形成文件，包

括數(shù)據(jù)轉(zhuǎn)移要求，數(shù)據(jù)整理、數(shù)據(jù)集構(gòu)建、算法訓練等內(nèi)部活動

開展過程中的數(shù)據(jù)污染防護措施，以及數(shù)據(jù)標注、軟件確認等涉

及外部活動開展過程中的數(shù)據(jù)污染防護措施及數(shù)據(jù)接口要求。

各數(shù)據(jù)庫（集）均需進行數(shù)據(jù)備份，明確備份的方法、頻次、

數(shù)據(jù)恢復方法。

數(shù)據(jù)庫和數(shù)據(jù)集訪問應形成文件及使用記錄，明確授權訪問

管理要求。

人工智能醫(yī)療器械軟件應明確算法的軟件安全性級別（輕

微、中等、嚴重）并詳述判定理由。應形成算法風險管理資料，

明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)污染與數(shù)據(jù)偏倚（如

數(shù)據(jù)擴增引入的偏倚）、中外差異等風險的控制措施。

（八）可追溯性分析

可追溯性分析應當建立控制程序，涵蓋軟件、現(xiàn)成軟件、算

-10-

法及數(shù)據(jù)、網(wǎng)絡安全的控制要求，形成軟件及算法的可追溯性分

析報告。使用可追溯性分析工具保證軟件開發(fā)、軟件更新過程滿

足可追溯性要求，并貫穿于軟件生存周期全過程。提供算法可追

溯性分析報告，即追溯算法需求、算法設計、源代碼（明確軟件

單元名稱即可）、算法測試、算法風險管理的關系表。若無單獨

文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所

在位置。

四、采購

生產(chǎn)企業(yè)應確保采購物品符合法律法規(guī)的相關規(guī)定和國家

強制性標準的相關要求，包括數(shù)據(jù)來源及以開源方式獲得的軟件

等。

數(shù)據(jù)來源應當提供數(shù)據(jù)來源的合規(guī)性聲明，列明數(shù)據(jù)來源機

構(gòu)名稱、所在地域、數(shù)據(jù)收集量、倫理批件（或科研合作協(xié)議）

編號等信息。

產(chǎn)品部署運行所需的軟硬件，應當記錄采購信息，其中以開

源方式獲得的軟件組件、基礎包、基礎軟件、集成環(huán)境等，應列

明來源、下載地址、版本、開源協(xié)議等信息。

五、銷售和售后服務

人工智能醫(yī)療器械軟件在產(chǎn)品設計具有持續(xù)學習/自適應學

習能力的，需要在軟件部署階段確認自學習功能已關閉，并提供

記錄。

六、不良事件監(jiān)測、分析和改進

上市后需要持續(xù)開展算法泛化能力研究的，需要結(jié)合用戶投

-11-

訴、不良事件和召回等情況識別前期未預見的風險，并采取有效

的風險控制措施將風險降至可接受水平。此外，根據(jù)產(chǎn)品更新需

求，經(jīng)評估后實施更新活動，開展與之相適宜的驗證與確認活動，

保證算法泛化能力持續(xù)滿足用戶需求。

-12-

附件1

設計開發(fā)檢查要點舉例說明

1、算法策劃

算法開發(fā)策劃階段，應對算法需求、數(shù)據(jù)收集、算法設計、

驗證與確認、算法更新、風險管理、可追溯性分析等過程進行算

法生命周期策劃，輸出《算法開發(fā)計劃書》。

2、算法需求

算法需求分析以用戶需求與風險為導向，結(jié)合產(chǎn)品的預期用

途、使用場景、核心功能，綜合分析法規(guī)、標準、用戶、產(chǎn)品、

功能、性能、接口、用戶界面、網(wǎng)絡安全、警示提示等需求，重

點考慮數(shù)據(jù)收集、算法性能、使用限制等要求。輸出《算法需求

規(guī)范》。

3、數(shù)據(jù)收集

3.1數(shù)據(jù)入選、排除標準

在《算法需求規(guī)范》中明確算法數(shù)據(jù)入選、排除標準。

3.2數(shù)據(jù)來源及質(zhì)控

數(shù)據(jù)收集應確保數(shù)據(jù)來源的合規(guī)性，數(shù)據(jù)質(zhì)控的充分性、有

效性、準確性。

3.3數(shù)據(jù)采集

數(shù)據(jù)采集需考慮采集設備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求，

并建立《數(shù)據(jù)采集操作規(guī)范》。

3.4數(shù)據(jù)整理

脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫，不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)

庫中需加以區(qū)分。數(shù)據(jù)整理基于原始數(shù)據(jù)庫考慮數(shù)據(jù)清洗、數(shù)據(jù)

-13-

預處理的質(zhì)控要求。輸出《數(shù)據(jù)整理規(guī)范》，同時《數(shù)據(jù)整理規(guī)

范》中需明確樣本類型、樣本量、樣品分布等信息，數(shù)據(jù)經(jīng)整理

后形成基礎數(shù)據(jù)庫。

3.5數(shù)據(jù)標注

3.5.1數(shù)據(jù)標注前應建立《數(shù)據(jù)標注操作規(guī)范》，明確標注

資源管理、標注過程質(zhì)控、標注質(zhì)量評估等要求。數(shù)據(jù)經(jīng)標注后

形成標注數(shù)據(jù)庫。

3.5.2數(shù)據(jù)標注可使用自動標注軟件，但自動標注結(jié)果不得

直接使用，應由標注人員審核后方可使用；同時，自動標注軟件

亦需明確名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境等信息，

并進行軟件確認。

3.6數(shù)據(jù)集構(gòu)建

3.6.1基于標注數(shù)據(jù)庫構(gòu)建訓練集、驗證集（調(diào)優(yōu)集）、測

試集，明確訓練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)

據(jù)分配比例，輸出《數(shù)據(jù)集構(gòu)建標準》。

3.6.2訓練集應當保證樣本分布具有均衡性，測試集、驗證

集（調(diào)優(yōu)集）應當保證樣本分布符合臨床實際情況，訓練集、驗

證集（調(diào)優(yōu)集）、測試集的樣本應當兩兩無交集并通過查重予以

驗證。

3.6.3為解決樣本分布不滿足預期的問題，可對訓練集、調(diào)

優(yōu)集小樣本量數(shù)據(jù)進行擴增，原則上不得對測試集進行數(shù)據(jù)擴

增，對抗測試除外。數(shù)據(jù)擴增需明確擴增的對象、方式（離線、

在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成

對抗網(wǎng)絡等）、倍數(shù)，擴增倍數(shù)過大應考慮數(shù)據(jù)偏倚的影響及風

險。若采用生成對抗網(wǎng)絡進行數(shù)據(jù)擴增，需明確算法基本信息以

-14-

及算法選用依據(jù)。

3.6.4數(shù)據(jù)經(jīng)擴增后形成擴增數(shù)據(jù)庫，需列表對比擴增數(shù)據(jù)

庫與標注數(shù)據(jù)庫在樣本量、樣本分布（注明擴增倍數(shù)）等差異，

以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

3.7數(shù)據(jù)庫管理

3.7.1數(shù)據(jù)庫管理應遵循真實性、完整性、可用性、合規(guī)性、

可追溯性、臨床代表性、時效性、安全性、準確性9大原則。

3.7.2應定期對邏輯數(shù)據(jù)庫（mysql）數(shù)據(jù)以及文件數(shù)據(jù)進行

備份，備份文件保存在不同機架的機器磁盤上以提高備份的安全

性。

3.7.3在整個數(shù)據(jù)轉(zhuǎn)移過程中，應當明確數(shù)據(jù)轉(zhuǎn)移方法、數(shù)

據(jù)防污染措施以及數(shù)據(jù)銷毀方式。

4、算法設計

人工智能算法設計主要考慮算法選擇、算法目標設定分析、

算法訓練、算法性能評估等要求，形成《算法設計說明書》。對

于黑盒算法，算法設計應開展算法性能影響因素分析，同時與現(xiàn)

有醫(yī)學知識建立關聯(lián)，以提升算法可解釋性。

5、驗證與確認

算法訓練過程中，需要明確算法訓練環(huán)境，應當對算法進行

性能評估，以確保選擇的算法準確、有效。算法驗證階段，明確

算法性能評估環(huán)境，應完成算法性能指標評估、壓力測試、對抗

測試，黑盒需要算法性能影響因素分析，輸出《算法性能評估報

告》。

同時，開展算法性能比較分析，詳述各類測試場景（含臨床

評價）算法性能變異度較大的原因，基于分析結(jié)果明確產(chǎn)品使用

-15-

限制和必要警示提示信息，輸出《算法性能比較分析報告》。

最后，結(jié)合算法訓練、算法性能評估、臨床評價等結(jié)果開展

算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結(jié)

果明顯低于算法設計目標、算法性能變異度過大等情況，對產(chǎn)品

的適用范圍、使用場景、核心功能進行必要限制。輸出《算法性

能綜合評價報告》。

6、算法風險管理

人工智能醫(yī)療器械的軟件安全性級別可基于產(chǎn)品的預期用

途、使用場景、核心功能進行綜合判定，并開展風險管理活動，

采取有效的風險控制措施將風險降至可接受水平，并貫穿于人工

智能醫(yī)療器械全生命周期過程。

人工智能醫(yī)療器械的主要風險從算法角度包括過擬合和欠

擬合。從用途角度，輔助決策主要包括假陰性和假陽性，其中假

陰性即漏診，可能導致后續(xù)診療活動延誤，特別是要考慮快速進

展疾病的診療活動延誤風險，而假陽性即誤診，可能導致后續(xù)不

必要的診療活動；非輔助決策從算法設計目標能否得以實現(xiàn)角

度，亦可參考輔助決策分為假陰性和假陽性。應輸出《風險管理

報告》，明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)擴增與數(shù)

據(jù)偏倚等風險的控制措施。

7、算法可追溯性分析

醫(yī)療器械全生命周期管理中，應實現(xiàn)算法的可追溯性，并形

成《可追溯性分析報告》，追溯算法需求、算法設計、源代碼（明

確軟件單元名稱即可）、算法測試、算法風險管理的關系表。

在數(shù)據(jù)收集過程中，數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標注、數(shù)據(jù)

集構(gòu)建過程中形成《數(shù)據(jù)脫敏交接記錄》、《數(shù)據(jù)清洗記錄》、

-16-

《數(shù)據(jù)標注記錄》、《數(shù)據(jù)審核記錄》、《數(shù)據(jù)仲裁記錄》、《數(shù)

據(jù)集構(gòu)建記錄》，以上記錄均由操作人員簽字確認。

數(shù)據(jù)收集過程中，每一例數(shù)據(jù)都可追溯到唯一識別號、脫敏

人員、清洗人員、標注人員、審核人員、仲裁人員、入庫人員，

保證了數(shù)據(jù)收集各環(huán)節(jié)的數(shù)據(jù)和操作人員的可追溯。

8、算法更新控制

人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新，均應當按照

質(zhì)量管理體系的要求，開展與算法更新、軟件更新的類型、內(nèi)容

和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿

于更新全程，形成記錄以供體系核查。

對于算法更新，無論算法驅(qū)動型更新還是數(shù)據(jù)驅(qū)動型更新，

均應開展算法性能評估、臨床評價等驗證與確認活動，以保證算

法更新的安全有效性。對于軟件更新，具體要求詳見醫(yī)療器械軟

件指導原則、醫(yī)療器械獨立軟件生產(chǎn)質(zhì)量現(xiàn)場檢查指導原則。

人工智能醫(yī)療器械所含的每個人工智能算法，均應獨立開展

需求分析、數(shù)據(jù)收集、算法設計、驗證與確認、更新控制等活動，

同時考慮人工智能算法組合的整體評價要求，以保證產(chǎn)品的安全

有效性。

-17-

附件3：

參考文獻

[1]醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件

[2]醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨立軟件現(xiàn)場檢查指導原則

[3]人工智能醫(yī)療器械注冊審查指導原則

[4]醫(yī)療器械軟件注冊審查指導原則（2022年修訂版）

[5]醫(yī)療器械網(wǎng)絡安全注冊審查指導原則（2022年修訂版）

[6]YY/T1833.1-2022人工智能醫(yī)療器械質(zhì)量要求和評價第1

部分：術語

[7]YY/T1833.2-2022人工智能醫(yī)療器械質(zhì)量要求和評價第2

部分：數(shù)據(jù)集通用要求

[8]YY/T1833.3-2022人工智能醫(yī)療器械質(zhì)量要求和評價第3

部分：數(shù)據(jù)標注通用要求

[9]YY/T1833.4-2023人工智能醫(yī)療器械質(zhì)量要求和評價第4

部分：可追溯性

[10]YY/TXXXX.X-XXXX《人工智能醫(yī)療器械質(zhì)量要求和評價

第5部分：預訓練模型》征求意見稿

[11]YY/T0287-2017醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求

[S]

[12]YY/T0316-2016醫(yī)療器械風險管理對醫(yī)療器械的應用[S]

[13]YY/T0664-2020醫(yī)療器械軟件軟件生存周期過程[S]

[14]IEEEStd2801-2022IEEERecommendedPracticeforthe

QualityManagementofDatasetsforMedicalArtificial

Intelligence[S]

-18-

附件4

術語

人工智能artificialintelligence（AI）：表現(xiàn)出與人類智能（如推理和學

習）相關的各種功能的功能單元的能力。

人工智能醫(yī)療器械artificialintelligencemedicaldevice（AIMD）：采用

AI技術實現(xiàn)其預期用途的醫(yī)療器械。

注1：如采用機器學習、模式識別、規(guī)則推理等技術實現(xiàn)其醫(yī)療用途的獨

立軟件。

注2：如采用內(nèi)嵌AI算法、AI芯片實現(xiàn)其醫(yī)療用途的醫(yī)療器械。

機器學習machinelearning：功能單元通過獲取新知識或技能，或通過整

理已有的知識或技能來改進其性能的過程。

注：也可稱為自動學習。

深度學習deeplearning：通過訓練具有多個隱層的神經(jīng)網(wǎng)絡來獲得輸入

輸出間映射關系的機器學習方法。

訓練training：基于機器學習算法，利用訓練數(shù)據(jù)，建立或改進機器學習

模型參數(shù)的過程。

監(jiān)督學習supervisedlearning：得的知識的正確性通過來自外部知識源的

反饋加以測試的學習策略。

注：也可稱為監(jiān)督式學習。

無監(jiān)督學習unsupervisedlearning：一種學習策略，它在于觀察并分析不

同的實體以及確定某些子集能分組到一定的類別里，而無需在獲得的知識

上通過來自外部知識源的反饋，以實現(xiàn)任何正確性測試。

注1：一旦形成概念，就對它給出名稱，該名稱就可以用于其他概念的后

續(xù)學習了；

-19-

注2：也可稱為無師（式）學習。

強化學習reinforcementlearning：一種學習策略，它強調(diào)從環(huán)境狀態(tài)到

動作映射的過程，目標是使動作從環(huán)境中獲得的累積獎賞值最大。

集成學習ensemblelearning：通過結(jié)合多個學習器來解決問題的一種機

器學習范式。其常見形式是利用一個基學習算法從訓練集產(chǎn)生多個基學習

器，然后通過投票等機制將基學習器進行結(jié)合。

[來源：計算機科學技術名詞ISBN978-7-03-059487-7，08.0222]

遷移學習transferlearning

利用一個學習領域A上有關學習問題T(A)的知識，改進學習領域B上相

關學習問題T(B)的學習算法的性能。

過擬合overfitting：學習器對訓練樣本過度學習，導致訓練樣本中不具有

普遍性的模式被學習器當作一般規(guī)律，降低了泛化性能；典型表現(xiàn)是訓練

集上的性能越高，測試集上的性能越低。

欠擬合underfitting：學習器對訓練樣本學習不充分，導致訓練樣本中包

含的重要模式?jīng)]有被學習器獲取，降低了泛化性能；典型表現(xiàn)是訓練集上

的性能可以繼續(xù)提高，測試集上的性能同時得以提高。

人工智能醫(yī)療器械生存周期模型AIMDlifecyclemodel：人工智能醫(yī)療器

械從起始到退役的整個演進過程的框架。包括：需求分析，設計與開發(fā)，

驗證與確認，部署，運維與監(jiān)控，再評價直至停運。

注：在人工智能醫(yī)療器械生存周期中，某些活動可出現(xiàn)在不同的過程中，

個別過程可重復出現(xiàn)。例如為了修復系統(tǒng)的隱錯和更新系統(tǒng)，需要反復實

施開發(fā)過程和部署過程。

數(shù)據(jù)data：信息的可再解釋的形式化表示，以適用于通信、解釋或處理。

注：可以通過人工或自動手段處理數(shù)據(jù)。

-20-

個人敏感數(shù)據(jù)personalsensitivedata：一旦泄露、非法提供或濫用可能

危害人身和財產(chǎn)安全，極易導致個人名譽、身心健康受到損害或歧視性待

遇等的個人信息。

注：個人敏感信息包括身份證件號碼、個人生物識別信息、銀行賬號、通

信記錄和內(nèi)容、財產(chǎn)信息、征信信息、行蹤軌跡、住宿信息、健康生理信

息、交易信息、14歲以下（含）兒童的個人信息等。

健康數(shù)據(jù)healthdata：與身體或心理健康相關的個人敏感數(shù)據(jù)。

注：由于目前全球規(guī)定了不同的隱私合規(guī)性法律和法規(guī)。例如，在歐洲，

可能需要采取的要求和參考變更為“個人數(shù)據(jù)”和“敏感數(shù)據(jù)”，在美國，

健康數(shù)據(jù)可能會變更為“受保護的健康信息（PHI）”，這需要不同國家

或地區(qū)的制造商進一步考慮中國當?shù)氐姆苫蚍ㄒ?guī)。

數(shù)據(jù)集dataset：具有一定主題，可以標識并可以被計算機化處理的數(shù)據(jù)

集合。

訓練集trainingset：用于訓練人工智能算法的數(shù)據(jù)集，其外部知識源可

用于算法參數(shù)的計算。

調(diào)優(yōu)集tuningset：用于優(yōu)化人工智能算法的數(shù)據(jù)集，其外部知識源可用

于算法超參數(shù)的選擇。

注：為避免與醫(yī)療器械領域所用術語“確認”進行區(qū)分，這里不使用通用

人工智能領域的validationset，二者含義一致。

測試集testingset：

用于測試人工智能算法性能的數(shù)據(jù)集，其外部知識源可用于對算法的評

估。

參考標準referencestandard：篩查、診斷和治療過程或基于標注過程建

立的基準。

注：參考標準可包含疾病、生理狀態(tài)或生理異常以及位置和程度等信息標

-21-

簽。

金標準goldstandard：篩查、診斷和治療可依據(jù)的最佳參考標準。

數(shù)據(jù)清洗datacleaning：檢測和修正數(shù)據(jù)集合中錯誤數(shù)據(jù)項的預處理過

程。

數(shù)據(jù)采集dataacquisition：數(shù)據(jù)由生成裝置按照數(shù)據(jù)采集規(guī)范生成，以

數(shù)字化格式存儲并傳輸?shù)侥繕讼到y(tǒng)的過程。

數(shù)據(jù)脫敏datamasking：通過去標識化或匿名化，實現(xiàn)對個人敏感信息

的可靠保護。

數(shù)據(jù)標注dataannotation：對數(shù)據(jù)進行分析，建立參考標準的過程。

仲裁arbitration：多名標注人員對同一原始數(shù)據(jù)的標注結(jié)果不一致時用

于決定最終結(jié)果的過程。

軟件質(zhì)量softwarequality：在規(guī)定條件下使用時，軟件產(chǎn)品滿足明確或

隱含要求的能力。

軟件質(zhì)量保證softwarequalityassurance：

a)為使某項目或產(chǎn)品遵循已建立的技術需求提供足夠的置信度，而必須采

取的有計劃的和有系統(tǒng)的全部動作的模式。

b)設計以估算產(chǎn)品開發(fā)或制造過程的一組活動。

可靠性reliability：在規(guī)定時間間隔內(nèi)和規(guī)定條件下，系統(tǒng)或部件執(zhí)行所

要求功能的能力。

完整性integrity：保護數(shù)據(jù)準確性和完備性的性質(zhì)。

一致性consistency：在數(shù)據(jù)集的各階段、部分之間，一致、標準化、無

矛盾的程度。

重復性repeatability：由同一操作員按相同的方法、使用相同的測試或

測量設施、在短時間間隔內(nèi)對同一測試/測量對象進行測試/測量，所獲得

-22-

的獨立測試/測量結(jié)果間的一致程度。

再現(xiàn)性reproducibility：由不同的操作員按相同的方法，使用不同的測試

或測量設施，對同一測試/測量對象進行觀測以獲得獨立測試/測量結(jié)果，

所獲得的獨立測試/測量結(jié)果間的一致程度。

可達性accessibility：組成軟件的各部分便于選擇使用或維護的程度。

可得性availability：

a）軟件（系統(tǒng)或部件）在投入使用時可操作或可訪問的程度或能實現(xiàn)其

制定系統(tǒng)功能的概率；

b）系統(tǒng)正常工作時間和總的運行時間之比；

c）在運行時，某一配置項實現(xiàn)指定功能的能力。

保密性confidentiality：數(shù)據(jù)對未授權的個人、實體或過程不可用或不泄

露的特性。

網(wǎng)絡安全cybersecurity：通過采取必要措施，防范對數(shù)據(jù)、模型等攻擊、

侵入、干擾、破壞和非法使用以及意外事故，使設備處于穩(wěn)定可靠運行的

狀態(tài)，以及保障數(shù)據(jù)、模型等的完整性、保密性、可得性的能力。

安全性safety：免除于不可接受的風險。

魯棒性/穩(wěn)健性：在存在無效輸入或急迫的環(huán)境條件下，系統(tǒng)或部件其功

能正確的程度。

泛化能力generalizability：機器學習算法對陌生樣本的適應能力。

可追溯性traceability：系統(tǒng)對其決策過程及輸出進行記錄的特性。

公平性fairness：系統(tǒng)做出不涉及喜好和偏袒決策的性質(zhì)。

可解釋性explainability：以人能理解的方式，對系統(tǒng)決策因素進行說明

的能力。

黑盒測試black-boxtesting：忽略系統(tǒng)或部件的內(nèi)部機制只集中于響應所

選擇的輸入和執(zhí)行條件產(chǎn)生的輸出的一種測試。

-23-

白盒測試glass-boxtesting：側(cè)重于系統(tǒng)或部件內(nèi)部機制的測試。類型包

括分支測試、路徑測試、語句測試等。

對抗[措施]countermeasure：為減小脆弱性而采用的行動、裝置、過程、

技術或其他措施。

對抗樣本adversarialsample：基于原始數(shù)據(jù)上添加擾動達到混淆系統(tǒng)判

別目的新樣本。

對抗測試adversarialtest：使用對抗性樣本開展的測試，或采用不同目

標樣本分布的特選數(shù)據(jù)作為壓力數(shù)據(jù)集進行的測試。

陽性樣本positivesample：由參考標準確定為帶有某一種或幾種特定特征

的樣本。

陰性樣本negativesample：除陽性樣本以外的樣本。

真陽性truepositive(TP):被算法判為陽性的陽性樣本。

假陽性falsepositive(FP):被算法判為陽性的陰性樣本。

真陰性truenegative(TN):被算法判為陰性的陰性樣本。

假陰性falsenegative(FN):被算法判為陰性的陽性樣本。

目標區(qū)域targetregion:在影像評價中，根據(jù)參考標準從原始數(shù)據(jù)中劃分

出的若干個包含特定類別目標的最小數(shù)據(jù)子集（子集元素為像素，體素

等）。

分割區(qū)域segmentationregion:在影像評價中，從原始數(shù)據(jù)中劃分出的若

干個包含特定類別目標的最小數(shù)據(jù)子集（子集元素為像素，體素等）。

病變定位lesionlocalization:算法檢出病變位置正確標識出參考標準確定

的病變位置。

非病變定位non-lesionlocalization:算法檢出病變位置未能正確標識出參

考標準確定的病變所在位置。

病變定位率lesionlocalizationrate:病變定位數(shù)量占由參考標準確定的全

-24-

體病變數(shù)量的比例。

非病變定位率non-lesionlocalizationrate:非病變定位數(shù)量占全體病例數(shù)

量的比例，非病變定位率可以大于1。

假陽性率falsepositiverate:假陽性病例數(shù)量（陰性病例中包含非病變定

位）占全部陰性病例數(shù)量的比例。

召回率（查全率）recall:真陽性樣本占全體陽性樣本的比例。

特異度specificity:真陰性樣本占全體陰性樣本的比例。

漏檢率missrate:1減去靈敏度。

精確度（查準率）precision:陽性預測值positivepredictionvalue

真陽性樣本占被算法判為陽性樣本的比例。

陰性預測值negativepredictionvalue:真陰性樣本占被算法判為陰性樣本

的比例。

準確率accuracy:算法判斷正確的樣本占全體樣本的比例。

F1度量F1-measure:召回率和精確度的調(diào)和平均數(shù)。

約登指數(shù)Youdenindex:靈敏度與特異度之和減去1。

受試者響應曲線receiveroperatingcharacteristicscurve

ROC:通過在一組預設的閾值下計算人工智能算法在測試集上的靈敏度

（Sensitivity）以及特異度（Specificity）從而產(chǎn)生一組（1-Specificity，

Sensitivity）操作點，將操作點依次連接形成受試者操作曲線。

曲線下面積areaundercurve(AUC):受試者響應曲線下的積分面積。

自由受試者響應曲線free-responsereceiveroperatingcharacteristics

curve(fROC):由算法在一組閾值設定下對于給定的測試集得到的一組病

變定位率為縱軸，及非病變定位率為橫軸構(gòu)造的曲線。

候選自由受試者響應曲線alternativefreereceiveroperating

characteristicscurve(AFROCcurve):由算法在一組閾值設定下對于給定

-25-

的測試集得到的一組病變定位率為縱軸，及假陽性率為橫軸構(gòu)造的曲線。

精確度-召回率曲線precision-recallcurve(P-R):由算法在一組閾值設定

下對于給定的測試集得到的一組召回率為縱軸，精確度為橫軸構(gòu)造的曲

線。

平均精確度averageprecision(AP):精確度-召回率曲線下的積分面積。

平均精確度均值meanaverageprecision(MAP):在多目標檢測問題上，算

法對于各類目標的平均精確度的平均值。

交并比intersectionoverunion(IoU):分割區(qū)域與目標區(qū)域的交集占分割

區(qū)域與目標區(qū)域并集的比例

注：也可稱為Jaccard系數(shù)。

Dice系數(shù)Dicecoefficient:分割區(qū)域與目標區(qū)域的交集占分割區(qū)域與目標

區(qū)域平均值的比例。

中心點距離centraldistance:分割區(qū)域中心與目標區(qū)域中心的距離，該指

標反映兩個集合的接近程度。

混淆矩陣confusionmatrix:一種矩陣，它按一組規(guī)則記錄試探性實例的

正確分類和不正確分類的個數(shù)。

注1：通常矩陣的列代表人工智能的診斷結(jié)果，而矩陣的行代表參考標準

的診斷結(jié)果；

注2：也可稱為含混矩陣。

Kappa系數(shù)Kappacoefficient:一種用于評價結(jié)果一致性的指標。

信噪比signal-to-noiseratio(SNR):信號平均功率水平與噪聲平均功率水

平的比值。

峰值信噪比