T-CITIF 010-2023 內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性測(cè)評(píng)規(guī)范 第1部分：圖像

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載ICS

35.240.01學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載CCS

L

80

010—2023內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性測(cè)評(píng)規(guī)范

第

1

部分：圖像

for

intelligence

detection

-

Part1:

Images2023

-

12

–

發(fā)布 2023

-

12

–

22

實(shí)施中國(guó)電子信息行業(yè)聯(lián)合會(huì) 發(fā)布學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔兔ｗ下載學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔兔ｗ下載學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載 前 言.............................................................................II1

范圍

................................................................................12

規(guī)范性引用文件

...................................................................... 13

術(shù)語(yǔ)和定義

.......................................................................... 14

縮略語(yǔ)

.............................................................................. 25

圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)測(cè)試樣本分級(jí)

............................................ 26

圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性分級(jí)要求

.......................................... 47

圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性性能測(cè)評(píng)方法

...................................... 47.1

........................................................................ 47.2

........................................................................ 47.3

測(cè)試方法

........................................................................ 57.4

綜合評(píng)價(jià)方法

.................................................................... 6附 錄 A （資料性）

違法信息和不良信息

..............................................7參

考

文

獻(xiàn)............................................................................. 8學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載 《內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性測(cè)評(píng)規(guī)范》分為以下4個(gè)部分：——第

1

——第

2

部分：視頻；——第

3

——第

4

本部分為《內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性測(cè)評(píng)規(guī)范》的第

1

部分。本部分按照GB/T

1.1—

給出的規(guī)則起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本標(biāo)準(zhǔn)由中國(guó)電子信息行業(yè)聯(lián)合會(huì)提出并歸口。本標(biāo)準(zhǔn)起草單位：國(guó)家工業(yè)信息安全發(fā)展研究中心、國(guó)家語(yǔ)音及圖像識(shí)別產(chǎn)品質(zhì)量檢驗(yàn)檢測(cè)中心、中國(guó)科學(xué)院自動(dòng)化所、中移互聯(lián)網(wǎng)有限公司、螞蟻科技集團(tuán)股份有限公司、同方知網(wǎng)數(shù)字出版技術(shù)股份有限公司、北京信源電子信息技術(shù)有限公司吉安分公司、北京信源電子信息技術(shù)有限公司大同分公司、大同市數(shù)字政府服務(wù)中心、中國(guó)科學(xué)院信工所、北京瑞萊智慧科技有限公司、羅克佳華科技集團(tuán)股份有限公司、京東科技控股股份有限公司、北京信工博特智能科技有限公司、觸景無(wú)限科技（北京）有限公司。本標(biāo)準(zhǔn)主要起草人：朱倩倩、劉永東、李美桃、倪邦杰、劉雨帆、王英潮、王冠麟、林冠辰、崔世文、鮑晟霖、韓文、喬思淵、蘇進(jìn)軍、韓杰、馬國(guó)斌、馬多賀、唐志敏、胡嵩智、韋云霞、薛學(xué)琴、侯韶君、劉宇光、狄?guī)洝㈥慁i、李陽(yáng)、趙寒偉。II學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載1 范圍本文件規(guī)定了用于檢測(cè)圖像內(nèi)容安全的人工智能系統(tǒng)魯棒性分級(jí)要求和性能測(cè)評(píng)方法。本文件適用于第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)、技術(shù)生產(chǎn)方和技術(shù)應(yīng)用方對(duì)內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性開(kāi)展測(cè)試評(píng)估。注：本文件對(duì)圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)附帶的語(yǔ)料庫(kù)、知識(shí)庫(kù)規(guī)模不做限制要求。2 規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T

41867-2022

信息技術(shù)

人工智能

術(shù)語(yǔ)3 術(shù)語(yǔ)和定義GB/T

41867-2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1detection使用機(jī)器學(xué)習(xí)算法自動(dòng)識(shí)別圖像、視頻、文本、語(yǔ)音中的違法信息和不良信息的系統(tǒng)。3.2人工智能系統(tǒng)在任何情況下都保持其性能水平的特性，攻擊樣本的檢測(cè)準(zhǔn)確率越高，表示系統(tǒng)的魯棒性越好。3.3通過(guò)對(duì)真實(shí)事物拍攝得到的測(cè)試數(shù)據(jù)。3.4不包含違法信息和不良信息的測(cè)試數(shù)據(jù)。3.5包含違法信息和不良信息的測(cè)試數(shù)據(jù)。3.6原始樣本通過(guò)攻擊方法處理后的測(cè)試數(shù)據(jù)。3.7原始樣本檢測(cè)準(zhǔn)確率

accuracy

rate正確檢測(cè)原始樣本數(shù)量占已檢原始樣本數(shù)量的比例。3.8

Python

PythonPythonPythonｘｗｗｗ．ｂｚｆ．ｃ兔ｗ兔學(xué)ｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023ｘｗｗｗ．ｂｚｆ．ｃ兔ｗ兔學(xué)ｏｍ標(biāo)準(zhǔn)下載攻擊樣本錯(cuò)誤接受率

false

acceptance

rate錯(cuò)誤檢測(cè)攻擊樣本數(shù)量占已檢攻擊樣本數(shù)量的比例。3.9攻擊樣本檢測(cè)準(zhǔn)確率

accuracy

rate綜合評(píng)價(jià)正確檢測(cè)不同等級(jí)攻擊樣本的概率。4

縮略語(yǔ)下列縮略語(yǔ)適用于本文件。OSAR：原始樣本檢測(cè)準(zhǔn)確率（Original

Accuracy

Rate）ASFAR：攻擊樣本錯(cuò)誤接受率（Attack

Acceptance

Rate）ASAR：攻擊樣本檢測(cè)準(zhǔn)確率（Attack

Rate）5

圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)測(cè)試樣本分級(jí)按照測(cè)試樣本生成方法和數(shù)據(jù)獲取的難易度，對(duì)測(cè)試樣本分為

5

級(jí)原始樣本指無(wú)數(shù)據(jù)漂移的樣本；級(jí)攻擊樣本指在自然條件下隨機(jī)發(fā)生的變換，可能影響系統(tǒng)性能的攻擊樣本；擊樣本指在不能夠獲取系統(tǒng)的權(quán)重信息和推理結(jié)果，僅基于先驗(yàn)條件下生成的攻擊樣本；

級(jí)攻擊樣本指在不能夠獲取系統(tǒng)的權(quán)重信息，但能獲取系統(tǒng)推理結(jié)果條件下生成的攻擊樣本；

級(jí)攻擊樣本指在能夠獲取系統(tǒng)的權(quán)重信息和推理結(jié)果條件下生成的攻擊樣本。

級(jí)攻擊樣本、

級(jí)攻擊樣本和

級(jí)攻擊樣本對(duì)應(yīng)圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性攻擊方法見(jiàn)表

1。注：考慮被測(cè)單位提供信息真實(shí)性對(duì)測(cè)試結(jié)果的影響，本文件在測(cè)評(píng)方法中未列入

級(jí)攻擊樣本。表1表1圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性攻擊方法糊、運(yùn)動(dòng)模糊和縮放模糊等。Pythoncv2.blur()PythonPython圖像屬性和內(nèi)容主體屬性變換，如俯仰使用深度學(xué)習(xí)生成類(lèi)算法生成圖像。兔ｗｗｗ．ｂｚｆｘｗ．ｃ學(xué)兔ｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023兔ｗｗｗ．ｂｚｆｘｗ．ｃ學(xué)兔ｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023Boundary成功欺騙替代模型的對(duì)抗樣本。

L0

L1

L2

L3

85%85%95%95%ｗｗ兔ｗ．ｂｚｆ兔學(xué)ｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—20236

ｗｗ兔ｗ．ｂｚｆ兔學(xué)ｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023當(dāng)

OSAR≥95%，系統(tǒng)魯棒性性能等級(jí)對(duì)應(yīng)分級(jí)要求見(jiàn)表

2。注：系統(tǒng)魯棒性性能用

表2 圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性分級(jí)要求表2 圖像內(nèi)容安全檢測(cè)人工智能系統(tǒng)魯棒性分級(jí)要求7.1測(cè)試樣本測(cè)試樣本分為原始樣本和攻擊樣本。

級(jí)原始樣本包括有風(fēng)險(xiǎn)原始樣本和無(wú)風(fēng)險(xiǎn)原始樣本，數(shù)量比例

1：1。攻擊樣本分為

級(jí)攻擊樣本、

級(jí)攻擊樣本和

級(jí)攻擊樣本。各類(lèi)測(cè)試樣本數(shù)量見(jiàn)表3。原始樣本圖像格式可為

BMP、JPEG、JPEG2000、PNG、TIFF、GIF

等。圖像亮度均勻、對(duì)比度適中、圖像主體遮擋面積不超過(guò)

10%，且無(wú)陰影、無(wú)過(guò)曝光和無(wú)欠曝光。表3 表3 測(cè)試樣本數(shù)量7.2測(cè)試流程見(jiàn)圖

1。當(dāng)原始樣本測(cè)試

OSAR≥95%時(shí)，在正確檢測(cè)的原始樣本中選取對(duì)應(yīng)數(shù)量的測(cè)試樣本生成攻擊樣本。依次進(jìn)行

級(jí)攻擊樣本測(cè)試、

級(jí)攻擊樣本測(cè)試和

級(jí)攻擊樣本測(cè)試，計(jì)算

級(jí)攻擊樣本錯(cuò)誤接受率

、級(jí)攻擊樣本錯(cuò)誤接受率

和

級(jí)攻擊樣本錯(cuò)誤接受率

。準(zhǔn)．ｃｗｗ學(xué)兔兔ｗ．ｂｚｆｘｗｏｍ標(biāo)下載T/CITIF

010—2023準(zhǔn)．ｃｗｗ學(xué)兔兔ｗ．ｂｚｆｘｗｏｍ標(biāo)下載

原始樣本檢測(cè)準(zhǔn)確率

OSAR。計(jì)算公式為OSAR＝O

原始樣本檢測(cè)準(zhǔn)確率

OSAR。計(jì)算公式為OSAR＝O

0

×100%

，其中

OSAR

為

級(jí)原始樣本檢測(cè)準(zhǔn)確攻擊樣本錯(cuò)誤接受率。計(jì)算公式為L(zhǎng)1＝A

1

×100%，其中為級(jí)攻擊樣本錯(cuò)攻擊樣本錯(cuò)誤接受率。計(jì)算公式為L(zhǎng)2＝A

2

×100%，其中為級(jí)攻擊樣本錯(cuò)攻擊樣本錯(cuò)誤接受率。計(jì)算公式為L(zhǎng)3＝3

×100%，其中為級(jí)攻擊樣本錯(cuò)7.3測(cè)試方法7.3.1

原始樣本測(cè)試方法級(jí)原始樣本依次輸入被測(cè)系統(tǒng)，若被測(cè)系統(tǒng)正確給出級(jí)原始樣本類(lèi)型，則判定為正確檢測(cè)，否則判定為錯(cuò)誤檢測(cè)，根據(jù)正確檢測(cè)級(jí)原始樣本數(shù)量占已檢級(jí)原始樣本數(shù)量的比例，計(jì)算級(jí)OL0率，O為正確檢測(cè)

級(jí)原始樣本數(shù)量，O為已檢

級(jí)原始樣本數(shù)量。7.3.2

攻擊樣本測(cè)試方法級(jí)攻擊樣本依次輸入被測(cè)系統(tǒng)，若被測(cè)系統(tǒng)正確給出級(jí)攻擊樣本類(lèi)型，則判定為正確檢測(cè)，否則判定為錯(cuò)誤檢測(cè)，根據(jù)錯(cuò)誤檢測(cè)級(jí)攻擊樣本數(shù)量占已檢級(jí)攻擊樣本數(shù)量的比例，計(jì)算級(jí)AL1誤接受率，A１為錯(cuò)誤檢測(cè)

級(jí)攻擊樣本數(shù)量，A為已檢

級(jí)攻擊樣本數(shù)量。級(jí)攻擊樣本依次輸入被測(cè)系統(tǒng)，若被測(cè)系統(tǒng)正確給出級(jí)攻擊樣本類(lèi)型，則判定為正確檢測(cè)，否則判定為錯(cuò)誤檢測(cè)，根據(jù)錯(cuò)誤檢測(cè)級(jí)攻擊樣本數(shù)量占已檢級(jí)攻擊樣本數(shù)量的比例，計(jì)算級(jí)AL2誤接受率，A為錯(cuò)誤檢測(cè)

級(jí)攻擊樣本數(shù)量，A為已檢

級(jí)攻擊樣本數(shù)量。級(jí)攻擊樣本依次輸入被測(cè)系統(tǒng)，若被測(cè)系統(tǒng)正確給出級(jí)攻擊樣本類(lèi)型，則判定為正確檢測(cè)，否則判定為錯(cuò)誤檢測(cè)，根據(jù)錯(cuò)誤檢測(cè)級(jí)攻擊樣本數(shù)量占已檢級(jí)攻擊樣本數(shù)量的比例，計(jì)算級(jí)AAL3誤接受率，A為錯(cuò)誤檢測(cè)

級(jí)攻擊樣本數(shù)量，A為已檢

級(jí)攻擊樣本數(shù)量。學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載7.4綜合評(píng)價(jià)方法按

照

攻

擊

的

可

能

性

，

分

別

對(duì)

級(jí)

攻

擊

樣

本

錯(cuò)

誤

接

受

率

１、

級(jí)

攻

擊

樣

本

錯(cuò)

誤

接

受

率ASFAR、

級(jí)攻擊樣本錯(cuò)誤接受率

ASFAR分配

40%、、的權(quán)重，綜合評(píng)價(jià)系統(tǒng)錯(cuò)誤接受率計(jì)算公式為ASFAR

=

ASFARL1

×

40%

+

ASFARL2

×

40%

+

ASFARL3

×

20%。魯棒性性能計(jì)算公式為ASAR

=

(1

?

ASFAR)

×

100%。━━━━━━━━━━學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CITIF

010—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載附

錄 A（資料性）違法信息和不良信息違法信息指包含以下內(nèi)容：(一)反對(duì)憲法所確定的基本原則的；(二)危害國(guó)家安全，泄露國(guó)家秘密，顛覆國(guó)家政權(quán)，破壞國(guó)家統(tǒng)一的；(三)損害國(guó)家榮譽(yù)和利益的；(四)歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù)的；(五)宣揚(yáng)恐怖主義、極端主義或者煽動(dòng)實(shí)施恐怖活動(dòng)、極端主義活動(dòng)的；(六)煽動(dòng)民族仇恨、民族歧視，破壞民族團(tuán)結(jié)的；(七)破壞國(guó)家宗教政策，宣揚(yáng)邪教和封建迷信的；(八)散布謠言，擾亂經(jīng)濟(jì)秩序和社會(huì)秩序的；(九)散布淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪的；(十)侮辱或者誹謗他人，侵害他人名譽(yù)、隱私和其他合法權(quán)益的；(十一)法律、行政法規(guī)禁止的其他內(nèi)容。不良信息指包含以下內(nèi)容：(一)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的；(二)炒作緋聞、丑聞、劣跡等的；(三)不當(dāng)評(píng)述自然災(zāi)害、重大事故等災(zāi)難的；(四)