人工智能視覺隱私保護(hù) 第2部分：技術(shù)應(yīng)用指南

1、Q/LB.XXXXX-XXXXICS FORMTEXT 35.040CCS FORMTEXT L 71團(tuán)體標(biāo)準(zhǔn)T/ FORMTEXT AI FORMTEXT XXXX FORMTEXT XXXX FORMTEXT 人工智能視覺隱私保護(hù) 第2部分：技術(shù)應(yīng)用指南 FORMTEXT Visual privacy protection of artificial intelligence Part 2: Technique application guide FORMDROPDOWN FORMTEXT FORMDROPDOWN FORMTEXT 2022 - FORMTEXT XX - FORMTEX

2、T XX發(fā)布 FORMTEXT 2022 - FORMTEXT XX - FORMTEXT XX實(shí)施 FORMTEXT 中 關(guān) 村 視 聽 產(chǎn) 業(yè) 技 術(shù) 創(chuàng) 新 聯(lián) 盟發(fā)布 STYLEREF 標(biāo)準(zhǔn)文件_文件編號(hào) * MERGEFORMAT T/XXX XXXXXXXX STYLEREF 標(biāo)準(zhǔn)文件_文件編號(hào) * MERGEFORMAT T/AI XXXXXXXX目次 TOC o 1-1 h t 標(biāo)準(zhǔn)文件_一級(jí)條標(biāo)題,2,標(biāo)準(zhǔn)文件_二級(jí)條標(biāo)題,3,標(biāo)準(zhǔn)文件_附錄一級(jí)條標(biāo)題,2,標(biāo)準(zhǔn)文件_附錄二級(jí)條標(biāo)題,3, HYPERLINK l _Toc109033537 前言 PAGEREF _Toc109

3、033537 h III HYPERLINK l _Toc109033538 引言 PAGEREF _Toc109033538 h IV HYPERLINK l _Toc109033539 1 范圍 PAGEREF _Toc109033539 h 1 HYPERLINK l _Toc109033540 2 規(guī)范性引用文件 PAGEREF _Toc109033540 h 1 HYPERLINK l _Toc109033541 3 術(shù)語和定義、縮略語 PAGEREF _Toc109033541 h 1 HYPERLINK l _Toc109033542 3.1 術(shù)語和定義 PAGEREF _Toc

4、109033542 h 1 HYPERLINK l _Toc109033543 3.2 縮略語 PAGEREF _Toc109033543 h 2 HYPERLINK l _Toc109033544 4 視覺隱私保護(hù)算法技術(shù)總則 PAGEREF _Toc109033544 h 2 HYPERLINK l _Toc109033545 4.1 通用性原則 PAGEREF _Toc109033545 h 2 HYPERLINK l _Toc109033546 4.1.1 脫敏性 PAGEREF _Toc109033546 h 2 HYPERLINK l _Toc109033547 4.1.2 可利用

5、性 PAGEREF _Toc109033547 h 2 HYPERLINK l _Toc109033548 4.1.3 魯棒性 PAGEREF _Toc109033548 h 2 HYPERLINK l _Toc109033549 4.2 用戶友好性原則 PAGEREF _Toc109033549 h 2 HYPERLINK l _Toc109033550 4.2.1 可恢復(fù)性 PAGEREF _Toc109033550 h 2 HYPERLINK l _Toc109033551 4.2.2 實(shí)時(shí)性 PAGEREF _Toc109033551 h 2 HYPERLINK l _Toc10903

6、3552 4.2.3 泛化性 PAGEREF _Toc109033552 h 3 HYPERLINK l _Toc109033553 5 視覺隱私保護(hù)算法評(píng)價(jià)指標(biāo) PAGEREF _Toc109033553 h 3 HYPERLINK l _Toc109033554 5.1 平均精度均值 PAGEREF _Toc109033554 h 3 HYPERLINK l _Toc109033555 5.2 結(jié)構(gòu)相似性 PAGEREF _Toc109033555 h 3 HYPERLINK l _Toc109033556 5.3 內(nèi)核感知距離 PAGEREF _Toc109033556 h 4 HYPE

7、RLINK l _Toc109033557 5.4 峰值信噪比 PAGEREF _Toc109033557 h 4 HYPERLINK l _Toc109033558 5.5 信息隱藏容量 PAGEREF _Toc109033558 h 4 HYPERLINK l _Toc109033559 5.6 每秒傳輸幀數(shù) PAGEREF _Toc109033559 h 4 HYPERLINK l _Toc109033560 5.7 元任務(wù)類別與樣本數(shù) PAGEREF _Toc109033560 h 4 HYPERLINK l _Toc109033561 6 基于非結(jié)構(gòu)化視覺數(shù)據(jù)的隱私保護(hù)技術(shù)方法 PA

8、GEREF _Toc109033561 h 4 HYPERLINK l _Toc109033562 6.1 基于風(fēng)格遷移的隱私保護(hù)技術(shù) PAGEREF _Toc109033562 h 4 HYPERLINK l _Toc109033563 6.2 基于實(shí)例分割的隱私保護(hù)技術(shù) PAGEREF _Toc109033563 h 4 HYPERLINK l _Toc109033564 6.3 基于信息隱藏的隱私保護(hù)技術(shù) PAGEREF _Toc109033564 h 5 HYPERLINK l _Toc109033565 6.4 基于小樣本檢測(cè)的隱私保護(hù)技術(shù) PAGEREF _Toc109033565

9、 h 5 HYPERLINK l _Toc109033566 6.5 基于(可逆)圖像縮放的隱私保護(hù)技術(shù) PAGEREF _Toc109033566 h 5 HYPERLINK l _Toc109033567 7 基于結(jié)構(gòu)化視覺數(shù)據(jù)技術(shù)方法 PAGEREF _Toc109033567 h 5 HYPERLINK l _Toc109033568 7.1 原始數(shù)據(jù)的二值化處理及顯著性表征 PAGEREF _Toc109033568 h 5 HYPERLINK l _Toc109033569 7.2 差分隱私和特征數(shù)據(jù)保護(hù) PAGEREF _Toc109033569 h 5 HYPERLINK l

10、_Toc109033570 7.3 基于通用事件流的隱私保護(hù)方法 PAGEREF _Toc109033570 h 6 HYPERLINK l _Toc109033571 附錄A（資料性） 隱私保護(hù)方法簡(jiǎn)介 PAGEREF _Toc109033571 h 7 HYPERLINK l _Toc109033572 A.1 基于非結(jié)構(gòu)化視覺數(shù)據(jù)的隱私保護(hù)方法 PAGEREF _Toc109033572 h 7 HYPERLINK l _Toc109033573 A.1.1 總則 PAGEREF _Toc109033573 h 7 HYPERLINK l _Toc109033574 A.1.2 基于風(fēng)格

11、遷移的隱私保護(hù)算法 PAGEREF _Toc109033574 h 7 HYPERLINK l _Toc109033575 A.1.3 基于實(shí)例分割的隱私保護(hù)技術(shù) PAGEREF _Toc109033575 h 8 HYPERLINK l _Toc109033576 A.1.4 基于信息隱藏的隱私保護(hù)技術(shù) PAGEREF _Toc109033576 h 8 HYPERLINK l _Toc109033577 A.1.5 基于小樣本檢測(cè)的隱私保護(hù)技術(shù) PAGEREF _Toc109033577 h 9 HYPERLINK l _Toc109033578 A.1.6 基于(可逆)圖像縮放的隱私保護(hù)

12、技術(shù) PAGEREF _Toc109033578 h 9 HYPERLINK l _Toc109033579 A.2 基于結(jié)構(gòu)化視覺數(shù)據(jù)技術(shù)方法 PAGEREF _Toc109033579 h 9 HYPERLINK l _Toc109033580 A.2.1 總則 PAGEREF _Toc109033580 h 9 HYPERLINK l _Toc109033581 A.2.2 原始數(shù)據(jù)的二值化處理及顯著性表征 PAGEREF _Toc109033581 h 9 HYPERLINK l _Toc109033582 A.2.3 差分隱私和特征數(shù)據(jù)保護(hù) PAGEREF _Toc109033582

13、 h 10前言本文件按照GB/T 1.12020標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定起草。本文件是T/AI 110人工智能視覺隱私保護(hù)的第2部分。T/AI 110已經(jīng)發(fā)布了以下部分：第1部分：通用技術(shù)要求請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟AI標(biāo)準(zhǔn)工作組提出。本文件由中關(guān)村視聽產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟歸口。本文件起草單位：海信集團(tuán)控股股份有限公司、山東大學(xué)、深圳龍崗智能視聽研究院、美的集團(tuán)(上海)有限公司、中國(guó)海洋大學(xué)、天津大學(xué)、上海商湯智能科技有限公司、云從科技集團(tuán)股份有限公司、翼健（上海）信息科技

14、有限公司、上海數(shù)字電視國(guó)家工程研究中心有限公司、北京郵電大學(xué)、西安電子科技大學(xué)、北京大學(xué)。本文件主要起草人：陳維強(qiáng)、高雪松、劉琚、張世雄、區(qū)志財(cái)、魏志強(qiáng)、李克秋、張淯易、李亞鋒、魏文應(yīng)、唐劍、劉秀龍、徐浩、李軍、周禾、顧凌晨、劉曉璽、王雪靜、邵宸、劉常昱、呂林、黎俊良、殷惠清、陸月明、朱輝、田永鴻、王榮剛、牟小峰、蔣慧、吳庚、溫浩、尹建華、左金鑫、魯昱、趙雪圻、陶鍵源、李若塵。引言隱私數(shù)據(jù)是指數(shù)據(jù)中直接或間接蘊(yùn)含的，涉及個(gè)人或組織的，不宜公開的，需要在收集、存儲(chǔ)、查詢和分析、發(fā)布過程中加以保護(hù)的信息，而視覺隱私數(shù)據(jù)在隱私數(shù)據(jù)的基礎(chǔ)上具有視覺特征，包括視頻、圖像等。T/AI 110旨在確立適用于

15、人工智能視覺隱私保護(hù)的設(shè)計(jì)、應(yīng)用、評(píng)估等方面遵循的原則和相關(guān)規(guī)則，擬由3個(gè)部分構(gòu)成。第1部分：通用技術(shù)要求。目的在與確立人工智能視覺隱私保護(hù)設(shè)計(jì)、實(shí)施等所需要遵守的總體要求。第2部分：技術(shù)應(yīng)用指南。目的在于對(duì)人工智能視覺隱私保護(hù)技術(shù)的應(yīng)用提供指導(dǎo)。第3部分：評(píng)估方法。目的確立適用于人工智能隱私保護(hù)的評(píng)估方法。本文件對(duì)保護(hù)視覺隱私數(shù)據(jù)的算法技術(shù)提出基本建議，它們符合用戶對(duì)視覺隱私數(shù)據(jù)廣義上的認(rèn)知，同時(shí)也對(duì)隱私數(shù)據(jù)算法的性能提出基本建議。本文件只涉及視覺隱私數(shù)據(jù)保護(hù)的技術(shù)與處理，現(xiàn)階段僅暫用于家庭監(jiān)控視頻中。本文件的目的是對(duì)視覺隱私數(shù)據(jù)保護(hù)算法做出最適合的建議和最佳的科學(xué)操作指導(dǎo)。目前，針對(duì)視覺數(shù)

16、據(jù)保護(hù)算法的度量缺乏統(tǒng)一的標(biāo)準(zhǔn)及行業(yè)性建議。現(xiàn)存的安全性要求都是從算法本身的衡量指標(biāo)角度出發(fā)，過于籠統(tǒng)。視覺隱私數(shù)據(jù)保護(hù)算法的種類有很多，每一個(gè)算法重點(diǎn)保護(hù)的對(duì)象不同，不同算法產(chǎn)生的代價(jià)與帶來的保護(hù)收益不同導(dǎo)致準(zhǔn)確度與性能差異很大。這些差異導(dǎo)致本文件無法產(chǎn)生準(zhǔn)確統(tǒng)一的安全性與可用性約束條件。因此，本文件抽象出所有視覺隱私保護(hù)算法的共性，針對(duì)算法的性能以及代價(jià)不同進(jìn)行了統(tǒng)一的定性，其理念和原則廣泛適用于視覺隱私數(shù)據(jù)保護(hù)算法。人工智能視覺隱私保護(hù) 第2部分：技術(shù)應(yīng)用指南范圍本文件給出了視覺數(shù)據(jù)的保護(hù)目標(biāo)和措施，提供了人工智能視覺隱私保護(hù)技術(shù)應(yīng)用過程中的管理措施指南。本文件適用于組織規(guī)范企業(yè)對(duì)海量的

17、視覺數(shù)據(jù)下針對(duì)隱私保護(hù)標(biāo)準(zhǔn)措施的規(guī)范使用，也適用于網(wǎng)絡(luò)安全相關(guān)主管部門、第三方評(píng)估機(jī)構(gòu)等組織開展視覺隱私數(shù)據(jù)的安全監(jiān)督管理、評(píng)估。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T 250692022 信息安全技術(shù) 術(shù)語GB/T 315042015 信息安全技術(shù) 鑒別與授權(quán) 數(shù)字身份信息服務(wù)框架規(guī)范GB/T 352732020 信息安全技術(shù) 個(gè)人信息安全規(guī)范GB/T 379642019 信息安全技術(shù) 個(gè)人信息去標(biāo)識(shí)化指南GB/T 38671

18、2020 信息安全技術(shù) 遠(yuǎn)程人臉識(shí)別系統(tǒng)技術(shù)要求術(shù)語和定義、縮略語術(shù)語和定義GB/T 250692022、GB/T 315042015、GB/T 35273-2020、GB/T 379642019和GB/T 38671-2020界定的以及下列術(shù)語和定義適用于本文件。視覺隱私數(shù)據(jù) visual privacy data基于視覺特征的數(shù)據(jù)中直接或間接蘊(yùn)含的，涉及個(gè)人或組織的，不宜公開的，需要在數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢和分析、數(shù)據(jù)發(fā)布等過程中加以保護(hù)的信息。實(shí)例分割 instance segmentation對(duì)視覺數(shù)據(jù)進(jìn)行有效的分割，并進(jìn)行保護(hù)的算法。差分隱私 differential priv

19、acy針對(duì)提供一種當(dāng)從統(tǒng)計(jì)數(shù)據(jù)庫(kù)查詢時(shí)，最大化數(shù)據(jù)查詢的準(zhǔn)確性，同時(shí)最大限度減少識(shí)別其記錄的機(jī)會(huì)。生成對(duì)抗網(wǎng)絡(luò) generative adversarial network通過生成器和判別器兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)，對(duì)輸入的任意維度噪聲生成視覺合理的圖像，從而達(dá)到混淆視聽的目的。結(jié)構(gòu)化數(shù)據(jù) structured data由二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理。針對(duì)原始數(shù)據(jù)進(jìn)行過預(yù)處理的數(shù)據(jù)，可結(jié)構(gòu)化為哈希碼、權(quán)重矩陣等形式。非結(jié)構(gòu)化數(shù)據(jù) unstructured data不適于由數(shù)據(jù)庫(kù)二維表來表現(xiàn)的數(shù)據(jù)。針對(duì)原始的、未經(jīng)過任何處理即可直接

20、使用的數(shù)據(jù)，與3.1.5結(jié)構(gòu)化數(shù)據(jù)相對(duì)應(yīng)。信息隱藏 information hiding針對(duì)視覺數(shù)據(jù)進(jìn)行特定信息的嵌入，實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)的算法。小樣本檢測(cè) few-shot detection融合傳統(tǒng)的目標(biāo)檢測(cè)與小樣本學(xué)習(xí)方法，基于包含充足標(biāo)注數(shù)據(jù)的基類，通過訓(xùn)練方法設(shè)計(jì)、模型結(jié)構(gòu)設(shè)計(jì)與損失函數(shù)設(shè)計(jì)，引導(dǎo)模型在極少量標(biāo)注數(shù)據(jù)中學(xué)習(xí)具有一定泛化性能的檢測(cè)模型?？s略語下列縮略語適用于本文件。BPP：比特每像素(Bits Per Pixel)FPS：每秒傳輸幀數(shù)(Frames Per Second)GAN：生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network)KID：內(nèi)核感知距

21、離(Kernel Inception Distance)mAP：平均均值精度(mean Average Precision)MMD：最大均值誤差(Maximum Mean Discrepancy)SSIM：結(jié)構(gòu)相似性(Structural Similarity Index)PSNR：峰值信噪比(Peak Signal-to-Noise Ratio)視覺隱私保護(hù)算法技術(shù)總則通用性原則脫敏性對(duì)原始的視覺數(shù)據(jù)根據(jù)使用方的需求實(shí)現(xiàn)不同的目標(biāo)，擾動(dòng)、模糊或替換視頻與圖像中的人臉，身份標(biāo)識(shí)(ID)、個(gè)人物品與行為等可識(shí)別個(gè)人屬性的信息，有效的保護(hù)個(gè)體隱私內(nèi)容從而實(shí)現(xiàn)脫敏，防止攻擊者對(duì)原始數(shù)據(jù)的惡意竊取與非

22、法利用?？衫眯葬槍?duì)脫敏后的隱私數(shù)據(jù)，在保證不影響處理后數(shù)據(jù)使用的情況下，最大限度地保護(hù)隱私數(shù)據(jù)。本文件建議，用戶數(shù)據(jù)信息的減少宜在限定的可控范圍內(nèi)，且不影響使用方的正常使用；計(jì)算復(fù)雜度的增加同樣宜控制在使用方可接受的范圍內(nèi)。除此以外，存儲(chǔ)開銷宜控制在服務(wù)操作可用的范圍內(nèi)，使用者可更高效地使用經(jīng)處理的視覺數(shù)據(jù)。魯棒性不同的數(shù)據(jù)隱私保護(hù)模型在出現(xiàn)異常時(shí)保持其算法性能的能力，一般包括環(huán)境變化或系統(tǒng)安全受到威脅等異常情況。對(duì)于模型假設(shè)出現(xiàn)的較小偏差，只對(duì)算法性能產(chǎn)生較小影響；對(duì)于模型假設(shè)出現(xiàn)的較大偏差，不會(huì)對(duì)算法性能產(chǎn)生重大影響。降低由于異常情況造成的算法性能下降，保證算法能夠有效的進(jìn)行隱私數(shù)據(jù)保護(hù)

23、。用戶友好性原則可恢復(fù)性隱私保護(hù)算法執(zhí)行前后，隱私信息被還原的能力。安全算法的不可逆性是十分必要的，即攻擊者或第三方通過觀測(cè)到的脫敏數(shù)據(jù)無法推斷出用戶原始的數(shù)據(jù)信息?？紤]用戶實(shí)際應(yīng)用需求，對(duì)視頻授權(quán)者可保留算法可恢復(fù)性，即通過逆向算法獲取帶有原始隱私信息的視覺數(shù)據(jù)。實(shí)時(shí)性為滿足用戶對(duì)視覺數(shù)據(jù)的使用需求，對(duì)于視頻數(shù)據(jù)的可用算法推理速度不宜低于25 FPS，避免視頻出現(xiàn)卡頓，保證視頻數(shù)據(jù)的顯示效果。泛化性隱私數(shù)據(jù)保護(hù)模型應(yīng)滿足隱私個(gè)體主觀性與場(chǎng)景差異性，根據(jù)用戶自身需求，滿足對(duì)不同類別的隱私內(nèi)容的檢測(cè)與保護(hù)處理，保證模型泛化能力與適應(yīng)性。視覺隱私保護(hù)算法評(píng)價(jià)指標(biāo)平均精度均值不同類別精確率的平均值，

24、為實(shí)例分割與小樣本目標(biāo)檢測(cè)的常用指標(biāo)。在此處用來衡量對(duì)于某一個(gè)實(shí)例定位是否準(zhǔn)確，以此來判斷對(duì)隱私數(shù)據(jù)的脫敏性保護(hù)效果。參照現(xiàn)有算法的實(shí)現(xiàn)效果，平均精度均值(mAP)宜達(dá)到25%以上，計(jì)算公式如式(1)所示。 ( AUTONUM )式中：不同類別的數(shù)量；平均精度，用于衡量某一類別的誤差。結(jié)構(gòu)相似性圖像數(shù)據(jù)脫敏后可利用性的衡量標(biāo)準(zhǔn)。通過圖像的亮度、對(duì)比度和結(jié)構(gòu)，衡量?jī)煞鶊D像的相似性。用平均混度作亮度測(cè)量，灰度標(biāo)準(zhǔn)差則作對(duì)比度測(cè)量。計(jì)算公式見式(2)。 ( AUTONUM )式中：圖像的均值；圖像的標(biāo)準(zhǔn)差；圖像和的協(xié)方差；兩幅圖像的亮度；兩幅圖像的對(duì)比度；兩幅圖像的結(jié)構(gòu)差異；、和常數(shù)。結(jié)構(gòu)相似性(S

25、SIM)的標(biāo)準(zhǔn)計(jì)算公式見式(3)。 ( AUTONUM )式中：、和常數(shù)。為滿足圖像可利用性，SSIM不宜低于0.50，確保肉眼觀察無明顯差別。內(nèi)核感知距離圖像數(shù)據(jù)脫敏可利用性的衡量標(biāo)準(zhǔn)。內(nèi)核感知距離(KID)是在Inception網(wǎng)絡(luò)上真實(shí)圖像和生成樣本之間的最大均值誤差(MMD)，是一種無偏估計(jì)器，對(duì)于少量測(cè)試樣本也較有效。該距離越小，代表生成效果越好。當(dāng)KID分?jǐn)?shù)小于8時(shí)，即可認(rèn)定生成較好，滿足可利用性。峰值信噪比嵌入數(shù)字水印后圖像質(zhì)量的測(cè)量指標(biāo)。通過信號(hào)最大有效功率和噪聲功率的比值，衡量生成圖像的質(zhì)量。峰值信噪比(PSNR)常用對(duì)數(shù)分貝為單位，根據(jù)現(xiàn)有算法性能，峰值信噪比不宜低于30

26、dB，否則圖像不具備可利用性。信息隱藏容量圖像內(nèi)嵌入數(shù)字水印的信息大小。信息隱藏容量用于衡量原始圖像或視頻內(nèi)嵌入信息的大小。單位為比特每像素(BPP)，在保證圖像不失真的情況下，數(shù)值越大，代表載體信息容量越高。每秒傳輸幀數(shù)實(shí)時(shí)性衡量指標(biāo)。每秒傳輸幀數(shù)(FPS)用于測(cè)量動(dòng)態(tài)視頻的信息數(shù)量。每秒傳輸幀數(shù)越多，所顯示的畫面越流暢。在家庭環(huán)境下，攝像頭典型幀率為25 FPS，低于25 FPS會(huì)影響錄像視頻的流暢度。為不影響基于原始視覺數(shù)據(jù)的隱私保護(hù)使用，可用算法推理測(cè)試不宜低于25 FPS。元任務(wù)類別與樣本數(shù)衡量隱私保護(hù)模型泛化性的指標(biāo)。小樣本數(shù)據(jù)含有多個(gè)類別且每個(gè)類別包含有限個(gè)標(biāo)注樣本，構(gòu)成一個(gè)模型

27、一個(gè)元任務(wù)。通過不同的元任務(wù)組合來保證模型泛化能力與靈活性。通常，在標(biāo)注數(shù)據(jù)數(shù)量越少的情況下，可識(shí)別的樣本類別越多，代表模型的泛化性越強(qiáng)?；诜墙Y(jié)構(gòu)化視覺數(shù)據(jù)的隱私保護(hù)技術(shù)方法基于風(fēng)格遷移的隱私保護(hù)技術(shù)風(fēng)格遷移也稱為圖像風(fēng)格化，目的是保證圖像在內(nèi)容不變的情況下實(shí)現(xiàn)圖像的風(fēng)格轉(zhuǎn)化，技術(shù)使用建議如下：在視覺效果上，生成類似原始圖像風(fēng)格的偽圖，為保證圖像可利用性，SSIM不宜低于0.50，KID不宜高于8；根據(jù)用戶實(shí)時(shí)性需求，技術(shù)處理不宜低于25 FPS，以保證視頻隱私內(nèi)容實(shí)時(shí)性；宜滿足替換目標(biāo)的可選擇性與處理后內(nèi)容的可利用性；根據(jù)用戶需求選擇是否對(duì)授權(quán)者保留算法可逆性，通過特定方式獲取最原始視頻信

28、息；在指定對(duì)象前提下，有針對(duì)性的替換保護(hù)，在公共信道中傳輸以達(dá)到混淆第三方視聽的效果；該技術(shù)的應(yīng)用示例和評(píng)估方法宜參照本文件附錄A中的技術(shù)內(nèi)容和相關(guān)評(píng)估標(biāo)準(zhǔn)；本方法使用前，需使用目標(biāo)檢測(cè)方法對(duì)圖像或視頻幀中的待處理區(qū)域進(jìn)行提取。常用的效果較好的目標(biāo)檢測(cè)方法有YOLO、RetinaNet、SSD等。基于實(shí)例分割的隱私保護(hù)技術(shù)實(shí)例分割能夠區(qū)分不同對(duì)象并提取輪廓信息，實(shí)現(xiàn)了針對(duì)不同對(duì)象的保護(hù)，技術(shù)使用建議如下：在視覺效果上，通過對(duì)隱私信息模糊或遮擋處理實(shí)現(xiàn)隱私內(nèi)容的脫敏；根據(jù)用戶實(shí)時(shí)性需求，技術(shù)處理不宜低于25 FPS，以滿足視頻隱私內(nèi)容實(shí)時(shí)性；該技術(shù)宜達(dá)到業(yè)務(wù)所需平均精度均值，以保證隱私內(nèi)容的準(zhǔn)確

29、定位；隱私信息的遮擋或模糊處理，保證原始數(shù)據(jù)的整體可利用性。具備一定的抵御對(duì)抗樣本攻擊能力，以提高訓(xùn)練模型的魯棒性；在亮度、對(duì)比度、飽和度發(fā)生輕微變化，或有輕微噪聲輸入的情況下，功能仍可正常使用?；谛畔㈦[藏的隱私保護(hù)技術(shù)信息隱藏將隱私數(shù)據(jù)隱藏于可公開的媒體信息中，具有人眼無法察覺的優(yōu)點(diǎn)，能夠有效對(duì)隱私數(shù)據(jù)的保護(hù)，技術(shù)使用建議如下：在視覺效果上，該技術(shù)生成的圖像與原始圖像相似，結(jié)構(gòu)相似性和峰值信噪比宜分別符合5.2和5.4的指標(biāo)；根據(jù)用戶實(shí)時(shí)性需求，技術(shù)處理不宜低于25 FPS，以滿足視頻隱私內(nèi)容實(shí)時(shí)性；宜保證生成圖像內(nèi)含信息滿足不可視性；宜可完整的提取出隱私數(shù)據(jù)，以保證隱私數(shù)據(jù)的可利用性和算

30、法的魯棒性；宜可嵌入盡可能多的隱私數(shù)據(jù)，滿足信息容量的需求。算法具備一定的魯棒性，圖像在正常的濾波、編解碼、數(shù)模轉(zhuǎn)換后，仍可完整的提取出隱私數(shù)據(jù)?；谛颖緳z測(cè)的隱私保護(hù)技術(shù)針對(duì)數(shù)據(jù)處理成本高的隱私內(nèi)容，融合傳統(tǒng)目標(biāo)檢測(cè)與小樣本學(xué)習(xí)技術(shù)，引導(dǎo)模型在極少量數(shù)據(jù)集基礎(chǔ)上學(xué)習(xí)得到具有一定泛化能力的隱私內(nèi)容檢測(cè)模型，從而實(shí)現(xiàn)對(duì)其相應(yīng)的保護(hù)處理，技術(shù)使用建議如下：在視覺效果上，應(yīng)實(shí)現(xiàn)對(duì)隱私信息模糊或遮擋(替換)處理，滿足隱私內(nèi)容的脫敏；根據(jù)用戶實(shí)時(shí)性需求，技術(shù)處理不宜低于25 FPS，以滿足視頻隱私內(nèi)容實(shí)時(shí)性；模型對(duì)于新的外部數(shù)據(jù)宜保持性能穩(wěn)定，以滿足模型的魯棒性；宜達(dá)到業(yè)務(wù)所需平均精度均值，以保證隱私

31、內(nèi)容的準(zhǔn)確定位；在元任務(wù)組合中宜滿足用戶實(shí)際應(yīng)用需求，保證對(duì)小樣本隱私內(nèi)容的檢測(cè)準(zhǔn)確性與模型泛化性；模型宜考慮隱私內(nèi)容的個(gè)體主觀性與場(chǎng)景的差異性，以滿足模型的靈活應(yīng)用；隱私信息的遮擋或模糊處理，宜滿足原始數(shù)據(jù)的整體可利用性?；?可逆)圖像縮放的隱私保護(hù)技術(shù)圖像縮放技術(shù)，通過高倍數(shù)的圖像降采樣，有效對(duì)隱私數(shù)據(jù)進(jìn)行保護(hù)；并可在需要時(shí)使用超分辨技術(shù)，還原數(shù)據(jù)的絕大部分特征和細(xì)節(jié)。技術(shù)使用建議如下：在視覺效果上，通過對(duì)隱私信息模糊或遮擋處理實(shí)現(xiàn)隱私內(nèi)容的脫敏；根據(jù)用戶實(shí)時(shí)性需求，技術(shù)處理不宜低于25 FPS，以滿足視頻隱私內(nèi)容實(shí)時(shí)性；該技術(shù)宜達(dá)到平均精度均值，以保證隱私內(nèi)容的準(zhǔn)確定位；隱私信息的遮擋

32、或模糊處理，保證原始數(shù)據(jù)的整體可利用性；模型宜考慮隱私內(nèi)容的使用場(chǎng)景差異，以滿足模型的靈活應(yīng)用?；诮Y(jié)構(gòu)化視覺數(shù)據(jù)技術(shù)方法原始數(shù)據(jù)的二值化處理及顯著性表征針對(duì)存儲(chǔ)空間的限制和個(gè)人隱私問題，對(duì)原始數(shù)據(jù)做二值化處理操作，采用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建映射關(guān)系：數(shù)據(jù)采用深度卷積神經(jīng)網(wǎng)絡(luò)的哈希檢索方法，構(gòu)建數(shù)據(jù)之間的映射關(guān)系；數(shù)據(jù)存在與其唯一對(duì)應(yīng)的標(biāo)簽；數(shù)據(jù)之間的映射關(guān)系通過哈希編碼后的二值碼來表示；數(shù)據(jù)二值碼與標(biāo)簽二值碼的漢明距離，獲取最短距離下該標(biāo)簽所代表的原始數(shù)據(jù)；數(shù)據(jù)二值碼宜具備低儲(chǔ)存空間、高準(zhǔn)確度特性。差分隱私和特征數(shù)據(jù)保護(hù)通過對(duì)數(shù)據(jù)添加噪聲，有效抵抗差分攻擊，降低了隱私數(shù)據(jù)的敏感程度：該技術(shù)針對(duì)不同

33、的差分攻擊具備相應(yīng)的抵御能力；在數(shù)據(jù)保護(hù)處理過程中，噪聲添加等特殊方式達(dá)到隱私數(shù)據(jù)低敏感度；模型的訓(xùn)練過程低計(jì)算成本；差分隱私方法可以在原始數(shù)據(jù)二值化處理的基礎(chǔ)上實(shí)施?；谕ㄓ檬录鞯碾[私保護(hù)方法通用事件流只記錄原始的視頻數(shù)據(jù)中運(yùn)動(dòng)目標(biāo)的輪廓信息，忽略了視頻處理中的關(guān)鍵因素時(shí)序特征的描述，能夠保護(hù)視頻中的隱私數(shù)據(jù)：在視覺效果上，宜實(shí)現(xiàn)對(duì)事件數(shù)據(jù)充分稀疏化處理的同時(shí)凸顯運(yùn)動(dòng)特性，以滿足圖像可利用性；根據(jù)用戶實(shí)時(shí)性需求，技術(shù)處理不宜低于25 FPS，以滿足視頻隱私內(nèi)容實(shí)時(shí)；該技術(shù)宜保證生成圖像、視頻文件保留足夠信息可供人眼查驗(yàn)和數(shù)據(jù)標(biāo)注；該技術(shù)宜對(duì)視頻數(shù)據(jù)進(jìn)行稀疏壓縮處理，以便事件傳輸、存儲(chǔ)和分析

34、；該技術(shù)提取的特征宜支持多種顏色系統(tǒng)編碼。（資料性）隱私保護(hù)方法簡(jiǎn)介基于非結(jié)構(gòu)化視覺數(shù)據(jù)的隱私保護(hù)方法總則針對(duì)于原始的視頻數(shù)據(jù)，本文件提出替換與模糊兩類方法以滿足標(biāo)準(zhǔn)，其他能夠滿足該文件原則的方法同樣可以納入其中?；陲L(fēng)格遷移的隱私保護(hù)算法替換原始數(shù)據(jù)信息方法，主要針對(duì)人臉信息保護(hù)。目前主流的生成模型有流模型、自回歸模型和生成對(duì)抗網(wǎng)絡(luò)(GAN)三種?？紤]到生成的高效性和并行性，本文件在針對(duì)原始非結(jié)構(gòu)化數(shù)據(jù)的偽圖生成中使用了GAN網(wǎng)絡(luò)，且GAN網(wǎng)絡(luò)是不可逆的。傳統(tǒng)GAN是通過生成網(wǎng)絡(luò)G(Generator)和判別網(wǎng)絡(luò)D(Discriminator)不斷博弈，進(jìn)而使G學(xué)習(xí)到真實(shí)數(shù)據(jù)的分布。將其應(yīng)用

35、到圖片生成上，則訓(xùn)練完成后，G可以從一段隨機(jī)噪聲中生成逼真的圖像，見圖A.1。但是，考慮到數(shù)據(jù)隱私中涉及到的都是圖像和視頻等數(shù)據(jù)，本文件期望對(duì)原始視覺隱私數(shù)據(jù)進(jìn)行脫敏或加密后達(dá)到混淆視聽的效果。因此選擇了傳統(tǒng)GAN的一種變形體CycleGAN，在生成器G的輸入端應(yīng)當(dāng)輸入一張圖像。GAN示意圖該網(wǎng)絡(luò)和傳統(tǒng)GAN的不同在于，G接收的不再是一個(gè)隨機(jī)噪聲x，而是一張視頻監(jiān)控中的原始圖像，G(x)為生成圖像，輸出的D(x)代表生成圖像為真實(shí)圖像的概率。訓(xùn)練中，生成網(wǎng)絡(luò)G的目標(biāo)就是盡量生成真實(shí)的圖片去欺騙判別網(wǎng)絡(luò)D，而D的目標(biāo)就是努力判別輸入網(wǎng)絡(luò)的是真實(shí)圖像還是生成偽圖。這樣G和D就構(gòu)成了一個(gè)動(dòng)態(tài)的“博弈

36、過程”，最終的平衡點(diǎn)即納什衡點(diǎn)。CycleGAN網(wǎng)絡(luò)在本質(zhì)是兩個(gè)鏡像對(duì)稱的單向GAN網(wǎng)絡(luò)。兩個(gè)單向的GAN共享兩個(gè)生成器，并各自帶一個(gè)判別器，即共有兩個(gè)判別器和兩個(gè)生成器。輸入的非成對(duì)圖像x和y，通過訓(xùn)練創(chuàng)建映射，確保輸入輸出可以共享一些特征，見圖A.2。在視覺隱私數(shù)據(jù)保護(hù)任務(wù)中，可以生成類似原始圖像風(fēng)格的偽圖，實(shí)現(xiàn)保護(hù)當(dāng)事人隱私的目標(biāo)。與CycleGAN同期的兩個(gè)模型DualGAN和DiscoGAN，實(shí)際上都采用了和CycleGAN一樣的思路，即利用循環(huán)生成的思想，輸入樣本連續(xù)經(jīng)過兩個(gè)對(duì)稱的生成網(wǎng)絡(luò)后，期望輸出一個(gè)和輸入完全一致的圖像，因此在損失函數(shù)方面也采用了循環(huán)一致的L1范數(shù)。但是，由于

37、面向的具體任務(wù)不同，三者在網(wǎng)絡(luò)結(jié)構(gòu)上存在細(xì)微差別。DualGAN采用了U-net的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)也包含和CycleGAN中相同的殘差塊。而DiscoGAN結(jié)構(gòu)更近似于DCGAN。CycleGAN更強(qiáng)調(diào)非成對(duì)圖像間的翻譯任務(wù)，且多個(gè)評(píng)價(jià)指標(biāo)的衡量中，CycleGAN均在三者中具有最好性能。表A.1展示了三種模型在FID(Frchet Inception Distance)、KID以及SSIM分?jǐn)?shù)上的對(duì)比。三種模型的量化對(duì)比評(píng)價(jià)指標(biāo)模型FIDKIDSSIMDualGAN140100.41DiscoGAN145110.37CycleGAN12070.50在實(shí)時(shí)性需求上，常見的視頻的幀率在25-30

38、FPS之間，通常GAN的圖像生成速度在20-30 ms之間，因此可以滿足視頻隱私實(shí)時(shí)性與脫敏性。同時(shí)，與現(xiàn)有的一些通過對(duì)圖像視頻等數(shù)據(jù)中隱私部位直接打馬賽克的方式相比，本文件的方法具有以下優(yōu)勢(shì)：如果需要替換，可以指定被替換對(duì)象和待替換目標(biāo)，通過定向替換，一是可以在傳遞信息過程中，第三方/攻擊者只可以看到被替換后的目標(biāo)，達(dá)到混淆視聽的目的；二是有權(quán)限的視頻處理人員和被授權(quán)者可以通過替換關(guān)系，獲取最原始的視頻信息。需要注意的是，本方法在使用前，需使用目標(biāo)檢測(cè)方法對(duì)圖像或視頻幀中的待處理區(qū)域進(jìn)行提取。常用的效果較好的目標(biāo)檢測(cè)方法有YOLO、RetinaNet、SSD等，本文件不做具體要求。 Cycl

39、eGAN示意圖基于實(shí)例分割的隱私保護(hù)技術(shù)模糊原始數(shù)據(jù)信息方法，主要針對(duì)實(shí)物隱私保護(hù)。使用編碼器與解碼器兩類方法進(jìn)行搭建，編碼器使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行提取特征，其作用為能夠?qū)崿F(xiàn)在不同圖像尺度下進(jìn)行特征信息的提取與融合，例如使用深度可分離卷積等，而解碼器的作用為將提取的高維特征進(jìn)行分類恢復(fù)為原始圖像尺寸的大小，例如使用U-net網(wǎng)絡(luò)等。使用圖像分割的思想能夠選擇性的保護(hù)需要保護(hù)的區(qū)域，而模糊掉不需要的或者敏感的信息。該算法能夠在較高分辨率的情況下有效地提取出所需要的信息。基于信息隱藏的隱私保護(hù)技術(shù)嵌入隱秘信息至原始數(shù)據(jù)信息，主要針對(duì)圖像進(jìn)行安全和隱私保護(hù)。如圖A.3所示，基于生成對(duì)抗式網(wǎng)絡(luò)，在生

40、成器的編碼網(wǎng)絡(luò)中加入空洞空間金字塔，提取多尺度和多空洞率的特征，大幅度提升感受野范圍，從而獲取圖像的結(jié)構(gòu)冗余信息以提高圖像信息隱藏容量和信息的不可視性；為提高上述嵌入信息的提取準(zhǔn)確度，保證多方隱秘通信和隱私信息取證鑒定的順利完成，在生成器的解碼網(wǎng)絡(luò)使用空洞空間金字塔，獲取隱藏信息的語義特征和細(xì)節(jié)特征以解碼出所嵌入信息，同時(shí)使用二值交叉熵?fù)p失來提高解碼準(zhǔn)確度；在網(wǎng)絡(luò)訓(xùn)練的過程中使用不同尺度梯度更新策略，加快網(wǎng)絡(luò)的對(duì)抗博弈并且穩(wěn)定快速達(dá)到最佳平衡點(diǎn)，使用余弦退火調(diào)整學(xué)習(xí)率以提高梯度的收斂速度和效率，使用密集型連接方式緩解梯度消失的問題，大幅度減少參數(shù)。該算法能夠在較高分辨率的情況下，進(jìn)行信息的嵌入

41、和有效提取，實(shí)現(xiàn)多媒體圖像的隱私安全保護(hù)。算法結(jié)構(gòu)框圖基于小樣本檢測(cè)的隱私保護(hù)技術(shù)考慮到隱私保護(hù)技術(shù)的實(shí)際應(yīng)用需求，主要解決實(shí)際中數(shù)據(jù)收集與標(biāo)注困難的問題。融合傳統(tǒng)的目標(biāo)檢測(cè)與小樣本學(xué)習(xí)方法，基于包含充足標(biāo)注數(shù)據(jù)的基類，通過訓(xùn)練方法設(shè)計(jì)、模型結(jié)構(gòu)設(shè)計(jì)與損失函數(shù)設(shè)計(jì)，引導(dǎo)模型在極少量標(biāo)注數(shù)據(jù)中學(xué)習(xí)具有一定泛化性能的檢測(cè)模型。保留基類權(quán)重模型，對(duì)于不同元任務(wù)的組合進(jìn)行參數(shù)微調(diào)，實(shí)現(xiàn)對(duì)小樣本隱私內(nèi)容的檢測(cè)定位與保護(hù)處理，進(jìn)一步提高模型的泛化能力與靈活性，見圖A.4。小樣本檢測(cè)示意圖基于(可逆)圖像縮放的隱私保護(hù)技術(shù)使用圖像縮放算法，能模糊原始數(shù)據(jù)信息，對(duì)實(shí)物隱私保護(hù)。如圖A.5所示，圖片經(jīng)過Haar小波變換后(分離高頻和低頻)，進(jìn)入可逆downscale模塊，會(huì)輸出兩個(gè)結(jié)果，一個(gè)是縮小后的圖片，另一個(gè)是丟失的高頻成分建模形成的隱分布(與輸入圖像獨(dú)立，即與輸入圖像無關(guān))。當(dāng)需要恢復(fù)原圖時(shí)，利用低分辨率圖像和上述的隱分布數(shù)據(jù)就可以重建原來高分辨的圖像。使用者可以根據(jù)應(yīng)用場(chǎng)景，選擇不同倍數(shù)的圖像縮小。本方法可以直接應(yīng)用在全畫面，加密時(shí)對(duì)全圖進(jìn)行降采樣，還原時(shí)采用可逆圖像縮放算法。在實(shí)時(shí)性需求上，圖像可逆縮放算法的推理速度經(jīng)過優(yōu)化后，