AI時(shí)代深度偽造和合成媒體的安全威脅與對(duì)策（2024版）

目錄第一章AI時(shí)代深度偽造和合成媒體安全概念界定及背景分析 11深度偽造和合成媒體概念界定 11深度偽造概念界定與特征分析 11合成媒體概念界定與特征分析 11深度偽造和合成媒體安全發(fā)展階段 12深度偽造和合成媒體技術(shù)應(yīng)用場(chǎng)景 13深度偽造和合成媒體安全影響和痛點(diǎn)分析 14深度偽造和合成媒體安全的政策、規(guī)范與標(biāo)準(zhǔn) 17國(guó)外深度偽造和合成媒體安全法律分析 17國(guó)內(nèi)深度偽造和合成媒體安全政策、規(guī)范和標(biāo)準(zhǔn)分析 19第二章AI時(shí)代深度偽造和合成媒體安全技術(shù)、威脅及對(duì)策研究 22深度偽造和合成媒體安全技術(shù)原理分析 22計(jì)算機(jī)圖形學(xué)（CG）的原理與應(yīng)用 22自編碼器（AE）的原理與應(yīng)用 22人工神經(jīng)網(wǎng)絡(luò)(ANN)的原理與應(yīng)用 23生成對(duì)抗網(wǎng)絡(luò)(GAN)的原理與應(yīng)用 24擴(kuò)散模型（DDPM）的原理與應(yīng)用 25深度偽造和合成媒體技術(shù)應(yīng)用分析 25視頻領(lǐng)域：換臉、動(dòng)作轉(zhuǎn)移、表情操縱等 25圖像領(lǐng)域：人臉生成、屬性編輯、風(fēng)格轉(zhuǎn)換等 26語(yǔ)音領(lǐng)域：克隆、轉(zhuǎn)換、合成等 27深度偽造和合成媒體安全威脅分析 28對(duì)個(gè)人層面的安全威脅 28對(duì)社會(huì)層面的安全威脅 29對(duì)國(guó)家層面的安全威脅 29深度偽造和合成媒體安全檢測(cè)類技術(shù)分析 30數(shù)字水印溯源技術(shù)研究 31基于區(qū)塊鏈的內(nèi)容認(rèn)證機(jī)制 31可信硬件支撐環(huán)境的構(gòu)建 32深度偽造和合成媒體安全檢測(cè)類技術(shù)分析 33聚焦深度偽造內(nèi)容本身的分析檢測(cè)方法 33聚焦深度學(xué)習(xí)的檢測(cè)方法 34基于多模態(tài)融合的檢測(cè)方法 35第三章AI深度偽造和合成媒體安全的市場(chǎng)現(xiàn)狀分析 37深度偽造和合成媒體安全的市場(chǎng)表現(xiàn)分析 37深度偽造和合成媒體市場(chǎng)規(guī)模分析 37深度偽造和合成媒體公開中標(biāo)信息分析 37深度偽造和合成媒體廠商投融資情況分析 38深度偽造和合成媒體安全生態(tài)圖譜分析 39深度偽造和合成媒體安全市場(chǎng)成熟度分析 41深度偽造和合成媒體安全消費(fèi)者敏感度分析 42深度偽造和合成媒體安全消費(fèi)者認(rèn)知度分析 42深度偽造和合成媒體安全消費(fèi)者使用度分析 43深度偽造和合成媒體安全消費(fèi)者需求度分析 45深度偽造和合成媒體安全消費(fèi)者敏感度分析 46深度偽造和合成媒體安全消費(fèi)者保護(hù)度分析 47第四章AI深度偽造和合成媒體安全市場(chǎng)技術(shù)落地分析 49深度偽造和合成媒體安全能力建設(shè)分析 49國(guó)內(nèi)深度偽造和合成媒體安全研究側(cè)能力分析 50國(guó)內(nèi)深度偽造和合成媒體安全服務(wù)側(cè)能力分析 52深度偽造和合成媒體安全防控體系分析 54深度偽造和合成媒體安全防控體系—治理層面 54深度偽造和合成媒體安全防控體系—管理層面 55深度偽造和合成媒體安全防控體系—技術(shù)層面 56深度偽造和合成媒體安全技術(shù)落地難點(diǎn)分析 59第五章國(guó)外深度偽造和合成媒體安全工具/平臺(tái)介紹（按首字母排序） 62Deepware 62Illuminarty 63Sentinel 64WeVerify 65第六章國(guó)內(nèi)深度偽造和合成媒體安全廠商典型案例（按簡(jiǎn)稱字母排序） 66頂象典型案例分析 66東方通典型案例分析 69國(guó)投智能典型案例分析 72瑞萊智慧典型案例分析 74網(wǎng)易易盾典型案例分析 76中科睿鑒典型案例分析 79第七章AI深度偽造和合成媒體安全市場(chǎng)未來五大趨勢(shì)分析 82深度偽造和合成媒體安全潛在市場(chǎng)規(guī)模巨大 82未來三年，企業(yè)和大眾將會(huì)深刻感受到深度偽造和合成媒體安全帶來的挑戰(zhàn) 83技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新雙輪驅(qū)動(dòng)，推動(dòng)深度偽造和合成媒體安全行業(yè)快速發(fā)展 83國(guó)內(nèi)深度偽造相關(guān)技術(shù)短期領(lǐng)先，長(zhǎng)期發(fā)展需全生態(tài)協(xié)同推進(jìn) 84“融合”成深度偽造和合成媒體安全關(guān)鍵詞 85第八章附錄 86本報(bào)告主要參考文獻(xiàn) 86國(guó)內(nèi)深度偽造相關(guān)專利信息匯總表 88引言本次《AIAIAI「無平不陂，無往不復(fù)。堅(jiān)貞無咎，勿恤其孚，于食有?！埂吨芤住ぬ犯鶕?jù)唯物辯證法，事物是不斷發(fā)展變化的，可是人們往往更多關(guān)注到突變的時(shí)刻，容易忽略事物變化的AI·泰》泰卦，原文是“無平不陂，無往不復(fù)。堅(jiān)貞無咎，勿恤其孚，什么好后悔的，可能有挫折，也可能會(huì)得到好的回報(bào)。這個(gè)卦不是否極泰來的意思，但可以理解為事物前途是光明的，發(fā)展的道路是曲折的，需要看準(zhǔn)方向，堅(jiān)定不移地往前走。「技術(shù)可以在很大程度上左右人類這一物種的生物屬性，但反過來人類也可以賦予技術(shù)以靈魂」—《技術(shù)與文明》人類與技術(shù)的互動(dòng)是一個(gè)動(dòng)態(tài)的過程，技術(shù)的發(fā)展可以推動(dòng)人類社會(huì)的進(jìn)步，而人類的智慧和道德判斷則可以引導(dǎo)技術(shù)向有益于人類的方向進(jìn)化。這種相互作用確保了技術(shù)不僅僅是推動(dòng)力，也是人類文化和精神賦予它服務(wù)于人類福祉的使命！報(bào)告關(guān)鍵發(fā)現(xiàn)法明確階段。每個(gè)階段具有持續(xù)性特點(diǎn)，并且會(huì)有重疊，這體現(xiàn)了深度偽造和合成媒體安全治理的復(fù)雜性和長(zhǎng)期性。其在多個(gè)領(lǐng)域的巨大潛力和價(jià)值不容忽視，如個(gè)人娛樂、歷史教育、親人緬懷、醫(yī)療旅游等；從反面來看，相關(guān)政策制定和理論研究等方面也在積極推進(jìn)中。例如，《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》、《生成式人工智能服務(wù)管理暫行辦法》、《生成式人工智能服務(wù)安全基本要求》等的出臺(tái)，推進(jìn)了我國(guó)在深度偽造和合成媒體監(jiān)管側(cè)法規(guī)依據(jù)的不斷完善。（信任類和被動(dòng)式防御（檢測(cè)類）。檢測(cè)類是當(dāng)前應(yīng)對(duì)深度偽造負(fù)面對(duì)抗的主要形式。具體的檢測(cè)技術(shù)有多種，目前基于多模態(tài)的檢測(cè)方法是業(yè)內(nèi)公認(rèn)的有效手段。安全牛公開調(diào)研收集的深度偽造和合成媒體安全市場(chǎng)相關(guān)信息顯示，20231.192024243%4.08傳媒集團(tuán)、銀行和運(yùn)營(yíng)商是深度偽造和合成媒體安全市場(chǎng)的主要采購(gòu)客戶。從投融資信息角度來看，2020年是資方看好深度偽造和合成媒體創(chuàng)新廠商的主要時(shí)機(jī)，在這一年瑞萊智慧、深信科創(chuàng)獲得了天使輪投資，中關(guān)村科金獲得了股權(quán)投資。2024深度偽造技術(shù)領(lǐng)域的重度參與者可以按照研究側(cè)和服務(wù)側(cè)兩部分進(jìn)行劃分。研究側(cè)包括擁有深度偽造專利認(rèn)證的金融機(jī)構(gòu)、科研院所和高校；服務(wù)側(cè)則涵蓋了提供深度偽造和合成媒體安全服務(wù)的企業(yè)，可分為以網(wǎng)絡(luò)和數(shù)據(jù)安全為主營(yíng)業(yè)務(wù)的企業(yè)，以及以人工智能為核心的企業(yè)和滿足自我檢測(cè)需求的互聯(lián)網(wǎng)企業(yè)。目前，這三類服務(wù)企業(yè)均處于初級(jí)階段。在整體能力上來看，存在各自的優(yōu)勢(shì)及問題，融合發(fā)展有望是未來的解決之道。安全牛在本研究項(xiàng)目中發(fā)起了《大眾對(duì)深度偽造和合成媒體技術(shù)安全認(rèn)知、態(tài)度及影響調(diào)研問卷》，從認(rèn)知度、使用度、需求度、敏感度和保護(hù)度五方面進(jìn)行了消費(fèi)者分析。主要結(jié)論是：大眾普遍對(duì)相關(guān)概念及其典型事件（如三只羊錄音事件）有所了解，但在識(shí)別利用該技術(shù)制造的虛假內(nèi)容方面存在明顯困難；大眾普遍對(duì)此技術(shù)存有好奇心，但同時(shí)也對(duì)此技術(shù)可能引發(fā)的誠(chéng)信問題抱有普遍的擔(dān)憂；大眾對(duì)于安全需求保障的意愿較為強(qiáng)烈，特別是對(duì)監(jiān)管側(cè)和技術(shù)提供商寄予厚望；受訪者普遍對(duì)合成媒體有較高的安全意識(shí)，大眾也有意愿了解相關(guān)防范知識(shí)，并期待深度偽造檢測(cè)工具的進(jìn)一步落地。2021（202410）的深度偽造和合成媒體專利信息得出以下57%，2022年；專利的法律狀態(tài)主要集中在等待（實(shí)審提案、年登印費(fèi)），占比達(dá)到71%，真正獲得專利權(quán)有效的22%。檢測(cè)類型是深度偽造發(fā)明專利的主要類型，占比達(dá)到77%，未來深度偽造技術(shù)在防護(hù)技術(shù)和系統(tǒng)實(shí)現(xiàn)方面還有較大發(fā)展空間。深度偽造和合成媒體安全的監(jiān)管者需要變革。為應(yīng)對(duì)深度偽造和合成媒體技術(shù)帶來的挑戰(zhàn)和問題，監(jiān)管機(jī)構(gòu)面臨的任務(wù)愈發(fā)復(fù)雜且迫在眉睫。因此，監(jiān)管機(jī)構(gòu)需要采取全面、多維的策略，以確保能夠有效識(shí)別、監(jiān)管并防范深度偽造內(nèi)容的不當(dāng)使用。安全牛建議：監(jiān)管機(jī)構(gòu)需要探索不同的開放制度、平臺(tái)和模型，以精準(zhǔn)管控深度偽造和合成媒體的具體方向和落地細(xì)節(jié)。一方面，內(nèi)容方需要順應(yīng)時(shí)代發(fā)展，滿足大眾日益提高的精神文化需要；另一方面，內(nèi)容方需要建立專門的內(nèi)容審查團(tuán)隊(duì)，負(fù)責(zé)監(jiān)控上傳的內(nèi)容，快速響應(yīng)并處理深度偽造內(nèi)容的舉報(bào)。安全牛建議：內(nèi)容方需要滿足消費(fèi)者的多重需求，同時(shí)提前布局、審查加固和建立舉報(bào)制度。深度偽造和合成媒體技術(shù)快速發(fā)展的背景下，消費(fèi)者需要變革。消費(fèi)者需要“擦亮雙眼”，在深度偽造和合成媒體內(nèi)容高速發(fā)展的當(dāng)下，眼見不一定為實(shí)，在肉眼分不清現(xiàn)實(shí)和虛擬的時(shí)候，借助科技的力量已是AI持懷疑態(tài)度，然后再去證實(shí)。安全牛認(rèn)為，雖然深度偽造和合成媒體安全應(yīng)用的行業(yè)與場(chǎng)景各不相同，但均可按照制定管理計(jì)劃－管理風(fēng)險(xiǎn)評(píng)估－管理框架搭建－構(gòu)建安全模型－深度內(nèi)容檢測(cè)－事件響應(yīng)計(jì)劃－事件改進(jìn)計(jì)劃－持續(xù)更新教育的方式，建立健全有效防御體系。安全牛總結(jié)深度偽造和合成媒體有五大發(fā)展趨勢(shì)：1）B（主要是監(jiān)管方、企業(yè)和機(jī)構(gòu)）C（消費(fèi)者）302）未來三年，企業(yè)和大眾將會(huì)深刻感受到深度偽造和合成媒體安全帶來的挑戰(zhàn)；3）技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新雙輪驅(qū)動(dòng)，將推動(dòng)深度偽造和合成媒體安全行業(yè)快速發(fā)展；4）國(guó)內(nèi)深度偽造相關(guān)安全技術(shù)應(yīng)用會(huì)短期領(lǐng)先，但長(zhǎng)期發(fā)展需全生態(tài)協(xié)同推進(jìn)；5）“融合”是深度偽造和合成媒體安全關(guān)鍵詞。第一章AI時(shí)代深度偽造和合成媒體安全概念界定及背景分析深度偽造和合成媒體概念界定(Deepae)SynthticMedi)深度偽造概念界定與特征分析(Deepfake)取自英文“Deeplearning”(Fake”(制造出以假亂真的內(nèi)容。學(xué)術(shù)界對(duì)深度偽造有著多種看法，清華大學(xué)有學(xué)者以“深度偽造”技術(shù)的典型化事實(shí)為例進(jìn)行分析，界定其為“顛覆性技術(shù)異化”；也有國(guó)內(nèi)研究人員認(rèn)為，深度偽造可以算作“宏進(jìn)化”和“微進(jìn)化”的結(jié)合，并提出其進(jìn)化的漸進(jìn)性。安全牛認(rèn)為，深度偽造技術(shù)具有幾個(gè)典型特性，簡(jiǎn)單總結(jié)為三“高”：1）可高效快捷批量生成；3）合成媒體概念界定與特征分析合成媒體（SyntheticMedia）是利用人工智能算法生成或操控的數(shù)字內(nèi)容，代表了虛擬內(nèi)容創(chuàng)作中人工智能技術(shù)的前沿成果。合成媒體具有高度的真實(shí)感和沉浸感，使得內(nèi)容與現(xiàn)實(shí)世界的媒體難以區(qū)分，其典型應(yīng)用如新聞播報(bào)員的數(shù)字分身、虛擬偶像或者游戲化身等。從廣義來看，深度偽造也是合成媒體的一種，但合成媒體的概念外延更寬，它不局限于視聽內(nèi)容的篡改，更強(qiáng)調(diào)利用算法從無到有地“創(chuàng)造”數(shù)字內(nèi)容。安全牛認(rèn)為，合成媒體具有上述深度偽造的特點(diǎn)，但其在應(yīng)用場(chǎng)景方面與深度偽造略有不同。深度偽造主要用于生成詐騙影像、偽造色情視頻、散布政治謠言等負(fù)面性的應(yīng)用場(chǎng)景；而合成媒體背后動(dòng)機(jī)更加復(fù)雜，除上述消極場(chǎng)景外，通常也大量廣泛應(yīng)用于虛擬主播、數(shù)字人等正向應(yīng)用領(lǐng)域。隨著技術(shù)門檻的不斷降低，生成成本大幅下降，合成媒體帶來的內(nèi)容真?zhèn)螞_擊也隨之加大。深度偽造和合成媒體安全發(fā)展階段其實(shí)，深度偽造和合成媒體背后的針對(duì)圖像、視頻和音頻的加工操作早就存在，甚至非正常修改或非法替PhoshopPFinalut、剪映等工具早已實(shí)現(xiàn)了對(duì)圖像的實(shí)質(zhì)性修改。但深度偽造和合成媒體技術(shù)在人工神經(jīng)網(wǎng)絡(luò)的快速發(fā)展后迎來了大跳躍，尤其是生成對(duì)抗generativeadversarialnetwork，GAN)深度偽造概念首次出現(xiàn)在美國(guó)，201712DeepFakes”的用戶在美國(guó)社交媒體平臺(tái)發(fā)布換2018年1月，一詞由此首次正式被提出。此后，該技術(shù)逐漸陷入惡意濫用的泥沼。像偽造色情視頻、政治人物演講、企業(yè)家虛假新聞等層出不窮。2019T）發(fā)展，以識(shí)別被篡改的圖像和視頻。aebook2019Deepae3500082.56%。我國(guó)深度偽造和合成媒體的應(yīng)用雖比國(guó)外晚了一段時(shí)間，但是不論技術(shù)產(chǎn)品還是監(jiān)管力度都在快速發(fā)展。安全牛認(rèn)為，我國(guó)深度偽造和合成媒體安全發(fā)展可分為四個(gè)階段：圖1.21中國(guó)深度偽造和合成媒體安全發(fā)展階段圖大眾認(rèn)知階段：20192AI眾的廣泛關(guān)注。監(jiān)管介入階段：20199ZAOApp因涉嫌侵犯隱私被約談2021顯示我國(guó)監(jiān)管機(jī)構(gòu)的持續(xù)關(guān)注和迅速響應(yīng)。2020X-Ray20211立法明確階段：20244AIAI20246AI換臉”侵權(quán)案，認(rèn)定使用他人視頻“換臉”后制作模板再提供“換臉”服務(wù)的網(wǎng)絡(luò)服務(wù)提供者侵害了他人個(gè)人信息權(quán)益。值得一提的是，我國(guó)深度偽造和合成媒體安全發(fā)展的四個(gè)階段具有持續(xù)性特點(diǎn)，每個(gè)階段都可能持續(xù)較長(zhǎng)時(shí)間，并且可能會(huì)有重疊。這也體現(xiàn)了深度偽造和合成媒體安全治理的復(fù)雜性和長(zhǎng)期性。深度偽造和合成媒體技術(shù)應(yīng)用場(chǎng)景深度偽造與合成媒體技術(shù)雖然在某些應(yīng)用場(chǎng)景中帶來了負(fù)面影響，但其在多個(gè)領(lǐng)域的巨大潛力和價(jià)值不容和DeepFaceLab使得用戶能夠輕松地將自己的臉替換到視頻中，為社交媒體和個(gè)人分享帶來新的樂趣；在教育領(lǐng)域也受益于這些技術(shù)，通過創(chuàng)造更加生動(dòng)的教學(xué)材料，如歷史ableDifusionMijourney生成逼真的背景和特效，節(jié)省了傳統(tǒng)拍攝的成本和時(shí)間；醫(yī)療行業(yè)通過合成媒體技術(shù)模擬手術(shù)過程，提高了手術(shù)訓(xùn)練的真實(shí)性；藝術(shù)領(lǐng)域中，合成技術(shù)激發(fā)了藝術(shù)家的創(chuàng)造力，如通過圖像融合技術(shù)創(chuàng)作數(shù)字藝術(shù)作品；新Heygen圖1.31中國(guó)深度偽造和合成媒體技術(shù)應(yīng)用場(chǎng)景展示圖圖1.31中國(guó)深度偽造和合成媒體技術(shù)應(yīng)用場(chǎng)景展示圖安全牛認(rèn)為，當(dāng)前，眾多應(yīng)用平臺(tái)正在降低深度偽造和合成媒體技術(shù)的門檻，使得普通用戶能夠輕松地利用這些軟件實(shí)現(xiàn)具體的應(yīng)用。無論是國(guó)際知名的平臺(tái)如OpenAI、Heygen、Midjourney、Runway，還是國(guó)內(nèi)的訊飛智作、剪映等，都在積極推動(dòng)合成媒體技術(shù)的發(fā)展和應(yīng)用。這些平臺(tái)提供了一系列從文本到視頻的全面ableDiffusion、aSap個(gè)人用戶和開發(fā)者提供了強(qiáng)大的工具，進(jìn)一步促進(jìn)了合成媒體技術(shù)的普及和創(chuàng)新。隨著技術(shù)的持續(xù)進(jìn)步，相信合成媒體技術(shù)將在更多領(lǐng)域扮演關(guān)鍵角色，將對(duì)社會(huì)產(chǎn)生深遠(yuǎn)影響。深度偽造和合成媒體安全影響和痛點(diǎn)分析深度偽造和合成媒體技術(shù)帶來的影響是深遠(yuǎn)和復(fù)雜的，安全牛總結(jié)這些影響涉及虛假宣傳、名譽(yù)損壞、財(cái)產(chǎn)損失、道德倫理和安全威脅等多個(gè)角度。以下結(jié)合具體事件展開詳細(xì)分析：表1.412017-2024國(guó)內(nèi)外深度偽造和合成媒體典型事件匯總表事件時(shí)間/名稱事件名稱事件內(nèi)容2017年美國(guó)蓋爾·加朵遭色情換臉Reddit上的“deepfakes”用戶利用深度偽造技術(shù)，將《祖奇女俠》主演蓋爾·加朵的面容合成到了一部成人影片中，引發(fā)桃色風(fēng)波2018年印度印度記者遭色情報(bào)復(fù)視頻困擾RanaAyyub者2018年美國(guó)奧巴馬罵特朗普假視頻一段偽造的奧巴馬視頻在推特上播放超200萬次，點(diǎn)贊超5這是美國(guó)喜劇演員喬丹，皮爾聲音，旨在展示深度偽造技術(shù)2018年美國(guó)特朗普多次被深度偽造“碰瓷”事件一利用“深度偽造”技術(shù)篡改，做出“特朗普宣告比利時(shí)政府也應(yīng)退出”的假視頻，引起比利時(shí)民眾的公憤2019年美國(guó)特朗普多次被深度偽造“碰瓷”事件二?？怂蛊煜挛餮艌D電視臺(tái)播出了一段被深度偽造的特朗普演講視頻，視頻中特朗普臉色異常紅潤(rùn)，頻繁做出夸張動(dòng)作2019年美國(guó)扎克伯格被偽造假視頻發(fā)布演講一段關(guān)于FacebookCE0馬克·扎克伯格的人工智能深度合成(deepfake)“換臉”視頻被上傳到Instagram上，視頻中他討論大數(shù)據(jù)，但他否認(rèn)說過這些話2019年中國(guó)楊冪遭換臉風(fēng)波網(wǎng)友用楊冪臉替換《射雕英雄傳》里黃蓉扮演者朱茵臉，發(fā)布的視頻引發(fā)網(wǎng)絡(luò)熱議2020年美國(guó)愛因斯坦“穿越”視頻合成的愛因斯坦在視頻中鼓勵(lì)大家團(tuán)結(jié)一致共同抗疫2022年中國(guó)古風(fēng)漢服網(wǎng)紅魏某“AI換臉”AppAIAI20231平臺(tái)首播2023年英國(guó)《深度偽造鄰居之戰(zhàn)》播出全球首部運(yùn)用深度偽造技術(shù)合成名人面孔的節(jié)目《深度偽造鄰居之戰(zhàn)》于2023年1月在英國(guó)ITVX平臺(tái)首播2023年美國(guó)喬·羅根被“宣傳”一段由人工智能制作的假喬·(JoeRogan)保健品的深度偽造視頻，在某個(gè)社交媒體平臺(tái)迅速上傳2024年中國(guó)雷軍罵人事件罵人”視頻引發(fā)網(wǎng)絡(luò)熱議2024年中國(guó)三只羊錄音事件9AI2024年韓國(guó)韓國(guó)“N2.0發(fā)韓國(guó)“N2.0222024年中國(guó)香港深度偽造詐騙案損失2億港幣香港一家跨國(guó)公司員工被邀請(qǐng)進(jìn)入用深度偽造制作的“高管視頻會(huì)議”，被騙轉(zhuǎn)賬2億港幣，成為香港歷史上損失慘重的“變臉”案例數(shù)據(jù)來源：安全牛根據(jù)公開信息自主整理，按時(shí)間順序排列，自主繪制虛假宣傳－秩序擾亂與信任風(fēng)險(xiǎn)：深度偽造技術(shù)可以被用于制作虛假視頻和音頻，這些內(nèi)容可以被用隨后被比利時(shí)某政黨利用“深度偽造”技術(shù)篡改，做出“特朗普宣告比利時(shí)政府也應(yīng)退出”的假視頻，引起比利時(shí)民眾的公憤。再如，一段由人工智能制作的假喬·羅根（JoeRogan，美國(guó)知名博客）宣傳男性保健品的深度偽造視頻，在某個(gè)社交媒體平臺(tái)上迅速傳播，涉及虛假宣傳。名譽(yù)損壞－政策挑戰(zhàn)與權(quán)利侵犯：深度偽造技術(shù)制作的色情換臉視頻侵犯了公民的名譽(yù)權(quán)和肖像權(quán)，對(duì)被偽造者造成嚴(yán)重的心理和社會(huì)影響。這些視頻的傳播可能導(dǎo)致受害者產(chǎn)生焦慮、抑郁等心理障礙，甚至影RanaAyyub財(cái)產(chǎn)損失－經(jīng)濟(jì)風(fēng)險(xiǎn)與經(jīng)濟(jì)犯罪：深度偽造技術(shù)被用于詐騙和勒索，導(dǎo)致個(gè)人和企業(yè)遭受經(jīng)濟(jì)損失。20242道德倫理－倫理風(fēng)險(xiǎn)與法律風(fēng)險(xiǎn)：深度偽造技術(shù)的應(yīng)用引發(fā)了倫理問題，如侵犯已故明星與名人的主體價(jià)值完整性，以及對(duì)逝者的“賽博重生”可能違反了公民應(yīng)有的被遺忘權(quán)原則等。如疫情期間，合成的愛因斯坦在視頻中鼓勵(lì)大家團(tuán)結(jié)一致共同抗疫引發(fā)大眾熱議。此外，深度偽造技術(shù)還可能導(dǎo)致道德行為失序，如偽造視頻可能引發(fā)對(duì)個(gè)體身份的操縱和數(shù)字暴力。深度偽造技術(shù)可能被用于制作虛假的戰(zhàn)爭(zhēng)命令或解鎖重要設(shè)施的人臉識(shí)別系統(tǒng)，從而對(duì)軍事安全構(gòu)成威脅。此外，深度偽造技術(shù)還可能被用于網(wǎng)絡(luò)釣魚攻擊、交易欺詐等，對(duì)企業(yè)安全構(gòu)成威脅。深度偽造技術(shù)可能被用于國(guó)家間的政治抹黑、軍事欺騙，增加國(guó)家間的危機(jī)和沖突，尤其是增加擁有核武器國(guó)家之間爆發(fā)核戰(zhàn)爭(zhēng)的風(fēng)險(xiǎn)。例如，在敏感關(guān)系或戰(zhàn)爭(zhēng)國(guó)家間流傳的深度偽造視頻可能破壞國(guó)際的戰(zhàn)略互信，助長(zhǎng)沖突雙方的仇恨。綜上所述，深度偽造技術(shù)的影響深遠(yuǎn)且復(fù)雜，需要通過技術(shù)研發(fā)、立法管制、加強(qiáng)宣傳教育以及推進(jìn)國(guó)際安全合作治理等手段來應(yīng)對(duì)其被濫用而帶來的安全挑戰(zhàn)。深度偽造和合成媒體安全的政策、規(guī)范與標(biāo)準(zhǔn)本節(jié)將從國(guó)外和國(guó)內(nèi)兩個(gè)方面進(jìn)行深度偽造和合成媒體安全相關(guān)法律、政策和規(guī)范的分析與描述。國(guó)外深度偽造和合成媒體安全法律分析安全牛認(rèn)為，從整體來看，美國(guó)是最早對(duì)深度偽造技術(shù)進(jìn)行立法的國(guó)家，擁有最多的針對(duì)性立法，并在聯(lián)邦及州政府層面采取了廣泛的行動(dòng)。201812《惡意深度偽造禁令法案》，旨在打擊制作和傳播深度偽造內(nèi)容的行為，可對(duì)相關(guān)個(gè)人和社交媒體平臺(tái)可處以罰款和監(jiān)禁。若偽造內(nèi)容引發(fā)嚴(yán)重后果，1020196《深度偽造責(zé)任法案》，要求制作者在《2020尼爾森和馬修·楊·波拉德情報(bào)授權(quán)法》參議院提出《深度偽造報(bào)告法案》，分管科學(xué)和技術(shù)事務(wù)的副部長(zhǎng)負(fù)責(zé)。在州級(jí)層面，得克薩斯州通過法案，將使用深度偽造技術(shù)干擾選舉的行為定為刑事犯罪。弗吉尼亞州將制作和傳播深度偽造視頻（例如色情暴力等），違法者可面臨監(jiān)禁和罰款。加州州長(zhǎng)簽署法案，將發(fā)布對(duì)政客產(chǎn)生負(fù)面影響的虛假音視頻定義為犯罪。表1.51國(guó)外深度偽造和合成媒體安全的法律匯總表國(guó)內(nèi)/國(guó)外時(shí)間法律名稱立法機(jī)構(gòu)法律內(nèi)容國(guó)外2018《惡意偽造禁令法案》美國(guó)國(guó)會(huì)對(duì)制作深度偽造引發(fā)犯罪和侵權(quán)的個(gè)人、明知內(nèi)容的性質(zhì)仍進(jìn)行分發(fā)的媒體平臺(tái)處以罰款和監(jiān)禁國(guó)外2018《反虛假信息行為準(zhǔn)則》歐盟委員會(huì)認(rèn)識(shí)到虛假信息的傳播存在眾多側(cè)面且受到生態(tài)系統(tǒng)中各類不同部門多與所有利益相關(guān)者在消除虛假信息的傳播方面均應(yīng)當(dāng)發(fā)揮作用國(guó)外2019《非同意色情法》吉尼亞州將利用“深度偽造”技術(shù)合成他人色情視頻并子以傳播的行為犯罪化國(guó)外2019《關(guān)于偽造欺詐視頻影響選舉結(jié)果的刑事犯罪法案》克薩斯州將利用“深度偽造”技術(shù)合成候選人虛假視頻并予以傳播的行為犯罪化國(guó)外2019《深度偽造責(zé)任法案》美國(guó)國(guó)會(huì)任何創(chuàng)建深度偽造視頻媒體文件的人，必須用“不可刪除的數(shù)字水印以及文本描述”來說明該媒體文件是篡改或生成的，否則將屬于犯罪行頭國(guó)外2020《2020·保拉德情報(bào)授權(quán)法》美國(guó)眾議院針對(duì)深度偽造對(duì)服役人員及其家人構(gòu)成的威脅進(jìn)行情報(bào)評(píng)估，包括評(píng)信該技術(shù)的成熟度以及如何使用該技術(shù)進(jìn)行信息作戰(zhàn)國(guó)外2020《識(shí)別生成對(duì)抗性網(wǎng)絡(luò)的輸出法案》美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院旨在支持開發(fā)必要的測(cè)量和標(biāo)準(zhǔn)的研GANs合成或操縱內(nèi)容的技術(shù)的功能和輸出國(guó)外2020《2020財(cái)年國(guó)防授權(quán)法案》美國(guó)眾議院要求國(guó)家情報(bào)局負(fù)責(zé)人就潛在的影響國(guó)家安全的深度偽造技術(shù)、以及為外國(guó)用以實(shí)施傳播虛假信息等惡意行為的深度偽造技術(shù)的潛在與實(shí)際影響向國(guó)會(huì)情報(bào)委員會(huì)進(jìn)行匯報(bào)國(guó)外2021《人工智能法案》歐盟將深度偽造列為“高風(fēng)險(xiǎn)”人工智能技安全的威脅，《人工智能法案》于2021，202481日正式生效。數(shù)據(jù)來源：安全牛根據(jù)公開信息自主整理，自主繪制。注意：本表僅羅列與深度偽造最為相關(guān)的部分國(guó)外法律。其他國(guó)家(或組織）在應(yīng)對(duì)深度偽造技術(shù)方面的舉措。歐盟主要通過個(gè)人信息保護(hù)和虛假信息治理的法律法規(guī)來進(jìn)行限制。20189且受到生態(tài)系統(tǒng)中各類不同部門參與者的促進(jìn)，并對(duì)這些參與者造成影響，所有利益相關(guān)者在消除虛假信息的傳播方面均應(yīng)發(fā)揮作用。其他國(guó)家雖然沒有專門針對(duì)深度偽造技術(shù)的直接立法，但是通過現(xiàn)有的公民信息保護(hù)、虛假信息治理、社交媒體平臺(tái)管控和網(wǎng)絡(luò)審查等法律法規(guī)，對(duì)涉及造假技術(shù)的犯罪案件進(jìn)行審理和規(guī)制。例如，新加坡通過《廣播法》和《互聯(lián)網(wǎng)操作規(guī)則》等法規(guī)，要求電信服務(wù)供應(yīng)商承擔(dān)屏蔽、封堵特定網(wǎng)站和信息言論的義務(wù)，以及時(shí)發(fā)現(xiàn)并依法查處虛假信息；英國(guó)則通過《數(shù)據(jù)保護(hù)法》保護(hù)個(gè)人臉部圖像等信息，適用于可能被用于制作深度偽造內(nèi)容的數(shù)據(jù)；韓國(guó)通過《電子傳播商務(wù)法》和《個(gè)人信息保護(hù)法》等法規(guī)，對(duì)網(wǎng)絡(luò)輿情內(nèi)容進(jìn)行審查，并保護(hù)個(gè)人數(shù)據(jù)不被未經(jīng)同意的情況下收集與使用；俄羅斯則通過一系列法規(guī)，要求網(wǎng)站迅速清理非法信息，//該技術(shù)可能帶來的法律問題和犯罪行為。國(guó)內(nèi)深度偽造和合成媒體安全政策、規(guī)范和標(biāo)準(zhǔn)分析隨著深度偽造技術(shù)快速發(fā)展，我國(guó)在政策制定和理論研究等方面也積極推進(jìn)。國(guó)內(nèi)針對(duì)深度偽造的法律規(guī)惡意，未經(jīng)本人同意的深度偽造行為仍可能侵害肖像權(quán)。2019（以下簡(jiǎn)稱網(wǎng)信辦）、國(guó)家廣播電視總局、文化和旅游部聯(lián)合發(fā)布《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，明確提出網(wǎng)絡(luò)音視頻信息服務(wù)提供者和網(wǎng)絡(luò)音視頻信息服務(wù)使用者利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實(shí)音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識(shí)。同時(shí)，《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》、《數(shù)據(jù)安全管理辦法》和《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》，明確提出網(wǎng)絡(luò)信息內(nèi)容服務(wù)使用者和生產(chǎn)者、平臺(tái)不得開展網(wǎng)絡(luò)暴力、人肉搜索、深度偽造、流評(píng)論等信息，應(yīng)以明顯方式標(biāo)明“合成”字樣；具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)提供者拒不按并依照各自職責(zé)對(duì)該互聯(lián)網(wǎng)信息服務(wù)實(shí)施監(jiān)督檢查。2020《中華人民共和國(guó)民法典》對(duì)于保護(hù)公民肖像權(quán)所作出的規(guī)定關(guān)注到了“深度偽造”這一技術(shù)前沿問題，但采用的是“利用信息技術(shù)手段偽造”的表述。2021（AI2022《互聯(lián)網(wǎng)信息服務(wù)深度合成管復(fù)制、發(fā)布、傳播法律、行政法規(guī)禁止的信息，不得利用深度合成服務(wù)從事危害國(guó)家安全和利益、損害國(guó)家形象、侵害社會(huì)公共利益、擾亂經(jīng)濟(jì)和社會(huì)秩序、侵犯他人合法權(quán)益等法律、行政法規(guī)禁止的活動(dòng)?！痘ヂ?lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》還對(duì)深度偽造提出較有針對(duì)性的規(guī)制。如因深度偽造涉及人臉等生物識(shí)別信息的顯2132023聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》對(duì)圖片、視頻等生成內(nèi)容進(jìn)行標(biāo)識(shí)。2024員會(huì)發(fā)布《生成式人工智能服務(wù)安全基本要求》明確指出要對(duì)生成式人工智能的生成內(nèi)容進(jìn)行標(biāo)識(shí)，并對(duì)利用生成式人工智能服務(wù)進(jìn)行的違法行為要依法依約采取有關(guān)處置措施。表1.52國(guó)內(nèi)深度偽造和合成媒體安全的政策、規(guī)范與標(biāo)準(zhǔn)匯總表國(guó)內(nèi)/國(guó)外時(shí)間政策/規(guī)范名稱發(fā)布機(jī)構(gòu)政策內(nèi)容國(guó)內(nèi)2019《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》網(wǎng)信辦、國(guó)家廣播電視文化和旅游部網(wǎng)絡(luò)音視頻信息服務(wù)提供者和網(wǎng)絡(luò)音視頻信息服務(wù)使用者利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實(shí)音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識(shí)，不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息國(guó)內(nèi)2019《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》網(wǎng)信辦明確提出網(wǎng)絡(luò)信息內(nèi)容服務(wù)使用者和生產(chǎn)者、平臺(tái)不得開展網(wǎng)絡(luò)暴力、人肉搜索、深度偽造、流量造假、操縱賬號(hào)等違法活動(dòng)國(guó)內(nèi)2019《數(shù)據(jù)安全管理辦法》網(wǎng)信辦網(wǎng)絡(luò)運(yùn)營(yíng)者利用大數(shù)據(jù)、人工智能等技術(shù)應(yīng)以明顯方式標(biāo)明“合成”字樣;不得以謀取利益或損害他人利益為目的自動(dòng)合成信息國(guó)內(nèi)2019《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》網(wǎng)信辦網(wǎng)信部門和公安機(jī)關(guān)發(fā)現(xiàn)具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息朋務(wù)提供者拒不按照本規(guī)定開展安全評(píng)估的，應(yīng)當(dāng)通過全國(guó)互聯(lián)網(wǎng)安全管理服務(wù)平臺(tái)向公眾提示該互聯(lián)網(wǎng)信息服務(wù)存在安全風(fēng)險(xiǎn)，并依照各自責(zé)對(duì)該互聯(lián)網(wǎng)信息服務(wù)實(shí)施監(jiān)督檢查國(guó)內(nèi)2020《中華人民共和國(guó)民法典》全國(guó)人大對(duì)于保護(hù)公民肖像權(quán)所作出的規(guī)定關(guān)注到“深度偽造用信息技術(shù)手段偽造”的表述國(guó)內(nèi)2021《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》網(wǎng)信辦、工信部、公安部、市場(chǎng)監(jiān)督管理總局將生成合成類算法列入監(jiān)管的五大類應(yīng)用生成合成類、個(gè)性化推送類、排序推薦AI行標(biāo)識(shí)國(guó)內(nèi)2022《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》網(wǎng)信辦、工信部、公安部、市場(chǎng)監(jiān)督管理總局采用的是“深度合成”的概念，明確任何組織和個(gè)人不得利用深度合成服務(wù)制作、復(fù)不得利用深度合成服務(wù)從事危害國(guó)家安全擾亂經(jīng)濟(jì)和社會(huì)秩序、侵犯他人合法權(quán)益等法律、行政法規(guī)禁止的活動(dòng)國(guó)內(nèi)2023《生成式人工智能服務(wù)管理暫行辦法》網(wǎng)信辦明確生成式人工智能服務(wù)提供者應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》對(duì)圖片、祝頻等生成內(nèi)容進(jìn)行標(biāo)識(shí)國(guó)內(nèi)2024《生成式人工智能服務(wù)安全基本要求》全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)明確指出要對(duì)生成式人工智能的生成內(nèi)容進(jìn)行標(biāo)識(shí)，并對(duì)利用生成式人工智能服務(wù)進(jìn)行的違法行為要依法依約采取有關(guān)處置措施數(shù)據(jù)來源：安全牛根據(jù)公開信息自主整理，按時(shí)間順序排列，自主繪制整體來看，這些政策的制定與執(zhí)行彰顯了我國(guó)在深度偽造及合成媒體安全管理方面的堅(jiān)定立場(chǎng)，其目標(biāo)是維護(hù)國(guó)家安全、社會(huì)公共利益，以及保障公民、法人和其他組織的合法權(quán)利。此外，這些措施也為深度合成技術(shù)的有序發(fā)展和合規(guī)使用提供了支持。第二章 AI時(shí)代深度偽造和合成媒體安全技術(shù)、威脅及對(duì)策研究深度偽造和合成媒體安全技術(shù)原理分析安全牛認(rèn)為，深度偽造和合成媒體的關(guān)鍵技術(shù)主要有以下四類：計(jì)算機(jī)圖形學(xué)（ComputerGraphics，G（uoEnoderAE(ArtificialNeualNtorkANN)（GenetieAdversarialNetwork，GAN）和擴(kuò)散模型（DenoisingDiffusionProbabilisticModels，DDPM）。本章節(jié)將分別就這些關(guān)鍵技術(shù)的基本原理進(jìn)行重點(diǎn)剖析。計(jì)算機(jī)圖形學(xué)的原理與應(yīng)用計(jì)算機(jī)圖形學(xué)（ComputerGraphics，簡(jiǎn)稱CG）技術(shù)在過去二十年中不斷進(jìn)步，已成為實(shí)現(xiàn)高真實(shí)度人臉偽造的關(guān)鍵技術(shù)。在人臉領(lǐng)域的應(yīng)用，CG技術(shù)主要依賴面部檢測(cè)、追蹤、建模和紋理映射等核心技術(shù)。得益于其高度成熟和人工調(diào)整手段的結(jié)合，CG技術(shù)能夠創(chuàng)造出極其逼真的人臉效果，曾一度被認(rèn)為是最先進(jìn)的人臉偽造技術(shù)之一。然而，為了實(shí)現(xiàn)這種高度逼真的效果，需要投入大量的硬件、軟件資源以及專業(yè)團(tuán)隊(duì)，導(dǎo)致成本極高。因此，CG技術(shù)在人臉合成和替換方面的應(yīng)用主要局限于成本較高的商業(yè)領(lǐng)域，如電影和游戲產(chǎn)業(yè)。技術(shù)通過獲取人臉關(guān)鍵點(diǎn)，3DRGB-D3D3D3D3D自編碼器（AE）的原理與應(yīng)用自編碼器(AutoEncoder，AE)技術(shù)在深度偽造領(lǐng)域扮演了重要的角色。作為一種無監(jiān)督學(xué)習(xí)模型，自編碼器通過編碼器將輸入數(shù)據(jù)壓縮成低維表示，再通過解碼器恢復(fù)成原始數(shù)據(jù)。在深度偽造技術(shù)中，自編碼器被用來學(xué)習(xí)人臉特征，并生成逼真的人臉圖像。例如，深度偽造技術(shù)利用自編碼器學(xué)習(xí)原始和目標(biāo)人臉特征，通過交換解碼器實(shí)現(xiàn)人臉替換，降低了技術(shù)門檻，僅需少量照片即可完成換臉。通過引入額外機(jī)制改善生成模型性能。這些技術(shù)的發(fā)展使得深度偽造技術(shù)只需少量肖像即可完成換臉，推動(dòng)了自動(dòng)編碼器、生成對(duì)抗網(wǎng)絡(luò)等技術(shù)在深度偽造中的應(yīng)用。自編碼器還可識(shí)別數(shù)據(jù)中的異常模式，用于欺詐檢測(cè)等領(lǐng)域。自編碼器通過其獨(dú)特的結(jié)構(gòu)和訓(xùn)練機(jī)制，在無監(jiān)督學(xué)習(xí)領(lǐng)域提供了一種強(qiáng)大的工具，能夠自動(dòng)學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特征，進(jìn)而在多種應(yīng)用中發(fā)揮作用。隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步，自編碼器及其變體在解決復(fù)雜問題上展現(xiàn)出巨大的潛力。(ANN)(ArtificialNeuralNetwork，ANN)AN(CN)(RNN)CNNCNN由多個(gè)卷積層和池化層交替堆疊而成，逐層將圖像抽象CNN已成為圖像篡改檢測(cè)的主流方法。ossleretion架構(gòu)對(duì)視頻幀提取特征進(jìn)行真假分類，取得了優(yōu)于傳統(tǒng)方法的性能。RNN則擅長(zhǎng)處理序列數(shù)據(jù)。相比前饋網(wǎng)絡(luò)，RNN引入了記憶機(jī)制，可以捕捉時(shí)序特征。如GueraCNN和學(xué)習(xí)視頻幀的時(shí)序信息以檢測(cè)深度偽造。ansormerRNNansrmer1）基于文本的深度偽造：ansormer2ansormer視頻生成：ansormer無論采取何種架構(gòu)，ANN都需要大量標(biāo)注數(shù)據(jù)來訓(xùn)練。目前深度偽造檢測(cè)領(lǐng)域面臨高質(zhì)量數(shù)據(jù)集缺乏的zolinoJPEG等擾動(dòng)，使得檢測(cè)模型的魯棒性和泛化性大幅提升。此外，一些研究還探索將對(duì)抗樣本技術(shù)用于提升檢測(cè)模型魯棒性。GAN)的原理與應(yīng)用生成對(duì)抗網(wǎng)絡(luò)（GAN）是深度偽造最為核心的技術(shù)，是人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork，ANN)的一個(gè)特殊類型。與傳統(tǒng)深度學(xué)習(xí)技術(shù)的單鏈條模式不同，GAN（GAN）的對(duì)抗機(jī)制，使合成的非真實(shí)音視頻作品無限貼近真正版本。生成對(duì)抗網(wǎng)絡(luò)（GAN）在深度偽造領(lǐng)域應(yīng)用廣泛，特別是基于人臉的生成、編輯、替換和重演。例如，深度偽造人臉生成可以分為四類：人臉完全生成技術(shù)、人臉屬性編輯技術(shù)、人臉身份替換技術(shù)和人臉面部重演技術(shù)，這些不同分類運(yùn)用了不同的“變體GAN”，下表羅列了不同分類的“變體GAN”及其衍生技術(shù)類別。表2.11深度偽造人臉技術(shù)生成分類表深度偽造人臉技術(shù)生成分類人臉完全生成技術(shù)GANDCGANWGANStyleGANTediGANCollaborativeDiffusion人臉屬性編輯技術(shù)IcGANStarGANAttGANSTGANHifaFaceHFGI人臉身份替換技術(shù)FSGANFaceShifterInfoSwapMegaFS3dSwapDiffSwap人臉面部重演技術(shù)Face2FaceA2VICface3dSwapDAE-Talkeretc…數(shù)據(jù)來源：楊宏宇，李星航，胡澤.深度偽造人臉生成與檢測(cè)技術(shù)綜述，華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，安全牛自主繪制總體來看，生成對(duì)抗網(wǎng)絡(luò)（GAN）技術(shù)推動(dòng)了圖像和視頻生成、處理技術(shù)的革新，其提供了一種強(qiáng)大的技術(shù)手段，使得偽造內(nèi)容的生成變得更加真實(shí)和高效，但同時(shí)也帶來了對(duì)檢測(cè)和防范的進(jìn)一步挑戰(zhàn)。擴(kuò)散模型（DDPM）的原理與應(yīng)用DDPM（DenoisingDiffusionProbabilisticModels）2015Sohl-Dickstein的核心原理基于擴(kuò)散過程，這一過程包括兩個(gè)主要階段：前向擴(kuò)散過程和逆向去噪過程。①前向擴(kuò)散過程：這一過程逐漸將高斯噪聲添加到圖像中，直到圖像最終變成純?cè)肼?。這個(gè)過程可以視為一個(gè)馬爾可夫鏈②逆向去噪過程：這是一個(gè)學(xué)習(xí)的過程，目標(biāo)是從純?cè)肼曢_始，逐步去噪，最終生成一個(gè)實(shí)際的圖像。這個(gè)過程同樣是一個(gè)馬爾可夫鏈，但是它是參數(shù)化的，需要通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)如何從噪聲中恢復(fù)出圖像。DDPM的主要作用是生成高保真的圖像。通過模擬物理世界中的擴(kuò)散過程，DDPM能夠從簡(jiǎn)單的噪聲分布生成復(fù)雜的數(shù)據(jù)樣本，其訓(xùn)練過程穩(wěn)定，但保真度不及GAN。此外，DDPM具有可解釋性，能夠更好地理解圖像生成過程。DDPM的這些特性使其在圖像生成、多模態(tài)圖像處理等領(lǐng)域展現(xiàn)出廣泛的應(yīng)用潛力，例如在多模態(tài)圖像融合中，DDPM可以用于組合不同模態(tài)下的圖像并保留互補(bǔ)信息。盡管DDPM在計(jì)算成本和實(shí)時(shí)推理方面存在挑戰(zhàn)，但通過不斷的研究和改進(jìn)，DDPM在訓(xùn)練效率和推理速度方面仍有提升空間。深度偽造和合成媒體技術(shù)應(yīng)用分析深度偽造和合成媒體技術(shù)廣泛應(yīng)用于視頻、圖像與語(yǔ)音領(lǐng)域中。安全牛通過公開調(diào)研和企業(yè)訪談發(fā)現(xiàn)，按（（（37%、56%7%。視頻領(lǐng)域：換臉、動(dòng)作轉(zhuǎn)移、表情操縱等視頻篡改和合成是深度偽造的主要應(yīng)用場(chǎng)景。利用換臉、動(dòng)作轉(zhuǎn)移、表情操縱等技術(shù)，可以生成以假亂真的視頻內(nèi)容。視頻換臉是將目標(biāo)人物的面部嫁接到源視頻人物上，從而創(chuàng)造目標(biāo)人物做特定動(dòng)作、說特定言論2018·皮爾視頻在網(wǎng)上瘋傳，視頻中“奧巴馬”抨擊特朗普，2D3D2D如深度偽造利用人臉對(duì)齊，用自動(dòng)編碼器逐幀替換關(guān)鍵面部特征?；?D的方法在三維空間重建人臉，如提取人臉關(guān)鍵點(diǎn)并擬合3D模型，調(diào)整姿態(tài)和表情，再融合渲染到目標(biāo)視頻中。動(dòng)作轉(zhuǎn)移指將源人Abeman移方法，可以將專業(yè)舞者的動(dòng)作映射到普通人身上。動(dòng)作轉(zhuǎn)移可用于虛擬教學(xué)、輔助創(chuàng)作等。表情操縱則聚焦RNN這些視頻篡改技術(shù)給取證帶來很大挑戰(zhàn)。一方面，經(jīng)過換臉處理的視頻具有很強(qiáng)的欺騙性，難以靠肉眼識(shí)別。另一方面，視頻數(shù)據(jù)量大、內(nèi)容復(fù)雜，全面檢測(cè)的難度和成本高。一些涉案視頻可能經(jīng)過多重篡改，既有換臉，又有表情操控，甚至植入虛假背景，給視頻取證帶來很大挑戰(zhàn)。盡管已有諸多嘗試，但視頻篡改檢測(cè)依然面臨樣本少、場(chǎng)景復(fù)雜、迭代快等技術(shù)挑戰(zhàn)。未來深度偽造視頻可能更加逼真，更難識(shí)別。如何在海量、高分辨率視頻中快速、準(zhǔn)確檢測(cè)深度偽造視頻仍需要學(xué)界和業(yè)界的持續(xù)攻關(guān)。圖像領(lǐng)域：人臉生成、屬性編輯、風(fēng)格轉(zhuǎn)換等AIPGGANBigBiGAN2022GFPGAN-v1.31024x1024FFHQ0.5612的人類評(píng)分優(yōu)于StyleGAN3(0.5087)。神經(jīng)輻射場(chǎng)、隱空間探索等技術(shù)進(jìn)一步放大了人臉生成的潛力空間。GrioryANuiANDMZAO、FaceAppAdaI、DualtleAN()CLIP引導(dǎo)的擴(kuò)散模型，更是以文本－圖像特征對(duì)齊為基礎(chǔ)，用語(yǔ)言描述引導(dǎo)人臉的風(fēng)格變換，極大降低了圖像處理的技術(shù)門檻。AI語(yǔ)音領(lǐng)域：克隆、轉(zhuǎn)換、合成等語(yǔ)音合成和轉(zhuǎn)換是深度偽造的又一重要應(yīng)用，其原理是用機(jī)器學(xué)習(xí)模仿特定人的語(yǔ)音，生成其本人并未說過的內(nèi)容。具體而言，語(yǔ)音偽造主要有以下幾種類型：①語(yǔ)音克隆指在給定少量目標(biāo)人物語(yǔ)音的情況下，合成5也可能被濫用。②語(yǔ)音轉(zhuǎn)換ANcleAN論。③語(yǔ)音合成則是用計(jì)算機(jī)生成一段原本不存在的語(yǔ)音，其內(nèi)容完全由輸入的文本決定。如Deoie、人員利用它就能偽造各種假消息。針對(duì)語(yǔ)音偽造，傳統(tǒng)的說話人識(shí)別技術(shù)可能會(huì)失效。因?yàn)樯窠?jīng)網(wǎng)絡(luò)可以分析人的語(yǔ)音特征，提取音素、基頻等關(guān)鍵參數(shù)，再重組為與原聲高度相似的語(yǔ)音。一些研究者嘗試從音質(zhì)、韻律、情感等方面入手，探索語(yǔ)音②韻律分析。機(jī)器難以完美模仿人類語(yǔ)音的節(jié)奏、重音等韻律特征，形成其獨(dú)特的“聲紋”。③情感分析。人類語(yǔ)音飽含情感，而情感合成是語(yǔ)音偽造的技術(shù)瓶頸。有研究者發(fā)現(xiàn)，真實(shí)語(yǔ)音的情感變化更加自然連貫，由此提出了一種基于情感相似度的檢測(cè)框架?？偟膩砜?，語(yǔ)音領(lǐng)域的深度偽造發(fā)展非常迅速，給司法取證、個(gè)人隱私等帶來嚴(yán)峻挑戰(zhàn)。惡意者可能偽造公眾人物講話，誤導(dǎo)輿論；偽造他人聲音，實(shí)施詐騙；甚至制造虛假證據(jù)，干擾司法。這不僅危害個(gè)人名譽(yù)、財(cái)產(chǎn)安全，也可能引發(fā)社會(huì)動(dòng)蕩。未來語(yǔ)音取證除了要提高檢測(cè)精度，還要與說話人識(shí)別、情感分析等技術(shù)深度融合，從語(yǔ)音事件的背景、場(chǎng)景等多方面排查可疑點(diǎn)，以應(yīng)對(duì)不斷演進(jìn)的語(yǔ)音偽造威脅。同時(shí)，還要加強(qiáng)對(duì)語(yǔ)音的溯源、保護(hù)和管理，完善相關(guān)法律，筑牢防偽造的制度防線。深度偽造和合成媒體安全威脅分析個(gè)人層面社會(huì)層面國(guó)家層面本章將從個(gè)人、社會(huì)和國(guó)家三個(gè)層面全面剖析深度偽造的安全威脅，呼吁各界提高警惕，采取有效舉措應(yīng)對(duì)相關(guān)威脅。個(gè)人層面社會(huì)層面國(guó)家層面隱私泄露：個(gè)人數(shù)據(jù)被惡意采集與濫用身份盜用：冒用他人身份實(shí)施違法犯罪活動(dòng)聲譽(yù)損害：偽造淫穢、暴力等內(nèi)容污蔑個(gè)人

虛假信息擴(kuò)散：偽造內(nèi)容混淆視聽，誤導(dǎo)公眾輿論操控：惡意引導(dǎo)、分化社會(huì)輿論走向誠(chéng)信危機(jī)：動(dòng)搖社會(huì)誠(chéng)信基礎(chǔ)，加劇不信任感

政治傳播：制造虛假政治事件，引發(fā)輿論博弈經(jīng)濟(jì)挑戰(zhàn)：捏造不實(shí)信息，影響經(jīng)濟(jì)運(yùn)行國(guó)際合作：引發(fā)國(guó)際信任赤字，構(gòu)成復(fù)雜挑戰(zhàn)圖2.31深度偽造和合成媒體安全威脅分析圖對(duì)個(gè)人層面的安全威脅深度偽造對(duì)個(gè)人層面的侵犯，最直觀的就是侵犯大眾合法權(quán)益，使其財(cái)產(chǎn)受到損失，影響個(gè)人生活，安全?？偨Y(jié)其為三個(gè)細(xì)化方面：隱私泄露：個(gè)人數(shù)據(jù)被惡意采集與濫用。5320231210.9金融、電商、出行等場(chǎng)景。隨著人臉識(shí)別在身份認(rèn)證、移動(dòng)支付等領(lǐng)域的普及，海量人臉數(shù)據(jù)被存儲(chǔ)在互聯(lián)網(wǎng)各個(gè)角落。個(gè)人信息的過度采集、非法買賣和濫用，已成為網(wǎng)絡(luò)時(shí)代的頑疾。攻擊者利用深度學(xué)習(xí)技術(shù)，對(duì)這些易于獲取的人臉數(shù)據(jù)進(jìn)行訓(xùn)練，生成以假亂真的人臉圖片或視頻，進(jìn)而對(duì)個(gè)人隱私和聲譽(yù)造成損害。冒用身份實(shí)施詐騙等犯罪活動(dòng)的現(xiàn)象日益增多。安全牛分析發(fā)現(xiàn)，身份盜用多集中在色情及詐騙兩大場(chǎng)景。一方面，攻擊者可通過視頻換臉，將受害人的面部“移植”到任意視頻中，使其“現(xiàn)身”于色情、政治等場(chǎng)景，常見于公眾人物。另一方面，語(yǔ)音合成和變聲技術(shù)也為網(wǎng)絡(luò)詐騙提供了新工具。犯罪分子只需搜集公眾人物一2023聲譽(yù)損害：偽造淫穢、暴力等內(nèi)容污蔑個(gè)人。不法分子利用深度偽造技術(shù)詆毀、污蔑他人，是近年來AI快速創(chuàng)制以假亂真的違法、有害內(nèi)容，冒用他人身份在網(wǎng)上傳播，給被害人個(gè)人名譽(yù)和形象帶來嚴(yán)重?fù)p害。不法分子還利用深度偽造制造名人“講話”、“采訪”等虛假內(nèi)容，誤導(dǎo)公眾。對(duì)社會(huì)層面的安全威脅深度偽造對(duì)安全的威脅不局限于個(gè)人層面，目前，隨著技術(shù)的快速發(fā)展，已逐步影響到社會(huì)運(yùn)轉(zhuǎn)的方方面面。安全牛在本節(jié)將重點(diǎn)從虛假信息擴(kuò)散、輿論操縱、誠(chéng)信危機(jī)三個(gè)方面進(jìn)行社會(huì)層面的安全威脅分析。虛假信息擴(kuò)散：AI游戲等熱門話題的“雷軍（采用深度偽造技術(shù)合成的雷軍）罵人”視頻即典型案例。又如，偽造鐘南山院士聲音的音頻內(nèi)容在微信群內(nèi)大量傳播，在疫情期間引發(fā)社會(huì)恐慌。有研究表明，即使“事實(shí)后真相”出現(xiàn)，即信息被證實(shí)為假，但負(fù)面影響卻難以消除。AI這為深度偽造提供了操縱輿論的好機(jī)會(huì)。一些組織和個(gè)人利用這種技術(shù)制造符合受眾偏見的內(nèi)容，以操縱和分化輿論。有研究表明，人們更易接受與自己立場(chǎng)相符的虛假信息，偽造內(nèi)容越迎合受眾偏見，就越容易被接受和傳播。而“信息繭房”使得大眾難以發(fā)現(xiàn)自己已是局中棋子，失去自由意志。誠(chéng)信危機(jī)：動(dòng)搖社會(huì)誠(chéng)信基礎(chǔ)，加劇不信任感。在人工智能時(shí)代，誠(chéng)信這一社會(huì)基石正受到深度偽造技術(shù)的嚴(yán)重威脅。曾經(jīng)作為事實(shí)真相鐵證的圖像和視頻，其可信度已大幅下降，公眾開始質(zhì)疑“眼見為實(shí)”的原則。個(gè)人隱私泄露和聲譽(yù)受損只是表面現(xiàn)象，它們反映了社會(huì)誠(chéng)信體系的悄然崩潰。在人工智能時(shí)代，如何重塑信任成為一個(gè)嚴(yán)肅的命題。雖然深度偽造尚未對(duì)社會(huì)運(yùn)行造成顛覆性影響，但其潛在風(fēng)險(xiǎn)已經(jīng)顯現(xiàn)。我們必須采取預(yù)防措施，及早應(yīng)對(duì)這一挑戰(zhàn)。對(duì)國(guó)家層面的安全威脅深度偽造對(duì)安全的威脅除個(gè)人和社會(huì)層面外，對(duì)國(guó)家層面的潛在安全威脅更令人擔(dān)憂。安全牛在本節(jié)將重點(diǎn)從政治傳播、經(jīng)濟(jì)挑戰(zhàn)和國(guó)際合作三個(gè)方面進(jìn)行國(guó)家層面的安全威脅分析。政治傳播：制造虛假政治事件，引發(fā)輿論博弈。深度偽造技術(shù)可以被用來制造虛假的政治事件，影響美國(guó)，深度偽造技術(shù)已經(jīng)被用于制造虛假的政治宣傳，影響公眾對(duì)政治人物的看法，引發(fā)輿論博弈。經(jīng)濟(jì)挑戰(zhàn)：捏造不實(shí)信息，影響經(jīng)濟(jì)運(yùn)行。通過發(fā)布深度偽造視頻，捏造政府行為、編造官員討論政策調(diào)整等手段，對(duì)國(guó)家經(jīng)濟(jì)穩(wěn)定造成潛在損害。在經(jīng)濟(jì)和金融危機(jī)時(shí)期，利用深度偽造生成的內(nèi)容放大先前存在的經(jīng)濟(jì)擔(dān)憂和市場(chǎng)的波動(dòng)，對(duì)股票、期貨市場(chǎng)帶來重大沖擊，對(duì)國(guó)家的經(jīng)濟(jì)運(yùn)行造成負(fù)面影響。國(guó)際沖突：引發(fā)國(guó)際信任赤字，對(duì)和平、安全構(gòu)成復(fù)雜挑戰(zhàn)。深度偽造技術(shù)可能會(huì)被用于國(guó)際虛假信息戰(zhàn)，破壞國(guó)際關(guān)系和戰(zhàn)略互信，甚至可能引發(fā)國(guó)際危機(jī)和沖突。它降低了國(guó)家間的信任，增加沖突風(fēng)險(xiǎn)，如2019可能引發(fā)其他擁有核武器的國(guó)家提高其核力量的警戒等級(jí)。此外，恐怖組織也利用深度偽造招募人員，激發(fā)針對(duì)特定目標(biāo)的暴力。值得一提的是，深度偽造已成為國(guó)際社會(huì)日益關(guān)注的挑戰(zhàn)。深度偽造和合成媒體安全檢測(cè)類技術(shù)分析主動(dòng)式防御被動(dòng)式防御主動(dòng)式防御被動(dòng)式防御（信任類）（檢測(cè)類）圖2.41深度偽造和合成媒體安全防御技術(shù)分類圖主動(dòng)式防御技術(shù)著眼于事前的預(yù)防措施。這類技術(shù)在視音頻內(nèi)容發(fā)布之前，通過嵌入隱蔽的信息，如數(shù)字水印或信任認(rèn)證等，來實(shí)現(xiàn)主動(dòng)的溯源或防止惡意使用。這樣的方法旨在主動(dòng)保護(hù)數(shù)據(jù)內(nèi)容不被濫用于偽造視頻，從而在源頭上實(shí)現(xiàn)防御；相對(duì)地，被動(dòng)式防御技術(shù)主要關(guān)注于事后的取證工作，即對(duì)已經(jīng)制作并傳播的視頻進(jìn)行分析，以判斷其是否包含偽造的視音頻內(nèi)容。這種技術(shù)的核心在于識(shí)別和驗(yàn)證視頻的真實(shí)性，通常在視音頻發(fā)布后進(jìn)行。本章節(jié)重點(diǎn)就主動(dòng)式防御（信任類）技術(shù)進(jìn)行分析，下一章節(jié)就被動(dòng)式防御（檢測(cè)類）進(jìn)行深度分析。目前，業(yè)界和學(xué)術(shù)界已經(jīng)開展一系列卓有成效的研究，主要集中在數(shù)字水印、區(qū)塊鏈認(rèn)證、可信硬件等方面。數(shù)字水印溯源技術(shù) 1主動(dòng)式防御（信任類）

3 可信硬件支撐環(huán)境的構(gòu)建基于區(qū)塊鏈的內(nèi)容認(rèn)證機(jī)制 2圖2.42深度偽造和合成媒體安全主動(dòng)式防御（信任類）細(xì)分類別圖數(shù)字水印溯源技術(shù)研究數(shù)字水印是一種隱藏在數(shù)字媒體載體中的標(biāo)識(shí)信息，具有很強(qiáng)的魯棒性和隱蔽性，可有效防止內(nèi)容被篡改我們可以在視頻制作源頭嵌入數(shù)字水印，記錄視頻的原始屬性、制作過程等可信信息。一旦發(fā)現(xiàn)疑似偽造的視不僅可以震懾潛在的造假行為，提高數(shù)字資產(chǎn)保護(hù)效率，也有利于事后取證和行為人追責(zé)。然而，數(shù)字水印技術(shù)要真正發(fā)揮實(shí)效，尚需攻克一些技術(shù)難題。首先是如何設(shè)計(jì)能夠抵抗深度偽造的水印方案。由于深度偽造模型的特殊性，傳統(tǒng)的魯棒水印方案往往難以直接適用。一些學(xué)者嘗試使用對(duì)抗訓(xùn)練等方法，生成能抵御深度神經(jīng)網(wǎng)絡(luò)的對(duì)抗性水印，但在保真度和魯棒性之間如何平衡仍是一大挑戰(zhàn)。其次是如何在嵌入水印的同時(shí)，不影響視頻內(nèi)容本身的質(zhì)量，這對(duì)于一些對(duì)畫質(zhì)要求較高的場(chǎng)景尤為重要。此外，面對(duì)海量視頻內(nèi)容，我們還需研究更高效、更智能的水印檢測(cè)與提取算法，以實(shí)現(xiàn)大規(guī)模溯源和快速定位。因此，未來深度偽造數(shù)字水印技術(shù)的研究，應(yīng)著眼于水印的對(duì)抗魯棒性增強(qiáng)、視頻質(zhì)量保持、檢測(cè)效率提升等方向，為實(shí)際應(yīng)用奠定更加堅(jiān)實(shí)的基礎(chǔ)。基于區(qū)塊鏈的內(nèi)容認(rèn)證機(jī)制區(qū)塊鏈以其去中心化、防篡改等特性，為解決互聯(lián)網(wǎng)內(nèi)容可信問題提供了新思路。區(qū)塊鏈底層由一個(gè)個(gè)記錄數(shù)據(jù)、互相鏈接的區(qū)塊構(gòu)成，每個(gè)區(qū)塊包含前一個(gè)區(qū)塊的哈希值，從而保證了鏈上數(shù)據(jù)的一致性和不可篡改性。將視頻、圖片等內(nèi)容的摘要信息上鏈存證，就可以建立數(shù)字內(nèi)容的第三方公證平臺(tái)，實(shí)現(xiàn)內(nèi)容來源可追溯和可校驗(yàn)。在此基礎(chǔ)上，結(jié)合數(shù)字簽名、哈希指紋等密碼學(xué)技術(shù)，還能構(gòu)建數(shù)字內(nèi)容版權(quán)管理、確權(quán)維權(quán)的應(yīng)用生態(tài)。這對(duì)于遏制深度偽造內(nèi)容的濫用傳播具有重要意義。目前，國(guó)內(nèi)外已有一些將區(qū)塊鏈技術(shù)應(yīng)用于內(nèi)容認(rèn)證和版權(quán)保護(hù)的成功案例。如Chainalysis推出了一套基于比特幣區(qū)塊鏈的數(shù)字資產(chǎn)追蹤系統(tǒng)，通過在數(shù)字內(nèi)容中嵌入比特幣地址，一旦發(fā)現(xiàn)資產(chǎn)外流，即可通過該持證方可隨時(shí)驗(yàn)證內(nèi)容真實(shí)性。阿里巴巴的螞蟻區(qū)塊鏈，現(xiàn)升級(jí)為“螞蟻鏈”（ANCHAI）3000品提供數(shù)字存證這些探索表明，區(qū)塊鏈有望成為深度偽造防治體系中的重要一環(huán)。將給區(qū)塊鏈系統(tǒng)帶來巨大的存儲(chǔ)和計(jì)算壓力；而僅存儲(chǔ)視頻指紋，則可能損失一些重要的內(nèi)容特征，影響事后取證效果。因此，設(shè)計(jì)兼顧安全、高效的數(shù)據(jù)上鏈機(jī)制是區(qū)塊鏈對(duì)抗深度偽造的關(guān)鍵。同時(shí)，如何平衡用戶隱私保護(hù)和內(nèi)容可追溯性，也考驗(yàn)著相關(guān)機(jī)制的制度設(shè)計(jì)?？偟膩碚f，現(xiàn)階段區(qū)塊鏈在視頻溯源領(lǐng)域的應(yīng)用還處于探索階段，距離大規(guī)模落地還需一段時(shí)間。未來，隨著區(qū)塊鏈性能的不斷優(yōu)化以及跨鏈、側(cè)鏈等擴(kuò)展方案的成熟，區(qū)塊鏈有望與數(shù)字水印等技術(shù)深度融合，形成多方協(xié)同的深度偽造治理方案。可信硬件支撐環(huán)境的構(gòu)建可信硬件環(huán)境的構(gòu)建對(duì)深度偽造技術(shù)的防范和治理起著至關(guān)重要的作用。可信硬件是指通過硬件技術(shù)機(jī)制確保系統(tǒng)安全及可信，并以此為基礎(chǔ)，構(gòu)建安全可信的操作環(huán)境，也稱為可信計(jì)算環(huán)境。它可以為系統(tǒng)提供更AITPM(TrustedPlatformModule)TEE(TrustedExecutionEnvironment)技術(shù)。TPM是一種符合國(guó)際可信計(jì)算組織規(guī)范的安全芯片，能夠?yàn)橄到y(tǒng)提供硬件級(jí)的密碼運(yùn)算、密鑰管理、平臺(tái)完整性檢測(cè)等安全功能。TEE構(gòu)建可信硬件支撐環(huán)境對(duì)深度偽造防范的價(jià)值主要體現(xiàn)在以下幾個(gè)方面：首先，可信硬件環(huán)境可以對(duì)系統(tǒng)TPMTEE中運(yùn)行，確保檢測(cè)過程不被惡意程序所干擾。這大大提高了檢測(cè)的可靠性。其次，可信硬件環(huán)境可以幫助系統(tǒng)TPM等硬件安全模塊嵌入到深度偽造檢測(cè)設(shè)備中，可以在啟動(dòng)時(shí)檢驗(yàn)執(zhí)行環(huán)境的完整性，防止檢測(cè)軟件被篡改?；诖诉€可以實(shí)現(xiàn)遠(yuǎn)程認(rèn)證，保障執(zhí)行環(huán)境的可信度。此外，可信硬件支撐的密鑰管理能力，可用于構(gòu)建深度偽造內(nèi)容溯源機(jī)制。除了上述直接作用，構(gòu)建可信硬件支撐環(huán)境還有助于提升相關(guān)行業(yè)的安全能力，提高抵御深度偽造風(fēng)險(xiǎn)的整體韌性。政府和行業(yè)組織應(yīng)加大支持力度，推動(dòng)可信硬件支撐環(huán)境的建設(shè)?？傊?，可信硬件支撐環(huán)境的構(gòu)建是應(yīng)對(duì)深度偽造安全威脅的重要舉措。通過在硬件層面嵌入安全機(jī)制，可以極大提升深度偽造檢測(cè)的可靠性，強(qiáng)化內(nèi)容溯源能力，提高整體防護(hù)水平。這需要產(chǎn)業(yè)鏈各方通力合作與協(xié)同推進(jìn)。伴隨新一代信息技術(shù)的發(fā)展和網(wǎng)絡(luò)安全形勢(shì)的變化，構(gòu)建可信硬件支撐環(huán)境將成為共識(shí)，在深度偽造治理和網(wǎng)絡(luò)空間安全中發(fā)揮越來越大的作用。聚焦深度偽造內(nèi)容本身的分析檢測(cè)方法1目前常用的聚焦內(nèi)容本身的分析檢測(cè)方法包括：基于人體生物特征的檢測(cè)方法、基于人物身份信息的檢測(cè)方法和同背景不同人（模版）的檢測(cè)方法聚焦深度偽造內(nèi)容本身的分析檢測(cè)方法1目前常用的聚焦內(nèi)容本身的分析檢測(cè)方法包括：基于人體生物特征的檢測(cè)方法、基于人物身份信息的檢測(cè)方法和同背景不同人（模版）的檢測(cè)方法深度偽造和合成媒體安全檢測(cè)類技術(shù)分析聚焦深度學(xué)習(xí)的檢測(cè)方法2基于多模態(tài)融合的檢測(cè)方法3圖2.51深度偽造和合成媒體安全被動(dòng)式防御（檢測(cè)類）細(xì)分類別圖不同于主動(dòng)式實(shí)施條件的苛刻及主動(dòng)化要求，被動(dòng)式檢測(cè)因其技術(shù)實(shí)現(xiàn)的可行性和對(duì)現(xiàn)有視頻內(nèi)容的廣泛適用性，成為當(dāng)前深度偽造防御技術(shù)的主流。為應(yīng)對(duì)深度偽造帶來的安全威脅，學(xué)術(shù)界和產(chǎn)業(yè)界開展了一系列深度偽造檢測(cè)類技術(shù)研究，本章將圍繞目前主流的深度偽造檢測(cè)技術(shù)的具體方法，即聚焦深度偽造內(nèi)容本身的分析檢測(cè)方法、聚焦深度學(xué)習(xí)的檢測(cè)方法以及多模態(tài)融合的方法，進(jìn)行展望與發(fā)展研究。聚焦深度偽造內(nèi)容本身的分析檢測(cè)方法基于內(nèi)容本身的檢測(cè)方法主要利用深度偽造視頻與真實(shí)視頻在某些物理特征上的差異進(jìn)行檢測(cè)。相比于深度學(xué)習(xí)方法，此類方法具有更好的可解釋性，能夠指出造假痕跡所在。目前常用的聚焦內(nèi)容本身的分析檢測(cè)方法包括：基于人體生物特征的檢測(cè)方法、基于人物身份信息的檢測(cè)方法和同背景不同人（模板）的檢測(cè)方法?；谏锾卣鞯臋z測(cè)方法?；谏锾卣鞯臋z測(cè)方法利用偽造人臉與真實(shí)人臉在生物特征上的差異進(jìn)行檢測(cè)。安全牛根據(jù)公開資料總結(jié)這些差異包括但不限于眨眼頻率、角膜鏡面高光、眼神凝視、嘴部運(yùn)動(dòng)、人臉與頭部姿勢(shì)的一致性以及心跳節(jié)律等。例如，LiHu等人發(fā)現(xiàn)生成對(duì)抗網(wǎng)絡(luò)（GAN）生成的人臉在角膜鏡面高光上存在不一致性。Peng等人則關(guān)注于眼神凝視的細(xì)微特征，HaliassosangQi的泛化能力受到限制，尤其是在面對(duì)不斷進(jìn)步的GAN深層次的生物特征?；谌宋锷矸菪畔⒌臋z測(cè)方法。針對(duì)有影響力的人物，如國(guó)家領(lǐng)導(dǎo)人和明星等，基于身份信息的檢測(cè)技術(shù)在保護(hù)重要人物免受深度偽造安全影響方面發(fā)揮了重要作用。通過分析視頻中人物的身份特征，利用先AaralOpnae2取面部數(shù)據(jù)，通過SVM區(qū)分真假視頻。DongOuterFace算法，以提高檢測(cè)的泛化性能。然而，這些方法需要真實(shí)視頻對(duì)比，不適用于社交媒體的大規(guī)模內(nèi)容檢測(cè)。為了解決這一問題，CzolinoID-eal3D一起訓(xùn)練分類網(wǎng)絡(luò)，僅用真實(shí)視頻訓(xùn)練即可獲得高泛化性的判別器，顯著提高了高壓縮視頻中面部重現(xiàn)偽造的檢測(cè)準(zhǔn)確度。盡管基于身份信息的檢測(cè)器在性能和實(shí)用性上表現(xiàn)良好，但部分方法因缺乏訓(xùn)練數(shù)據(jù)而對(duì)普通用戶有局限性。同背景不同人（模板）檢測(cè)方法。這種攻擊方式涉及使用相同的模板對(duì)多個(gè)人的面部特征進(jìn)行替換。攻擊者可能會(huì)保留視頻中的人像背景和衣服等素材，只替換面部特征，以制作出看似真實(shí)的視頻。這種攻擊方式的挑戰(zhàn)在于，它可能更容易繞過基于算法的圖像檢測(cè)系統(tǒng)，因?yàn)槌嗣娌刻卣魍猓曨l的其他元素都是真實(shí)的。當(dāng)前有企業(yè)根據(jù)人臉照的紋理、深度信息，以及圖像序列的特征來進(jìn)行聚類和分類，將圖像分組，并通過比較這些組內(nèi)和組間的特征差異來判斷圖像是否為攻擊圖片（模板），并給予異常評(píng)分，對(duì)于評(píng)分較高的圖片系統(tǒng)會(huì)自動(dòng)入模板庫(kù)，較低評(píng)分的模版，會(huì)通過人工進(jìn)行二次確定，決定是否加入模板庫(kù)。聚焦深度學(xué)習(xí)的檢測(cè)方法與基于內(nèi)容本身的檢測(cè)分析方法相比，基于深度學(xué)習(xí)的檢測(cè)方法能夠自動(dòng)從大量數(shù)據(jù)中學(xué)習(xí)判別深度偽造的特征，無需依賴先驗(yàn)知識(shí)和專家經(jīng)驗(yàn)。根據(jù)所使用的網(wǎng)絡(luò)結(jié)構(gòu)，基于深度學(xué)習(xí)的檢測(cè)方法可進(jìn)一步分為基于CNN卷積神經(jīng)網(wǎng)絡(luò)善于提取圖像中的局部特征，已在計(jì)算機(jī)視覺領(lǐng)域取得了巨CNNRossleretinCNaeoenscs++8%，激發(fā)了后續(xù)研究CNNNguenBaareouer制卷積濾波器和加入注意力機(jī)制來增強(qiáng)模型對(duì)篡改痕跡的識(shí)別。zolino學(xué)習(xí)方法，提高了模型對(duì)未知生成方式的泛化能力。NirkinCNN檢測(cè)器已經(jīng)很強(qiáng)大，但在實(shí)際應(yīng)用中，由于深度偽造視頻的幀數(shù)和分辨率CNN檢測(cè)器的泛化能力，是未來一個(gè)重要的研究方向。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNCNNRNNRNNCNNRNNRNNansormer測(cè)任務(wù)中將RNN與Transformer結(jié)合，充分利用局部和全局時(shí)序信息，值得進(jìn)一步探索?；贕AN生成圖像指紋檢測(cè)。隨著生成對(duì)抗網(wǎng)絡(luò)（GAN）GANGAN時(shí)準(zhǔn)確率會(huì)降低。MaraANPRNU標(biāo)記被稱為指紋，可以用來進(jìn)行可靠的偽造人臉檢測(cè)。GAN指紋的內(nèi)在機(jī)制，揭示了其BN層的權(quán)重壓縮有關(guān)。WangGANGAN生GAN生成方法的檢測(cè)器的泛化性能，一些研究者提出利用對(duì)抗訓(xùn)練和元學(xué)習(xí)來優(yōu)化檢測(cè)器。Wang等人將對(duì)抗樣本引入訓(xùn)練，使檢測(cè)器在應(yīng)對(duì)對(duì)抗攻擊時(shí)魯棒性更強(qiáng)?？偟膩碚f，基于深度學(xué)習(xí)的檢測(cè)方法依托大規(guī)模數(shù)據(jù)集和強(qiáng)大的學(xué)習(xí)能力，在檢測(cè)領(lǐng)域取得了矚目成績(jī)。但這些方法也存在計(jì)算開銷大、可解釋性差、泛化能力不足等局限性。同時(shí)，它們大多只關(guān)注視頻中的視覺信息，忽略了音頻、文本等其他模態(tài)的信號(hào)?；诙嗄B(tài)融合的檢測(cè)方法深度偽造視頻通常包含視覺、聽覺等多種模態(tài)信息，僅依靠單一模態(tài)進(jìn)行檢測(cè)往往難以全面刻畫深度偽造的特征。因此，研究者開始探索多模態(tài)融合的檢測(cè)框架，綜合利用不同模態(tài)的互補(bǔ)信息，以期獲得更加準(zhǔn)確和魯棒的檢測(cè)效果。根據(jù)融合的信息類型不同，多模態(tài)檢測(cè)方法可進(jìn)一步分為視聽覺特征交叉驗(yàn)證、統(tǒng)計(jì)特征與深度特征融合、引入背景知識(shí)輔助檢測(cè)和構(gòu)建多模態(tài)深度偽造樣本集等類型。視聽覺特征交叉驗(yàn)證。在人類辨別視頻真?zhèn)螘r(shí)，視覺和聽覺線索都是關(guān)鍵因素。研究者們嘗試將唇語(yǔ)Korshunov特征，使用獨(dú)立檢測(cè)器建模并加權(quán)平均輸出，發(fā)現(xiàn)融合后性能優(yōu)于單一模態(tài)。Mial焦于關(guān)鍵區(qū)域。然而，現(xiàn)有方法主要關(guān)注假唇音不同步的視頻，對(duì)于換臉、換頭等無需篡改音頻的偽造方式，檢測(cè)效果有限。Chugh等人引入預(yù)訓(xùn)練的說話人識(shí)別和人臉識(shí)別模型，通過比較輸出差異判斷視聽覺身份一致性，實(shí)驗(yàn)表明該方法在多個(gè)數(shù)據(jù)集上表現(xiàn)良好。盡管如此，利用視聽覺信息進(jìn)行深度偽造檢測(cè)仍面臨挑戰(zhàn)。DFDC在音視頻質(zhì)量和篡改方式多樣性方面有待提高，限制了檢測(cè)器的泛化能力。此外，隨著語(yǔ)音克隆等技術(shù)的發(fā)展，視聽覺身份不一致的案例將減少。未來的研究需要挖掘面部細(xì)微表情與情緒語(yǔ)氣的協(xié)同性，并探索更深層次的模態(tài)融合方法，以充分發(fā)揮多模態(tài)信息的協(xié)同作用。統(tǒng)計(jì)特征與深度特征融合。前文提到，基于統(tǒng)計(jì)特征的方法和基于深度學(xué)習(xí)的方法在檢測(cè)深度偽造方面各有優(yōu)勢(shì)。一些研究者嘗試將兩類方法的優(yōu)勢(shì)結(jié)合起來，以期獲得更好的檢測(cè)效果。統(tǒng)計(jì)特征與深度特征的能夠分析統(tǒng)計(jì)特征和深度特征在檢測(cè)中的作用。同時(shí)，適當(dāng)引入統(tǒng)計(jì)特征有助于提高深度學(xué)習(xí)模型的魯棒性，尤其在應(yīng)對(duì)對(duì)抗攻擊時(shí)。傳統(tǒng)的對(duì)抗攻擊大多針對(duì)神經(jīng)網(wǎng)絡(luò)的梯度信息，而統(tǒng)計(jì)特征則不受其影響。Wang等人發(fā)現(xiàn)，在融合統(tǒng)計(jì)特征后，深度學(xué)習(xí)檢測(cè)器面對(duì)對(duì)抗樣本時(shí)的性能顯著提升。未來可以探索將統(tǒng)計(jì)建模與對(duì)抗訓(xùn)練相結(jié)合，以提高檢測(cè)器的安全性。需要指出的是，現(xiàn)有融合方法所用的統(tǒng)計(jì)特征仍較為簡(jiǎn)單，大多為像素共生矩陣、Markov轉(zhuǎn)移概率等二階統(tǒng)計(jì)量。一些更高階的統(tǒng)計(jì)特征，如局部像素相關(guān)性、譜相關(guān)性等，在圖像篡改檢測(cè)中已經(jīng)顯示出優(yōu)勢(shì)，但尚未被用于深度偽造檢測(cè)。如何從理論和實(shí)踐角度探索新的統(tǒng)計(jì)特征，并將其與不同深度學(xué)習(xí)模型相融合，可能成為一個(gè)有前景的方向。引入背景知識(shí)輔助檢測(cè)。結(jié)合外部知識(shí)如事實(shí)和常識(shí)，可以提升深度偽造檢測(cè)的準(zhǔn)確性。Wu了一種多模態(tài)檢測(cè)框架，分析視覺內(nèi)容和語(yǔ)音轉(zhuǎn)錄文本，通過知識(shí)庫(kù)比對(duì)捕捉視覺與語(yǔ)義的錯(cuò)誤關(guān)聯(lián)，有效識(shí)別換臉視頻。angnsorer習(xí)視覺與文本的關(guān)聯(lián)性，通過對(duì)比學(xué)習(xí)提升檢測(cè)準(zhǔn)確率。然而，該領(lǐng)域仍面臨挑戰(zhàn)，包括知識(shí)庫(kù)規(guī)模小、隱式語(yǔ)義信息處理困難、高質(zhì)量標(biāo)注數(shù)據(jù)獲取難等問題。未來研究需探索弱監(jiān)督學(xué)習(xí)、自監(jiān)督對(duì)比學(xué)習(xí)等方法，優(yōu)化多模態(tài)融合框架，實(shí)現(xiàn)更準(zhǔn)確的篡改檢測(cè)與定位。隨著多模態(tài)數(shù)據(jù)的增長(zhǎng)和新學(xué)習(xí)范式的出現(xiàn)，深度偽造檢測(cè)技術(shù)有望進(jìn)一步發(fā)展，為構(gòu)建智能、安全的信息社會(huì)提供支持。構(gòu)建多模態(tài)深度偽造樣本集。為了支撐單模態(tài)及多模態(tài)偽造檢測(cè)技術(shù)，有廠商提出了多模態(tài)深度偽造樣DPIDPI（深度包檢測(cè)）技術(shù)還原網(wǎng)絡(luò)流量中的數(shù)據(jù)包，以獲取更多的深度偽造樣本。預(yù)訓(xùn)練偽造模型自動(dòng)生成偽造樣本指利用已有的生成對(duì)抗網(wǎng)絡(luò)（GAN）或其他深度學(xué)習(xí)模型，可以自動(dòng)生成大量的偽造樣本。這些模型通常在大規(guī)模的真實(shí)數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后通過調(diào)整參數(shù)來生成偽造內(nèi)容，如人臉替換或表情操縱等。半自動(dòng)標(biāo)注技術(shù)指為了提高標(biāo)注效率和準(zhǔn)確性，首先使用預(yù)訓(xùn)練的模型對(duì)樣本進(jìn)行初步標(biāo)注，然后由人工審核和校正這些標(biāo)注結(jié)果。這種方法可以大幅減少人工（的深度偽造樣本集，這些樣本集不僅能夠支持單模態(tài)偽造檢測(cè)技術(shù)的研究，還能夠促進(jìn)多模態(tài)融合檢測(cè)技術(shù)的發(fā)展。這樣的樣本集對(duì)于訓(xùn)練和評(píng)估深度偽造檢測(cè)模型至關(guān)重要，有助于提高模型的泛化能力和檢測(cè)準(zhǔn)確性。第三章AI深度偽造和合成媒體安全的市場(chǎng)現(xiàn)狀分析深度偽造和合成媒體安全的市場(chǎng)表現(xiàn)分析本章安全牛將從深度偽造和合成媒體安全的市場(chǎng)規(guī)模、公開中標(biāo)信息及廠商投融資三方面分析其具體市場(chǎng)表現(xiàn)。深度偽造和合成媒體市場(chǎng)規(guī)模分析根據(jù)安全牛公開調(diào)研和企業(yè)訪談收集深度偽造和合成媒體安全市場(chǎng)相關(guān)信息顯示，20231.19202427%4.0850%。其次為金融、銀行和運(yùn)營(yíng)商。從數(shù)據(jù)來看，深度偽造和合成媒體目前正處于發(fā)展早期階段，呈現(xiàn)出同比增幅較大，受政務(wù)、大客戶采購(gòu)的影響較大的現(xiàn)實(shí)趨勢(shì)。0101020304圖3.11中國(guó)深度偽造和合成媒體市場(chǎng)營(yíng)收及主要客戶數(shù)據(jù)分析圖深度偽造和合成媒體公開中標(biāo)信息分析2019（202410）的深度偽造和合成媒體公開中標(biāo)標(biāo)的信息顯示，201912620192，2020202116，202229，202332，2024（1-10）30標(biāo)金額來看，2019183，2020865，20211171，202228734713，202410345%，2.1雖然2024年數(shù)據(jù)“突飛猛進(jìn)”，但從深度偽造和合成媒體中標(biāo)標(biāo)的整體情況來看，在數(shù)字內(nèi)容深度偽造檢測(cè)與防范領(lǐng)域，商業(yè)化應(yīng)用和盈利模式的探索仍在斷深入，且有巨大潛力。目前，該領(lǐng)域的主要投資方集中在監(jiān)管方，而部委的采購(gòu)數(shù)據(jù)通常不披露。金融、銀行因?yàn)榫唧w業(yè)務(wù)具有較強(qiáng)的采購(gòu)意愿；媒體集團(tuán)出于提升內(nèi)容生產(chǎn)效率、豐富表現(xiàn)形式和增強(qiáng)用戶互動(dòng)的需求，對(duì)深度偽造技術(shù)的應(yīng)用和防范投入較多資源；公安部門則更側(cè)重于防范深度偽造技術(shù)可能帶來的安全威脅，如虛假信息的傳播、網(wǎng)絡(luò)詐騙等，因此在技術(shù)防范投入較大。未來，隨著技術(shù)的進(jìn)步和應(yīng)用場(chǎng)景的拓展，預(yù)計(jì)會(huì)有更多行業(yè)和領(lǐng)域開始關(guān)注并投資于這一技術(shù)，推動(dòng)其商業(yè)化進(jìn)程。圖3.12中國(guó)深度偽造和合成媒體安全招投標(biāo)事件數(shù)量和中標(biāo)金額分析圖深度偽造和合成媒體廠商投融資情況分析2018（202411整體來看，2020202132024表3.112018.01-2024.11深度偽造和合成媒體主流廠商投融資匯總表企業(yè)名稱輪次融資時(shí)間融資金額投資方地區(qū)中科睿鑒股權(quán)投資2024/6/19未披露達(dá)晨財(cái)智北京市瑞萊智慧戰(zhàn)略投資2024/4/12未披露順禧基金,智譜AI等北京市瑞萊智慧股權(quán)投資2022/8/22未披露夢(mèng)景投資,卓源資本北京市深信科創(chuàng)Pre-A+輪2022/5/24數(shù)千萬人民幣北斗資本領(lǐng)投合肥市高維數(shù)據(jù)Pre-A輪2021/12/17未披露安恒信息合肥市深信科創(chuàng)Pre-A輪2021/10/18數(shù)千萬人民幣國(guó)汽投資、將門創(chuàng)投領(lǐng)投合肥市瑞萊智慧A輪2021/9/273億人民幣資基金等北京市中科睿鑒股權(quán)投資2021/5/12未披露深圳柯源北京市瑞萊智慧Pre-A輪2021/2/4數(shù)千萬美元基石資木等北京市中關(guān)村科金股權(quán)投資2020/8/7未披露沨華資本北京市深信科創(chuàng)天使輪2020/8/41000萬人民幣度巖資本領(lǐng)投合肥市瑞萊智慧天使+輪2020/3/4數(shù)千萬人民幣松禾資本領(lǐng)投,同渡資本跟投北京市瑞萊智慧天使輪2019/1/4數(shù)千萬人民幣百度風(fēng)投、中科創(chuàng)星領(lǐng)投,水木清華校友種子基金、卓源亞洲等跟投北京市紅陣網(wǎng)絡(luò)股權(quán)投資2018/10/24未披露安恒信息南京市數(shù)據(jù)來源：安全牛根據(jù)公開信息自主整理，自主繪制從深度偽造和合成媒體投資方視角來看，創(chuàng)投/從獲得投融資的廠商所在地區(qū)來看，主要集中在北京和合肥，此兩地具有較好的政策落地優(yōu)勢(shì)。AI深度偽造和合成媒體安全生態(tài)圖譜分析（3.2-1深度偽造和合成媒體安全的生態(tài)圖譜深度偽造技術(shù)領(lǐng)域的重度參與者可以按照研究側(cè)和服務(wù)側(cè)兩部分內(nèi)容進(jìn)行劃分。數(shù)據(jù)來源：安全牛根據(jù)公開信息自主整理，自主繪制圖3.21深度偽造和合成媒體安全的生態(tài)圖譜數(shù)據(jù)來源：安全牛根據(jù)公開信息自主整理，自主繪制研究側(cè)包括擁有深度偽造專利認(rèn)證的金融機(jī)構(gòu)、科研院所和高校。根據(jù)安全牛收集的公開信息顯示，金融機(jī)構(gòu)獲得深度偽造檢測(cè)認(rèn)證的企業(yè)有阿里巴巴、支付寶和馬上消費(fèi)金融股份有限公司，他們?yōu)樘剿魃疃葌卧旒夹g(shù)在金融安全和用戶體驗(yàn)方面的應(yīng)用正做著研究貢獻(xiàn)；但從整體研究側(cè)來看，科研院所和高校這些機(jī)構(gòu)在深度偽造的基礎(chǔ)研究、技術(shù)開發(fā)和應(yīng)用探索方面發(fā)揮著關(guān)鍵作用?？蒲性核猩疃葌卧鞂＠@得者包括但不限于：公安部第三研究所、中國(guó)科學(xué)院計(jì)算技術(shù)研究所、中國(guó)科學(xué)院信息工程研究所、中國(guó)電子科技集團(tuán)公司第三十研究所、中國(guó)科學(xué)院自動(dòng)化研究所等。高校則是培養(yǎng)未來技術(shù)人才和進(jìn)行前沿研究的重要基地，南昌大學(xué)、暨南大學(xué)、齊魯工業(yè)大學(xué)（山東省科學(xué)院）、浙江大學(xué)、南昌大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、大連理工大學(xué)、武漢大學(xué)、西安交通大學(xué)、中山大學(xué)、西安電子科技大學(xué)等大學(xué)均獲得深度偽造相關(guān)專利證明。服務(wù)側(cè)則涵蓋了提供深度偽造和合成媒體安全服務(wù)的企業(yè)，分為以網(wǎng)絡(luò)和數(shù)據(jù)安全為主營(yíng)業(yè)務(wù)的企業(yè)、以人工智能為核心的企業(yè)和滿足自我檢測(cè)需求的互聯(lián)網(wǎng)企業(yè)。以網(wǎng)絡(luò)和數(shù)據(jù)安全為主營(yíng)業(yè)務(wù)的企業(yè)如國(guó)投智能、亞信安全、東方通、頂象科技、高維數(shù)據(jù)、浩瀚深度等，他們不僅可以提供深度偽造檢測(cè)和防護(hù)服務(wù)，還在網(wǎng)絡(luò)安全和數(shù)據(jù)安全方向具有較大優(yōu)勢(shì)。AI范深度偽造內(nèi)容，推動(dòng)技術(shù)的正向發(fā)展。滿足自我檢測(cè)需求的互聯(lián)網(wǎng)企業(yè)，包括央視頻、愛奇藝、嗶哩嗶哩等，這些企業(yè)在內(nèi)容審核、版權(quán)保護(hù)和用戶安全等方面有強(qiáng)烈需求。它們通過內(nèi)部研發(fā)或與專業(yè)服務(wù)提供商合作，確保平臺(tái)內(nèi)容的真實(shí)性和安全性。隨著技術(shù)的不斷進(jìn)步，這些參與者在推動(dòng)技術(shù)發(fā)展的同時(shí)，也在積極構(gòu)建一個(gè)更加安全、可靠的數(shù)字環(huán)境。深度偽造和合成媒體安全市場(chǎng)成熟度分析根據(jù)安全牛調(diào)研發(fā)現(xiàn)，當(dāng)前我國(guó)深度偽造和合成媒體安全市場(chǎng)正處于發(fā)展前期階段，安全牛從頂層設(shè)計(jì)、中層構(gòu)建、基層應(yīng)用三個(gè)層面來具體分析：頂層設(shè)計(jì)：我國(guó)正在逐步建立和完善相關(guān)法律法規(guī)，以應(yīng)對(duì)深度偽造技術(shù)帶來的挑戰(zhàn)。2019雖然國(guó)內(nèi)在立法方面在不斷進(jìn)行探索，但與一些發(fā)達(dá)國(guó)家相比，國(guó)內(nèi)在深度偽造的法律規(guī)制方面還有較大的完善空間。需要更多的時(shí)間和資源來逐步走向成熟?；鶎討?yīng)用：安全牛發(fā)起的《大眾對(duì)深度偽造和合成媒體技術(shù)安全認(rèn)知、態(tài)度及影響調(diào)研問卷》調(diào)研數(shù)據(jù)顯示，公眾對(duì)深度偽造技術(shù)的認(rèn)識(shí)和警覺性正在逐步提高，但仍需要開展公民安全意識(shí)教育，增強(qiáng)公眾參與度，提高全社會(huì)對(duì)深度偽造技術(shù)的識(shí)別和應(yīng)對(duì)能力。圖3.31深度偽造和合成媒體安全的市場(chǎng)發(fā)展階段圖綜上所述，中國(guó)的深度偽造和合成媒體安全市場(chǎng)正處于發(fā)展前期，隨著立法的進(jìn)一步完善、產(chǎn)學(xué)研合作的逐漸深入以及服務(wù)提供商的越來越成熟，預(yù)計(jì)2027年可以進(jìn)入蓬勃發(fā)展階段。深度偽造和合成媒體安全消費(fèi)者敏感度分析深度偽造和合成媒體安全消費(fèi)者認(rèn)知度分析20249-10回收數(shù)據(jù)顯示的被調(diào)研者知道深度偽造和合成媒體技術(shù)的被調(diào)研者不知道深度偽造和合成媒體技術(shù)。圖3.41安全牛發(fā)起的消費(fèi)者深度偽造和合成媒體技術(shù)認(rèn)知度分析圖20249-10回收數(shù)據(jù)顯示，消費(fèi)者對(duì)深度偽造和合成媒體技術(shù)制造的虛假內(nèi)容整體認(rèn)知度不高，49%的消費(fèi)者認(rèn)為（但絕大部分對(duì)如何識(shí)別感興趣的消費(fèi)者認(rèn)為能夠完全識(shí)別不同類型的深度偽造內(nèi)容。3.42安全牛認(rèn)為，從消費(fèi)者對(duì)深度偽造和合成媒體技術(shù)的認(rèn)知度來看，大眾普遍對(duì)這一概念及其典型案例有所了解，但在識(shí)別利用該技術(shù)制造的虛假內(nèi)容方面存在明顯困難。近半數(shù)的消費(fèi)者表示，他們難以識(shí)別出深度偽造和合成媒體技術(shù)生成的虛假內(nèi)容，超過四成的消費(fèi)者認(rèn)為自己只能識(shí)別出一部分。這種情況與該技術(shù)的“三高”特點(diǎn)——高仿真度、高自動(dòng)化、高隱蔽性緊密相關(guān)。深度偽造和合成媒體安全消費(fèi)者使用度分析20249-10，21%的消費(fèi)者進(jìn)行過嘗試，1/379的沒有嘗試過此技術(shù)1/3/圖3.43安全牛發(fā)起的消費(fèi)者深度偽造和合成媒體技術(shù)使用度分析圖20249-10回收數(shù)據(jù)顯示，消費(fèi)者被問及深度偽造和合成媒體技術(shù)在哪些消極應(yīng)用場(chǎng)景中最為常見時(shí)，87%的受訪者認(rèn)為深度偽造技術(shù)被用于制造和傳播虛假新聞，78和傳播不雅內(nèi)容、侵犯?jìng)€(gè)人隱私和肖像權(quán)以及政治操縱和輿論引導(dǎo)也是公眾認(rèn)為的主要消極場(chǎng)景，分別占到了72%、63%40%。圖3.44安全牛發(fā)起的消費(fèi)者認(rèn)為深度偽造和合成媒體技術(shù)消極場(chǎng)景使用度之分析圖安全牛認(rèn)為，從消費(fèi)者對(duì)深度偽造和合成媒體技術(shù)的使用度來看，大眾普遍對(duì)其存有好奇心，但同時(shí)也對(duì)此技術(shù)可能引發(fā)的誠(chéng)信問題抱有普遍的擔(dān)憂。特別是對(duì)信息的真實(shí)性和個(gè)人隱私的保護(hù)，大眾顯得尤為關(guān)注。深度偽造和合成媒體安全消費(fèi)者需求度分析20249-1088%，7752%。對(duì)于較為創(chuàng)新的方面，如緬懷故人、歷史重現(xiàn)和創(chuàng)新旅游，選擇的33%，31%28%12%7%。圖3.45安全牛發(fā)起的消費(fèi)者認(rèn)為深度偽造和合成媒體技術(shù)應(yīng)用需求度分析圖圖3.46安全牛發(fā)起的消費(fèi)者認(rèn)為深度偽造和合成媒體技術(shù)安全保障需求度分析圖20249-10回收數(shù)據(jù)顯示，被問及大眾對(duì)深度偽造和合成媒體安全保障需求度時(shí)，大眾普遍認(rèn)為加強(qiáng)法律制裁、加大平臺(tái)86%，8272%。另外，建立舉50%，66%，63%60%。圖3.46安全牛發(fā)起的消費(fèi)者認(rèn)為深度偽造和合成媒體技術(shù)安全保障需求度分析圖安全牛認(rèn)為，從消費(fèi)者對(duì)深度偽造和合成媒體技術(shù)的需求度來看，大家對(duì)于安全需求保障的意愿還是很強(qiáng)烈的，特別是對(duì)監(jiān)管側(cè)和技術(shù)提供商寄予厚望。深度偽造和合成媒體安全消費(fèi)者敏感度分析20249-10回收數(shù)據(jù)顯示，在被問及是否擔(dān)心深度偽造和合成媒體技術(shù)對(duì)個(gè)人安全產(chǎn)生不好影響的時(shí)候，16的受訪者表示非常擔(dān)心，73%11%的受訪者表示不太擔(dān)心或者完全不擔(dān)心。圖3.47安全牛發(fā)起的消費(fèi)者深度偽造和合成媒體技術(shù)敏感度分析圖20249-1010058，45%50，21%803.48安全牛認(rèn)為，從消費(fèi)者對(duì)深度偽造和合成媒體技術(shù)的敏感度來看，89%的受訪者對(duì)當(dāng)前深度偽造和合成4550深度偽造和合成媒體安全消費(fèi)者保護(hù)度分析20249-10回收數(shù)據(jù)顯示，當(dāng)被問及對(duì)深度偽造和合成媒體的總體看法時(shí)，22%的被調(diào)研者表示積極的態(tài)度，他們期望看到更多的落地應(yīng)用；15%的被調(diào)研者表示消極態(tài)度，他們期望技術(shù)可以受到管控甚至禁止；54%的受訪者持中立態(tài)度，他們認(rèn)為可以應(yīng)用，但需要受到規(guī)范或者管控；9%圖3.49安全牛發(fā)起的消費(fèi)者深度偽造和合成媒體技術(shù)整體看法保護(hù)度分析圖20249-10數(shù)據(jù)顯示，當(dāng)被問及受訪者是否采取了相應(yīng)措施保護(hù)自己免受深度偽造技術(shù)帶來的消極影響時(shí)，82%的受訪者表示加強(qiáng)了個(gè)人隱私保護(hù)，如限制個(gè)人信息公開；70%的受訪者表示了解了相關(guān)防范知識(shí)；56%的消費(fèi)者表示向可信平臺(tái)舉報(bào)可疑內(nèi)容；45%的受訪者表示使用深度偽造檢測(cè)工具，13%的受訪者表示并沒有采取任何措施。圖3.410安全牛發(fā)起的消費(fèi)者深度偽造和合成媒體技術(shù)安全保護(hù)度分析圖安全牛認(rèn)為，從消費(fèi)者對(duì)深度偽造和合成媒體技術(shù)的保護(hù)度來看，超半數(shù)受訪者對(duì)深度偽造和合成媒體持中立態(tài)度，認(rèn)為其