AI安全與合規(guī)：維護(hù)國(guó)家安全的新疆域

2023年10月18日，國(guó)家互聯(lián)網(wǎng)信息辦公室（“網(wǎng)信辦”）發(fā)布《全球人工智能治理倡議》，重申各國(guó)應(yīng)在人工智能治理中加強(qiáng)信息交流和技術(shù)合作，共同做好風(fēng)險(xiǎn)防范，形成具有廣泛共識(shí)的人工智能治理框架和標(biāo)準(zhǔn)規(guī)范，不斷提升人工智能技術(shù)的安全性、可靠性、可控性、公平性。2023年11月1日，中國(guó)、美國(guó)、歐盟、英國(guó)在內(nèi)的二十余個(gè)主要國(guó)家和地區(qū)在英國(guó)主辦的首屆人工智能安全全球峰會(huì)上共同簽署了《布萊切利宣言》（TheBletchleyDeclaration），承諾以安全可靠、以人為本、可信賴及負(fù)責(zé)的方式設(shè)計(jì)、開發(fā)、部署并使用AI。2023年11月8日，習(xí)近平主席在2023年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)開幕式發(fā)表的視頻致辭中指出，愿同各方攜手落實(shí)《全球人工智能治理倡議》，促進(jìn)人工智能安全發(fā)展。由此可見(jiàn)，人工智能已成為維護(hù)國(guó)家安全的新疆域，人工智能安全是我國(guó)政府一貫密切關(guān)注的重要議題。人工智能作為全球戰(zhàn)略性與變革性信息技術(shù)，在對(duì)經(jīng)濟(jì)社會(huì)發(fā)展和人類文明進(jìn)步產(chǎn)生深遠(yuǎn)影響的同時(shí)，也在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、算法安全、信息安全等領(lǐng)域引發(fā)新型國(guó)家安全風(fēng)險(xiǎn)。為防范上述風(fēng)險(xiǎn)，各國(guó)必將逐步健全和完善人工智能治理相關(guān)的法律法規(guī)。我們?cè)诖饲芭c上海人工智能研究院、華為技術(shù)有限公司、上海昇思AI框架&大模型創(chuàng)新中心共同編制的《大模型合規(guī)白皮書》中，對(duì)于美國(guó)、歐盟以及我國(guó)在大模型及人工智能方面的法律監(jiān)管現(xiàn)狀進(jìn)行梳理，本文作為“國(guó)家安全法律專題”系列文章的第二篇，將重點(diǎn)圍繞人工智能安全這一主題，為企業(yè)等制定和實(shí)施人工智能安全治理措施提供一、AI安全與合規(guī)要點(diǎn)概覽前述《全球人工智能治理倡議》、《布萊切利宣言》以及美國(guó)、歐盟、英國(guó)等主要國(guó)家和地區(qū)人工智能治理相關(guān)監(jiān)管規(guī)則中均提出有關(guān)人工智能安全的要求。其中，我國(guó)《全球人工智能治理倡議》以及美國(guó)總統(tǒng)拜登于2023年10月簽署的《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》特別提出了針對(duì)國(guó)家安全風(fēng)險(xiǎn)的防范根據(jù)《全球人工智能治理倡議》，面向他國(guó)提供人工智能產(chǎn)品和服務(wù)時(shí)，應(yīng)尊重他國(guó)主權(quán)，嚴(yán)格遵守他國(guó)法律，接受他國(guó)法律管轄；反對(duì)利用人工智能技術(shù)優(yōu)勢(shì)操縱輿論、傳播虛假信息，干涉他國(guó)內(nèi)政、社會(huì)制度及社會(huì)秩序，危害他國(guó)主權(quán)；此外，發(fā)展人工智能應(yīng)堅(jiān)持“智能向善”的宗旨，遵守適用的國(guó)際法，符合和平、發(fā)展、公平、正義、民主、自由的全人類共同價(jià)值，共同防范和打擊恐怖主義、極端勢(shì)力和跨國(guó)有組織犯罪集團(tuán)對(duì)人工智能技術(shù)的惡用濫用，各國(guó)尤其是大國(guó)對(duì)在軍事領(lǐng)域研發(fā)和使用人工智能技術(shù)應(yīng)該采取慎重負(fù)責(zé)的態(tài)度。根據(jù)《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》（ExecutiveOrderonSafe,Secure,andTrustworthyArtificialIntelligence開發(fā)任何對(duì)國(guó)家安全、國(guó)家經(jīng)濟(jì)安全或國(guó)家公共健康和安全構(gòu)成嚴(yán)重風(fēng)險(xiǎn)的基礎(chǔ)模型的公司在訓(xùn)練模型時(shí)必須通知聯(lián)邦政府，并且必須共享所有紅隊(duì)安全測(cè)試的結(jié)果；美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院、國(guó)土安全部、能源部將負(fù)責(zé)一系列標(biāo)準(zhǔn)、工具和測(cè)試，幫助確保人工智能系統(tǒng)安全、可靠和可信；國(guó)家安全委員會(huì)和白宮辦公廳主任將制定一份國(guó)家安全備忘錄，指導(dǎo)有關(guān)人工智能和安全的進(jìn)一步行動(dòng)，以確保美國(guó)軍方和情報(bào)界在執(zhí)行任務(wù)時(shí)安全、合乎道德和有效地使用人工智能，并將指導(dǎo)采取行動(dòng)，打擊對(duì)手在軍事上使用人工智能。我們理解人工智能安全涉及國(guó)家安全的多個(gè)領(lǐng)域，如軍事安全、政治安全、社會(huì)安全、經(jīng)濟(jì)安全、信息安全、算法安全、數(shù)據(jù)安全、網(wǎng)絡(luò)安全等，具體而言：1.軍事安全與政治安全AI在軍事作戰(zhàn)、社會(huì)輿情等領(lǐng)域的應(yīng)用可能會(huì)影響一國(guó)的軍事安全和政治安全。一方面，AI可能通過(guò)基于收集用戶畫像進(jìn)行深度引導(dǎo)并傳播政治主張，對(duì)不同的政治信仰、國(guó)家、種族、團(tuán)體進(jìn)行有失公平的區(qū)別對(duì)待，在具有復(fù)雜歷史背景的問(wèn)題上與開發(fā)者立場(chǎng)保持一致等途徑影響公眾政治意識(shí)形態(tài)，間接威脅國(guó)家的軍事與政治安全。另一方面，AI可用于構(gòu)建新型軍事打擊力量，例如提供最新的戰(zhàn)場(chǎng)態(tài)勢(shì)和戰(zhàn)術(shù)建議、智能分析情報(bào)、協(xié)助武器智能化，從而提升戰(zhàn)斗能力，直接威脅國(guó)家安全。2.社會(huì)安全AI的運(yùn)用與發(fā)展對(duì)社會(huì)安全有著直觀的影響。AI的發(fā)展滋生了多種新型違法犯罪，例如利用生成式AI定制個(gè)性化詐騙話術(shù)行使詐騙敲詐、利用AI合成虛假的私人視頻或色情視頻進(jìn)行侮辱誹謗、利用AI“刷單”“造粉”制造沖突、操控輿論以制造或推動(dòng)網(wǎng)絡(luò)暴力等。此外，高度自治的AI系統(tǒng)，如無(wú)人駕駛汽車、醫(yī)療機(jī)器人等，一旦出現(xiàn)數(shù)據(jù)泄露、網(wǎng)絡(luò)連通性差等問(wèn)題可能會(huì)直接危害人類身體健康甚至生命安全。同時(shí)，受到訓(xùn)練數(shù)據(jù)或決策算法有偏見(jiàn)、AI產(chǎn)品缺乏道德約束、與AI相關(guān)的安全事件追責(zé)難等因素的影響，AI產(chǎn)品可能會(huì)對(duì)社會(huì)現(xiàn)有倫理道德體系造成強(qiáng)烈沖擊。我國(guó)《全球人工智能治理倡議》、美國(guó)《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》以及歐盟《人工智能法案》（ArtificialIntelligenceAct，“AI法案”）均強(qiáng)調(diào)了AI在社會(huì)安全方面引發(fā)的風(fēng)險(xiǎn)：《全球人工智能治理倡議》提出，堅(jiān)持公平性和非歧視性原則，避免在數(shù)據(jù)獲取、算法設(shè)計(jì)、技術(shù)開發(fā)、產(chǎn)品研發(fā)與應(yīng)用過(guò)程中，產(chǎn)生針對(duì)不同或特定民族、信仰、國(guó)別、性別等偏見(jiàn)和歧視。同時(shí)，堅(jiān)持倫理先行，建立并完善人工智能倫理準(zhǔn)則、規(guī)范及問(wèn)責(zé)機(jī)制，形成人工智能倫理指南，建立科技倫理審查和監(jiān)管制度，明確人工智能相關(guān)主體的責(zé)任和權(quán)力邊界，充分尊重并保障各群體合法權(quán)益，及時(shí)回應(yīng)國(guó)內(nèi)和國(guó)際相關(guān)倫理關(guān)切。《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》提出，美國(guó)將基于《人工智能權(quán)利法案藍(lán)圖》以及以一系列行政命令，指示各機(jī)構(gòu)打擊算法歧視，同時(shí)執(zhí)行現(xiàn)有授權(quán)以保護(hù)人們的權(quán)利和安全，確保人工智能促進(jìn)公平和公民權(quán)利；衛(wèi)生與公眾服務(wù)部還將制定一項(xiàng)安全計(jì)劃，接收涉及人工智能的傷害或不安全醫(yī)療行為的報(bào)告，并采取行動(dòng)予以補(bǔ)救。AI法案提出，采用潛意識(shí)技術(shù)或有目的的操縱或欺騙技術(shù)、利用個(gè)人或社會(huì)群體的弱點(diǎn)（例如已知的人格特征或社會(huì)經(jīng)濟(jì)狀況、年齡、身體精神能力）、利用人的社會(huì)行為或人格特征進(jìn)行社會(huì)評(píng)分的AI系統(tǒng)均屬于存在不可接受風(fēng)險(xiǎn)的AI系統(tǒng)，嚴(yán)厲禁止使用。針對(duì)高風(fēng)險(xiǎn)AI系統(tǒng)，AI系統(tǒng)部署方必須進(jìn)行基本權(quán)利影響評(píng)估，并向國(guó)家當(dāng)局通報(bào)評(píng)估結(jié)果；此外，高風(fēng)險(xiǎn)AI系統(tǒng)必須在技術(shù)上具有穩(wěn)健性，以確保技術(shù)適用于其目的，并且虛假的正面/負(fù)面結(jié)果不會(huì)對(duì)受保護(hù)群體（例如種族或民族起源、性別、年齡等）產(chǎn)生不成比例的影響，同時(shí)需要使用足夠具有代表性的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，以最小化模型中潛在的不公平偏見(jiàn)風(fēng)險(xiǎn)，并確保可以通過(guò)適當(dāng)?shù)钠?jiàn)檢測(cè)、糾正和其他緩解措施來(lái)解決這些問(wèn)題。3.經(jīng)濟(jì)安全AI可能會(huì)給國(guó)家經(jīng)濟(jì)安全帶來(lái)諸多風(fēng)險(xiǎn)，例如結(jié)構(gòu)性失業(yè)、行業(yè)寡頭壟斷等等。在結(jié)構(gòu)性失業(yè)方面，在AI與傳統(tǒng)行業(yè)融合的過(guò)程中，AI從替代人類的手足和體力發(fā)展到替代人類的大腦，使得重復(fù)體力勞動(dòng)者、簡(jiǎn)單腦力從業(yè)者、咨詢分析等知識(shí)型行業(yè)甚至藝術(shù)行業(yè)等都可能面臨下崗?fù){，可能會(huì)導(dǎo)致結(jié)構(gòu)性失業(yè)。在行業(yè)寡頭壟斷方面，AI產(chǎn)品對(duì)算法、算力和數(shù)據(jù)的高度依賴，可能導(dǎo)致科技企業(yè)的寡頭壟斷，例如，目前生成式AI平臺(tái)和應(yīng)用系統(tǒng)大部分由國(guó)外互聯(lián)網(wǎng)巨頭及其參股或控股公司研發(fā)而成，這些企業(yè)可以根據(jù)自身積累的數(shù)據(jù)優(yōu)勢(shì)、建立“數(shù)據(jù)壁壘”，可能導(dǎo)致AI初創(chuàng)企業(yè)入局難。我國(guó)《全球人工智能治理倡議》、美國(guó)《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》也關(guān)注到了AI對(duì)經(jīng)濟(jì)安全造成的風(fēng)險(xiǎn)：《全球人工智能治理倡議》提出，發(fā)展人工智能應(yīng)堅(jiān)持相互尊重、平等互利的原則，各國(guó)無(wú)論大小、強(qiáng)弱，無(wú)論社會(huì)制度如何，都有平等發(fā)展和利用人工智能的權(quán)利。鼓勵(lì)全球共同推動(dòng)人工智能健康發(fā)展，共享人工智能知識(shí)成果，開源人工智能技術(shù)。反對(duì)以意識(shí)形態(tài)劃線或構(gòu)建排他性集團(tuán)，惡意阻撓他國(guó)人工智能發(fā)展。反對(duì)利用技術(shù)壟斷和單邊強(qiáng)制措施制造發(fā)展壁壘，惡意阻斷全球人工智能供應(yīng)鏈?！蛾P(guān)于安全、可靠和值得信賴的人工智能的行政命令》提出，為了降低人工智能帶來(lái)的工作場(chǎng)所監(jiān)控增加、偏見(jiàn)和工作流失等風(fēng)險(xiǎn)，支持工人集體談判的能力，并投資于所有人都能獲得的勞動(dòng)力培訓(xùn)和發(fā)展，美國(guó)將制定原則和最佳實(shí)踐，通過(guò)解決工作轉(zhuǎn)移、勞動(dòng)標(biāo)準(zhǔn)、工作場(chǎng)所公平、健康和安全以及數(shù)據(jù)收集等問(wèn)題，減少人工智能對(duì)工人的傷害，最大限度地提高人工智能對(duì)工人的益處，這些原則和最佳實(shí)踐也將為工人提供指導(dǎo)，防止雇主對(duì)工人的補(bǔ)償不足、對(duì)求職申請(qǐng)的評(píng)估不公或影響工人的組織能力，從而使工人受益；此外，美國(guó)還將促進(jìn)公平、開放和有競(jìng)爭(zhēng)力的人工智能生態(tài)系統(tǒng)，為小型開發(fā)者和企業(yè)家提供獲得技術(shù)援助和資源的機(jī)會(huì)，幫助小型企業(yè)將人工智能突破商業(yè)化。4.信息安全AI信息安全主要包括AI技術(shù)應(yīng)用于信息傳播以及AI產(chǎn)品輸出的信息內(nèi)容安全問(wèn)題。在信息傳播方面，以融合了AI技術(shù)的智能推薦為例，智能推薦能夠根據(jù)用戶的瀏覽記錄、交易信息等數(shù)據(jù)對(duì)用戶興趣愛(ài)好、行為習(xí)慣進(jìn)行分析與預(yù)測(cè)，并根據(jù)用戶偏好推薦信息內(nèi)容，不法分子可能會(huì)借助智能推薦將虛假信息、涉黃涉恐、違規(guī)言論、釣魚郵寄等不良信息內(nèi)容精準(zhǔn)地投放給易攻擊目標(biāo)人群，增加了不良信息傳播的針對(duì)性、有效性和隱蔽性。在輸出內(nèi)容方面，AI技術(shù)可能被用來(lái)制作虛假信息內(nèi)容，用以實(shí)施詐騙等不法活動(dòng)，例如通過(guò)AI合成能夠以假亂真的聲音、圖像，基于二維圖片合成三維模型并根據(jù)聲音片段修改視頻內(nèi)人物表情和嘴部動(dòng)作，從而生成口型一致的視頻合成內(nèi)容實(shí)施詐騙?！恫既R切利宣言》、美國(guó)《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》以及歐盟均關(guān)注到了利用AI技術(shù)生成欺騙性內(nèi)容、虛假信息的風(fēng)險(xiǎn)：《布萊切利宣言》提出，人工智能系統(tǒng)操縱內(nèi)容或生成欺騙性內(nèi)容的能力可能會(huì)帶來(lái)不可預(yù)見(jiàn)的風(fēng)險(xiǎn)，前沿人工智能系統(tǒng)可能放大虛假信息等風(fēng)險(xiǎn)問(wèn)題；《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》提出，美國(guó)將通過(guò)建立檢測(cè)人工智能生成內(nèi)容和認(rèn)證官方內(nèi)容的標(biāo)準(zhǔn)和最佳實(shí)踐，保護(hù)美國(guó)人免受人工智能帶來(lái)的欺詐和欺騙；為打擊虛假信息，2023年6月，歐盟委員會(huì)副主席喬羅娃（VeraJourova）向谷歌、抖音國(guó)際版、微軟、Facebook和Instagram母公司Meta等超過(guò)40家科技企業(yè)要求，檢測(cè)人工智能（AI）生成的圖片、視頻和文本，向用戶提供明確的標(biāo)記[1]；同時(shí)，《AI法案》中亦要求生成深度合成內(nèi)容的AI系統(tǒng)使用者需要對(duì)外告知該等內(nèi)容是由AI生成或操縱的，而并非真實(shí)內(nèi)容。AI算法安全涉及算法設(shè)計(jì)或?qū)嵤┡c預(yù)期不符、算法潛藏偏見(jiàn)與歧視、算法黑箱可解釋性差等問(wèn)題。算法設(shè)計(jì)與實(shí)施中可能存在的錯(cuò)誤設(shè)計(jì)目標(biāo)函數(shù)、計(jì)算成本過(guò)高的目標(biāo)函數(shù)導(dǎo)致無(wú)法實(shí)際運(yùn)行或者選用算法模型表達(dá)能力與實(shí)際情況不匹配等問(wèn)題會(huì)導(dǎo)致算法無(wú)法實(shí)現(xiàn)設(shè)計(jì)者的預(yù)設(shè)目標(biāo)，最終導(dǎo)致決策偏離甚至出現(xiàn)傷害性結(jié)果。由于算法的設(shè)計(jì)目的、模型選擇、數(shù)據(jù)使用等是設(shè)計(jì)者和開發(fā)者的主觀選擇，且訓(xùn)練數(shù)據(jù)作為社會(huì)現(xiàn)實(shí)的反映本身具有歧視性，訓(xùn)練得出的算法模型也會(huì)天然潛藏歧視和偏見(jiàn)。盡管AI本身擅長(zhǎng)決策，但由于公司或個(gè)人主張商業(yè)秘密或私人財(cái)產(chǎn)、公眾無(wú)法理解決策算法源代碼、決策算法復(fù)雜度高等原因?qū)е碌腁I算法黑箱或不透明，使得相關(guān)監(jiān)督與審查陷入困境。為確保算法的安全性、解決算法黑箱問(wèn)題，歐盟《AI法案》要求針對(duì)高風(fēng)險(xiǎn)的AI系統(tǒng)在系統(tǒng)全生命周期落實(shí)透明度要求，并且要求AI系統(tǒng)提供方向下游AI系統(tǒng)部署方、分銷商等披露特定信息。6.數(shù)據(jù)安全AI帶來(lái)的數(shù)據(jù)安全問(wèn)題包括數(shù)據(jù)泄露、數(shù)據(jù)跨境傳輸?shù)?，其中?shù)據(jù)泄露問(wèn)題包括內(nèi)部泄露和其挖掘分析能力帶來(lái)的個(gè)人信息或隱私暴露。一方面，AI在與用戶交互過(guò)程中可能收集許多私密或敏感數(shù)據(jù)，這些數(shù)據(jù)也會(huì)被AI公司用于進(jìn)一步訓(xùn)練模型，但在訓(xùn)練后的模型中很難刪除相關(guān)數(shù)據(jù)。如果這些數(shù)據(jù)沒(méi)有得到充分的保護(hù)，就可能被不法分子獲取，導(dǎo)致個(gè)人信息或隱私數(shù)據(jù)泄露的風(fēng)險(xiǎn)增加。另一方面，AI可基于其采集到無(wú)數(shù)個(gè)看似不相關(guān)的數(shù)據(jù)片段，通過(guò)深度挖掘分析得到更多與用戶個(gè)人信息或隱私相關(guān)的信息，導(dǎo)致現(xiàn)行的數(shù)據(jù)匿名化等安全保護(hù)措施無(wú)效。同時(shí)，根據(jù)部分AI產(chǎn)品的運(yùn)作原理，用戶在對(duì)話框進(jìn)行交互時(shí)，相關(guān)問(wèn)答數(shù)據(jù)可能會(huì)被傳輸?shù)轿挥诰惩獾漠a(chǎn)品開發(fā)公司，其間數(shù)據(jù)的跨境流動(dòng)可能會(huì)引發(fā)數(shù)據(jù)跨境安全問(wèn)題。我國(guó)、美國(guó)以及歐盟等國(guó)家和地區(qū)均將數(shù)據(jù)安全視為AI安全方面最為重要的問(wèn)題之一：我國(guó)《全球人工智能治理倡議》提出逐步建立健全法律和規(guī)章制度，保障人工智能研發(fā)和應(yīng)用中的個(gè)人隱私與數(shù)據(jù)安全，反對(duì)竊取、篡改、泄露和其他非法收集利用個(gè)人信息的行為；美國(guó)《關(guān)于安全、可靠和值得信賴的人工智能的行政命令》呼吁國(guó)會(huì)通過(guò)兩黨數(shù)據(jù)隱私立法以保護(hù)所有美國(guó)人的隱私，要求聯(lián)邦優(yōu)先支持加快開發(fā)和使用保護(hù)隱私的技術(shù)，提出將制定評(píng)估隱私保護(hù)技術(shù)有效性的指導(dǎo)方針；歐盟《AI法案》要求AI系統(tǒng)的提供方以及部署方均按照《通用數(shù)據(jù)保護(hù)條例》的要求履行數(shù)據(jù)保護(hù)的義務(wù)，其中，AI系統(tǒng)的提供方需對(duì)AI系統(tǒng)進(jìn)行數(shù)據(jù)保護(hù)影響評(píng)估并發(fā)布摘要，以及提供輸入數(shù)據(jù)或所使用的數(shù)據(jù)集的任何其他相關(guān)信息的說(shuō)明。AI學(xué)習(xí)框架和組件存在的安全漏洞可能會(huì)引發(fā)系統(tǒng)安全問(wèn)題。目前，國(guó)內(nèi)AI產(chǎn)品和應(yīng)用的研發(fā)往往基于國(guó)內(nèi)外科技巨頭發(fā)布的AI學(xué)習(xí)框架和組件展開，該等框架和組件很有可能未經(jīng)嚴(yán)格測(cè)試管理和安全認(rèn)證從而可能存在漏洞和后門等安全風(fēng)險(xiǎn)，一旦被攻擊者惡意利用，就有可能會(huì)危及AI產(chǎn)品和應(yīng)用的完整性和可用性。同時(shí)，AI技術(shù)也可能被用來(lái)提升網(wǎng)絡(luò)攻擊效率與破壞能力。AI產(chǎn)品自動(dòng)生成代碼的能力使得黑客更為便捷地設(shè)計(jì)、編寫和執(zhí)行惡意代碼與指令以生成網(wǎng)絡(luò)攻擊工具，且攻擊方將利用AI更快、更準(zhǔn)地發(fā)現(xiàn)漏洞，發(fā)起更隱秘的攻擊。為應(yīng)對(duì)AI模型被廣泛使用而帶來(lái)的網(wǎng)絡(luò)風(fēng)險(xiǎn)，歐盟《AI法案》要求具有系統(tǒng)性風(fēng)險(xiǎn)的AI模型（即使用總計(jì)計(jì)算能力超過(guò)10^25FLOPs訓(xùn)練的通用人工智能模型）提供方履行進(jìn)行風(fēng)險(xiǎn)評(píng)估、減輕風(fēng)險(xiǎn)、報(bào)告嚴(yán)重事件、進(jìn)行尖端測(cè)試和模型評(píng)估、確保網(wǎng)絡(luò)安全等一系列合規(guī)義務(wù)。此外，根據(jù)歐盟的現(xiàn)行要求，前述具有系統(tǒng)性風(fēng)險(xiǎn)的AI模型的標(biāo)準(zhǔn)可能會(huì)根據(jù)技術(shù)進(jìn)展進(jìn)行更新，并在特定情況下基于其他標(biāo)準(zhǔn)（例如用戶數(shù)量或模型的自治程度）判定AI模型為具有系統(tǒng)性風(fēng)險(xiǎn)的AI模型。二、當(dāng)前中國(guó)新國(guó)家安全格局下的AI安全實(shí)踐結(jié)合上述主要國(guó)家和地區(qū)在AI安全方面的關(guān)注重點(diǎn)以及AI安全在中國(guó)的實(shí)踐，我們理解企業(yè)構(gòu)建AI安全體系時(shí)，至少應(yīng)該將下述要點(diǎn)納入考量：1.國(guó)家安全角度的整體要求根據(jù)《中華人民共和國(guó)國(guó)家安全法》[2]對(duì)于國(guó)家安全的定義，國(guó)家安全是指國(guó)家政權(quán)、主權(quán)、統(tǒng)一和領(lǐng)土完整、人民福祉、經(jīng)濟(jì)社會(huì)可持續(xù)發(fā)展和國(guó)家其他重大利益相對(duì)處于沒(méi)有危險(xiǎn)和不受內(nèi)外威脅的狀態(tài)，以及保障持續(xù)安全狀態(tài)的能力。這就意味著，國(guó)家安全的目標(biāo)是追求一個(gè)相對(duì)穩(wěn)定的低風(fēng)險(xiǎn)狀態(tài)，而國(guó)家安全法的立法目的是實(shí)現(xiàn)針對(duì)國(guó)家安全的沖擊和威脅的治理。如前文所述，作為具有顛覆性意義的通用目的技術(shù)（GeneralPurposeTechnology），AI技術(shù)的發(fā)展將對(duì)國(guó)家社會(huì)經(jīng)濟(jì)生活產(chǎn)生重大影響，因此，應(yīng)當(dāng)從國(guó)家安全角度對(duì)AI技術(shù)進(jìn)行重點(diǎn)規(guī)制。結(jié)合前述AI安全的要點(diǎn)，以及《中華人民共和國(guó)國(guó)家安全法》等法律法規(guī)，我們理解，AI產(chǎn)品的全生命周期都應(yīng)當(dāng)遵守《中華人民共和國(guó)國(guó)家安全法》在政治安全、軍事安全、經(jīng)濟(jì)安全、文化安全、社會(huì)安全、科技安全、網(wǎng)絡(luò)安全等國(guó)家安全領(lǐng)域的原則性要求。倘若AI產(chǎn)品涉及《中華人民共和國(guó)國(guó)家安全法》第五十九條規(guī)定影響或者可能影響國(guó)家安全的外商投資、特定物項(xiàng)和關(guān)鍵技術(shù)、網(wǎng)絡(luò)信息技術(shù)產(chǎn)品和服務(wù)、涉及國(guó)家安全事項(xiàng)的建設(shè)項(xiàng)目，還需按照我國(guó)國(guó)家安全審查和監(jiān)管的制度和機(jī)制進(jìn)行相應(yīng)的國(guó)家安全審查。2.科技倫理安全如前文所述，社會(huì)安全是AI安全的要點(diǎn)之一，而倫理安全是實(shí)現(xiàn)社會(huì)安全的基礎(chǔ)。在我國(guó)，2017年，國(guó)務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》并在該規(guī)劃中提出了制定促進(jìn)人工智能發(fā)展的法律法規(guī)和倫理規(guī)范的要求，之后《中華人民共和國(guó)科學(xué)技術(shù)進(jìn)步法》、《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》、《生成式人工智能服務(wù)管理暫行辦法》、《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實(shí)踐指南—人工智能倫理安全風(fēng)險(xiǎn)防范指引》等一系列法律法規(guī)和相關(guān)規(guī)定相繼對(duì)于AI倫理治理的要求予以規(guī)定。2022年中共中央辦公廳、國(guó)務(wù)院辦公廳發(fā)布了《關(guān)于加強(qiáng)科技倫理治理的意見(jiàn)》，該意見(jiàn)是我國(guó)首個(gè)國(guó)家層面的、專門針對(duì)科技倫理治理的指導(dǎo)性文件，提出了科技倫理治理原則以及基本要求。2023年10月新發(fā)布的《科技倫理審查辦法（試行）》對(duì)于科技倫理審查的基本程序、標(biāo)準(zhǔn)、條件等提出統(tǒng)一要求，標(biāo)志著我國(guó)AI倫理治理監(jiān)管體系建設(shè)進(jìn)入了新階段。我們?cè)谙卤碇惺崂砹宋覈?guó)與AI倫理治理相關(guān)的法律法規(guī)及其主要內(nèi)容：基于上述法律法規(guī)和相關(guān)規(guī)定的要求，AI領(lǐng)域的企業(yè)應(yīng)當(dāng)承擔(dān)相應(yīng)AI倫理治理責(zé)任，具體而言：在程序?qū)用妫鏏I領(lǐng)域的企業(yè)涉及開展《科技倫理審查辦法（試行）》適用范圍內(nèi)的科技活動(dòng)，需自行設(shè)立科技倫理（審查）委員會(huì)或委托其他單位的科技倫理（審查）委員會(huì)對(duì)于所涉科技活動(dòng)進(jìn)行科技倫理審查，如涉及“具有輿論社會(huì)動(dòng)員能力和社會(huì)意識(shí)引導(dǎo)能力的算法模型、應(yīng)用程序及系統(tǒng)的研發(fā)”、“面向存在安全、人身健康風(fēng)險(xiǎn)等場(chǎng)景的具有高度自主能力的自動(dòng)化決策系統(tǒng)的研發(fā)”，還需報(bào)請(qǐng)所在地方或相關(guān)行業(yè)主管部門組織開展專家復(fù)核，亦即，對(duì)于特定領(lǐng)域，科技倫理審查將成為算法備案以及安全評(píng)估以外AI產(chǎn)品上線前的另一前置程序。在實(shí)體層面，目前尚未出臺(tái)法律法規(guī)對(duì)于AI倫理治理細(xì)則予以規(guī)定，盡管如此，一方面，目前《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》、《生成式人工智能服務(wù)管理暫行辦法》均要求大模型服務(wù)提供者履行倫理治理方面的合規(guī)義務(wù)；另一方面，《新一代人工智能倫理規(guī)范》[3]、《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實(shí)踐指南—人工智能倫理安全風(fēng)險(xiǎn)防范指引》[4]等與AI倫理治理相關(guān)的國(guó)家標(biāo)準(zhǔn)均已發(fā)布，其他相關(guān)國(guó)家標(biāo)準(zhǔn)、團(tuán)體標(biāo)準(zhǔn)以及行業(yè)標(biāo)準(zhǔn)亦均在制定過(guò)程中。因此，AI領(lǐng)域的企業(yè)可以參照前述國(guó)家標(biāo)準(zhǔn)，進(jìn)行自我定位，明確自身的AI倫理治理責(zé)任。3.算法安全網(wǎng)信辦等九部門于2021年聯(lián)合發(fā)布的《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見(jiàn)》以算法安全可信、高質(zhì)量、創(chuàng)新性發(fā)展為導(dǎo)向，對(duì)健全算法安全治理機(jī)制、構(gòu)建算法安全監(jiān)管體系提出建議，包括加強(qiáng)算法治理規(guī)范、積極開展算法安全評(píng)估。為了解決算法設(shè)計(jì)或?qū)嵤┡c預(yù)期不符、算法潛藏偏見(jiàn)與歧視、算法黑箱可解釋性差等算法安全問(wèn)題，《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》（“《算法推薦管理規(guī)定》”）、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》（“《深度合成管理規(guī)定》”）、《生成式人工智能服務(wù)管理暫行辦法》[5]（“《AIGC暫行辦法》”）、《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》[6]（“《安全評(píng)估規(guī)定》”）等法律法規(guī)對(duì)算法備案、安全評(píng)估、算法公開、算法管理等進(jìn)行規(guī)定，以實(shí)現(xiàn)算法的透明性、公平性、可控性，具體而言：在算法備案方面，《算法推薦管理規(guī)定》、《深度合成管理規(guī)定》、《AIGC暫行辦法》都對(duì)算法推薦服務(wù)、深度合成服務(wù)、生成式人工智能服務(wù)提出了算法備案要求。根據(jù)《算法推薦管理規(guī)定》，具有輿論屬性或者社會(huì)動(dòng)員能力的算法推薦服務(wù)提供者應(yīng)當(dāng)在提供服務(wù)之日起十個(gè)工作日內(nèi)通過(guò)互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)填報(bào)服務(wù)提供者的名稱、服務(wù)形式、應(yīng)用領(lǐng)域、算法類型、算法自評(píng)估報(bào)告、擬公示內(nèi)容等信息，履行備案在安全評(píng)估方面，《算法推薦管理規(guī)定》、《深度合成管理規(guī)定》、《AIGC暫行辦法》要求對(duì)于具有輿論屬性或社會(huì)動(dòng)員能力的算法推薦服務(wù)、深度合成服務(wù)、生成式人工智能服務(wù)按照《安全評(píng)估規(guī)定》通過(guò)全國(guó)互聯(lián)網(wǎng)安全管理服務(wù)平臺(tái)完成安全評(píng)估。根據(jù)《安全評(píng)估規(guī)定》，下述類型的互聯(lián)網(wǎng)信息服務(wù)提供者需按《安全評(píng)估規(guī)定》自行進(jìn)行安全評(píng)估：（i）開辦論壇、博客、微博客、聊天室、通訊群組、公眾賬號(hào)、短視頻、網(wǎng)絡(luò)直播、信息分享、小程序等信息服務(wù)或者附設(shè)相應(yīng)功能；（ii）開辦提供公眾輿論表達(dá)渠道或者具有發(fā)動(dòng)社會(huì)公眾從事特定活動(dòng)能力的其他互聯(lián)網(wǎng)信息服務(wù)。在此基礎(chǔ)上，《安全評(píng)估規(guī)定》規(guī)定了互聯(lián)網(wǎng)信息服務(wù)提供者應(yīng)自行進(jìn)行安全評(píng)估的具體情形。除進(jìn)行自行安全評(píng)估的義務(wù)以外，《安全評(píng)估規(guī)定》還要求前述互聯(lián)網(wǎng)信息服務(wù)提供者應(yīng)履行消除安全隱患、形成安全評(píng)估報(bào)告、提交安全評(píng)估報(bào)告等各項(xiàng)義務(wù)。除前述安全評(píng)估以外，《AIGC暫行辦法》還特別要求深度合成服務(wù)提供者和技術(shù)支持者提供具有以下功能的模型、模板等工具的，應(yīng)當(dāng)依法自行或者委托專業(yè)機(jī)構(gòu)開展安全評(píng)估：（一）生成或者編輯人臉、人聲等生物識(shí)別信息的；（二）生成或者編輯可能涉及國(guó)家安全、國(guó)家形象、國(guó)家利益和社會(huì)公共利益的特殊物體、場(chǎng)景等非生在算法公開方面，《算法推薦管理規(guī)定》要求算法推薦服務(wù)提供者優(yōu)化檢索、排序、選擇、推送、展示等規(guī)則的透明度和可解釋性，以顯著方式告知用戶其提供算法推薦服務(wù)的情況，并以適當(dāng)方式公示算法推薦服務(wù)的基本原理、目的意圖和主要運(yùn)行機(jī)制等?！禔IGC暫行辦法》要求生成式人工智能服務(wù)提供者應(yīng)當(dāng)基于服務(wù)類型特點(diǎn)，采取有效措施，提升生成式人工智能服務(wù)的透明度，提高生成內(nèi)容的準(zhǔn)確性和可靠性；明確并公開其服務(wù)的適用人群、場(chǎng)合、用途；如有關(guān)主管部門依據(jù)職責(zé)對(duì)生成式人工智能服務(wù)開展監(jiān)督檢查，生成式人工智能服務(wù)提供者應(yīng)當(dāng)依法予以配合，按要求對(duì)訓(xùn)練數(shù)據(jù)來(lái)源、規(guī)模、類型、標(biāo)注規(guī)則、算法機(jī)制機(jī)理等在算法管理方面，《算法推薦管理規(guī)定》要求算法推薦服務(wù)提供者應(yīng)當(dāng)定期審核、評(píng)估、驗(yàn)證算法機(jī)制機(jī)理、模型、數(shù)據(jù)和應(yīng)用結(jié)果等，不得設(shè)置誘導(dǎo)用戶沉迷、過(guò)度消費(fèi)等違反法律法規(guī)或者違背倫理道德的算法模型。《AIGC暫行辦法》要求生成式人工智能服務(wù)不得生成民族歧視內(nèi)容，且在算法設(shè)計(jì)、訓(xùn)練數(shù)據(jù)選擇、模型生成和優(yōu)化、提供服務(wù)等過(guò)程中，應(yīng)采取有效措施防止產(chǎn)生民族、信仰、國(guó)別、地域、性別、年齡、職業(yè)、健康等歧視?；谏鲜龇煞ㄒ?guī)和相關(guān)規(guī)定的要求，我們理解針對(duì)AI產(chǎn)品，需要履行算法備案、安全評(píng)估等監(jiān)管手續(xù)，此外還需遵守前述算法公開、算法管理等要求。值得注意的是，在算法備案方面，在選擇“生成合成類（深度合成）算法”這一算法類型進(jìn)行算法備案時(shí)需要區(qū)分備案主體身份（“深度合成服務(wù)技術(shù)支持者”或“深度合成服務(wù)提供者”），即AI產(chǎn)品的服務(wù)提供方和技術(shù)支持方需要作為不同的備案主體對(duì)同一算法進(jìn)行備案，二者在算法備案項(xiàng)下的義務(wù)相互獨(dú)立而不可互相替代。在安全評(píng)估方面，除需要對(duì)AI產(chǎn)品按照《安全評(píng)估規(guī)定》通過(guò)全國(guó)互聯(lián)網(wǎng)安全管理服務(wù)平臺(tái)完成安全評(píng)估以外，還需進(jìn)行新技術(shù)新應(yīng)用安全評(píng)估（“雙新評(píng)估”），而關(guān)于雙新評(píng)估的具體流程以及要求仍有待監(jiān)管部門進(jìn)一步公開。4.信息安全我國(guó)法律法規(guī)和相關(guān)規(guī)定主要規(guī)定了內(nèi)容標(biāo)識(shí)以及內(nèi)容治理等方面的要求，以防范深度合成技術(shù)、生成式人工智能服務(wù)以及其他新技術(shù)新應(yīng)用對(duì)信息的生成和傳播造成的風(fēng)險(xiǎn)，具體而言：在內(nèi)容標(biāo)識(shí)方面，《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》[7]、《深度合成管理規(guī)定》、《AIGC暫行辦法》對(duì)使用深度合成服務(wù)、生成式人工智能服務(wù)、基于深度學(xué)習(xí)/虛擬現(xiàn)實(shí)等新技術(shù)新應(yīng)用生成的內(nèi)容標(biāo)識(shí)要求進(jìn)行規(guī)定，其中，《深度合成管理規(guī)定》規(guī)定了內(nèi)容標(biāo)識(shí)的具體要求。根據(jù)《深度合成管理規(guī)定》，深度合成服務(wù)提供者應(yīng)根據(jù)深度合成服務(wù)的類型對(duì)使用其服務(wù)生成或者編輯的信息內(nèi)容進(jìn)行標(biāo)識(shí)：（1）使用一般深度合成服務(wù)生成或者編輯的信息內(nèi)容，應(yīng)當(dāng)添加不影響用戶使用的標(biāo)識(shí)；（2）使用具有生成或者顯著改變信息內(nèi)容功能的深度合成服務(wù)[8]生成或者編輯的信息內(nèi)容，且可能導(dǎo)致公眾混淆或者誤認(rèn)的，應(yīng)當(dāng)在生成或者編輯的信息內(nèi)容的合理位置、區(qū)域進(jìn)行顯著標(biāo)識(shí)。此外，為貫徹落實(shí)《AIGC暫行辦法》有關(guān)內(nèi)容標(biāo)識(shí)的要求，指導(dǎo)生成式人工智能服務(wù)提供者等有關(guān)單位做好內(nèi)容標(biāo)識(shí)工作，全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)秘書編制了《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實(shí)踐指南——生成式人工智能服務(wù)內(nèi)容標(biāo)識(shí)方法》（TC260-PG-20233A）并于2023年8月發(fā)布，該指南圍繞文本、圖片、音頻、視頻四類生成內(nèi)容給出了具體的內(nèi)容標(biāo)識(shí)方法，包括添加顯示區(qū)域標(biāo)識(shí)、提示文字標(biāo)識(shí)、隱藏水印標(biāo)識(shí)、文件元數(shù)據(jù)標(biāo)識(shí)、提示語(yǔ)音標(biāo)識(shí)。內(nèi)容治理方面，《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》要求網(wǎng)絡(luò)音視頻信息服務(wù)提供者和網(wǎng)絡(luò)音視頻信息服務(wù)使用者不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息；網(wǎng)絡(luò)音視頻信息服務(wù)提供者應(yīng)當(dāng)建立健全辟謠機(jī)制，發(fā)現(xiàn)網(wǎng)絡(luò)音視頻信息服務(wù)使用者利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的虛假圖像、音視頻生成技術(shù)制作、發(fā)布、傳播謠言的，應(yīng)當(dāng)及時(shí)采取相應(yīng)的辟謠措施，并將相關(guān)信息報(bào)網(wǎng)信、文化和旅游、廣播電視等部門備案?！渡疃群铣晒芾硪?guī)定》要求深度合成服務(wù)提供者應(yīng)當(dāng)建立健全違法和不良信息識(shí)別特征庫(kù)，并對(duì)發(fā)現(xiàn)的違法和不良信息依法采取處置措施、記錄網(wǎng)絡(luò)日志并及時(shí)向網(wǎng)信部門和有關(guān)主管部門報(bào)告?！禔IGC暫行辦法》要求生成式人工智能服務(wù)提供者應(yīng)當(dāng)依法承擔(dān)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任，履行網(wǎng)絡(luò)信息安全義務(wù)；根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》[9]，網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者是指制作、復(fù)制、發(fā)布網(wǎng)絡(luò)信息內(nèi)容的組織或者個(gè)人；網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任包括不得制作、復(fù)制、發(fā)布違法信息，且應(yīng)當(dāng)采取措施，防范和抵制制作、復(fù)制、發(fā)布不良信息。根據(jù)前述法律法規(guī)和相關(guān)要求，針對(duì)利用AI技術(shù)生成的內(nèi)容，服務(wù)提供者應(yīng)根據(jù)AI技術(shù)類型以及內(nèi)容類型進(jìn)行不同形式的標(biāo)識(shí)，以與其他內(nèi)容進(jìn)行區(qū)分。此外，為了防范利用AI技術(shù)生成的違法和不良信息的傳播，服務(wù)提供者應(yīng)建立健全違法和不良信息識(shí)別特征庫(kù)，避免生成違法和不良信息，并對(duì)發(fā)現(xiàn)的違法和不良信息依法采取處置措施、記錄網(wǎng)絡(luò)日志并及時(shí)向網(wǎng)信部門和有關(guān)主管部門報(bào)告。為了防范利用AI技術(shù)生成的虛假信息的傳播，服務(wù)提供者不得生成虛假新聞內(nèi)容，并應(yīng)建立健全辟謠機(jī)制，對(duì)發(fā)現(xiàn)的謠言及時(shí)采取相應(yīng)的辟謠措施并將相關(guān)信息報(bào)網(wǎng)信、文化和旅游、廣播電視等部門備案。我國(guó)網(wǎng)絡(luò)安全法律體系以《中華人民共和國(guó)網(wǎng)絡(luò)安全法》[10]為基礎(chǔ)，并通過(guò)《網(wǎng)絡(luò)安全審查辦法》[11]、《網(wǎng)絡(luò)產(chǎn)品安全漏洞管理規(guī)定》[12]等配套法規(guī)對(duì)于《中華人民共和國(guó)網(wǎng)絡(luò)安全法》中的原則性規(guī)定予以細(xì)化，具體《中華人民共和國(guó)網(wǎng)絡(luò)安全法》規(guī)定了網(wǎng)絡(luò)運(yùn)營(yíng)者應(yīng)當(dāng)履行的網(wǎng)絡(luò)安全保護(hù)義務(wù)。網(wǎng)絡(luò)運(yùn)營(yíng)者，是指由計(jì)算機(jī)或者其他信息終端及相關(guān)設(shè)備組成的按照一定的規(guī)則和程序?qū)π畔⑦M(jìn)行收集、存儲(chǔ)、傳輸、交換、處理的系統(tǒng)的所有者、管理者和網(wǎng)絡(luò)服務(wù)提供者。網(wǎng)絡(luò)運(yùn)營(yíng)者的網(wǎng)絡(luò)安全保護(hù)義務(wù)涉及網(wǎng)絡(luò)運(yùn)行安全、網(wǎng)絡(luò)信息安全等兩個(gè)方面。從網(wǎng)絡(luò)運(yùn)行安全的角度出發(fā)，網(wǎng)絡(luò)運(yùn)營(yíng)者應(yīng)當(dāng)按照網(wǎng)絡(luò)安全等級(jí)保護(hù)制度的要求，履行下列安全保護(hù)義務(wù)，保障網(wǎng)絡(luò)免受干擾、破壞或者未經(jīng)授權(quán)的訪問(wèn)，防止網(wǎng)絡(luò)數(shù)據(jù)泄露或者被竊取、篡改：制定內(nèi)部安全管理制度和操作規(guī)程，采取防范危害網(wǎng)絡(luò)安全行為、監(jiān)測(cè)記錄網(wǎng)絡(luò)安全事件等的技術(shù)措施，制定網(wǎng)絡(luò)安全事件應(yīng)急預(yù)案應(yīng)對(duì)危害網(wǎng)絡(luò)安全的事件，并在發(fā)生相應(yīng)事件時(shí)向有關(guān)主管部門報(bào)告。從網(wǎng)絡(luò)信息安全的角度出發(fā)，網(wǎng)絡(luò)運(yùn)營(yíng)者應(yīng)當(dāng)設(shè)立用戶信息保護(hù)制度，并采取技術(shù)措施和其他必要措施確保其收集的個(gè)人信息安全，防止信息泄露、毀損、丟失?！毒W(wǎng)絡(luò)安全審查辦法》要求關(guān)鍵信息基礎(chǔ)設(shè)施運(yùn)營(yíng)者采購(gòu)網(wǎng)絡(luò)產(chǎn)品和服務(wù)，網(wǎng)絡(luò)平臺(tái)運(yùn)營(yíng)者開展數(shù)據(jù)處理活動(dòng)，影響或者可能影響國(guó)家安全的，應(yīng)當(dāng)進(jìn)行網(wǎng)絡(luò)安全審查。此外，掌握超過(guò)100萬(wàn)用戶個(gè)人信息的網(wǎng)絡(luò)平臺(tái)運(yùn)營(yíng)者赴國(guó)外上市，必須向網(wǎng)絡(luò)安全審查辦公室申報(bào)網(wǎng)絡(luò)安全審查。網(wǎng)絡(luò)安全審查將重點(diǎn)評(píng)估相關(guān)對(duì)象或者情形的以下國(guó)家安全風(fēng)險(xiǎn)因素：（1）產(chǎn)品和服務(wù)使用后帶來(lái)的關(guān)鍵信息基礎(chǔ)設(shè)施被非法控制、遭受干擾或者破壞的風(fēng)險(xiǎn)；（2）產(chǎn)品和服務(wù)供應(yīng)中斷對(duì)關(guān)鍵信息基礎(chǔ)設(shè)施業(yè)務(wù)連續(xù)性的危害；（3）產(chǎn)品和服務(wù)的安全性、開放性、透明性、來(lái)源的多樣性，供應(yīng)渠道的可靠性以及因?yàn)檎巍⑼饨?、貿(mào)易等因素導(dǎo)致供應(yīng)中斷的風(fēng)險(xiǎn)；（4）產(chǎn)品和服務(wù)提供者遵守中國(guó)法律、行政法規(guī)、部門規(guī)章情況；（5）核心數(shù)據(jù)、重要數(shù)據(jù)或者大量個(gè)人信息被竊取、泄露、毀損以及非法利用、非法出境的風(fēng)險(xiǎn)；（6）上市存在關(guān)鍵信息基礎(chǔ)設(shè)施、核心數(shù)據(jù)、重要數(shù)據(jù)或者大量個(gè)人信息被外國(guó)政府影響、控制、惡意利用的風(fēng)險(xiǎn)，以及網(wǎng)絡(luò)信息安全風(fēng)險(xiǎn)；（7）其他可能危害關(guān)鍵信息基礎(chǔ)設(shè)施安全、網(wǎng)絡(luò)安全和數(shù)據(jù)安全的因素。《網(wǎng)絡(luò)產(chǎn)品安全漏洞管理規(guī)定》對(duì)于網(wǎng)絡(luò)產(chǎn)品提供者、網(wǎng)絡(luò)運(yùn)營(yíng)者和網(wǎng)絡(luò)產(chǎn)品安全漏洞收集平臺(tái)的漏洞發(fā)行、報(bào)告、修補(bǔ)和發(fā)布行為進(jìn)行規(guī)定。其中，網(wǎng)絡(luò)產(chǎn)品提供者是指中華人民共和國(guó)境內(nèi)的網(wǎng)絡(luò)產(chǎn)品（含硬件、軟件）提供者。我們對(duì)于《網(wǎng)絡(luò)產(chǎn)品安全漏洞管理規(guī)定》規(guī)定的網(wǎng)絡(luò)產(chǎn)品提供者和網(wǎng)絡(luò)運(yùn)營(yíng)者分別應(yīng)承擔(dān)的網(wǎng)絡(luò)產(chǎn)品安全漏洞管理義務(wù)梳理如下：綜上所述，AI產(chǎn)品的服務(wù)提供方以及技術(shù)支持方作為網(wǎng)絡(luò)運(yùn)營(yíng)者，應(yīng)當(dāng)履行《中華人民共和國(guó)網(wǎng)絡(luò)安全法》規(guī)定的一般網(wǎng)絡(luò)安全保護(hù)義務(wù)，包括建立網(wǎng)絡(luò)安全等級(jí)保護(hù)制度，并按照網(wǎng)絡(luò)安全等級(jí)保護(hù)制度的要求，履行安全保護(hù)義務(wù)，并履行個(gè)人信息保護(hù)義務(wù)（詳見(jiàn)下文數(shù)據(jù)安全部分的分析）。值得注意的是，作為實(shí)施網(wǎng)絡(luò)安全等級(jí)保護(hù)的程序性要求，AI產(chǎn)品的服務(wù)提供方以及技術(shù)支持方應(yīng)當(dāng)完成對(duì)象系統(tǒng)的定級(jí)、安全建設(shè)與整改、測(cè)評(píng)、備案等相關(guān)法定程序。特別地，AI產(chǎn)品的服務(wù)提供方以及技術(shù)支持方作為網(wǎng)絡(luò)產(chǎn)品提供者、網(wǎng)絡(luò)運(yùn)營(yíng)者，還應(yīng)履行《網(wǎng)絡(luò)產(chǎn)品安全漏洞管理規(guī)定》規(guī)定的網(wǎng)絡(luò)產(chǎn)品安全漏洞管理義務(wù)。此外，如AI產(chǎn)品的服務(wù)提供方、技術(shù)支持方自身涉及觸發(fā)網(wǎng)絡(luò)安全審查的情形（例如開展數(shù)據(jù)處理活動(dòng)影響或者可能影響國(guó)家安全的、掌握超過(guò)100萬(wàn)用戶個(gè)人信息的網(wǎng)絡(luò)平臺(tái)運(yùn)營(yíng)者赴國(guó)外上市），應(yīng)自查是否存在網(wǎng)絡(luò)安全審查重點(diǎn)評(píng)估的國(guó)家安全風(fēng)險(xiǎn)因素，并且加強(qiáng)對(duì)于上游網(wǎng)絡(luò)產(chǎn)品和服務(wù)提供者的管理；如AI產(chǎn)品的服務(wù)提供方、技術(shù)支持方涉及向網(wǎng)絡(luò)安全審查對(duì)象（例如關(guān)鍵基礎(chǔ)設(shè)施運(yùn)營(yíng)者）提供網(wǎng)絡(luò)產(chǎn)品或服務(wù)的，應(yīng)當(dāng)配合網(wǎng)絡(luò)安全審查對(duì)象履行相應(yīng)的合規(guī)義6.數(shù)據(jù)安全數(shù)據(jù)（含個(gè)人信息，下同）是AI的重要生產(chǎn)資料之一。數(shù)據(jù)安全（含個(gè)人信息安全與保護(hù)，下同）將直接影響隨著《中華人民共和國(guó)網(wǎng)絡(luò)安全法》、《中華人民共和國(guó)數(shù)據(jù)安全法》[13]、《中華人民共和國(guó)個(gè)人信息保護(hù)法》[14]以及其他數(shù)據(jù)安全相關(guān)的法律法規(guī)、國(guó)家標(biāo)準(zhǔn)的陸續(xù)出臺(tái)，我國(guó)已基本形成了數(shù)據(jù)從收集、存儲(chǔ)、使用、加工、傳輸、提供、公開、刪除等全生命周期的合規(guī)體系。國(guó)家安全視角下的數(shù)據(jù)安全的合規(guī)重點(diǎn)，可參見(jiàn)后續(xù)我們關(guān)于國(guó)家安全視角下的網(wǎng)絡(luò)安全與數(shù)據(jù)安全的相關(guān)文章。就AI治理而言，我國(guó)多部法律法規(guī)和相關(guān)規(guī)定重申了數(shù)據(jù)安全的基本要求，并結(jié)合AI的特點(diǎn)提出了有針對(duì)性的《算法推薦管理規(guī)定》要求算法推薦服務(wù)提供者應(yīng)當(dāng)落實(shí)數(shù)據(jù)安全管理制度和技術(shù)措施[15]；《深度合成管理規(guī)定》重申了前述規(guī)定，并要求深度合成服務(wù)提供者和技術(shù)支持者應(yīng)當(dāng)加強(qiáng)訓(xùn)練數(shù)據(jù)管理，采取必要措施保障訓(xùn)練數(shù)據(jù)安全，以及訓(xùn)練數(shù)據(jù)包含個(gè)人信息的，應(yīng)當(dāng)遵守個(gè)人信息保護(hù)的有關(guān)規(guī)定[16]；《AIGC暫行辦法》同樣強(qiáng)調(diào)提供生成式人工智能服務(wù)不得侵害他人隱私權(quán)和個(gè)人信息權(quán)益[17]，以及生成式人工智能服務(wù)提供者應(yīng)當(dāng)依法承擔(dān)個(gè)人信息處理者責(zé)任、履行個(gè)人信息保護(hù)義務(wù)[18]。此外，關(guān)于AI預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等數(shù)據(jù)處理活動(dòng)，《AIGC暫行辦法》強(qiáng)調(diào)，生成式人工智能服務(wù)提供者應(yīng)使用具有合法來(lái)源的數(shù)據(jù)和基礎(chǔ)模型；采取有效措施提高訓(xùn)練數(shù)據(jù)質(zhì)量，增強(qiáng)訓(xùn)練數(shù)據(jù)的真實(shí)性、準(zhǔn)確性、客觀性、多樣性；涉及處理個(gè)人信息的，應(yīng)當(dāng)獲得個(gè)人同意或具備其他合法性基礎(chǔ)[19]；以及根據(jù)《科技倫理審查辦法（試行）》，AI科技活動(dòng)是否符合數(shù)據(jù)安全的要求是科技倫理審查內(nèi)容之一。例如，對(duì)于涉及以人為研究參與者的AI科技活動(dòng)，需審查個(gè)人隱私數(shù)據(jù)、生物特征信息等信息處理是否符合個(gè)人信息保護(hù)的有關(guān)規(guī)定；對(duì)于涉及數(shù)據(jù)和算法的AI科技活動(dòng)，需審查數(shù)據(jù)的收集、存儲(chǔ)、加工、使用等處理活動(dòng)以及研究開發(fā)數(shù)據(jù)新技術(shù)等是否符合國(guó)家數(shù)據(jù)安全等有關(guān)規(guī)定，以及數(shù)據(jù)安全風(fēng)險(xiǎn)監(jiān)測(cè)及應(yīng)急處理方案是否得當(dāng)[20]。結(jié)合前述法律法規(guī)及AI產(chǎn)品的生命周期，需從AI模型訓(xùn)練、應(yīng)用和優(yōu)化三個(gè)階段分別關(guān)注各階段的數(shù)據(jù)安全重點(diǎn)，以及日常數(shù)據(jù)安全體系的搭建和管理：AI模型訓(xùn)練階段：模型訓(xùn)練階段主要涉及數(shù)據(jù)采集、數(shù)據(jù)清洗及數(shù)據(jù)標(biāo)注等活動(dòng)。從數(shù)據(jù)安全的角度，該階段需重點(diǎn)關(guān)注訓(xùn)練數(shù)據(jù)來(lái)源合法合規(guī)：訓(xùn)練數(shù)據(jù)中包含個(gè)人信息的，應(yīng)當(dāng)取得相關(guān)個(gè)人信息主體的知情同意或具備其他合法性基礎(chǔ)，或者可在數(shù)據(jù)清洗階段對(duì)相關(guān)個(gè)人信息進(jìn)行脫敏處理；針對(duì)非個(gè)人信息，需注意訓(xùn)練數(shù)據(jù)中是否可能包含國(guó)家秘密、核心數(shù)據(jù)或重要數(shù)據(jù)等可能關(guān)系國(guó)家安全、經(jīng)濟(jì)運(yùn)行、社會(huì)穩(wěn)定、公共健康和安全等的數(shù)據(jù)，若包含該等數(shù)據(jù)則需在數(shù)據(jù)清洗階段對(duì)其進(jìn)行脫敏處理或采取其他必要的措施。AI模型應(yīng)用階段：模型應(yīng)用階段主要涉及用戶使用基于AI模型構(gòu)建的AI產(chǎn)品輸入內(nèi)容，AI產(chǎn)品相應(yīng)生成內(nèi)容（主要針對(duì)生成式AI）。從數(shù)據(jù)安全的角度，該階段需重點(diǎn)關(guān)注用戶輸入數(shù)據(jù)來(lái)源合法合規(guī)和AI生成內(nèi)容的數(shù)據(jù)泄露風(fēng)險(xiǎn)，以及若AI產(chǎn)品的服務(wù)器在境外，還需關(guān)注數(shù)據(jù)跨境傳輸?shù)娘L(fēng)險(xiǎn)及相關(guān)合規(guī)要求（包括取得相關(guān)個(gè)人信息主體的知情單獨(dú)同意、個(gè)人信息保護(hù)影響評(píng)估及視情況完成安全評(píng)估、備案或認(rèn)證等）。AI模型優(yōu)化階段：模型優(yōu)化階段主要涉及將AI模型應(yīng)用階段采集的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)一步優(yōu)化AI模型。從數(shù)據(jù)安全的角度，該階段需重點(diǎn)關(guān)注就使用用戶輸入數(shù)據(jù)進(jìn)一步優(yōu)化模型時(shí)注意用戶輸入數(shù)據(jù)中是否包含涉及國(guó)家安全、經(jīng)濟(jì)運(yùn)行、社會(huì)穩(wěn)定、公共健康和安全等的敏感數(shù)據(jù)，并在涉及個(gè)人信息時(shí)確保合規(guī)。日常數(shù)據(jù)安全體系的搭建和管理：需注意落實(shí)數(shù)據(jù)安全管理制度和技術(shù)措施，依法承擔(dān)數(shù)據(jù)保護(hù)義務(wù)。此外，在針對(duì)AI科技活動(dòng)開展科技倫理審查時(shí)，需關(guān)注該等科技活動(dòng)是否符合數(shù)據(jù)安全的要求。7.技術(shù)出口安全一般來(lái)講，我國(guó)根據(jù)出口技術(shù)是否具有特殊屬性，分別制定了兩套不同的出口管控法律制度：管制技術(shù)：國(guó)家對(duì)兩用物項(xiàng)、軍品、核以及其他與維護(hù)國(guó)家安全和利益、履行防擴(kuò)散等國(guó)際義務(wù)相關(guān)的貨物、技術(shù)、服務(wù)等物項(xiàng)（統(tǒng)稱“管制物項(xiàng)”）的出口活動(dòng)專門制定了出口管制法律法規(guī)。其中，與企業(yè)經(jīng)營(yíng)活動(dòng)關(guān)系較為密切的就是兩用技術(shù)。涉及兩用技術(shù)出口管制相關(guān)法律制度主要包括《中華人民共和國(guó)出口管制法》[21]以及《兩用物項(xiàng)和技術(shù)進(jìn)出口許可證管理目錄》[22]（下稱“兩用物項(xiàng)目錄”）等。另外，商務(wù)部自2022年4月22日發(fā)布的《兩用物項(xiàng)出口管制條例（征求意見(jiàn)稿）》預(yù)計(jì)即將成法落地，建議企業(yè)予以關(guān)民用技術(shù)：針對(duì)一般民用技術(shù)的出口管控法規(guī)主要包括《中華人民共和國(guó)技術(shù)進(jìn)出口管理?xiàng)l例》[23]、《禁止出口限制出口技術(shù)管理辦法》[24]以及《中國(guó)禁止出口限制出口技術(shù)目錄》[25]等。根據(jù)初步篩查結(jié)果，未見(jiàn)2024年度兩用物項(xiàng)目錄中列出人工智能相關(guān)的物項(xiàng)或技術(shù)。與此同時(shí)，經(jīng)查詢《禁止出口限制出口技術(shù)目錄》，在該目錄第十五類“計(jì)算機(jī)服務(wù)業(yè)”和第十六類“軟件業(yè)”的限制出口技術(shù)項(xiàng)下新增的多項(xiàng)與人工智能相關(guān)的技術(shù)，如語(yǔ)音合成技術(shù)、語(yǔ)音識(shí)別技術(shù)、交互理解技術(shù)、印刷體掃描識(shí)別技術(shù)、手寫體掃描識(shí)別技術(shù)、拍照識(shí)別技術(shù)、中英文作文批改技術(shù)，特別是基于數(shù)據(jù)分析的個(gè)性化信息推送服務(wù)技術(shù)等。此外，還新增了多項(xiàng)與網(wǎng)絡(luò)安全相關(guān)的技術(shù)，如密碼芯片設(shè)計(jì)和實(shí)現(xiàn)技術(shù)、量子密碼技術(shù)以及數(shù)據(jù)庫(kù)系統(tǒng)安全增強(qiáng)技術(shù)等。此外，目前與人工智能相關(guān)的技術(shù)沒(méi)有被列入禁止出口的技術(shù)目錄，因此，人工智能相關(guān)的民用技術(shù)目前屬于自由出口的技術(shù)或者限制出口的技術(shù)。由于《禁止出口限制出口技術(shù)目錄》中表述較為寬泛，涉及人工智能技術(shù)出口的企業(yè)應(yīng)當(dāng)就具體的擬出口技術(shù)對(duì)照《禁止出口限制出口技術(shù)目錄》，分析其是否屬于限制出口的技術(shù)。如企業(yè)對(duì)于擬出口技術(shù)的分類存疑，可以向國(guó)家出口管制管理部門提出咨詢，由出口管制管理部門給出確定的意見(jiàn)。對(duì)于自由出口的技術(shù)，企業(yè)應(yīng)當(dāng)按照相關(guān)法律法規(guī)要求，向國(guó)務(wù)院外經(jīng)貿(mào)主管部門辦理登記；對(duì)于屬于限制出口的人工智能技術(shù)，企業(yè)應(yīng)當(dāng)按照法律要求的時(shí)間期限，辦理《中華人民共和國(guó)技術(shù)出口許可證》。如果限制出口的技術(shù)的出口經(jīng)營(yíng)者在沒(méi)有取得前述出口許可的情況下擅自出口相關(guān)技術(shù)，可能被判定為刑法下的走私罪、非法經(jīng)營(yíng)罪等，從而被追究刑事責(zé)任；尚不夠刑事處罰的，將根據(jù)海關(guān)法的規(guī)定進(jìn)行處罰，或由國(guó)務(wù)院外經(jīng)貿(mào)主管部門給予警告、罰款、撤銷外貿(mào)易經(jīng)營(yíng)許可等行政處罰。綜合上述法律規(guī)定，我們結(jié)合實(shí)務(wù)中的經(jīng)驗(yàn)，對(duì)擬出口人工智能技術(shù)的企業(yè)提出以下建議：全面梳理跨境技術(shù)合作、投資并購(gòu)、培訓(xùn)交流、內(nèi)部技術(shù)轉(zhuǎn)移等可能涉及技術(shù)出境的風(fēng)險(xiǎn)場(chǎng)景，將技術(shù)受控情況納入境外投資前的立項(xiàng)研究和分析，在審批流程中加入關(guān)于技術(shù)出境情況和受控情況判斷的環(huán)節(jié)。由于《禁止出口限制出口技術(shù)目錄》中對(duì)于人工智能相關(guān)的技術(shù)表述較為寬泛，需要企業(yè)將擬向境外傳輸?shù)娜斯ぶ悄芗夹g(shù)與前述目錄中的技術(shù)描述進(jìn)行對(duì)比分析，判斷擬向境外傳輸?shù)募夹g(shù)是否屬于限制出口的技術(shù)。對(duì)于經(jīng)過(guò)前述評(píng)估分析認(rèn)為擬出口的技術(shù)可能屬于涉密技術(shù)或限制出口的技術(shù)，應(yīng)當(dāng)按照法律規(guī)定，在法律要求的時(shí)間節(jié)點(diǎn)及時(shí)向有關(guān)部門進(jìn)行申報(bào)，申請(qǐng)必要的出口許可。由于人工智能技術(shù)的發(fā)展速度較快，對(duì)國(guó)家安全的影響在不斷變化，未來(lái)國(guó)家可能會(huì)在人工智能技術(shù)的受控情況方面進(jìn)行政策或法律的變更或調(diào)整，企業(yè)應(yīng)密切關(guān)注相關(guān)出口管制限制以及中國(guó)反制政策的變化，動(dòng)態(tài)調(diào)整企業(yè)對(duì)于受限技術(shù)的出口管理。三、AI安全前瞻性合規(guī)風(fēng)險(xiǎn)預(yù)測(cè)除前述現(xiàn)行有效的法律法規(guī)和相關(guān)規(guī)定項(xiàng)下的合規(guī)要點(diǎn)以外，隨著我國(guó)對(duì)于AI產(chǎn)品研發(fā)、設(shè)計(jì)、部署、運(yùn)行等各階段進(jìn)行約束的法律法規(guī)和國(guó)家標(biāo)準(zhǔn)體系逐步完善，我們對(duì)于AI安全前瞻性合規(guī)風(fēng)險(xiǎn)預(yù)測(cè)如下：在生成式人工智能領(lǐng)域，全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)于2023年10月發(fā)布《生成式人工智能服務(wù)安全基本要求（征求意見(jiàn)稿）》（“《AIGC安全基本要求草案》”），該草案以《中華人民共和國(guó)網(wǎng)絡(luò)安全法》、《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》、《AIGC暫行辦法》、《信息安全技術(shù)個(gè)人信息安全規(guī)范》（GB/T35273）、《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實(shí)踐指南——生成式人工智能服務(wù)內(nèi)容識(shí)別方法》等法律法規(guī)和相關(guān)規(guī)定以及國(guó)家標(biāo)準(zhǔn)為基礎(chǔ)，對(duì)于生成式人工智能服務(wù)的基本安全要求予以規(guī)定，包括語(yǔ)料（即訓(xùn)練數(shù)據(jù)）安全、模型安全等方面的具體要求、人工智能服務(wù)提供者應(yīng)遵循的相應(yīng)安全措施以及安全評(píng)估的程序和內(nèi)容。值得注意的是，《AIGC安全基本要求草案》明確要求生成式人工智能服務(wù)提供者在進(jìn)行算法備案申請(qǐng)前，應(yīng)先行進(jìn)行安全性評(píng)估，并在算法備案時(shí)提交內(nèi)部評(píng)估結(jié)果以及證明材料；在安全評(píng)估的程序和內(nèi)容方面，《AIGC安全基本要求草案》規(guī)定了語(yǔ)料安全、生成內(nèi)容安全和問(wèn)題拒答的評(píng)估方法，要求安全評(píng)估的內(nèi)容應(yīng)覆蓋《AIGC安全基本要求草案》的所有條款，且每個(gè)條款應(yīng)形成單獨(dú)的評(píng)估結(jié)論，并與相關(guān)證明、支撐材料形成最終的評(píng)估報(bào)告。在《AIGC安全基本要求草案》定稿后，其中有關(guān)安全評(píng)估的要求將彌補(bǔ)我國(guó)目前在“雙新評(píng)估”具體流程和要求方面的立法空