2024人工智能安全治理框架

人工智能安全治理框架（2024）目錄TOC\o"1-2"\h\z\u人工智能安全治理原則 1人工智能安全治理框架構(gòu)成 2人工智能安全風(fēng)險(xiǎn)分類 3人工智能內(nèi)生安全風(fēng)險(xiǎn) 3人工智能應(yīng)用安全風(fēng)險(xiǎn) 5技術(shù)應(yīng)對(duì)措施 7針對(duì)人工智能內(nèi)生安全風(fēng)險(xiǎn) 7針對(duì)人工智能應(yīng)用安全風(fēng)險(xiǎn) 9綜合治理措施 10人工智能安全開發(fā)應(yīng)用指引 12模型算法研發(fā)者安全開發(fā)指引 12人工智能服務(wù)提供者安全指引 13重點(diǎn)領(lǐng)域使用者安全應(yīng)用指引 14社會(huì)公眾安全應(yīng)用指引 15人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架--人工智能安全治理框架（V1.0）落實(shí)《全球人工智能治理倡議》，遵循“以人為本、智能向善”的發(fā)展方向，為推動(dòng)政府、國際組織、企業(yè)、科研院所、民間機(jī)構(gòu)和社會(huì)公眾等各方，就人工智能安全治理達(dá)成共識(shí)、協(xié)調(diào)一致，有效防范化解人工智能安全風(fēng)險(xiǎn)，制定本框架。人工智能安全治理原則秉持共同、綜合、合作、可持續(xù)的安全觀，堅(jiān)持發(fā)展和安全并重，以促進(jìn)人工智能創(chuàng)新發(fā)展為第一要?jiǎng)?wù)，以有效防范化解人工智能安全風(fēng)險(xiǎn)為出發(fā)點(diǎn)和落腳點(diǎn)，構(gòu)建各方共同參與、技管結(jié)合、分工協(xié)作的治理機(jī)制，壓實(shí)相關(guān)主體安全責(zé)任，打造全過程全要素治理鏈條，培育安全、可靠、公平、透明的人工智能技術(shù)研發(fā)和應(yīng)用生態(tài)，推動(dòng)人工智能健康發(fā)展和規(guī)范應(yīng)用，切實(shí)維護(hù)國家主權(quán)、安全和發(fā)展利益，保障公民、法人和其他組織的合法權(quán)益，確保人工智能技術(shù)造福于人類。包容審慎、確保安全。風(fēng)險(xiǎn)及時(shí)采取措施。風(fēng)險(xiǎn)導(dǎo)向、敏捷治理。措施。關(guān)注安全風(fēng)險(xiǎn)發(fā)展變化，快速動(dòng)態(tài)精準(zhǔn)調(diào)整治理措施，持續(xù)優(yōu)化治理機(jī)制和方式，對(duì)確需政府監(jiān)管事項(xiàng)及時(shí)予以響應(yīng)。管理相結(jié)合的安全治理措施，防范應(yīng)對(duì)不同類型安全風(fēng)險(xiǎn)。圍繞人工智能研發(fā)應(yīng)用生態(tài)鏈，明確模型算法研發(fā)者、服務(wù)提供者、使用者等相關(guān)主體的安全責(zé)任，有機(jī)發(fā)揮政府監(jiān)管、行業(yè)自律、社會(huì)監(jiān)督等治理機(jī)制作用。共享最佳實(shí)踐，提倡建立開放性平臺(tái)，通過跨學(xué)科、跨領(lǐng)域、跨地區(qū)、跨國界的對(duì)話和合作，推動(dòng)形成具有廣泛共識(shí)的全球人工智能治理體系。人工智能安全治理框架構(gòu)成應(yīng)動(dòng)態(tài)調(diào)整更新，需要各方共同對(duì)治理框架持續(xù)優(yōu)化完善。安全風(fēng)險(xiǎn)方面。通過分析人工智能技術(shù)特性，以及在不同行業(yè)領(lǐng)域應(yīng)用場(chǎng)景，梳理人工智能技術(shù)本身，及其在應(yīng)用過程中面臨的各種安全風(fēng)險(xiǎn)隱患。應(yīng)用場(chǎng)景，提出通過安全軟件開發(fā)、數(shù)據(jù)質(zhì)量提升、安全建設(shè)運(yùn)維、測(cè)評(píng)監(jiān)測(cè)加固等技術(shù)手段提升人工智能產(chǎn)品及應(yīng)用的安全性、公平性、可靠性、魯棒性的措施。綜合治理措施方面。明確技術(shù)研發(fā)機(jī)構(gòu)、服務(wù)提供者、用戶、政府手段，推動(dòng)各方協(xié)同共治。安全開發(fā)應(yīng)用指引方面。明確模型算法研發(fā)者、服務(wù)提供者、重點(diǎn)領(lǐng)域用戶和社會(huì)公眾用戶，開發(fā)應(yīng)用人工智能技術(shù)的若干安全指導(dǎo)規(guī)范。人工智能安全風(fēng)險(xiǎn)分類人工智能系統(tǒng)設(shè)計(jì)、研發(fā)、訓(xùn)練、測(cè)試、部署、使用、維護(hù)等生命周期各環(huán)節(jié)都面臨安全風(fēng)險(xiǎn)，既面臨自身技術(shù)缺陷、不足帶來的風(fēng)險(xiǎn)，也面臨不當(dāng)使用、濫用甚至惡意利用帶來的安全風(fēng)險(xiǎn)。人工智能內(nèi)生安全風(fēng)險(xiǎn)模型算法安全風(fēng)險(xiǎn)可解釋性差的風(fēng)險(xiǎn)。以深度學(xué)習(xí)為代表的人工智能算法內(nèi)部運(yùn)行邏有異常難以快速修正和溯源追責(zé)。魯棒性弱風(fēng)險(xiǎn)。由于深度神經(jīng)網(wǎng)絡(luò)存在非線性、大規(guī)模等特點(diǎn)，人工智能易受復(fù)雜多變運(yùn)行環(huán)境或惡意干擾、誘導(dǎo)的影響，可能帶來性能下降、決策錯(cuò)誤等諸多問題。密泄露，推理過程不可信、決策輸出錯(cuò)誤，甚至運(yùn)行故障?！盎糜X對(duì)抗攻擊風(fēng)險(xiǎn)。攻擊者通過創(chuàng)建精心設(shè)計(jì)的對(duì)抗樣本數(shù)據(jù)，隱蔽地?cái)?shù)據(jù)安全風(fēng)險(xiǎn)違規(guī)收集使用數(shù)據(jù)風(fēng)險(xiǎn)。人工智能訓(xùn)練數(shù)據(jù)的獲取，以及提供服務(wù)侵犯知識(shí)產(chǎn)權(quán)等違法有害信息，或者來源缺乏多樣性，導(dǎo)致輸出違法的、不良的、偏激的等有害信息內(nèi)容。訓(xùn)練數(shù)據(jù)還面臨攻擊者篡改、注入錯(cuò)誤、誤導(dǎo)數(shù)據(jù)的“投毒”風(fēng)險(xiǎn)，“污染”模型的概率分布，進(jìn)而造成準(zhǔn)確性、可信度下降。訓(xùn)練數(shù)據(jù)標(biāo)注不規(guī)范風(fēng)險(xiǎn)。訓(xùn)練數(shù)據(jù)標(biāo)注過程中，存在因標(biāo)注規(guī)則不完備、標(biāo)注人員能力不夠、標(biāo)注錯(cuò)誤等問題，不僅會(huì)影響模型算法準(zhǔn)確度、可靠性、有效性，還可能導(dǎo)致訓(xùn)練偏差、偏見歧視放大、泛化能力不足或輸出錯(cuò)誤。數(shù)據(jù)泄露風(fēng)險(xiǎn)。人工智能研發(fā)應(yīng)用過程中，因數(shù)據(jù)處理不當(dāng)、非授權(quán)訪問、惡意攻擊、誘導(dǎo)交互等問題，可能導(dǎo)致數(shù)據(jù)和個(gè)人信息泄露。系統(tǒng)安全風(fēng)險(xiǎn)缺陷、后門被攻擊利用風(fēng)險(xiǎn)。人工智能算法模型設(shè)計(jì)、訓(xùn)練和驗(yàn)證漏洞等脆弱點(diǎn)，還可能被惡意植入后門，存在被觸發(fā)和攻擊利用的風(fēng)險(xiǎn)。供應(yīng)鏈安全風(fēng)險(xiǎn)。人工智能產(chǎn)業(yè)鏈呈現(xiàn)高度全球化分工協(xié)作格局。全球人工智能供應(yīng)鏈，帶來突出的芯片、軟件、工具斷供風(fēng)險(xiǎn)。人工智能應(yīng)用安全風(fēng)險(xiǎn)網(wǎng)絡(luò)域安全風(fēng)險(xiǎn)混淆事實(shí)、誤導(dǎo)用戶、繞過鑒權(quán)的風(fēng)險(xiǎn)。人工智能系統(tǒng)及輸出內(nèi)容難以鑒別生成內(nèi)容的真實(shí)性，影響用戶判斷，導(dǎo)致誤解。同時(shí)，人工智能生成圖片、音頻、視頻等高仿真內(nèi)容，可能繞過現(xiàn)有人臉識(shí)別、語音識(shí)別等身份認(rèn)證機(jī)制，導(dǎo)致認(rèn)證鑒權(quán)失效。不當(dāng)使用引發(fā)信息泄露風(fēng)險(xiǎn)。政府、企業(yè)等機(jī)構(gòu)工作人員在業(yè)務(wù)工導(dǎo)致工作秘密、商業(yè)秘密、敏感業(yè)務(wù)數(shù)據(jù)泄露。濫用于網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)。人工智能可被用于實(shí)施自動(dòng)化網(wǎng)絡(luò)攻擊或網(wǎng)絡(luò)掃描、社會(huì)工程學(xué)攻擊等，降低網(wǎng)絡(luò)攻擊門檻，增大安全防護(hù)難度。模型復(fù)用的缺陷傳導(dǎo)風(fēng)險(xiǎn)。依托基礎(chǔ)模型進(jìn)行二次開發(fā)或微調(diào)，是常見的人工智能應(yīng)用模式，如果基礎(chǔ)模型存在安全缺陷，將導(dǎo)致風(fēng)險(xiǎn)傳導(dǎo)至下游模型?，F(xiàn)實(shí)域安全風(fēng)險(xiǎn)兩用物項(xiàng)和技術(shù)濫用風(fēng)險(xiǎn)。因不當(dāng)使用或?yàn)E用人工智能兩用物項(xiàng)和技術(shù)，對(duì)國家安全、經(jīng)濟(jì)安全、公共衛(wèi)生安全等帶來嚴(yán)重風(fēng)險(xiǎn)。包括極大降低動(dòng)挖掘與利用漏洞等方式，對(duì)廣泛潛在目標(biāo)發(fā)起網(wǎng)絡(luò)攻擊。認(rèn)知域安全風(fēng)險(xiǎn)效應(yīng)進(jìn)一步加劇。用于開展認(rèn)知戰(zhàn)的風(fēng)險(xiǎn)。人工智能可被利用于制作傳播虛假新聞、圖像、音頻、視頻等，宣揚(yáng)恐怖主義、極端主義、有組織犯罪等內(nèi)容，干涉他國內(nèi)政、社會(huì)制度及社會(huì)秩序，危害他國主權(quán)；通過社交機(jī)器人在網(wǎng)絡(luò)空間搶占話語權(quán)和議程設(shè)置權(quán)，左右公眾價(jià)值觀和思維認(rèn)知。倫理域安全風(fēng)險(xiǎn)加劇社會(huì)歧視偏見、擴(kuò)大智能鴻溝的風(fēng)險(xiǎn)。利用人工智能收集分析人類行為、社會(huì)地位、經(jīng)濟(jì)狀態(tài)、個(gè)體性格等，對(duì)不同人群進(jìn)行標(biāo)識(shí)分類、區(qū)別對(duì)待，帶來系統(tǒng)性、結(jié)構(gòu)性的社會(huì)歧視與偏見。同時(shí)，拉大不同地區(qū)人工智能鴻溝。未來脫離控制的風(fēng)險(xiǎn)。隨著人工智能技術(shù)的快速發(fā)展，不排除人工智能自主獲取外部資源、自我復(fù)制，產(chǎn)生自我意識(shí)，尋求外部權(quán)力，帶來謀求與人類爭(zhēng)奪控制權(quán)的風(fēng)險(xiǎn)。技術(shù)應(yīng)對(duì)措施針對(duì)上述安全風(fēng)險(xiǎn)，模型算法研發(fā)者、服務(wù)提供者、系統(tǒng)使用者等需從訓(xùn)練數(shù)據(jù)、算力設(shè)施、模型算法、產(chǎn)品服務(wù)、應(yīng)用場(chǎng)景各方面采取技術(shù)措施予以防范。針對(duì)人工智能內(nèi)生安全風(fēng)險(xiǎn)模型算法安全風(fēng)險(xiǎn)應(yīng)對(duì)推理邏輯、技術(shù)接口、輸出結(jié)果提供明確說明，正確反映人工智能系統(tǒng)產(chǎn)生結(jié)果的過程。能消除模型算法存在的安全缺陷、歧視性傾向，提高魯棒性。數(shù)據(jù)安全風(fēng)險(xiǎn)應(yīng)對(duì)在訓(xùn)練數(shù)據(jù)和用戶交互數(shù)據(jù)的收集、存儲(chǔ)、使用、加工、傳輸、提嚴(yán)格落實(shí)關(guān)于用戶控制權(quán)、知情權(quán)、選擇權(quán)等法律法規(guī)明確的合法權(quán)益。識(shí)產(chǎn)權(quán)。對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行嚴(yán)格篩選，確保不包含核生化導(dǎo)武器等高危領(lǐng)域敏感數(shù)據(jù)。符合數(shù)據(jù)安全和個(gè)人信息保護(hù)相關(guān)標(biāo)準(zhǔn)規(guī)范。使用真實(shí)、準(zhǔn)確、客觀、多樣且來源合法的訓(xùn)練數(shù)據(jù)，及時(shí)過濾失效、錯(cuò)誤、偏見數(shù)據(jù)。向境外提供人工智能服務(wù)，應(yīng)符合數(shù)據(jù)跨境管理規(guī)定。向境外提供人工智能模型算法，應(yīng)符合出口管制要求。系統(tǒng)安全風(fēng)險(xiǎn)應(yīng)對(duì)對(duì)聚合多個(gè)人工智能模型或系統(tǒng)的平臺(tái)，應(yīng)加強(qiáng)風(fēng)險(xiǎn)識(shí)別、檢測(cè)、防護(hù)，防止因平臺(tái)惡意行為或被攻擊入侵影響承載的人工智能模型或系統(tǒng)。加強(qiáng)人工智能算力平臺(tái)和系統(tǒng)服務(wù)的安全建設(shè)、管理、運(yùn)維能力，確保基礎(chǔ)設(shè)施和服務(wù)運(yùn)行不中斷。高度關(guān)注供應(yīng)鏈安全。跟蹤軟硬件產(chǎn)品的漏洞、缺陷信息并及時(shí)采取修補(bǔ)加固措施，保證系統(tǒng)安全性。針對(duì)人工智能應(yīng)用安全風(fēng)險(xiǎn)網(wǎng)絡(luò)域風(fēng)險(xiǎn)應(yīng)對(duì)建立安全防護(hù)機(jī)制，防止模型運(yùn)行過程中被干擾、篡改而輸出不可信結(jié)果。應(yīng)建立數(shù)據(jù)護(hù)欄，確保人工智能系統(tǒng)輸出敏感個(gè)人信息和重要數(shù)據(jù)符合相關(guān)法律法規(guī)。現(xiàn)實(shí)域風(fēng)險(xiǎn)應(yīng)對(duì)根據(jù)用戶實(shí)際應(yīng)用場(chǎng)景設(shè)置服務(wù)提供邊界，裁減人工智能系統(tǒng)可能被濫用的功能，系統(tǒng)提供服務(wù)時(shí)不應(yīng)超出預(yù)設(shè)應(yīng)用范圍。提高人工智能系統(tǒng)最終用途追溯能力，防止被用于核生化導(dǎo)等大規(guī)模殺傷性武器制造等高危場(chǎng)景。認(rèn)知域風(fēng)險(xiǎn)應(yīng)對(duì)通過技術(shù)手段判別不符合預(yù)期、不真實(shí)、不準(zhǔn)確的輸出結(jié)果，并依法依規(guī)監(jiān)管。喜好以及個(gè)人思想傾向的人工智能系統(tǒng)，應(yīng)嚴(yán)格防范其濫用。加強(qiáng)對(duì)人工智能生成合成內(nèi)容的檢測(cè)技術(shù)研發(fā)，提升對(duì)認(rèn)知戰(zhàn)手段的防范、檢測(cè)、處置能力。倫理域風(fēng)險(xiǎn)應(yīng)對(duì)在算法設(shè)計(jì)、模型訓(xùn)練和優(yōu)化、提供服務(wù)等過程中，應(yīng)采取訓(xùn)練數(shù)職業(yè)、健康等方面歧視。應(yīng)用于政府部門、關(guān)鍵信息基礎(chǔ)設(shè)施以及直接影響公共安全和公民措施。綜合治理措施政府部門、行業(yè)協(xié)會(huì)、社會(huì)組織等多方參與的人工智能安全風(fēng)險(xiǎn)綜合治理制度規(guī)范。途管理，對(duì)特定人群及場(chǎng)景下使用人工智能技術(shù)提出相關(guān)要求，防止人工智能系統(tǒng)被濫用。對(duì)算力、推理能力達(dá)到一定閾值或應(yīng)用在特定行業(yè)領(lǐng)域的人工智能系統(tǒng)進(jìn)行登記備案，要求其具備在設(shè)計(jì)、研發(fā)、測(cè)試、部署、使用、維護(hù)等全生命周期的安全防護(hù)能力。建立人工智能服務(wù)可追溯管理制度。對(duì)面向公眾服務(wù)的人工智能系統(tǒng)，通過數(shù)字證書技術(shù)對(duì)其進(jìn)行標(biāo)識(shí)管理。制定出臺(tái)人工智能生成合成內(nèi)容分發(fā)渠道等關(guān)鍵環(huán)節(jié)，便于用戶識(shí)別判斷信息來源及真實(shí)性。完善人工智能數(shù)據(jù)安全和個(gè)人信息保護(hù)規(guī)范。針對(duì)人工智能技術(shù)人信息保護(hù)要求。構(gòu)建負(fù)責(zé)任的人工智能研發(fā)應(yīng)用體系。研究提出“以人為本、智能向善”在人工智能研發(fā)應(yīng)用中的具體操作指南和最佳實(shí)踐，持續(xù)推進(jìn)人工智能設(shè)計(jì)、研發(fā)、應(yīng)用的價(jià)值觀、倫理觀對(duì)齊。探索適應(yīng)人工智能時(shí)代的版權(quán)保護(hù)和開發(fā)利用制度，持續(xù)推進(jìn)高質(zhì)量基礎(chǔ)語料庫和數(shù)據(jù)集建設(shè)，為人工智能安全發(fā)展提供優(yōu)質(zhì)營養(yǎng)供給。制定人工智能倫理審查準(zhǔn)則、規(guī)范和指南，完善倫理審查制度。強(qiáng)化人工智能供應(yīng)鏈安全保障。推動(dòng)共享人工智能知識(shí)成果，開源人工智能技術(shù)，共同研發(fā)人工智能芯片、框架、軟件，引導(dǎo)產(chǎn)業(yè)界建立開放生態(tài)，增強(qiáng)供應(yīng)鏈來源多樣性，保障人工智能供應(yīng)鏈安全性穩(wěn)定性。推進(jìn)人工智能可解釋性研究。從機(jī)器學(xué)習(xí)理論、訓(xùn)練方法、人機(jī)交互等方面組織研究人工智能決策透明度、可信度、糾錯(cuò)機(jī)制等問題，不斷提高人工智能可解釋性和可預(yù)測(cè)性，避免人工智能系統(tǒng)意外決策產(chǎn)生惡意行為。人工智能安全風(fēng)險(xiǎn)威脅信息共享和應(yīng)急處置機(jī)制。持續(xù)跟蹤分析安全事件等動(dòng)向，協(xié)調(diào)有關(guān)研發(fā)者、服務(wù)提供者建立風(fēng)險(xiǎn)威脅信息通報(bào)和共享機(jī)制。構(gòu)建人工智能安全事件應(yīng)急處置機(jī)制，制定應(yīng)急預(yù)案，開展應(yīng)急演練，及時(shí)快速有效處置人工智能安全威脅和事件。加大人工智能安全人才培養(yǎng)力度。推動(dòng)人工智能安全教育與人工智能學(xué)科同步發(fā)展，依托學(xué)校、科研機(jī)構(gòu)等加強(qiáng)人工智能安全設(shè)計(jì)、開發(fā)、治理人才的培養(yǎng)，支持培養(yǎng)人工智能安全前沿基礎(chǔ)領(lǐng)域頂尖人才，壯大無人駕駛、智能醫(yī)療、類腦智能、腦機(jī)接口等領(lǐng)域安全人才隊(duì)伍。建立健全人工智能安全宣傳教育、行業(yè)自律、社會(huì)監(jiān)督機(jī)制。面向政府、企業(yè)、社會(huì)公用事業(yè)單位加強(qiáng)人工智能安全規(guī)范應(yīng)用的教育培訓(xùn)。加強(qiáng)人工智能安全風(fēng)險(xiǎn)及防范應(yīng)對(duì)知識(shí)的宣傳，全面提高全社會(huì)人工智能安全意識(shí)。指導(dǎo)支持網(wǎng)絡(luò)安全、人工智能領(lǐng)域行業(yè)協(xié)會(huì)加強(qiáng)行業(yè)自律，制定提出高于監(jiān)管要求、具有引領(lǐng)示范作用的人工智能安全自律公約，引導(dǎo)督促人工智能技術(shù)研發(fā)機(jī)構(gòu)、服務(wù)提供者持續(xù)提升安全能力水平；面向公眾建立人工智能安全風(fēng)險(xiǎn)隱患投訴舉報(bào)受理機(jī)制，形成有效的人工智能安全社會(huì)監(jiān)督氛圍。促進(jìn)人工智能安全治理國際交流合作。積極與各國就人工智能開展合作交流，支持在聯(lián)合國框架下成立國際人工智能治理機(jī)構(gòu)，協(xié)調(diào)人工智能發(fā)展、安全與治理重大問題。推進(jìn)APEC、G20、金磚國家等多邊機(jī)制下的人工智能安全治理合作，加強(qiáng)與共建“一帶一路”國家、“全球南方”國家合作，踐，共同制定人工智能安全國際標(biāo)準(zhǔn)。人工智能安全開發(fā)應(yīng)用指引模型算法研發(fā)者安全開發(fā)指引研發(fā)者應(yīng)在需求分析、項(xiàng)目立項(xiàng)、模型設(shè)計(jì)開發(fā)、訓(xùn)練數(shù)據(jù)選用等關(guān)鍵環(huán)節(jié)，切實(shí)踐行“以人為本、智能向善”理念宗旨，遵循科技倫理規(guī)范，采用戶溝通交流、加強(qiáng)員工安全教育培訓(xùn)等措施。研發(fā)者應(yīng)重視數(shù)據(jù)安全和個(gè)人信息保護(hù)，尊重知識(shí)產(chǎn)權(quán)和版權(quán)，確保數(shù)據(jù)來源清晰、途徑合規(guī)。建立完善的數(shù)據(jù)安全管理制度，確保數(shù)據(jù)安全性和質(zhì)量，以及合規(guī)使用，防范數(shù)據(jù)泄露、流失、擴(kuò)散等風(fēng)險(xiǎn)，人工智能產(chǎn)品終止下線時(shí)妥善處理用戶數(shù)據(jù)。研發(fā)者應(yīng)確保模型算法訓(xùn)練環(huán)境的安全性，包括網(wǎng)絡(luò)安全配置和數(shù)據(jù)加密措施等。研發(fā)者應(yīng)評(píng)估模型算法潛在偏見，加強(qiáng)訓(xùn)練數(shù)據(jù)內(nèi)容和質(zhì)量的抽查檢測(cè)，設(shè)計(jì)有效、可靠的對(duì)齊算法，確保價(jià)值觀風(fēng)險(xiǎn)、倫理風(fēng)險(xiǎn)等可控。研發(fā)者應(yīng)結(jié)合目標(biāo)市場(chǎng)適用法律要求和風(fēng)險(xiǎn)管理要求，評(píng)估人工智能產(chǎn)品和服務(wù)能力成熟度。研發(fā)者應(yīng)做好人工智能產(chǎn)品及所用數(shù)據(jù)集的版本管理，商用版本應(yīng)可以回退到以前的商用版本。研發(fā)者應(yīng)定期開展安全評(píng)估測(cè)試，測(cè)試前明確測(cè)試目標(biāo)、范圍和安全維度，構(gòu)建多樣化的測(cè)試數(shù)據(jù)集，涵蓋各種應(yīng)用場(chǎng)景。混合測(cè)試等，利用沙箱仿真等技術(shù)對(duì)模型進(jìn)行充分測(cè)試和驗(yàn)證。研發(fā)者應(yīng)評(píng)估人工智能模型算法對(duì)外界干擾的容忍程度，以適用范圍、注意事項(xiàng)或使用禁忌的形式告知服務(wù)提供者和使用者。研發(fā)者應(yīng)生成詳細(xì)的測(cè)試報(bào)告，分析安全問題并提出改進(jìn)方案。人工智能服務(wù)提供者安全指引場(chǎng)景。服務(wù)提供者應(yīng)在合同或服務(wù)協(xié)議中，以使用者易于理解的方式，告知人工智能產(chǎn)品和服務(wù)的適用范圍、注意事項(xiàng)、使用禁忌，支持使用者知情選擇、審慎使用。服務(wù)提供者應(yīng)在告知同意、服務(wù)協(xié)議等文件中，支持使用者行使人類監(jiān)督和控制責(zé)任。服務(wù)提供者應(yīng)讓使用者了解人工智能產(chǎn)品的精確度，在人工智能決策有重大影響時(shí)，做好解釋說明預(yù)案。服務(wù)提供者應(yīng)檢查研發(fā)者提供的責(zé)任說明文件，確保責(zé)任鏈條可以追溯到遞歸采用的人工智能模型。服務(wù)提供者應(yīng)提高人工智能風(fēng)險(xiǎn)防范意識(shí)，建立健全實(shí)時(shí)風(fēng)險(xiǎn)監(jiān)控管理機(jī)制，持續(xù)跟蹤運(yùn)行中安全風(fēng)險(xiǎn)。服務(wù)提供者應(yīng)評(píng)估人工智能產(chǎn)品與服務(wù)在面臨故障、攻擊等異常條度有效功能。服務(wù)提供者應(yīng)將人工智能系統(tǒng)運(yùn)行中發(fā)現(xiàn)的安全事故、安全漏洞等及時(shí)向主管部門報(bào)告。服務(wù)提供者應(yīng)在合同或服務(wù)協(xié)議中明確，一旦發(fā)現(xiàn)不符合使用意圖和說明限制的誤用、濫用，服務(wù)提供者有權(quán)采取糾正措施或提前終止服務(wù)。服務(wù)提供者應(yīng)評(píng)估人工智能產(chǎn)品對(duì)使用者的影響，防止對(duì)使用者身心健康、生命財(cái)產(chǎn)等造成危害。重點(diǎn)領(lǐng)域使用者安全應(yīng)用指引對(duì)于政府部門、關(guān)鍵信息基礎(chǔ)設(shè)施以及直接影響公共安全和公民生命健康安全的領(lǐng)域等重點(diǎn)領(lǐng)域使用者，應(yīng)審慎評(píng)估目標(biāo)應(yīng)用場(chǎng)景采用人工智能技術(shù)后帶來的長(zhǎng)期和潛在影響，開展風(fēng)險(xiǎn)評(píng)估與定級(jí)，避免技術(shù)濫用。可控性等，定期進(jìn)行系統(tǒng)審計(jì)，加強(qiáng)風(fēng)險(xiǎn)防范意識(shí)與風(fēng)險(xiǎn)應(yīng)對(duì)處置能力。重點(diǎn)領(lǐng)域使用者在使用人工智能產(chǎn)品前，應(yīng)全面了解其數(shù)據(jù)處理和隱私保護(hù)措施。制，增強(qiáng)賬戶安全性。重點(diǎn)領(lǐng)域使用者應(yīng)增強(qiáng)網(wǎng)絡(luò)安全、供應(yīng)鏈安全等方面的能力，降低人工智能系統(tǒng)被攻擊、重要數(shù)據(jù)被竊取或泄露的風(fēng)險(xiǎn)，保障業(yè)務(wù)不中斷。重點(diǎn)領(lǐng)域使用者應(yīng)合理限制人工智能系統(tǒng)對(duì)數(shù)據(jù)的訪問權(quán)限，制定數(shù)據(jù)備份和恢復(fù)計(jì)劃，定期對(duì)數(shù)據(jù)處理流程進(jìn)行檢查。重點(diǎn)領(lǐng)域使用者應(yīng)確保操作符合保密規(guī)定，在處理敏感數(shù)據(jù)時(shí)使用加密技術(shù)等保護(hù)措施。重點(diǎn)領(lǐng)域使用者應(yīng)對(duì)人工智能行為和影響進(jìn)行有效監(jiān)督，確保人工智能產(chǎn)品和服務(wù)的運(yùn)行基于人的授權(quán)、處于人的控制之下。重點(diǎn)領(lǐng)域使用者應(yīng)避免完全依賴人工智能的決策，監(jiān)控及記錄未采換到人工或傳統(tǒng)系統(tǒng)等的能力。社會(huì)公眾安全應(yīng)用指引社會(huì)公眾應(yīng)提高對(duì)人工智能產(chǎn)品安全風(fēng)險(xiǎn)的認(rèn)識(shí)，選擇信譽(yù)良好的人工智能產(chǎn)品。社會(huì)公眾應(yīng)在使用前仔細(xì)閱讀產(chǎn)品合同或服務(wù)協(xié)議，了解產(chǎn)品的功定使用預(yù)期。社會(huì)公眾應(yīng)提高個(gè)人信息保護(hù)意識(shí)，避免在不必要的情況下輸入敏感信息。社會(huì)公眾應(yīng)了解人工智能產(chǎn)品的數(shù)據(jù)處理方式，避免使用不符合隱私保護(hù)原則的產(chǎn)品。社會(huì)公眾在使用人工智能產(chǎn)品時(shí)，應(yīng)關(guān)注網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，避免人工智能產(chǎn)品成為網(wǎng)絡(luò)攻擊的目標(biāo)。社會(huì)公眾應(yīng)注意人工智能產(chǎn)品對(duì)兒童和青少年的影響，預(yù)防沉迷及過度使用。安全風(fēng)險(xiǎn)與技術(shù)應(yīng)對(duì)措施、綜合治理措施映射表安全風(fēng)險(xiǎn)技術(shù)應(yīng)對(duì)措施綜合治理措施內(nèi)生（自身）安全風(fēng)險(xiǎn)模型算法安全風(fēng)險(xiǎn)可解釋性差的風(fēng)險(xiǎn)4.1.1（a）