2024人工智能安全治理框架

人工智能安全治理框架（2024）目錄TOC\o"1-2"\h\z\u人工智能安全治理原則 1人工智能安全治理框架構成 2人工智能安全風險分類 3人工智能內生安全風險 3人工智能應用安全風險 5技術應對措施 7針對人工智能內生安全風險 7針對人工智能應用安全風險 9綜合治理措施 10人工智能安全開發(fā)應用指引 12模型算法研發(fā)者安全開發(fā)指引 12人工智能服務提供者安全指引 13重點領域使用者安全應用指引 14社會公眾安全應用指引 15人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架--人工智能安全治理框架（V1.0）落實《全球人工智能治理倡議》，遵循“以人為本、智能向善”的發(fā)展方向，為推動政府、國際組織、企業(yè)、科研院所、民間機構和社會公眾等各方，就人工智能安全治理達成共識、協(xié)調一致，有效防范化解人工智能安全風險，制定本框架。人工智能安全治理原則秉持共同、綜合、合作、可持續(xù)的安全觀，堅持發(fā)展和安全并重，以促進人工智能創(chuàng)新發(fā)展為第一要務，以有效防范化解人工智能安全風險為出發(fā)點和落腳點，構建各方共同參與、技管結合、分工協(xié)作的治理機制，壓實相關主體安全責任，打造全過程全要素治理鏈條，培育安全、可靠、公平、透明的人工智能技術研發(fā)和應用生態(tài)，推動人工智能健康發(fā)展和規(guī)范應用，切實維護國家主權、安全和發(fā)展利益，保障公民、法人和其他組織的合法權益，確保人工智能技術造福于人類。包容審慎、確保安全。風險及時采取措施。風險導向、敏捷治理。措施。關注安全風險發(fā)展變化，快速動態(tài)精準調整治理措施，持續(xù)優(yōu)化治理機制和方式，對確需政府監(jiān)管事項及時予以響應。管理相結合的安全治理措施，防范應對不同類型安全風險。圍繞人工智能研發(fā)應用生態(tài)鏈，明確模型算法研發(fā)者、服務提供者、使用者等相關主體的安全責任，有機發(fā)揮政府監(jiān)管、行業(yè)自律、社會監(jiān)督等治理機制作用。共享最佳實踐，提倡建立開放性平臺，通過跨學科、跨領域、跨地區(qū)、跨國界的對話和合作，推動形成具有廣泛共識的全球人工智能治理體系。人工智能安全治理框架構成應動態(tài)調整更新，需要各方共同對治理框架持續(xù)優(yōu)化完善。安全風險方面。通過分析人工智能技術特性，以及在不同行業(yè)領域應用場景，梳理人工智能技術本身，及其在應用過程中面臨的各種安全風險隱患。應用場景，提出通過安全軟件開發(fā)、數(shù)據(jù)質量提升、安全建設運維、測評監(jiān)測加固等技術手段提升人工智能產品及應用的安全性、公平性、可靠性、魯棒性的措施。綜合治理措施方面。明確技術研發(fā)機構、服務提供者、用戶、政府手段，推動各方協(xié)同共治。安全開發(fā)應用指引方面。明確模型算法研發(fā)者、服務提供者、重點領域用戶和社會公眾用戶，開發(fā)應用人工智能技術的若干安全指導規(guī)范。人工智能安全風險分類人工智能系統(tǒng)設計、研發(fā)、訓練、測試、部署、使用、維護等生命周期各環(huán)節(jié)都面臨安全風險，既面臨自身技術缺陷、不足帶來的風險，也面臨不當使用、濫用甚至惡意利用帶來的安全風險。人工智能內生安全風險模型算法安全風險可解釋性差的風險。以深度學習為代表的人工智能算法內部運行邏有異常難以快速修正和溯源追責。魯棒性弱風險。由于深度神經網絡存在非線性、大規(guī)模等特點，人工智能易受復雜多變運行環(huán)境或惡意干擾、誘導的影響，可能帶來性能下降、決策錯誤等諸多問題。密泄露，推理過程不可信、決策輸出錯誤，甚至運行故障?！盎糜X對抗攻擊風險。攻擊者通過創(chuàng)建精心設計的對抗樣本數(shù)據(jù)，隱蔽地數(shù)據(jù)安全風險違規(guī)收集使用數(shù)據(jù)風險。人工智能訓練數(shù)據(jù)的獲取，以及提供服務侵犯知識產權等違法有害信息，或者來源缺乏多樣性，導致輸出違法的、不良的、偏激的等有害信息內容。訓練數(shù)據(jù)還面臨攻擊者篡改、注入錯誤、誤導數(shù)據(jù)的“投毒”風險，“污染”模型的概率分布，進而造成準確性、可信度下降。訓練數(shù)據(jù)標注不規(guī)范風險。訓練數(shù)據(jù)標注過程中，存在因標注規(guī)則不完備、標注人員能力不夠、標注錯誤等問題，不僅會影響模型算法準確度、可靠性、有效性，還可能導致訓練偏差、偏見歧視放大、泛化能力不足或輸出錯誤。數(shù)據(jù)泄露風險。人工智能研發(fā)應用過程中，因數(shù)據(jù)處理不當、非授權訪問、惡意攻擊、誘導交互等問題，可能導致數(shù)據(jù)和個人信息泄露。系統(tǒng)安全風險缺陷、后門被攻擊利用風險。人工智能算法模型設計、訓練和驗證漏洞等脆弱點，還可能被惡意植入后門，存在被觸發(fā)和攻擊利用的風險。供應鏈安全風險。人工智能產業(yè)鏈呈現(xiàn)高度全球化分工協(xié)作格局。全球人工智能供應鏈，帶來突出的芯片、軟件、工具斷供風險。人工智能應用安全風險網絡域安全風險混淆事實、誤導用戶、繞過鑒權的風險。人工智能系統(tǒng)及輸出內容難以鑒別生成內容的真實性，影響用戶判斷，導致誤解。同時，人工智能生成圖片、音頻、視頻等高仿真內容，可能繞過現(xiàn)有人臉識別、語音識別等身份認證機制，導致認證鑒權失效。不當使用引發(fā)信息泄露風險。政府、企業(yè)等機構工作人員在業(yè)務工導致工作秘密、商業(yè)秘密、敏感業(yè)務數(shù)據(jù)泄露。濫用于網絡攻擊的風險。人工智能可被用于實施自動化網絡攻擊或網絡掃描、社會工程學攻擊等，降低網絡攻擊門檻，增大安全防護難度。模型復用的缺陷傳導風險。依托基礎模型進行二次開發(fā)或微調，是常見的人工智能應用模式，如果基礎模型存在安全缺陷，將導致風險傳導至下游模型?，F(xiàn)實域安全風險兩用物項和技術濫用風險。因不當使用或濫用人工智能兩用物項和技術，對國家安全、經濟安全、公共衛(wèi)生安全等帶來嚴重風險。包括極大降低動挖掘與利用漏洞等方式，對廣泛潛在目標發(fā)起網絡攻擊。認知域安全風險效應進一步加劇。用于開展認知戰(zhàn)的風險。人工智能可被利用于制作傳播虛假新聞、圖像、音頻、視頻等，宣揚恐怖主義、極端主義、有組織犯罪等內容，干涉他國內政、社會制度及社會秩序，危害他國主權；通過社交機器人在網絡空間搶占話語權和議程設置權，左右公眾價值觀和思維認知。倫理域安全風險加劇社會歧視偏見、擴大智能鴻溝的風險。利用人工智能收集分析人類行為、社會地位、經濟狀態(tài)、個體性格等，對不同人群進行標識分類、區(qū)別對待，帶來系統(tǒng)性、結構性的社會歧視與偏見。同時，拉大不同地區(qū)人工智能鴻溝。未來脫離控制的風險。隨著人工智能技術的快速發(fā)展，不排除人工智能自主獲取外部資源、自我復制，產生自我意識，尋求外部權力，帶來謀求與人類爭奪控制權的風險。技術應對措施針對上述安全風險，模型算法研發(fā)者、服務提供者、系統(tǒng)使用者等需從訓練數(shù)據(jù)、算力設施、模型算法、產品服務、應用場景各方面采取技術措施予以防范。針對人工智能內生安全風險模型算法安全風險應對推理邏輯、技術接口、輸出結果提供明確說明，正確反映人工智能系統(tǒng)產生結果的過程。能消除模型算法存在的安全缺陷、歧視性傾向，提高魯棒性。數(shù)據(jù)安全風險應對在訓練數(shù)據(jù)和用戶交互數(shù)據(jù)的收集、存儲、使用、加工、傳輸、提嚴格落實關于用戶控制權、知情權、選擇權等法律法規(guī)明確的合法權益。識產權。對訓練數(shù)據(jù)進行嚴格篩選，確保不包含核生化導武器等高危領域敏感數(shù)據(jù)。符合數(shù)據(jù)安全和個人信息保護相關標準規(guī)范。使用真實、準確、客觀、多樣且來源合法的訓練數(shù)據(jù)，及時過濾失效、錯誤、偏見數(shù)據(jù)。向境外提供人工智能服務，應符合數(shù)據(jù)跨境管理規(guī)定。向境外提供人工智能模型算法，應符合出口管制要求。系統(tǒng)安全風險應對對聚合多個人工智能模型或系統(tǒng)的平臺，應加強風險識別、檢測、防護，防止因平臺惡意行為或被攻擊入侵影響承載的人工智能模型或系統(tǒng)。加強人工智能算力平臺和系統(tǒng)服務的安全建設、管理、運維能力，確?；A設施和服務運行不中斷。高度關注供應鏈安全。跟蹤軟硬件產品的漏洞、缺陷信息并及時采取修補加固措施，保證系統(tǒng)安全性。針對人工智能應用安全風險網絡域風險應對建立安全防護機制，防止模型運行過程中被干擾、篡改而輸出不可信結果。應建立數(shù)據(jù)護欄，確保人工智能系統(tǒng)輸出敏感個人信息和重要數(shù)據(jù)符合相關法律法規(guī)。現(xiàn)實域風險應對根據(jù)用戶實際應用場景設置服務提供邊界，裁減人工智能系統(tǒng)可能被濫用的功能，系統(tǒng)提供服務時不應超出預設應用范圍。提高人工智能系統(tǒng)最終用途追溯能力，防止被用于核生化導等大規(guī)模殺傷性武器制造等高危場景。認知域風險應對通過技術手段判別不符合預期、不真實、不準確的輸出結果，并依法依規(guī)監(jiān)管。喜好以及個人思想傾向的人工智能系統(tǒng)，應嚴格防范其濫用。加強對人工智能生成合成內容的檢測技術研發(fā)，提升對認知戰(zhàn)手段的防范、檢測、處置能力。倫理域風險應對在算法設計、模型訓練和優(yōu)化、提供服務等過程中，應采取訓練數(shù)職業(yè)、健康等方面歧視。應用于政府部門、關鍵信息基礎設施以及直接影響公共安全和公民措施。綜合治理措施政府部門、行業(yè)協(xié)會、社會組織等多方參與的人工智能安全風險綜合治理制度規(guī)范。途管理，對特定人群及場景下使用人工智能技術提出相關要求，防止人工智能系統(tǒng)被濫用。對算力、推理能力達到一定閾值或應用在特定行業(yè)領域的人工智能系統(tǒng)進行登記備案，要求其具備在設計、研發(fā)、測試、部署、使用、維護等全生命周期的安全防護能力。建立人工智能服務可追溯管理制度。對面向公眾服務的人工智能系統(tǒng)，通過數(shù)字證書技術對其進行標識管理。制定出臺人工智能生成合成內容分發(fā)渠道等關鍵環(huán)節(jié)，便于用戶識別判斷信息來源及真實性。完善人工智能數(shù)據(jù)安全和個人信息保護規(guī)范。針對人工智能技術人信息保護要求。構建負責任的人工智能研發(fā)應用體系。研究提出“以人為本、智能向善”在人工智能研發(fā)應用中的具體操作指南和最佳實踐，持續(xù)推進人工智能設計、研發(fā)、應用的價值觀、倫理觀對齊。探索適應人工智能時代的版權保護和開發(fā)利用制度，持續(xù)推進高質量基礎語料庫和數(shù)據(jù)集建設，為人工智能安全發(fā)展提供優(yōu)質營養(yǎng)供給。制定人工智能倫理審查準則、規(guī)范和指南，完善倫理審查制度。強化人工智能供應鏈安全保障。推動共享人工智能知識成果，開源人工智能技術，共同研發(fā)人工智能芯片、框架、軟件，引導產業(yè)界建立開放生態(tài)，增強供應鏈來源多樣性，保障人工智能供應鏈安全性穩(wěn)定性。推進人工智能可解釋性研究。從機器學習理論、訓練方法、人機交互等方面組織研究人工智能決策透明度、可信度、糾錯機制等問題，不斷提高人工智能可解釋性和可預測性，避免人工智能系統(tǒng)意外決策產生惡意行為。人工智能安全風險威脅信息共享和應急處置機制。持續(xù)跟蹤分析安全事件等動向，協(xié)調有關研發(fā)者、服務提供者建立風險威脅信息通報和共享機制。構建人工智能安全事件應急處置機制，制定應急預案，開展應急演練，及時快速有效處置人工智能安全威脅和事件。加大人工智能安全人才培養(yǎng)力度。推動人工智能安全教育與人工智能學科同步發(fā)展，依托學校、科研機構等加強人工智能安全設計、開發(fā)、治理人才的培養(yǎng)，支持培養(yǎng)人工智能安全前沿基礎領域頂尖人才，壯大無人駕駛、智能醫(yī)療、類腦智能、腦機接口等領域安全人才隊伍。建立健全人工智能安全宣傳教育、行業(yè)自律、社會監(jiān)督機制。面向政府、企業(yè)、社會公用事業(yè)單位加強人工智能安全規(guī)范應用的教育培訓。加強人工智能安全風險及防范應對知識的宣傳，全面提高全社會人工智能安全意識。指導支持網絡安全、人工智能領域行業(yè)協(xié)會加強行業(yè)自律，制定提出高于監(jiān)管要求、具有引領示范作用的人工智能安全自律公約，引導督促人工智能技術研發(fā)機構、服務提供者持續(xù)提升安全能力水平；面向公眾建立人工智能安全風險隱患投訴舉報受理機制，形成有效的人工智能安全社會監(jiān)督氛圍。促進人工智能安全治理國際交流合作。積極與各國就人工智能開展合作交流，支持在聯(lián)合國框架下成立國際人工智能治理機構，協(xié)調人工智能發(fā)展、安全與治理重大問題。推進APEC、G20、金磚國家等多邊機制下的人工智能安全治理合作，加強與共建“一帶一路”國家、“全球南方”國家合作，踐，共同制定人工智能安全國際標準。人工智能安全開發(fā)應用指引模型算法研發(fā)者安全開發(fā)指引研發(fā)者應在需求分析、項目立項、模型設計開發(fā)、訓練數(shù)據(jù)選用等關鍵環(huán)節(jié)，切實踐行“以人為本、智能向善”理念宗旨，遵循科技倫理規(guī)范，采用戶溝通交流、加強員工安全教育培訓等措施。研發(fā)者應重視數(shù)據(jù)安全和個人信息保護，尊重知識產權和版權，確保數(shù)據(jù)來源清晰、途徑合規(guī)。建立完善的數(shù)據(jù)安全管理制度，確保數(shù)據(jù)安全性和質量，以及合規(guī)使用，防范數(shù)據(jù)泄露、流失、擴散等風險，人工智能產品終止下線時妥善處理用戶數(shù)據(jù)。研發(fā)者應確保模型算法訓練環(huán)境的安全性，包括網絡安全配置和數(shù)據(jù)加密措施等。研發(fā)者應評估模型算法潛在偏見，加強訓練數(shù)據(jù)內容和質量的抽查檢測，設計有效、可靠的對齊算法，確保價值觀風險、倫理風險等可控。研發(fā)者應結合目標市場適用法律要求和風險管理要求，評估人工智能產品和服務能力成熟度。研發(fā)者應做好人工智能產品及所用數(shù)據(jù)集的版本管理，商用版本應可以回退到以前的商用版本。研發(fā)者應定期開展安全評估測試，測試前明確測試目標、范圍和安全維度，構建多樣化的測試數(shù)據(jù)集，涵蓋各種應用場景?；旌蠝y試等，利用沙箱仿真等技術對模型進行充分測試和驗證。研發(fā)者應評估人工智能模型算法對外界干擾的容忍程度，以適用范圍、注意事項或使用禁忌的形式告知服務提供者和使用者。研發(fā)者應生成詳細的測試報告，分析安全問題并提出改進方案。人工智能服務提供者安全指引場景。服務提供者應在合同或服務協(xié)議中，以使用者易于理解的方式，告知人工智能產品和服務的適用范圍、注意事項、使用禁忌，支持使用者知情選擇、審慎使用。服務提供者應在告知同意、服務協(xié)議等文件中，支持使用者行使人類監(jiān)督和控制責任。服務提供者應讓使用者了解人工智能產品的精確度，在人工智能決策有重大影響時，做好解釋說明預案。服務提供者應檢查研發(fā)者提供的責任說明文件，確保責任鏈條可以追溯到遞歸采用的人工智能模型。服務提供者應提高人工智能風險防范意識，建立健全實時風險監(jiān)控管理機制，持續(xù)跟蹤運行中安全風險。服務提供者應評估人工智能產品與服務在面臨故障、攻擊等異常條度有效功能。服務提供者應將人工智能系統(tǒng)運行中發(fā)現(xiàn)的安全事故、安全漏洞等及時向主管部門報告。服務提供者應在合同或服務協(xié)議中明確，一旦發(fā)現(xiàn)不符合使用意圖和說明限制的誤用、濫用，服務提供者有權采取糾正措施或提前終止服務。服務提供者應評估人工智能產品對使用者的影響，防止對使用者身心健康、生命財產等造成危害。重點領域使用者安全應用指引對于政府部門、關鍵信息基礎設施以及直接影響公共安全和公民生命健康安全的領域等重點領域使用者，應審慎評估目標應用場景采用人工智能技術后帶來的長期和潛在影響，開展風險評估與定級，避免技術濫用。可控性等，定期進行系統(tǒng)審計，加強風險防范意識與風險應對處置能力。重點領域使用者在使用人工智能產品前，應全面了解其數(shù)據(jù)處理和隱私保護措施。制，增強賬戶安全性。重點領域使用者應增強網絡安全、供應鏈安全等方面的能力，降低人工智能系統(tǒng)被攻擊、重要數(shù)據(jù)被竊取或泄露的風險，保障業(yè)務不中斷。重點領域使用者應合理限制人工智能系統(tǒng)對數(shù)據(jù)的訪問權限，制定數(shù)據(jù)備份和恢復計劃，定期對數(shù)據(jù)處理流程進行檢查。重點領域使用者應確保操作符合保密規(guī)定，在處理敏感數(shù)據(jù)時使用加密技術等保護措施。重點領域使用者應對人工智能行為和影響進行有效監(jiān)督，確保人工智能產品和服務的運行基于人的授權、處于人的控制之下。重點領域使用者應避免完全依賴人工智能的決策，監(jiān)控及記錄未采換到人工或傳統(tǒng)系統(tǒng)等的能力。社會公眾安全應用指引社會公眾應提高對人工智能產品安全風險的認識，選擇信譽良好的人工智能產品。社會公眾應在使用前仔細閱讀產品合同或服務協(xié)議，了解產品的功定使用預期。社會公眾應提高個人信息保護意識，避免在不必要的情況下輸入敏感信息。社會公眾應了解人工智能產品的數(shù)據(jù)處理方式，避免使用不符合隱私保護原則的產品。社會公眾在使用人工智能產品時，應關注網絡安全風險，避免人工智能產品成為網絡攻擊的目標。社會公眾應注意人工智能產品對兒童和青少年的影響，預防沉迷及過度使用。安全風險與技術應對措施、綜合治理措施映射表安全風險技術應對措施綜合治理措施內生（自身）安全風險模型算法安全風險可解釋性差的風險4.1.1（a）