人工智能倫理風(fēng)險(xiǎn)與治理研究

中國電子信息產(chǎn)業(yè)發(fā)展研究院中國電子信息產(chǎn)業(yè)發(fā)展研究院政策法規(guī)研究所（工業(yè)和信息化法律服務(wù)中心）二O二五年四月12隨著人工智能技術(shù)向經(jīng)濟(jì)社會(huì)各行業(yè)各領(lǐng)域加速滲透，其引發(fā)的倫理爭(zhēng)議已成為全球關(guān)注焦點(diǎn)，美歐等主要經(jīng)濟(jì)體均根據(jù)自身情況，開展了一系列倫理治理實(shí)踐。目前，我國人工智能倫理治理的基本理念、規(guī)則體系、治理模式和國際主張初步形成。在新形勢(shì)新要求下，亟待優(yōu)化完善具有中國特色的人工智能倫理風(fēng)險(xiǎn)治理路徑。本研究重點(diǎn)回答：人工智能倫理風(fēng)險(xiǎn)是什么、治理現(xiàn)狀如何、未來如何治理等問題。是什么？是什么？』l人工智能倫理風(fēng)險(xiǎn)的內(nèi)涵特征是什么？l人工智能倫理風(fēng)險(xiǎn)的內(nèi)涵特征是什么？l人工智能帶來了哪些倫理風(fēng)險(xiǎn)？這些風(fēng)險(xiǎn)如何進(jìn)行類型劃分？l國際組織、歐盟、美國等開展了哪些倫理治理實(shí)踐，探索了哪些模式？l我國已探索開展了什么樣的倫理治理實(shí)踐？未來如何治理？l面臨哪些新形勢(shì)新要求？l應(yīng)如何完善現(xiàn)有治理路徑？治理理念治理規(guī)則治理模式分類體系治理理念治理規(guī)則治理模式分類體系3典型場(chǎng)景/案例生成機(jī)制典型場(chǎng)景/案例生成機(jī)制美國美國中央要求亟待落實(shí)中央要求亟待落實(shí)實(shí)踐問題亟待解決實(shí)踐問題亟待解決企業(yè)訴求亟待回應(yīng)持續(xù)完善法律法規(guī)體系持續(xù)完善法律法規(guī)體系強(qiáng)化多元協(xié)同治理機(jī)制強(qiáng)化多元協(xié)同治理機(jī)制深化國際治理合作統(tǒng)籌倫理治理與產(chǎn)業(yè)發(fā)展3人工智能五大倫理風(fēng)險(xiǎn)具體含義主要類型生成機(jī)制技術(shù)+規(guī)制4人工智能倫理風(fēng)險(xiǎn)是指：在人工智能技術(shù)的開發(fā)、部署和應(yīng)用具體含義主要類型生成機(jī)制技術(shù)+規(guī)制4人工智能倫理風(fēng)險(xiǎn)是指：在人工智能技術(shù)的開發(fā)、部署和應(yīng)用過程中，因技術(shù)特性、使用方式或管理缺陷等而引發(fā)的侵犯?jìng)€(gè)人權(quán)益、沖擊社會(huì)秩序、違背人類價(jià)值觀的倫理風(fēng)險(xiǎn)，具體可從五個(gè)維度來分析。?對(duì)個(gè)人權(quán)益的直接侵犯?對(duì)特定群體產(chǎn)生不公正的價(jià)值判斷或決策結(jié)果?誤用、濫用技術(shù)或技術(shù)局限，而對(duì)公共社會(huì)秩序造成負(fù)面影響?造成負(fù)面影響后的責(zé)任界定難題?人工智能行為及影響超出人類預(yù)設(shè)、理解和可控范圍?侵犯?jìng)€(gè)人信息權(quán)?侵害個(gè)人生命健康權(quán)?侵犯知識(shí)產(chǎn)權(quán)?對(duì)特定群體產(chǎn)生歧視性決策結(jié)果?生成內(nèi)容出現(xiàn)歧視性表達(dá)?生成不良信息助長錯(cuò)誤價(jià)值觀?技術(shù)漏洞導(dǎo)致生成虛假、錯(cuò)誤信息?人為濫用技術(shù)導(dǎo)致財(cái)產(chǎn)損失、精神損害?“主體”身份認(rèn)同危機(jī)?責(zé)任界定困難?利益與責(zé)任分配不公?人類主體能力退化和自主意識(shí)弱化?人類喪失對(duì)人工智能的控制能力?海量數(shù)據(jù)需求與過度收集?算法“黑箱”與透明度缺失?技術(shù)漏洞與安全缺陷?“合理適用”“知情同意”機(jī)制難執(zhí)行?缺乏有效的版權(quán)審查和授權(quán)機(jī)制?訓(xùn)練數(shù)據(jù)包含隱性偏見內(nèi)容?模型內(nèi)部運(yùn)作機(jī)制難以理解和解釋?內(nèi)容語料標(biāo)準(zhǔn)模糊?生成內(nèi)容的審核、監(jiān)測(cè)和控制機(jī)制不夠完善?訓(xùn)練數(shù)據(jù)含有不良內(nèi)容?模型存在技術(shù)漏洞被外部輸入干擾信息?平臺(tái)內(nèi)容審核與處理機(jī)制不完善?缺乏對(duì)失業(yè)等社會(huì)性風(fēng)險(xiǎn)的有效應(yīng)對(duì)方案?技術(shù)和模型的決策過程難以被人類理解和預(yù)測(cè)?人工智能應(yīng)用過程中各方責(zé)任關(guān)系復(fù)雜?數(shù)據(jù)資本壟斷化、算法權(quán)力黑箱化?人類產(chǎn)生“認(rèn)知卸載”“算法迷信”?自主學(xué)習(xí)機(jī)制等導(dǎo)致人類無法預(yù)測(cè)其行為?倫理審查形式化，如缺乏對(duì)“主體性”危機(jī)的關(guān)注4國際組織倫理治理現(xiàn)狀搭建平臺(tái)—推動(dòng)全球倫理共識(shí)制定標(biāo)準(zhǔn)—規(guī)范技術(shù)發(fā)展發(fā)布文件—提出治理原則建議搭建平臺(tái)—推動(dòng)全球倫理共識(shí)制定標(biāo)準(zhǔn)—規(guī)范技術(shù)發(fā)展發(fā)布文件—提出治理原則建議聯(lián)合國《為人類治理人工智能》（2024.09）聯(lián)合國《為人類治理人工智能》（2024.09）、聯(lián)合國教科文組織《人工智能倫理問題建議書》（2021.11）、二十國集團(tuán)《人工智能原則》（2019.06）等。l世界數(shù)字技術(shù)院（WDTA）發(fā)布《生成式人工智能應(yīng)用安全測(cè)試標(biāo)準(zhǔn)》和《大語言模型安全測(cè)試方法》（2024.04是國際組織首次就大模型安全領(lǐng)域發(fā)布國際標(biāo)準(zhǔn)。2023年英國峰會(huì)，28個(gè)國家和歐盟簽署《布萊切利宣言》；2024年首爾峰會(huì)，10個(gè)國家和歐盟簽署《首爾聲明》；l世界數(shù)字技術(shù)院（WDTA）發(fā)布《生成式人工智能應(yīng)用安全測(cè)試標(biāo)準(zhǔn)》和《大語言模型安全測(cè)試方法》（2024.04是國際組織首次就大模型安全領(lǐng)域發(fā)布國際標(biāo)準(zhǔn)?！渡墒饺斯ぶ悄軕?yīng)用安全測(cè)試標(biāo)準(zhǔn)》定義人工智能應(yīng)用程序架構(gòu)各層的測(cè)試和驗(yàn)證范圍《大語言模型安全測(cè)試方法》提出大語言模型的安全風(fēng)險(xiǎn)分類、攻擊的分類分級(jí)方法以及測(cè)試方法2024年5月，國際電信聯(lián)盟（ITU）與40個(gè)聯(lián)合國伙伴機(jī)構(gòu)合作達(dá)成了推動(dòng)人工智能負(fù)責(zé)任應(yīng)用、制定相關(guān)標(biāo)《大語言模型安全測(cè)試方法》提出大語言模型的安全風(fēng)險(xiǎn)分類、攻擊的分類分級(jí)方法以及測(cè)試方法通信領(lǐng)域：國際電信聯(lián)盟（ITU）《人工智能治理日——從原則到落實(shí)》（2024.07）專題報(bào)告。金融領(lǐng)域：國際清算銀行（BIS）《中央銀行使用人工智能》（2024.01）《生成式人工智能與中央銀行網(wǎng)絡(luò)安全》（2024.05）。衛(wèi)生領(lǐng)域：世界衛(wèi)生組織（WHO）《多模態(tài)大模型人工智能倫理和管理問題指導(dǎo)文件》（2024.01）。2023年7月，聯(lián)合國工業(yè)發(fā)展組織（UNIDO）在第六屆世界人工智能大會(huì)上宣布成立，聚焦于制定并推廣工業(yè)和制造業(yè)領(lǐng)域的人工智能倫理準(zhǔn)則，推動(dòng)形成更廣泛的國際共識(shí)。5l2023年7月，聯(lián)合國工業(yè)發(fā)展組織（UNIDO）在第六屆世界人工智能大會(huì)上宣布成立，聚焦于制定并推廣工業(yè)和制造業(yè)領(lǐng)域的人工智能倫理準(zhǔn)則，推動(dòng)形成更廣泛的國際共識(shí)。55美歐人工智能倫理治理現(xiàn)狀治理方式治理機(jī)構(gòu)治理體制影響力量治理方式治理機(jī)構(gòu)治理體制影響力量剛性和嚴(yán)格性：治理文件規(guī)制明確，并設(shè)有嚴(yán)格的罰則成熟性和系統(tǒng)性：整體層面和成員國層面均建立監(jiān)管機(jī)構(gòu)統(tǒng)一綜合：在整體層面統(tǒng)一立法以確保法律穩(wěn)定性政府主導(dǎo)：主要依賴行政手段對(duì)人工智能進(jìn)行監(jiān)管對(duì)內(nèi)安全倫理優(yōu)先：高度重視倫理和安全問題對(duì)外重視規(guī)則影響力：試圖構(gòu)建安全可靠的國際治理范本相對(duì)滯后的技術(shù)水平：企業(yè)規(guī)模普遍較小，技術(shù)發(fā)展不突出統(tǒng)一治理和立法先行：新業(yè)態(tài)監(jiān)管傾向風(fēng)險(xiǎn)預(yù)防和統(tǒng)一立法外部目標(biāo)行業(yè)力量格局治理路徑依賴6美國柔性和自愿性：側(cè)重產(chǎn)業(yè)促進(jìn)和經(jīng)驗(yàn)探索，而非監(jiān)管協(xié)調(diào)性和咨詢性：以軟性指導(dǎo)為主，尚無監(jiān)管性機(jī)構(gòu)分散性：聯(lián)邦無統(tǒng)一立法，各州進(jìn)行自發(fā)零散的治理探索企業(yè)界影響較大：具有影響力的企業(yè)往往積極進(jìn)行游說對(duì)內(nèi)鼓勵(lì)技術(shù)創(chuàng)新：避免不必要地阻礙人工智能創(chuàng)新對(duì)外強(qiáng)調(diào)超前發(fā)展：將人工智能視為大國競(jìng)爭(zhēng)的重要資產(chǎn)強(qiáng)有力的企業(yè)規(guī)模：技術(shù)領(lǐng)先的人工智能公司積極爭(zhēng)取權(quán)益部門探索和經(jīng)驗(yàn)驅(qū)動(dòng)：新業(yè)態(tài)監(jiān)管傾向分散探索和事后規(guī)范6中國人工智能倫理治理現(xiàn)狀以增進(jìn)人類共同福祉為目標(biāo)，以保障社會(huì)安全、尊重人類權(quán)益為前提，確保人工智能始終朝著有利于人類文明進(jìn)步的方向發(fā)展”——習(xí)近平發(fā)布《全球人工智能治理倡議》法律：頂層治理原則和框架l基礎(chǔ)法律框架：《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》、《個(gè)人信息保護(hù)法》等法律分別從網(wǎng)絡(luò)、數(shù)據(jù)、個(gè)人信息層面對(duì)人工智能進(jìn)行治理治理規(guī)則l綜合性立法提上日程：2025年3月，《全國人大常委會(huì)工作報(bào)告》提出圍繞人工智能等新興領(lǐng)域加強(qiáng)立法研究。2024年5月，《國務(wù)院年度立法工作計(jì)劃》提到預(yù)備提請(qǐng)全國初步形成法律、部門規(guī)章、規(guī)范文件的階梯式人工智能治理規(guī)則體系初步形成法律、部門規(guī)章、規(guī)范文件的階梯式人工智能治理規(guī)則體系部門規(guī)章：專門性治理要求l《生成式人工智能服務(wù)暫行管理辦法》：世界隱式標(biāo)識(shí)要求l《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》：規(guī)范人工智能生成合成內(nèi)容標(biāo)識(shí)，重點(diǎn)明確“顯式”隱式標(biāo)識(shí)要求顯式標(biāo)識(shí)要求顯式標(biāo)識(shí)要求l《科技倫理審查辦法（試行）》：規(guī)范科學(xué)研l(wèi)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》：具有輿論屬性或者社會(huì)動(dòng)員能力的算法推薦服務(wù)提供者應(yīng)當(dāng)按照國家有關(guān)規(guī)定履行備案手續(xù)。行業(yè)規(guī)范文件：重要合規(guī)參考l《生成式人工智能服務(wù)安全基本要求》：明確了生成式人工智能服務(wù)在語料安全、安全措施要求內(nèi)容治理要求服務(wù)安全要求安全措施要求內(nèi)容治理要求服務(wù)安全要求模型安全要求模型安全要求語料安全語料安全要求研發(fā)階段服務(wù)階段理安全風(fēng)險(xiǎn)防范指引》：提出人工智能研發(fā)、供應(yīng)等活動(dòng)的18健康發(fā)展“建立健全保障人工智能健康發(fā)展的法律法規(guī)、制度體系、倫理道德”——習(xí)近平主持中共中央政治局第九次集體學(xué)習(xí)的講話開放協(xié)同“鼓勵(lì)通過國際合作和實(shí)際行動(dòng)幫助各國特別是健康發(fā)展“建立健全保障人工智能健康發(fā)展的法律法規(guī)、制度體系、倫理道德”——習(xí)近平主持中共中央政治局第九次集體學(xué)習(xí)的講話開放協(xié)同“鼓勵(lì)通過國際合作和實(shí)際行動(dòng)幫助各國特別是發(fā)展中國家加強(qiáng)人工智能能力建設(shè)，增強(qiáng)發(fā)展中國家在人工智能全球治理中的代表性和發(fā)言權(quán)”——中國在聯(lián)合國大會(huì)提出的加強(qiáng)人工智能能力建設(shè)國際合作決議治理理念6中國人工智能倫理治理現(xiàn)狀政府行業(yè)企業(yè)政府行業(yè)企業(yè)政策引導(dǎo)+監(jiān)管協(xié)調(diào)智能倫理邊界。及時(shí)發(fā)現(xiàn)并處理引發(fā)倫理風(fēng)險(xiǎn)的行為。技術(shù)標(biāo)準(zhǔn)+行業(yè)規(guī)范發(fā)揮專業(yè)性和影響力，制定人公眾監(jiān)督+共治參與合理使用人工智能，并利用各種渠落實(shí)要求+內(nèi)部合規(guī)智能項(xiàng)目的各個(gè)環(huán)節(jié)符合法律法規(guī)規(guī)定的倫理要求。治理治理模式輸出中國治理方案主張輸出中國治理方案主張搭建全球治理機(jī)制參與多邊治理活動(dòng)8\探索并推動(dòng)中國治理方案走向世界。例如，發(fā)布《全球人工智/能治理倡議》等文件，積極參與國際標(biāo)準(zhǔn)的制定。\積極搭建各國共建共治平臺(tái)。例如，推動(dòng)建設(shè)“一帶一路”數(shù)/字治理研究院，參與并推動(dòng)以聯(lián)合國為核心的多邊合作機(jī)制。\推動(dòng)全球AI技術(shù)和治理合作。例如，在巴黎峰會(huì)主辦專題邊會(huì)，/探討如何促進(jìn)各國共享人工智能發(fā)展成果。7形勢(shì)與要求99中央要求亟待落實(shí)ll健全完善人工智能監(jiān)管機(jī)制。黨的二十屆三中全會(huì)提出，“完善生成式人工智能發(fā)展和管理機(jī)制”“加強(qiáng)網(wǎng)絡(luò)安全體制建設(shè)，建立人工智能安全監(jiān)管制度”。l加強(qiáng)人工智能治理國際合作。習(xí)近平總書記強(qiáng)調(diào)：“同各國加強(qiáng)交流和對(duì)話，共同促進(jìn)全球人工智能健康有序安全發(fā)展”。實(shí)踐問題亟待解決促進(jìn)技術(shù)發(fā)展與保障倫理安全之間的關(guān)系日促進(jìn)技術(shù)發(fā)展與保障倫理安全之間的關(guān)系日益復(fù)雜，平衡各維度矛盾成為實(shí)踐難題：l技術(shù)普及V.S.社會(huì)公平。如何更好處理技術(shù)快速發(fā)展中出現(xiàn)的資源分配不公、部分群體被邊緣化等問題？l自主決策V.S.人類控制。如何更好兼顧實(shí)現(xiàn)在提升人工智能技術(shù)先進(jìn)性的同時(shí)，確保技術(shù)受人類控制？l商業(yè)利益V.S.公眾利益。如何更好地避免商業(yè)短期利益凌駕于人類利益之上？l全球治理V.S.區(qū)域規(guī)則。如何妥善彌合全球人工智能倫理治理的鴻溝？企業(yè)訴求亟待回應(yīng)企業(yè)訴求亟待回應(yīng)通過調(diào)研華為、騰訊、通過調(diào)研華為、騰訊、360、京東、快手等國內(nèi)十余家人工智能代表性企業(yè)，總結(jié)出企業(yè)對(duì)人工智能倫理治理優(yōu)化的三方面共性訴求：l基于場(chǎng)景化開展分類監(jiān)管。應(yīng)更有效區(qū)分不同的應(yīng)用場(chǎng)景和風(fēng)險(xiǎn)等級(jí)。l提升規(guī)則、流程的明確性。應(yīng)更明確“輿論屬性和社會(huì)動(dòng)員能力”等概念界定，進(jìn)一步明確大模型備案和算法備案之間的關(guān)系。l強(qiáng)化規(guī)則間的協(xié)同性。應(yīng)更好處理個(gè)人信息保護(hù)、算法公平、數(shù)據(jù)安全等相關(guān)治理工具和規(guī)則之間的關(guān)系。通過階段性推進(jìn)、場(chǎng)景化適配和動(dòng)態(tài)化調(diào)整的策略方法，持續(xù)優(yōu)化我國人工智能倫理風(fēng)險(xiǎn)治理。通過階段性推進(jìn)、場(chǎng)景化適配和動(dòng)態(tài)化調(diào)整的策略方法，持續(xù)優(yōu)化我國人工智能倫理風(fēng)險(xiǎn)治理。8優(yōu)化路徑建議持續(xù)完善法律法規(guī)體系l完善和更新現(xiàn)有法律，針對(duì)新出現(xiàn)的問題制定l適時(shí)起草制定人工智能綜合性法律，構(gòu)建基礎(chǔ)性、紅線性制度規(guī)范以及科學(xué)性、系統(tǒng)性兼?zhèn)鋸?qiáng)化多元協(xié)同治理機(jī)制l行業(yè)組織加大自律力度，探索行業(yè)治理經(jīng)驗(yàn)并l企業(yè)強(qiáng)化合規(guī)管理，將人工智能倫理要求嵌入深化國際治理合作l加強(qiáng)國際合作和實(shí)踐探索，積極為全球AI治理l靈活調(diào)整國際合作策略，減少單邊主義對(duì)全球科技合作的干預(yù)，推動(dòng)建立更加公正合理的全統(tǒng)籌倫理治理與產(chǎn)業(yè)發(fā)展l建立技術(shù)與倫理協(xié)同創(chuàng)新體系。構(gòu)建全鏈條倫理嵌入研發(fā)機(jī)制，將可信AI技術(shù)、倫理增強(qiáng)型l部署倫理治理類創(chuàng)新產(chǎn)品應(yīng)用推廣。推動(dòng)企業(yè)l探索新型激勵(lì)機(jī)制。探索將企業(yè)倫理治理水平9政法所（工業(yè)和信息化法律服務(wù)中心）人工智能治理開展工作提供市場(chǎng)咨詢服務(wù)政府工作提供市場(chǎng)咨詢助力企業(yè)合規(guī)產(chǎn)品合規(guī)方案：助力企業(yè)合規(guī)產(chǎn)品合規(guī)方案：為重點(diǎn)企業(yè)的人工智能產(chǎn)品提供合規(guī)方案企業(yè)合規(guī)流程：為企業(yè)人工智能治理提供全流程合規(guī)方案園區(qū)企業(yè)合規(guī)：為軟件園區(qū)等提供園區(qū)企業(yè)合規(guī)路徑咨詢其他專項(xiàng)合規(guī)咨詢：針對(duì)特定問題提供合規(guī)咨詢支撐規(guī)則制定法律法規(guī)層面：全國人大等人工智能立法支撐研究規(guī)章辦法層面：支撐工信部人工智能相關(guān)規(guī)章咨詢意見支撐。如《標(biāo)識(shí)》《倫理》等行業(yè)標(biāo)準(zhǔn)層面：探索研究人工智能領(lǐng)域企業(yè)合規(guī)標(biāo)準(zhǔn)建設(shè)服務(wù)地方