可信人工智能白皮書-D

1、可信人工智能白皮書目錄 HYPERLINK l _bookmark0 一、 可信人工智能發(fā)展背景1 HYPERLINK l _bookmark1 （一） 人工智能技術(shù)風(fēng)險引發(fā)信任危機(jī)1 HYPERLINK l _bookmark2 （二） 全球各界高度重視可信人工智能2 HYPERLINK l _bookmark5 （三） 可信人工智能需要系統(tǒng)方法指引7 HYPERLINK l _bookmark7 二、 可信人工智能框架8 HYPERLINK l _bookmark10 三、 可信人工智能支撐技術(shù)12 HYPERLINK l _bookmark11 （一） 人工智能系統(tǒng)穩(wěn)定性技術(shù)12 HYP

2、ERLINK l _bookmark12 （二） 人工智能可解釋性增強(qiáng)技術(shù)14 HYPERLINK l _bookmark13 （三） 人工智能隱私保護(hù)技術(shù)15 HYPERLINK l _bookmark14 （四） 人工智能公平性技術(shù)17 HYPERLINK l _bookmark15 四、 可信人工智能實踐路徑18 HYPERLINK l _bookmark16 （一） 企業(yè)層面18 HYPERLINK l _bookmark18 （二） 行業(yè)層面25 HYPERLINK l _bookmark19 五、 可信人工智能發(fā)展建議27 HYPERLINK l _bookmark20 （一） 政

3、府層面加快推動我國人工智能監(jiān)管及立法進(jìn)程27 HYPERLINK l _bookmark21 （二） 技術(shù)研究層面需全面做好體系化前瞻性布局27 HYPERLINK l _bookmark22 （三） 企業(yè)實踐層面需匹配業(yè)務(wù)發(fā)展實現(xiàn)敏捷可信28 HYPERLINK l _bookmark23 （四） 行業(yè)組織層面需搭建交流合作平臺打造可信生態(tài)28 HYPERLINK l _bookmark24 參考文獻(xiàn)30圖 目 錄 HYPERLINK l _bookmark3 圖 1 可信人工智能相關(guān)論文數(shù)量圖4 HYPERLINK l _bookmark4 圖 2 企業(yè)開展可信人工智能實踐情況6 HYPE

4、RLINK l _bookmark6 圖 3 可信人工智能核心內(nèi)容8 HYPERLINK l _bookmark8 圖 4 可信人工智能總體框架9 HYPERLINK l _bookmark9 圖 5 全球 84 份人工智能倫理文件中的主要關(guān)鍵詞11表 目 錄 HYPERLINK l _bookmark17 表 1 數(shù)據(jù)集中常見的固有偏見24可信人工智能白皮書 PAGE 32一、可信人工智能發(fā)展背景人工智能作為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，正在對經(jīng)濟(jì)發(fā)展、社會進(jìn)步、國際政治經(jīng)濟(jì)格局等諸方面產(chǎn)生重大而深遠(yuǎn)的影響。2020 年人工智能產(chǎn)業(yè)保持平穩(wěn)增長，根據(jù) IDC 測算，全球人工智能產(chǎn)業(yè)

5、規(guī)模為 1565 億美元，同比增長 12%；根據(jù)中國信息通信研究院測算，我國產(chǎn)業(yè)規(guī)模達(dá)到約 434 億美元（3031 億人民幣），同比增長 15%。人工智能在帶來巨大機(jī)遇的同時，也蘊(yùn)含著風(fēng)險和挑戰(zhàn)。習(xí)近平總書記高度重視人工智能治理工作，強(qiáng)調(diào)要“確保人工智能安全、可靠、可控”，倡議推動落實二十國集團(tuán)人工智能原則，引領(lǐng)全球人工智能健康發(fā)展。（一）人工智能技術(shù)風(fēng)險引發(fā)信任危機(jī)當(dāng)前，人工智能應(yīng)用的廣度和深度不斷拓展，正在成為信息基礎(chǔ)設(shè)施的重要組成。但在此過程中，人工智能也不斷暴露出一些風(fēng)險隱患，主要體現(xiàn)在以下幾個方面：算法安全導(dǎo)致的應(yīng)用風(fēng)險。以深度學(xué)習(xí)為核心的人工智能技術(shù)存在脆弱和易受攻擊的缺陷，使得

6、人工智能系統(tǒng)的可靠性難以得到足夠的信任。如優(yōu)步（Uber）自動駕駛汽車未能及時識別路上行人而致其死亡；據(jù)美國財富雜志報道，一家人工智能公司利用 3D 面具和合成照片實施欺騙攻擊，成功破解多國的人臉識別系統(tǒng)1。黑箱模型導(dǎo)致算法不透明。深度學(xué)習(xí)具備高度復(fù)雜性和不確定性， 從而容易引發(fā)不確定性風(fēng)險。由于人們無法直觀地理解決策背后的原1 /omn/20191230/20191230A0FX0R00.html因，人工智能與傳統(tǒng)行業(yè)的進(jìn)一步融合受到阻礙。如美國德州某學(xué)校使用人工智能系統(tǒng)判斷老師教學(xué)水平，由于系統(tǒng)不能解釋爭議性決策的判斷依據(jù)，遭到該校教師的強(qiáng)烈抗議，最終導(dǎo)致系統(tǒng)下線。數(shù)據(jù)歧視導(dǎo)致智能決策偏見

7、。人工智能算法產(chǎn)生的結(jié)果會受到訓(xùn)練數(shù)據(jù)的影響，因此，如果訓(xùn)練數(shù)據(jù)中存在偏見歧視，算法會受到歧視數(shù)據(jù)的影響，并進(jìn)一步固化數(shù)據(jù)中存在的偏見歧視，導(dǎo)致依托人工智能算法生成的智能決策形成偏見。如美國芝加哥法院使用的犯罪風(fēng)險評估系統(tǒng)（COMPAS）被證明對黑人存在歧視2。系統(tǒng)決策復(fù)雜導(dǎo)致責(zé)任事故主體難以界定。人工智能的系統(tǒng)的自動化決策受眾多因素影響，使得責(zé)任主體難以界定。對于自動駕駛、機(jī)器人等應(yīng)用安全事故頻發(fā)，法學(xué)專家表示，從現(xiàn)行法律上看人工智能本身還難以成為新的侵權(quán)責(zé)任主體，但人工智能的具體行為受程序控制，發(fā)生侵權(quán)時，到底是由所有者還是軟件研發(fā)者擔(dān)責(zé)，仍需進(jìn)一步探討3。數(shù)據(jù)濫用導(dǎo)致隱私泄露風(fēng)險。生物識

8、別信息的頻繁使用使得個人隱私數(shù)據(jù)泄露的可能性增大，數(shù)據(jù)一旦丟失會造成極大的安全風(fēng)險。如 ZAO 通過用戶協(xié)議條款違規(guī)收集人臉數(shù)據(jù)4，加重了人們對隱私數(shù)據(jù)濫用可能造成刷臉支付和身份認(rèn)證相關(guān)安全風(fēng)險的擔(dān)憂。（二）全球各界高度重視可信人工智能面對人工智能引發(fā)的全球信任焦慮，發(fā)展可信人工智能已經(jīng)成為2 https:/ HYPERLINK /a/299700146_358040 /a/299700146_3580403 HYPERLINK /n1/2018/0502/c40606-29959959.html /n1/2018/0502/c40606-29959959.html4 HYPERLINK /i

9、ndustry/company/20190909/5075700.shtml /industry/company/20190909/5075700.shtml全球共識。2019 年 6 月，二十國集團(tuán)（G20）提出“G20 人工智能原則”，在其五項政府建議中明確提出的“促進(jìn)公共和私人對人工智能研發(fā)的投資力度，以促進(jìn)可信賴的人工智能（Trustworthy Artificial Intelligence）的創(chuàng)新；需創(chuàng)建一個策略環(huán)境，為部署值得信賴的人工智能系統(tǒng)開辟道路?！币呀?jīng)成為國際社會普遍認(rèn)同的人工智能發(fā)展原則。學(xué)術(shù)界首先推開了可信人工智能的大門。中國科學(xué)家何積豐院士于 2017 年 11 月

10、香山科學(xué)會議第S36 次學(xué)術(shù)研討會首次在國內(nèi)提出了可信人工智能的概念，即人工智能技術(shù)本身具備可信的品質(zhì)。從學(xué)術(shù)研究角度，可信人工智能研究范疇包含了安全性、可解釋、公平性、隱私保護(hù)等多方面內(nèi)容。2020 年可信人工智能研究論文數(shù)量相比2017 年增長近 5 倍；美國國防高級研究計劃局發(fā)布學(xué)術(shù)報告可解釋人工智能并開展相關(guān)資助活動，致力于推動可信人工智能發(fā)展； 頂級會議 AAAI 連續(xù) 2 年組織可解釋人工智能（Explainable AI）專題研討，并一直保持火熱的研究態(tài)勢。同時，圍繞著機(jī)器學(xué)習(xí)公平性、可問責(zé)和透明性的研究已經(jīng)形成“FAccT ML”（Fairness, Accountabilit

11、y and Transparency in Machine Learning）社區(qū)，在此基礎(chǔ)上，ACM 從18 年開始連續(xù) 4 年發(fā)起學(xué)術(shù)會議ACM FAccT（ACM Conference on Fairness, Accountability, and Transparency）。來源：Web of Science 官網(wǎng)圖 1 可信人工智能相關(guān)論文數(shù)量圖5政府把增強(qiáng)用戶信任、發(fā)展可信人工智能，放在其人工智能倫理和治理的核心位置。2020 年歐盟的人工智能白皮書1提出了人工智能“可信生態(tài)系統(tǒng)”，旨在落實歐洲人工智能監(jiān)管框架，提出對高風(fēng)險人工智能系統(tǒng)的強(qiáng)制性監(jiān)管要求。同年 12 月，美國白宮公

12、布了一項名為促進(jìn)政府使用可信人工智能的行政命令6，該命令為聯(lián)邦機(jī)構(gòu)使用人工智能制定指導(dǎo)方針，旨在促進(jìn)公眾接受并信任政府在決策中使用人工智能技術(shù)。標(biāo)準(zhǔn)化組織布局可信人工智能標(biāo)準(zhǔn)。ISO/IEC JTC1 SC42 專門設(shè)置了 WG3 可信人工智能工作組，目前已發(fā)布信息技術(shù) 人工智能人工智能的可信度概述，正在推進(jìn)信息技術(shù) 人工智能 評估神經(jīng)5 中國信息通信研究院根據(jù) Web of Science 檢索整理。6 https:/ HYPERLINK /newsDetail_forward_10263830 /newsDetail_forward_10263830網(wǎng)絡(luò)的魯棒性系列研究工作。國內(nèi)成立全國信

13、息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會人工智能分技術(shù)委員會（SAC/TC 28/SC 42），同步推進(jìn)相關(guān)研究。 2020 年 11 月，全國信息安全標(biāo)準(zhǔn)化技術(shù)委員會 TC260 工作組發(fā)布了網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實踐指南人工智能倫理道德規(guī)范指引意見征求稿， 針對可能產(chǎn)生的人工智能倫理道德問題，提出了安全開展人工智能相 關(guān)活動的規(guī)范指引。企業(yè)積極探索實踐可信人工智能。IBM Research AI 于 2018 年開發(fā)多個人工智能可信工具，以評估測試人工智能產(chǎn)品在研發(fā)過程中的公平性、魯棒性、可解釋性、可問責(zé)性、價值一致性。這些工具已捐獻(xiàn)給 Linux Foundation 并成為了開源項目。微軟、谷歌、京東、騰訊、曠視

14、等國內(nèi)外企業(yè)也在積極開展相關(guān)實踐工作，圖 2 梳理了部分企業(yè)在可信人工智能方面的探索情況。來源：資料整理圖 2 企業(yè)開展可信人工智能實踐情況7結(jié)合各方的表述，本白皮書認(rèn)為“可信”反映了人工智能系統(tǒng)、產(chǎn)品和服務(wù)在安全性、可靠性、可解釋、可問責(zé)等一系列內(nèi)在屬性的7 根據(jù)公開資料整理?？尚刨嚦潭?，可信人工智能則是從技術(shù)和工程實踐的角度，落實倫理治理要求，實現(xiàn)創(chuàng)新發(fā)展和風(fēng)險治理的有效平衡。未來，隨著人工智能技術(shù)、產(chǎn)業(yè)的不斷發(fā)展，可信人工智能的內(nèi)涵還將不斷豐富。（三）可信人工智能需要系統(tǒng)方法指引當(dāng)前對可信人工智能的要求及評價方法實操性不斷加強(qiáng)。各國都意識到，倫理等“軟性”約束如果缺乏相應(yīng)落地機(jī)制，就容易

15、出現(xiàn)道德漂白（ethics washing）的情況8，因此需要操作性更強(qiáng)的手段。2021 年 2 月，德國發(fā)布了人工智能云服務(wù)一致性評價目錄 AI Cloud Service Compliance Criteria Catalogue (AIC4)9，從實操層面定義了評價云環(huán)境下人工智能的可信程度。4 月，歐盟委員會公布了“制定人工智能統(tǒng)一規(guī)則（人工智能法）”并修訂了相關(guān)立法提案，提出了一種平衡和相稱的人工智能橫向監(jiān)管方法，圍繞民生、人民基本權(quán)益劃分了人工智能的四級風(fēng)險框架，并規(guī)定了相應(yīng)的處罰方式，意圖通過法律手段提高市場的信任度，推動人工智能技術(shù)的推廣和落地，推進(jìn)人工智能可信。 5 月，美國

16、國家標(biāo)準(zhǔn)與技術(shù)研究院提出了評估人工智能系統(tǒng)中用戶信任度的方法，并發(fā)布人工智能和用戶信任（NISTIR 8332）10，從實操層面定義了評價人類使用人工智能系統(tǒng)時的信任體驗。6月，美國國防部致力于通過教育和培訓(xùn)建立可信賴的人工智能能力， 通過系統(tǒng)工程和風(fēng)險管理方法在整個采購生命周期實施監(jiān)管。8 https:/ HYPERLINK /2019/12/27/57/ai-ethics-washing-time-to-act/ /2019/12/27/57/ai-ethics-washing-time-to-act/9https:/ HYPERLINK http:/www.bsi.bund.de/Sha

17、redDocs/Downloads/EN/BSI/CloudComputing/AIC4/AI-Cloud-Service-Compliance- /www. HYPERLINK http:/www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/CloudComputing/AIC4/AI-Cloud-Service-Compliance- bsi.bund.de/SharedDocs/Downloads/EN/BSI/CloudComputing/AIC4/AI-Cloud-Service-Compliance- Criteria-Catalogue_AIC

18、4.html10https:/ HYPERLINK /news-events/news/2021/05/nist-proposes-method-evaluating-user-trust-artificial-intelligence- /www. HYPERLINK /news-events/news/2021/05/nist-proposes-method-evaluating-user-trust-artificial-intelligence- /news-events/news/2021/05/nist-proposes-method-evaluating-user-trust-a

19、rtificial-intelligence- systems人工智能立法進(jìn)程不斷加快，但具體細(xì)則仍需進(jìn)一步明確；同時產(chǎn)業(yè)界探索可信人工智能也逐步邁入深水區(qū)。總體上看，針對可信人工智能的實踐仍處于相對分散的狀態(tài)，缺少一套體系化的方法論，以實現(xiàn)全面貫徹相關(guān)治理要求，體系化落實相關(guān)操作的實踐性指引?；诖?，本白皮書在全面梳理人工智能倫理約束、規(guī)范立法及優(yōu)秀實踐的基礎(chǔ)上，提出“可信人工智能框架”，作為落實人工智能治理要求的一整套方法論，從產(chǎn)業(yè)維度出發(fā)，圍繞企業(yè)和行業(yè)的可信實踐進(jìn)行了深入剖析，致力于在人工智能治理和產(chǎn)業(yè)實踐之間搭建起連接的橋梁。圖 3 可信人工智能核心內(nèi)容來源：中國信息通信研究院企業(yè)可

20、信實踐層面，框架以企業(yè)人工智能系統(tǒng)生命周期為參照， 結(jié)合五項可信特征要求，針對周期各個環(huán)節(jié)提出了實操性要求，并對企業(yè)可信文化及可信管理機(jī)制建設(shè)提出了細(xì)節(jié)性建議。行業(yè)可信實踐層面，框架從標(biāo)準(zhǔn)、評估及保障三個維度進(jìn)行了詳細(xì)闡述。二、可信人工智能框架可信人工智能從學(xué)術(shù)界提出，到各界積極研究，再到產(chǎn)業(yè)界開始落地實踐，其內(nèi)涵也在逐步的豐富和演進(jìn)。本白皮書認(rèn)為，可信人工智能已經(jīng)不再僅僅局限于對人工智能技術(shù)、產(chǎn)品和服務(wù)本身狀態(tài)的界定，而是逐步擴(kuò)展至一套體系化的方法論，涉及到如何構(gòu)造“可信” 人工智能的方方面面。圖 4 給出了可信人工智能的總體框架。圖 4 可信人工智能總體框架來源：中國信息通信研究院可信人工

21、智能是落實人工智能治理的重要實踐，所遵循的可信特征與人工智能倫理和相關(guān)法律法規(guī)等要求一脈相承，均將以人為本作為其要求。從治理方式上來看，相較于倫理從宏觀層面做出指引、法律以結(jié)果為導(dǎo)向做出約束，可信人工智能深入到企業(yè)內(nèi)部管理、研發(fā)、運營等環(huán)節(jié)，以及行業(yè)相關(guān)工作，將相關(guān)抽象要求轉(zhuǎn)化為實踐所需的具體能力要求，從而提升社會對人工智能的信任程度?？尚盘卣鲗用妗Ｍㄟ^對全球范圍內(nèi)已經(jīng)發(fā)布的 84 份政策文件按 照詞頻進(jìn)行梳理，可以看到當(dāng)前人工智能治理原則已經(jīng)收斂在透明性、安全性、公平性、可問責(zé)、隱私保護(hù)等五個方面2。盡管不同的組織由于其文化背景、業(yè)務(wù)性質(zhì)及管理制度等存在差異，對于這些共同原則的理解及實施方法

22、有不同傾向，但從產(chǎn)業(yè)維度來看，以上五項共識的核心理念均是圍繞如何構(gòu)建多方可信的人工智能而細(xì)化提出的。這五項共識對于如何增強(qiáng)供給側(cè)和需求側(cè)雙方使用人工智能的信任，協(xié)助監(jiān)管機(jī)構(gòu)培育可信的健康產(chǎn)業(yè)生態(tài)提供了指引。本白皮書參考全球五項共識（圖 5）、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）倡議以及發(fā)布的人工智能行業(yè)自律公約3和可信 AI 操作指引4，總結(jié)提出可靠可控、透明可釋、數(shù)據(jù)保護(hù)、明確責(zé)任、多元包容等五項可信特征要素，用以指引實踐可信人工智能時所需具備的操作能力。來源：資料整理圖 5 全球 84 份人工智能倫理文件中的主要關(guān)鍵詞11可信支撐技術(shù)層面，圍繞著可靠可控、透明可釋、數(shù)據(jù)保護(hù)、明確責(zé)任和多元

23、包容等可信特征的要求，以理論研究和技術(shù)創(chuàng)新為核心11 引自人工智能原則的全球格局（The global landscape of AI ethics guidelines），中國信息通信研究院整理。抓手，從而彌補(bǔ)當(dāng)前技術(shù)的不足。例如研究可解釋的新一代人工智能算法、具備隱私保護(hù)能力的隱私計算技術(shù)等，這需要學(xué)術(shù)界和工業(yè)界積極的探索。企業(yè)可信實踐層面，人工智能在社會上的廣泛應(yīng)用依賴于企業(yè)等主體將技術(shù)商品化，因此企業(yè)在可信人工智能方面的實踐是可信方法論中的關(guān)鍵一環(huán)。應(yīng)該意識到?jīng)]有完美的技術(shù)，關(guān)鍵在于如何正確使用技術(shù)：一方面需要培育可信文化和建設(shè)可信管理制度等；另一方面需要在人工智能系統(tǒng)研發(fā)和使用的整個

24、生命周期中貫徹可信特征的要求，從產(chǎn)品源頭確保“可信”品質(zhì)。行業(yè)可信實踐層面，可信人工智能需要整個行業(yè)的參與和實踐。主要包括可信人工智能標(biāo)準(zhǔn)體系的建設(shè)，可信人工智能評估測試，以及人工智能可信保障等，通過構(gòu)建保險等社會化方式分擔(dān)人工智能技術(shù)和系統(tǒng)應(yīng)用帶來的風(fēng)險。三、可信人工智能支撐技術(shù)隨著社會各界對人工智能信任問題的不斷關(guān)注，安全可信的人工智能技術(shù)已成為研究領(lǐng)域的熱點5,6。研究的焦點主要是提升人工智能系統(tǒng)穩(wěn)定性、可解釋性、隱私保護(hù)、公平性等，這些技術(shù)構(gòu)成了可信人工智能的基礎(chǔ)支撐能力。（一）人工智能系統(tǒng)穩(wěn)定性技術(shù)人工智能系統(tǒng)面臨著特有的干擾，這些干擾來自于針對數(shù)據(jù)和系統(tǒng)的多種攻擊方式，包括中毒攻擊

25、、對抗攻擊、后門攻擊等。這些攻擊技術(shù)既可互相獨立也可以同時存在。例如，中毒攻擊通過按照特殊的規(guī)則進(jìn)行惡意評論等方式，向訓(xùn)練數(shù)據(jù)集投入干擾數(shù)據(jù)，繼而影響推薦系統(tǒng)的準(zhǔn)確度17；對抗攻擊通過在道路交通標(biāo)志牌上貼上特殊設(shè)計的圖案，可以誤導(dǎo)自動駕駛系統(tǒng)使其錯誤識別路牌上的信息，進(jìn)而造成交通事故18；后門攻擊具有隱蔽性，可能會被用于對 AI 供應(yīng)鏈發(fā)動攻擊。相比于傳統(tǒng)的軟件系統(tǒng)，此類干擾對人工智能系統(tǒng)的穩(wěn)定性提出了更高的要求。人工智能的穩(wěn)定問題引起了持續(xù)而廣泛的研究。針對人工智能模型的對抗攻擊與中毒攻擊早在 2012 及 2013 年就已出現(xiàn)。其中，對抗攻擊的目的在于通過構(gòu)造針對性樣本來誘使人工智能系統(tǒng)決

26、策出錯； 而中毒攻擊的目的在于通過向人工智能模型的訓(xùn)練數(shù)據(jù)集注入中毒樣本來劣化訓(xùn)練得到的模型的性能。在此之后，對抗攻擊相繼發(fā)展出了 FGSM（ Fast Gradient Sign Method ）、Carlini-Wagner 及 PGD（Projected Gradient Descent）等攻擊方法；而中毒攻擊的發(fā)展同樣十分迅速，在其基礎(chǔ)上更出現(xiàn)了后門攻擊。后門攻擊通過后門樣本向人工智能系統(tǒng)植入后門，從而達(dá)到定向操縱人工智能系統(tǒng)的目的。該攻擊與中毒攻擊存在一定相似性，且常通過中毒攻擊的方式來向系統(tǒng)植入后門。為抵御這些攻擊，一些工作提出各類異常數(shù)據(jù)檢測方法來檢出并清除對抗樣本、中毒樣本、后

27、門樣本等惡意數(shù)據(jù)，從而減輕惡意攻擊帶來的干擾；通過在對抗樣本上進(jìn)行對抗訓(xùn)練來抵抗對抗攻擊； 利用模型剪枝、后門檢測等技術(shù)抵抗后門攻擊。人工智能的穩(wěn)定性仍然面臨著較大的挑戰(zhàn)。一方面，各種干擾手段層出不窮、持續(xù)演進(jìn)，而新的攻擊方法容易讓舊的防御方法失效；另一方面，干擾的形式正在逐步從數(shù)字世界向物理世界蔓延，例如通過打印對抗樣本等手段能夠直接對自動駕駛和人臉識別系統(tǒng)造成物理層面的干擾。未來在人工智能穩(wěn)定性技術(shù)方面的研究將持續(xù)增多。（二）人工智能可解釋性增強(qiáng)技術(shù)目前，以深度學(xué)習(xí)算法為核心的人工智能系統(tǒng)的運作就像是一個黑箱，人們只能看到數(shù)據(jù)的導(dǎo)入和輸出，而不清楚內(nèi)部的工作原理和判斷依據(jù)。一方面，人們對訓(xùn)

28、練得到的人工智能模型為何能具有極高的性能尚不清楚；另一方面，人工智能系統(tǒng)在做出決策時具體依賴哪些因素人們也不清楚。針對人工智能算法可解釋性的研究仍處在初期階段，部分算法的理論框架有待完善7,8,9,14,15。例如，優(yōu)化算法的有效性在決策樹、支持向量機(jī)等一些簡單的人工智能模型上已被很好地證明。然而，對于隨機(jī)梯度下降算法為何能高效優(yōu)化深度神經(jīng)網(wǎng)絡(luò)，學(xué)術(shù)界已經(jīng)開展了大量的研究，但目前對于該問題的討論仍未有定論。又如，針對人工智能模型如何利用數(shù)據(jù)特征做出預(yù)測，學(xué)術(shù)界已通過實驗取得了一定的成果，但還缺乏理論支撐。為了使人工智能模型具有更好的可解釋性，研究學(xué)者提出可以通過建立適當(dāng)?shù)目梢暬瘷C(jī)制嘗試評估和解

29、釋模型的中間狀態(tài)；通過影響函數(shù)來分析訓(xùn)練數(shù)據(jù)對于最終收斂的人工智能模型的影響；通過 Grad-CAM（Gradient-weighted Class Activation Mapping）方法分析人工智能模型利用哪些數(shù)據(jù)特征做出預(yù)測；通過LIME（Local Interpretable Model-agnostic Explanations）方法使用簡單的可解釋模型對復(fù)雜的黑盒模型進(jìn)行局部近似來研究黑盒模型的可解釋性；還有部分研究則提出可以通過建立完善的模型訓(xùn)練管理機(jī)制提升人工智能系統(tǒng)實現(xiàn)過程的可復(fù)現(xiàn)性。在人工智能的產(chǎn)業(yè)落地過程中，應(yīng)最大限度地使人工智能系統(tǒng)的行為對人類更透明、更容易理解、更可

30、信。一味地相信人工智能系統(tǒng)所做出的決策，而不對其決策過程進(jìn)行解釋會極大限制人工智能系統(tǒng)在國防、法律、醫(yī)療、教育等關(guān)鍵領(lǐng)域的普及，甚至引發(fā)嚴(yán)重的社會問題。增強(qiáng)人工智能系統(tǒng)的可解釋性迫在眉睫。（三）人工智能隱私保護(hù)技術(shù)人工智能系統(tǒng)需要依賴大量數(shù)據(jù)，然而數(shù)據(jù)的流轉(zhuǎn)過程以及人工 智能模型本身都有可能泄漏敏感隱私數(shù)據(jù)。例如，在數(shù)據(jù)流轉(zhuǎn)的任意 階段，惡意攻擊者可以對匿名數(shù)據(jù)集發(fā)起攻擊，從而竊取數(shù)據(jù)；在數(shù) 據(jù)發(fā)布階段，惡意攻擊者可以使用身份重識別對匿名數(shù)據(jù)集發(fā)起攻擊， 從而竊取隱私信息；惡意攻擊者也可以直接針對人工智能模型發(fā)起攻 擊，從而竊取隱私信息。例如，模型反轉(zhuǎn)攻擊可以根據(jù)受攻擊模型的 輸出推斷并重建其

31、訓(xùn)練數(shù)據(jù)，從而竊取隱私信息；成員推斷攻擊可以 推斷給定數(shù)據(jù)樣本是否來自受攻擊模型的訓(xùn)練數(shù)據(jù)集，從而造成隱私 泄露。學(xué)界針對上述隱私泄露問題提出了多種針對性的保護(hù)方法，最常 見的為基于差分隱私和基于聯(lián)邦學(xué)習(xí)的隱私保護(hù)方法。差分隱私最早 由美國學(xué)者Cynthia Dwork10于 2006 年提出，是人工智能系統(tǒng)隱私保護(hù)能力的一個主要量化指標(biāo)。其核心思想是一個具有優(yōu)秀隱私保護(hù)能 力的人工智能算法應(yīng)當(dāng)對輸入數(shù)據(jù)中的微小擾動不敏感?；谠撍枷?，可以通過對數(shù)據(jù)進(jìn)行下采樣、順序置換、添加噪聲等方式，來防御攻擊者進(jìn)行隱私竊取。2016 年，谷歌公司的一項工作首次將差分隱私應(yīng)用于深度學(xué)習(xí)中，其通過在模型訓(xùn)練過

32、程中向梯度加入高斯噪聲來增強(qiáng)深度模型的隱私保護(hù)能力。該工作展現(xiàn)了差分隱私法在大規(guī)模人工智能模型中的應(yīng)用潛力。目前，一些頭部科技公司已將差分隱私法應(yīng)用于部分真實的業(yè)務(wù)中。聯(lián)邦學(xué)習(xí)19在 2015 年提出，其能在不收集用戶數(shù)據(jù)的條件下進(jìn)行人工智能模型的訓(xùn)練，以期保護(hù)隱私信息。具體來說，聯(lián)邦學(xué)習(xí)將模型部署到用戶設(shè)備；各用戶設(shè)備使用自己的私有數(shù)據(jù)，計算模型參數(shù)的梯度，并將其上傳中央服務(wù)器；中央服務(wù)器對收集到的梯度進(jìn)行融合，傳回各用戶設(shè)備；各用戶設(shè)備利用融合后的梯度更新模型參數(shù)。需要指出的是，一些初步研究表明，聯(lián)邦學(xué)習(xí)方法仍存在一定的隱私泄露風(fēng)險。有實驗顯示，聯(lián)邦學(xué)習(xí)可能泄露一定量的本地用戶數(shù)據(jù)11，同

33、時有理論指出，聯(lián)邦學(xué)習(xí)可能會在一定程度上弱化人工智能系統(tǒng)的隱私保護(hù)能力12。因此，還需要針對聯(lián)邦學(xué)習(xí)進(jìn)一步優(yōu)化，提升其用戶隱私保護(hù)的能力。一個可行的方向是將聯(lián)邦學(xué)習(xí)和差分隱私相結(jié)合，以構(gòu)建隱私保護(hù)能力更強(qiáng)的人工智能系統(tǒng)。在當(dāng)前時代下，越來越多的隱私信息承載于數(shù)據(jù)之中，人們對隱私數(shù)據(jù)保護(hù)的關(guān)注更勝以往，部分國家也開始從立法層面制定隱私數(shù)據(jù)的使用規(guī)范。針對隱私保護(hù)進(jìn)行研究能使得人工智能系統(tǒng)符合法律的基本規(guī)范和要求，完善可信人工智能的建設(shè)。（四）人工智能公平性技術(shù)隨著人工智能系統(tǒng)的廣泛應(yīng)用，其表現(xiàn)出了不公平?jīng)Q策行為以及對部分群體的歧視。學(xué)術(shù)界認(rèn)為，導(dǎo)致這些決策偏見的主要原因如下： 受數(shù)據(jù)采集條件限制

34、，不同群體在數(shù)據(jù)中所占權(quán)重不均衡；在不平衡數(shù)據(jù)集上訓(xùn)練得到的人工智能模型，可能會為了在整體數(shù)據(jù)上的平均性能，而犧牲在少量數(shù)據(jù)上的性能，造成模型決策不公平。為了保障人工智能系統(tǒng)的決策公平性，相關(guān)研究者主要通過構(gòu)建完整異構(gòu)數(shù)據(jù)集，將數(shù)據(jù)固有歧視和偏見最小化；對數(shù)據(jù)集進(jìn)行周期性檢查，保證數(shù)據(jù)高質(zhì)量性。此外，還有通過公平?jīng)Q策量化指標(biāo)的算法來減輕或消除決策偏差及潛在的歧視?，F(xiàn)有的公平性指標(biāo)可以分為個體公平性與群體公平性兩大類13,16,20。其中，個體公平性衡量智能決策對于不同個體的偏見程度，而群體公平性則衡量智能決策對于不同群體的偏見程度。另一方面，基于公平性指標(biāo)的算法則大致能分為預(yù)處理方法、處理中方

35、法及后處理方法共三大類。預(yù)處理方法通過刪除敏感信息或重采樣等方式對數(shù)據(jù)進(jìn)行清洗，從而降低數(shù)據(jù)中存在的偏差。處理中方法通過在人工智能模型訓(xùn)練過程中加入與公平性量化有關(guān)的正則項，提高訓(xùn)練得到的模型的公平性，例如，有工作采用 R nyi 相關(guān)性作為正則項，并利用最小-最大優(yōu)化算法來減少模型預(yù)測與敏感屬性之間的任意潛在相關(guān)性。后處理方法通過對模型輸出進(jìn)行調(diào)整，進(jìn)一步提高訓(xùn)練得到的模型的公平性，例如，有工作基于多重精確度（Multiaccuracy）的概念提出多精度提升法（Multiaccuracy Boost），以減輕黑盒人工智能系統(tǒng)的決策偏差。人工智能在敏感領(lǐng)域的應(yīng)用越來越多，包括招聘、刑事司法、醫(yī)

36、療等，其公平性也受到了廣泛的擔(dān)憂。公平性技術(shù)能夠從技術(shù)角度對數(shù)據(jù)進(jìn)行均衡，從而進(jìn)一步引導(dǎo)模型給出公平的結(jié)果，這對于提高人工智能系統(tǒng)決策公平性具有重要意義。當(dāng)前越來越多的研究關(guān)注到人工智能在穩(wěn)定性、可解釋性、隱私保護(hù)、公平性等問題上的挑戰(zhàn)，隨著研究的不斷深入，勢必將會涌現(xiàn)出更穩(wěn)定、更透明、更公平的人工智能理論及技術(shù)，而這些技術(shù)是未來實現(xiàn)可信人工智能的基石與重要保障。四、可信人工智能實踐路徑本白皮書參考中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布的可信 AI 操作指引相關(guān)內(nèi)容，結(jié)合調(diào)研訪談人工智能企業(yè)研發(fā)實際情況，從企業(yè)和行業(yè)層面總結(jié)提出了可信人工智能的實踐路徑。（一）企業(yè)層面企業(yè)是人工智能技術(shù)、產(chǎn)品或服務(wù)的研發(fā)

37、和使用的核心主體，也是可信人工智能落地實踐中最重要的主體?？尚湃斯ぶ悄茉谄髽I(yè)的實踐是一項整體的、發(fā)展的、非傳統(tǒng)的系統(tǒng)工程，需要從企業(yè)文化、管理制度等方面入手，同時在人工智能系統(tǒng)研發(fā)中全面落實相關(guān)技術(shù)要求。將可信人工智能融入企業(yè)文化企業(yè)文化是一個企業(yè)整體價值觀、共同愿景、使命及思維方式的具體體現(xiàn)，企業(yè)要發(fā)展可信人工智能，就要把可信理念融入企業(yè)文化。企業(yè)管理層要認(rèn)可“可信”的方向作為企業(yè)運營的核心，企業(yè)管理層要在發(fā)展可信人工智能層面達(dá)成一致，全面樹立以人為本的價值觀，認(rèn)同透明可釋、多元包容、可靠可控、明確責(zé)任和隱私保護(hù)的特征要素，將可信人工智能融入到企業(yè)經(jīng)營管理的各個方面，以促進(jìn)企業(yè)整體可信度的提

38、高。員工要加強(qiáng)“可信”的學(xué)習(xí)和實踐企業(yè)可以制定有關(guān)可信人工智能的學(xué)習(xí)培訓(xùn)計劃，通過邀請外部專家宣講、發(fā)放可信人工智能書籍或介紹材料等方式，在員工中普及“可信”理念，推廣使用可信相關(guān)技術(shù)或工具，鼓勵員工在工作中不斷創(chuàng)新和實踐可信人工智能。企業(yè)要營造“可信”的文化氛圍企業(yè)可在辦公場地、網(wǎng)站、宣傳資料、新聞稿件中，體現(xiàn)可信人工智能的元素，展現(xiàn)企業(yè)自身探索可信人工智能的實踐案例，鼓勵員工探討可信人工智能話題，激勵在可信人工智能實踐中做出貢獻(xiàn)的團(tuán)隊或個人。完善可信人工智能的管理制度管理制度是實施管理行為的依據(jù)，是社會再生產(chǎn)過程順利進(jìn)行的保證。企業(yè)要實現(xiàn)可信人工智能，就要在管理制度中有所體現(xiàn)。建立可信人工

39、智能團(tuán)隊在企業(yè)內(nèi)部建立專門的團(tuán)隊（或虛擬組織），負(fù)責(zé)可信人工智能的管理工作。建議由企業(yè)主要負(fù)責(zé)人擔(dān)任領(lǐng)導(dǎo)職務(wù)，便于直接指揮、協(xié)調(diào)其他部門參與可信人工智能相關(guān)工作；可根據(jù)具體業(yè)務(wù)情況，細(xì)分成若干子組；人員構(gòu)成方面建議由有法律、研發(fā)背景的人員專職或兼職組成。明確落實部門及有關(guān)人員的責(zé)任義務(wù)。建立并落實可信人工智能人員管理制度由可信人工智能管理部門牽頭，人力資源、研發(fā)、法務(wù)等部門配合，共同制定可信人工智能相關(guān)人員的管理制度，主要對企業(yè)內(nèi)部涉及人工智能需求分析、產(chǎn)品設(shè)計、研發(fā)、測試及可信管理的相關(guān)人員， 明確人員管理、教育培訓(xùn)、考核等要求。要切實落實人員管理制度， 對相關(guān)人員定期進(jìn)行教育培訓(xùn)及考評，逐

40、步提升人員專業(yè)水平。建立并落實可信人工智能系統(tǒng)研發(fā)與使用的管理制度建立人工智能系統(tǒng)研發(fā)階段的管理制度，明確責(zé)任部門和人員、工作內(nèi)容、工作方法、工作流程和工作要求，由可信人工智能管理部門牽頭督促落實；要明確可信人工智能系統(tǒng)使用階段的管理制度，制定應(yīng)急預(yù)案及救濟(jì)措施，確保系統(tǒng)在使用階段能滿足可信的要求，或在發(fā)生問題后能及時有效解決，最大限度降低傷害和減小損失。配備實現(xiàn)可信人工智能的必要資源企業(yè)內(nèi)部要做好統(tǒng)籌，為實現(xiàn)可信人工智能配備必要的資源，包括但不限于必要的人員、資金、場地、設(shè)施等。建立制度的迭代和和更新機(jī)制企業(yè)要隨著人工智能治理態(tài)勢的變化及相關(guān)政策法規(guī)的出臺，由可信人工智能管理部門牽頭，根據(jù)實

41、際情況，不斷優(yōu)化和完善管理制度，確保能夠及時適應(yīng)，達(dá)到最優(yōu)效果。將可信人工智能要求嵌入到研發(fā)應(yīng)用全流程規(guī)劃設(shè)計階段企業(yè)在人工智能系統(tǒng)生命周期的開始就需要充分考慮落實可信人工智能的特征要素，將可信的理念根植于需求分析和系統(tǒng)詳細(xì)設(shè)計等規(guī)劃設(shè)計的關(guān)鍵環(huán)節(jié)中，從而使后續(xù)的研發(fā)測試和運營能夠始終符合可信人工智能的核心要求。結(jié)合當(dāng)前軟件產(chǎn)品設(shè)計的常見流程，企業(yè)可以通過專門設(shè)立的可信團(tuán)隊，從兩個方面幫助產(chǎn)品團(tuán)隊制定人工智能系統(tǒng)可信設(shè)計方案：一是提出人工智能系統(tǒng)的可信設(shè)計要求。在完成產(chǎn)品需求分析之后，應(yīng)充分調(diào)研人工智能智能系統(tǒng)面臨的潛在風(fēng)險，有針對性地提出應(yīng)對手段，如針對系統(tǒng)安全性、失效保護(hù)機(jī)制、可解釋性、數(shù)

42、據(jù)風(fēng)險、系統(tǒng)責(zé)任機(jī)制、用戶權(quán)利義務(wù)、系統(tǒng)公平性等方面，提出相應(yīng)的可信設(shè)計要求清單。二是評審人工智能系統(tǒng)的可信設(shè)計方案?？尚艌F(tuán)隊中各個專業(yè)領(lǐng)域方向?qū)＜?，需要結(jié)合其自身的專業(yè)知識、工作經(jīng)驗、典型案例等， 驗證人工智能系統(tǒng)可信設(shè)計方案的可行性，發(fā)現(xiàn)潛在問題，提供啟發(fā)性引導(dǎo)和更多的可信設(shè)計延展思路，為后續(xù)可信設(shè)計方案的修改完善提供意見，確保將可信人工智能的核心特征與系統(tǒng)設(shè)計進(jìn)行融合，減少信任漏洞，預(yù)防潛在風(fēng)險事故的發(fā)生。研發(fā)測試階段可靠可控方面，應(yīng)著力提升人工智能系統(tǒng)自身的防御能力并確保人類的監(jiān)督和接管權(quán)力。人工智能系統(tǒng)自身的防御能力可以從數(shù)據(jù)和模型兩個層面進(jìn)行提升，數(shù)據(jù)層面的防御方法包括惡意數(shù)據(jù)預(yù)清

43、洗、利用數(shù)據(jù)增廣等技術(shù)提高模型魯棒性。而在模型層面，除了對生產(chǎn)環(huán)境中的模型進(jìn)行加密、限制生產(chǎn)環(huán)境中模型的惡意查詢交互次數(shù)等傳統(tǒng)安全防御方法外，另一個主要方法為對抗訓(xùn)練。人工智能模型極易被特殊構(gòu)造的攻擊樣本干擾，對抗訓(xùn)練算法可以使用對抗樣本來訓(xùn)練人工智能模型，從而提升模型對于對抗樣本的魯棒性，使得模型更不容易被對抗樣本干擾。另外，在研發(fā)過程中需要針對人工智能系統(tǒng)設(shè)置后備計劃，確保在上線部署后面對突發(fā)情況時，人工智能系統(tǒng)能夠自動調(diào)節(jié)恢復(fù)、被專業(yè)人員快速接管，或通過“一鍵關(guān)?！钡姆绞奖蝗藶榻K止服務(wù)。透明可釋方面，應(yīng)重點提升人工智能系統(tǒng)的可復(fù)現(xiàn)性。當(dāng)前算法 的可解釋性研究與人工智能技術(shù)在應(yīng)用領(lǐng)域的高速

44、發(fā)展相比仍較為 落后，因此企業(yè)在研發(fā)和測試階段應(yīng)主要從提升系統(tǒng)的可復(fù)現(xiàn)性入手， 不僅可以增強(qiáng)系統(tǒng)透明性，同時也能一定程度上降低后期系統(tǒng)審計和 責(zé)任追溯的難度。相關(guān)的主要措施包括：建立完善的數(shù)據(jù)集管理機(jī)制， 結(jié)合現(xiàn)有數(shù)據(jù)管理策略和工具，詳細(xì)記錄系統(tǒng)各版本訓(xùn)練過程中訓(xùn)練 集、測試集的來源和構(gòu)成情況，以及訓(xùn)練過程所采用的數(shù)據(jù)預(yù)處理操 作；建立完善的模型訓(xùn)練管理機(jī)制，詳細(xì)記錄訓(xùn)練模型時所用的硬件 平臺、系統(tǒng)配置、軟件框架、模型版本、模型初始化、超參數(shù)、優(yōu)化 算法、分布式運行策略、網(wǎng)絡(luò)速率、指標(biāo)、測試結(jié)果、以及所采用的 其他技巧和工程技術(shù)手段等。數(shù)據(jù)保護(hù)方面，應(yīng)通過開展數(shù)據(jù)治理以避免訓(xùn)練數(shù)據(jù)的非法收集、

45、濫用和泄漏等問題，同時探索使用隱私保護(hù)算法訓(xùn)練人工智能系統(tǒng)。從算法層面提高人工智能系統(tǒng)的隱私保護(hù)能力，使用差分隱私或聯(lián)邦學(xué)習(xí)等技術(shù)，例如蘋果公司的用戶數(shù)據(jù)收集，美國人口普查等。微軟和哈佛大學(xué)合作創(chuàng)辦的人工智能項目 OpenDP 開發(fā)了很多開源的差分隱私工具包，以對模型和數(shù)據(jù)提供更多保護(hù)。明確責(zé)任方面，應(yīng)全面審計人工智能系統(tǒng)的實現(xiàn)流程，提升系統(tǒng)可追溯能力，確保系統(tǒng)及服務(wù)的源頭可信。審計的主要環(huán)節(jié)包括數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型評估三個環(huán)節(jié)。數(shù)據(jù)準(zhǔn)備過程的審計有助于確認(rèn)訓(xùn)練數(shù)據(jù)的收集是否合法合規(guī)、是否涉及侵犯隱私等情況，數(shù)據(jù)的處理是否遵照了標(biāo)準(zhǔn)的標(biāo)注和預(yù)處理手段，數(shù)據(jù)的存儲是否采用了加密、訪問限制等安

46、全性措施。模型訓(xùn)練環(huán)節(jié)是為人工智能系統(tǒng)賦予“智能”的關(guān)鍵，對硬件平臺、軟件框架、算法選擇、調(diào)參過程等訓(xùn)練的關(guān)鍵環(huán)節(jié)進(jìn)行全面審計，能夠幫助對人工智能系統(tǒng)進(jìn)行追溯。模型的評估很大程度上能夠反映人工智能系統(tǒng)在實際應(yīng)用中的性能表現(xiàn)和泛化能力，標(biāo)準(zhǔn)嚴(yán)謹(jǐn)?shù)脑u估過程往往能夠發(fā)現(xiàn)錯誤，衡量模型質(zhì)量， 并判斷其是否能滿足設(shè)計要求，幫助回溯系統(tǒng)實現(xiàn)過程中存在的問題從而進(jìn)行不斷改進(jìn)，因此需要詳細(xì)審計模型在驗證集和測試集上的指標(biāo)表現(xiàn)和變化。多元包容方面，應(yīng)著重關(guān)注訓(xùn)練數(shù)據(jù)集的公平多樣性，避免數(shù)據(jù)偏差造成的信任缺失。人工智能系統(tǒng)的表現(xiàn)依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量， 數(shù)據(jù)集可能包含隱含的種族、性別或意識形態(tài)偏見等問題（表 1），

47、 從而導(dǎo)致人工智能系統(tǒng)可能會做出不準(zhǔn)確或帶有偏見和歧視的決策。企業(yè)應(yīng)注重提升訓(xùn)練數(shù)據(jù)的多樣性和公平性從而符合多元包容的要求，一方面留意數(shù)據(jù)中可能會出現(xiàn)的固有的歧視和偏見，以采取主動措施來削弱偏見帶來的影響；另一方面，對數(shù)據(jù)集進(jìn)行周期性檢查， 保證數(shù)據(jù)高質(zhì)量性。此外，測試環(huán)節(jié)采用基于公平?jīng)Q策能力的量化指標(biāo)對人工智能系統(tǒng)進(jìn)行測試。目前，具體操作可包括：通過可靠、合法的來源收集數(shù)據(jù)，保證數(shù)據(jù)來源的可信程度。通過統(tǒng)計學(xué)的方式或相關(guān)工具集，檢查數(shù)據(jù)集中樣本、特征、標(biāo)簽的準(zhǔn)確性和完整性，并根據(jù)檢查結(jié)果及時進(jìn)行相應(yīng)的調(diào)整。根據(jù)真實部署環(huán)境的變化及時更新數(shù)據(jù)集，保證數(shù)據(jù)集的時效性和相關(guān)性。構(gòu)建易用的數(shù)據(jù)集格式

48、和接口，簡化數(shù)據(jù)集的讀取和調(diào)用流程， 防止誤操作。在對人工智能模型的公平?jīng)Q策能力進(jìn)行定量分析時，需要根據(jù)具體應(yīng)用場景和特定需求選取合適的量化指標(biāo)，兼顧考慮個體公平性和群體公平性指標(biāo)。表 1 數(shù)據(jù)集中常見的固有偏見序號數(shù)據(jù)質(zhì)量描述1報告偏見人工記錄數(shù)據(jù)集收集情況屬性，無法準(zhǔn)確反映真實客觀情況2自動化偏見自動化的軟件工具生成的結(jié)果本身存在偏見3選擇偏見數(shù)據(jù)集中選擇的樣本未能反映樣本的真實分布情況4群體歸因偏見人們傾向于將個體的真實情況泛化到所屬的整個群體5隱形偏見通常根據(jù)不一定普遍適用的模型和個人經(jīng)驗做出假設(shè)來源：資料整理運營使用階段在人工智能實際運營和使用階段，需要做好人工智能系統(tǒng)的解釋說明工作

49、，持續(xù)監(jiān)測人工智能系統(tǒng)的各項可信風(fēng)險，積極優(yōu)化人工智能系統(tǒng)。一是對用戶披露人工智能系統(tǒng)的技術(shù)意圖。在算法的可解釋性尚未成熟的情況下，對于人工智能系統(tǒng)技術(shù)意圖的理解可以從建立適當(dāng)?shù)娜藱C(jī)交流機(jī)制、披露系統(tǒng)決策的功能邏輯和使用要求、明示系統(tǒng)的潛在錯誤決策風(fēng)險等方面入手。具體來說，企業(yè)應(yīng)在上線部署人工智能系統(tǒng)時，建立適當(dāng)?shù)娜藱C(jī)交流機(jī)制，如設(shè)置一個功能模塊，通過一種通俗易懂的表達(dá)方式，如文字、圖形標(biāo)識、語音提示等，明確地告知用戶當(dāng)前是否正在與人工智能系統(tǒng)進(jìn)行交互。在實際應(yīng)用過程中， 用戶也應(yīng)被明確告知有關(guān)人工智能系統(tǒng)的基本功能、性能表現(xiàn)、使用要求、面向?qū)ο?、以及系統(tǒng)在決策流程中扮演的角色等基本信息。二是

50、持續(xù)開展人工智能風(fēng)險監(jiān)測等。建立用戶反饋渠道，及時收集用戶的真實意見，并對整個系統(tǒng)進(jìn)行優(yōu)化和迭代。監(jiān)測人工智能系統(tǒng)在實際使用過程中的各種風(fēng)險，不斷完善監(jiān)督、賠償?shù)葯C(jī)制，對造成實際損害的人工智能系統(tǒng)及時開展責(zé)任追溯工作和賠償工作。（二）行業(yè)層面可信人工智能的實現(xiàn)不僅僅是企業(yè)單方面的實踐和努力就能夠完成的，更需要多方參與和協(xié)同，最終形成一個相互影響、相互支持、相互依賴的良性生態(tài)。這個生態(tài)主要包括標(biāo)準(zhǔn)體系、評估驗證、合作交流等具體內(nèi)容。一是構(gòu)建可信人工智能的標(biāo)準(zhǔn)體系。政策法律只能規(guī)定原則和底線，需要標(biāo)準(zhǔn)從可執(zhí)行、可落地的層面來進(jìn)行具體的指導(dǎo)和約束。目前，部分國家已在制定或出臺人工智能治理的原則或法律

51、，在此基礎(chǔ)上，可結(jié)合人工智能技術(shù)、產(chǎn)品或場景制定具體的標(biāo)準(zhǔn)規(guī)范。如：2021 年 4 月，我國信息安全技術(shù)人臉識別數(shù)據(jù)安全要求國家標(biāo)準(zhǔn)面向社會公開征求意見，該標(biāo)準(zhǔn)主要為解決人臉數(shù)據(jù)濫采、泄露或丟失， 以及過度存儲、使用等問題，對于個人信息保護(hù)法草案中人臉識別相關(guān)的規(guī)定也作了更多闡述和細(xì)化。二是開展第三方的評估驗證。第三方的評估驗證是檢驗?zāi)繕?biāo)對象是否達(dá)到相關(guān)要求的有效手段，由于人工智能技術(shù)的復(fù)雜性，更加需要專業(yè)的第三方機(jī)構(gòu)給予支持。圍繞可信人工智能的特征，要重點考慮系統(tǒng)安全性、魯棒性、可復(fù)現(xiàn)性、數(shù)據(jù)保護(hù)、可追溯性、公平性等方面的表現(xiàn)。中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟 2020 年也發(fā)布了首批商用人工智能

52、系統(tǒng)可信評估結(jié)果，涉及 11 家企業(yè)的 16 個人工智能系統(tǒng)， 為用戶選型提供了重要參考；歐盟最新發(fā)布的人工智能立法提案中， 也提出了將由權(quán)威第三方機(jī)構(gòu)開展可信評估等舉措。三是摸索市場化的保險機(jī)制。人工智能技術(shù)應(yīng)用與其他信息系統(tǒng)一樣，無論達(dá)到多高的保障等級，出現(xiàn)問題的風(fēng)險始終存在。這就需要創(chuàng)新工作方法，以其他方式轉(zhuǎn)移風(fēng)險損失。保險是風(fēng)險補(bǔ)償?shù)闹匾胧?，可最大程度轉(zhuǎn)移風(fēng)險，彌補(bǔ)用戶損失。建議人工智能企業(yè)及保險機(jī)構(gòu)可探索人工智能產(chǎn)品應(yīng)用的保險機(jī)制，針對風(fēng)險事故進(jìn)行量化評估，提供風(fēng)險補(bǔ)償，幫助完善可信人工智能生態(tài)。五、可信人工智能發(fā)展建議打造可信任的人工智能系統(tǒng)已經(jīng)成為各界關(guān)注的焦點和努力方向。通過

53、實踐可信人工智能方法論，有助于提升人工智能的可信水平， 讓其更好的被社會大眾接受?？尚湃斯ぶ悄懿⒎且怀刹蛔?，而是伴隨著人工智能技術(shù)、倫理、法律的發(fā)展，將會不斷演進(jìn)以適應(yīng)新的發(fā)展需要。這也將對所涉及到的各類主體提出新的要求。（一）政府層面加快推動我國人工智能監(jiān)管及立法進(jìn)程構(gòu)造體系化的人工智能法律監(jiān)管框架。一是完善現(xiàn)行法律法規(guī)以適應(yīng)發(fā)展需要，在網(wǎng)絡(luò)安全法、數(shù)據(jù)安全法，以及未來將發(fā)布的個人信息保護(hù)法等基礎(chǔ)上，梳理人工智能系統(tǒng)監(jiān)管過程面臨的適用問題，不斷完善法律法規(guī)。二是推進(jìn)新立法工作主動應(yīng)對新風(fēng)險， 深入研究人工智能引發(fā)的新問題和新態(tài)勢，及時梳理形成立法建議。三是創(chuàng)新手段推進(jìn)法律的落地執(zhí)行，探索采用

54、試點、沙箱等監(jiān)管方式， 研發(fā)智能化監(jiān)管工具，不斷提高監(jiān)管的效率和靈活性。此外，要堅持統(tǒng)籌推進(jìn)人工智能領(lǐng)域國內(nèi)法治和涉外法治，積極參與多雙邊區(qū)域合作機(jī)制，推動國際間人工智能治理規(guī)則制定，尋求共識、彌合分歧。（二）技術(shù)研究層面需全面做好體系化前瞻性布局可信人工智能一體化研究將是未來重要趨勢。當(dāng)前針對可信人工智能的研究，多是從安全、隱私、公平等單一維度展開。已有研究工作表明，安全性、公平性、可解釋性等不同要求之間存在相互協(xié)同或相互制約的關(guān)系，若僅考慮某一個方面的要求則可能會造成其他要求的沖突。因此需要針對可信人工智能構(gòu)建一體化研究框架，以保持不同特征要素之間的最優(yōu)動態(tài)平衡。面向可信通用人工智能（AG

55、I）的研究需要提前布局。目前無論 是人工智能治理還是可信人工智能的工作，大多是面向弱人工智能技 術(shù)及應(yīng)用來進(jìn)行的，通用人工智能甚至是超級智能尚未引起足夠關(guān)注， 而這些一旦出現(xiàn)將是關(guān)乎人類命運的重大事件，需要具有前瞻性的布 局，如通過發(fā)展超級深度學(xué)習(xí)、量子機(jī)器學(xué)習(xí)等前沿技術(shù)探尋通用人 工智能的發(fā)展路徑。同時，我們也需要在探索強(qiáng)人工智能時開展可信 相關(guān)的研究工作。（三）企業(yè)實踐層面需匹配業(yè)務(wù)發(fā)展實現(xiàn)敏捷可信企業(yè)拓展人工智能技術(shù)應(yīng)用過程中應(yīng)注重可信人工智能敏捷迭代。隨著人工智能技術(shù)與不同行業(yè)的廣泛融合，其應(yīng)用深度與日俱增， 企業(yè)所面臨的可信特質(zhì)要求將不斷擴(kuò)充，這就對企業(yè)應(yīng)具備的可信實踐能力提出了更高

56、的要求。一方面應(yīng)研發(fā)可信人工智能檢測和監(jiān)測工具，以匹配業(yè)務(wù)發(fā)展需要，并針對行業(yè)應(yīng)用的獨特性進(jìn)行升級和迭代。另一方面應(yīng)積極與監(jiān)管部門對接，主動配合參與數(shù)字沙盒、安全港、試點應(yīng)用、標(biāo)準(zhǔn)合規(guī)等監(jiān)管措施，構(gòu)建內(nèi)部和外部相協(xié)調(diào)的敏捷可信機(jī)制。（四）行業(yè)組織層面需搭建交流合作平臺打造可信生態(tài)鼓勵行業(yè)組織圍繞可信人工智能領(lǐng)域搭建專門交流平臺，號召產(chǎn)業(yè)各方共同打造可信人工智能生態(tài)?？尚湃斯ぶ悄苁且豁棌?fù)雜的系統(tǒng)化工程，需要多方共同參與，應(yīng)充分發(fā)揮行業(yè)組織優(yōu)勢，廣泛吸納各方優(yōu)秀實踐經(jīng)驗，編制可信人工智能操作指引；圍繞人工智能研發(fā)管理、技術(shù)保障、產(chǎn)品應(yīng)用等方面，建立完善可信人工智能標(biāo)準(zhǔn)體系； 加快研發(fā)人工智能測評和

57、監(jiān)測能力，運用評估測試、跟蹤監(jiān)測等多種手段，持續(xù)推動可信人工智能在產(chǎn)業(yè)界落地。參考文獻(xiàn)EUROPEAN COMMISSION. WHITE PAPER On Artificial Intelligence-A European approach to excellence and trustR/OL. (2020-02-19)https:/ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdfJobin A., et al. The global lands

58、cape of AI ethics guidelinesJ. Nature Machine Intelligence, 2019, 1(2).中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟 .人工智能行業(yè)自律公約R/OL.(2019-0808) HYPERLINK /uploadfile/2019/0808/20190808053 /uploadfile/2019/0808/20190808053 719487.pdf中 國 人 工 智 能 產(chǎn) 業(yè) 發(fā) 展 聯(lián) 盟 .可 信AI操 作 指 引R/OL.(2020-0923) HYPERLINK /uploadfile/2020/0923/20200923064 /u

59、ploadfile/2020/0923/20200923064 427421.pdf張鈸等. 邁向第三代人工智能J. 中國科學(xué): 信息科學(xué), 2020,v.50(09):7-28.何積豐 . 安全可信人工智能 J. 信息安全與通信保密 , 2019(10):4-8.Liu T., et al. Algorithm-dependent generalization bounds for multi-task learningJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 39, pages 227-241, 2016.He F., et al. Control batch size and learning rate to generalize well:Theoretical and empi