我國(guó)算法治理政策研究報(bào)告

四部分提出了若干政策建議，包括(1)在治理目標(biāo)上，實(shí)現(xiàn)算法可問(wèn)責(zé)與算法經(jīng)濟(jì)高質(zhì)量發(fā)展；(2)在治理主體上，通過(guò)部際聯(lián)席會(huì)議制度形成算法治理合 (一)算法的定義和分類 1 (二)算法的經(jīng)濟(jì)和社會(huì)價(jià)值 2 (三)算法的不確定性影響 4 (四)算法治理的概念界定與治理框架 9 二、域外(國(guó)際組織)算法治理的基本現(xiàn)狀與主要案例 10(一)歐盟算法治理現(xiàn)狀和案例 10 (二)美國(guó)算法治理現(xiàn)狀和案例 14 (三)新加坡算法治理現(xiàn)狀和案例 18 (四)國(guó)際標(biāo)準(zhǔn)組織在算法治理規(guī)則和實(shí)踐上的探索 19 (一)歐美算法治理實(shí)踐比較 20 (二)我國(guó)算法治理現(xiàn)狀分析 25 (三)比較視野下我國(guó)算法治理的現(xiàn)存問(wèn)題 26 (一)在宏觀維度上，調(diào)試與完善算法治理框架 28 3.在治理對(duì)象上，建立一套共性的規(guī)則和標(biāo)準(zhǔn)后統(tǒng)籌考慮多元應(yīng)用場(chǎng)景 (二)在微觀維度上，構(gòu)建并適用全生命周期風(fēng)險(xiǎn)管理流程 32 (三)用例分析：醫(yī)療輔助算法和自動(dòng)駕駛算法的治理與發(fā)展 34 算法概述與算法治理框架(一)算法的定義和分類法的分類根據(jù)不同維度，算法有不同的分類：(1)從算法范疇的維度看，可以分成 (AI)、機(jī)器學(xué)習(xí)(Machine-Learning)等基礎(chǔ)上產(chǎn)生的復(fù)雜“算法”，也包括簡(jiǎn)相應(yīng)預(yù)期結(jié)果的系統(tǒng)。(2)從算法技術(shù)邏輯的維度看，根據(jù)學(xué)習(xí)方式，機(jī)器學(xué)生環(huán)境的學(xué)習(xí)方式。(3)從算法應(yīng)用的維度看，根據(jù)我國(guó)《互聯(lián)網(wǎng)信息服務(wù)算(二)算法的經(jīng)濟(jì)和社會(huì)價(jià)值共.助力制造業(yè)智能化升級(jí)，提升生產(chǎn)效率：其一，保障生產(chǎn)安全。2.推動(dòng)商業(yè)模式創(chuàng)新拓展，算法成為行業(yè)核心競(jìng)爭(zhēng)力“互聯(lián)網(wǎng)+”的新經(jīng)濟(jì)形態(tài)下，將更多的要素資源轉(zhuǎn)化為商業(yè)價(jià)值。對(duì)于2營(yíng)銷正在成為數(shù)字時(shí)代的商業(yè)模式新常態(tài)。中國(guó)信通院發(fā)布的《大數(shù)據(jù)白皮書 此提升資源配置效率。應(yīng)對(duì)復(fù)雜的外部環(huán)境。423.算法催生新業(yè)態(tài)，顯著拉動(dòng)就業(yè)我國(guó)經(jīng)濟(jì)結(jié)構(gòu)的一大動(dòng)力。根據(jù)中國(guó)信通院發(fā)布的《全球數(shù)字經(jīng)濟(jì)新圖景(2020(三)算法的不確定性影響信息繭房數(shù)字鴻溝信息繭房數(shù)字鴻溝責(zé)任認(rèn)定道德困境數(shù)字勞工財(cái)富再分配算法不透明算法偏見義為損失的不確定性。改變和重塑人類生活。個(gè)維度對(duì)算法風(fēng)險(xiǎn)進(jìn)行分析(見圖1)。1.可能的社會(huì)風(fēng)險(xiǎn)：算法可能加劇“信息繭房”和數(shù)字鴻溝簽性”，從而加劇網(wǎng)絡(luò)社會(huì)的階層分化，形成新的數(shù)字鴻溝(DigitalDivide)，重新排序、分類和分級(jí)，進(jìn)而導(dǎo)致“信息繭房”現(xiàn)象的迅速蔓延與日益固化，基度大規(guī)模失業(yè)的潛在風(fēng)險(xiǎn)。斯坦福大學(xué)人工智能與倫理學(xué)教授杰瑞?卡普蘭在《人3.可能的法律風(fēng)險(xiǎn)：算法可能影響公平正義構(gòu)方面優(yōu)勢(shì)的不斷強(qiáng)化，傳統(tǒng)“國(guó)家-公民”二元主體框架下的金字塔型權(quán)力結(jié)構(gòu)逐漸被打破，并型塑為“政府監(jiān)管的制度權(quán)力、平臺(tái)運(yùn)營(yíng)商的技術(shù)權(quán)力與用戶享有的正當(dāng)權(quán)利”的扁平化權(quán)力結(jié)構(gòu)。在這種新型權(quán)力結(jié)構(gòu)框架下，日常生活中用戶以交換個(gè)人數(shù)據(jù)而享受平臺(tái)公司應(yīng)用的數(shù)字生活方式，隨著算法技術(shù)及其架4.可能的道德風(fēng)險(xiǎn)：算法可能引致“道德困境”和追責(zé)難題是為什么越來(lái)越多的人工智能專家強(qiáng)調(diào)“人在環(huán)中”(HumanintheLoop)的模(四)算法治理的概念界定與治理框架關(guān)于算法治理，學(xué)界有兩個(gè)研究方向：其一，算法治理(Algorithmic論“算法官僚”的問(wèn)題。其二，治理算法(GovernanceofAlgorithms)，即基于風(fēng)險(xiǎn)預(yù)防的理念，將算法及其運(yùn)用場(chǎng)景作為治理對(duì)象，如討論“算法歧視”、“算法霸權(quán)”、“算法共謀”等問(wèn)題。每一項(xiàng)人工智能技術(shù)背后都有一套算法支撐，算法2.算法治理五要素框架二、域外(國(guó)際組織)算法治理的基本現(xiàn)狀與主要案例(一)歐盟算法治理現(xiàn)狀和案例理的總體思路2019年由歐洲議會(huì)研究服務(wù)中心未來(lái)與科學(xué)和技術(shù)小組發(fā)布的《算法責(zé)任義義務(wù)。同時(shí)該報(bào)告強(qiáng)調(diào)了負(fù)責(zé)任研究與創(chuàng)新(ResponsibleResearchandInnovation)在促進(jìn)實(shí)現(xiàn)算法公平中的作用和意義。在對(duì)既有案例梳理和技術(shù)問(wèn)(1)應(yīng)當(dāng)提升公眾算法意識(shí)和素養(yǎng)，形成社會(huì)輿論的治理氛圍(2)建立算法影響評(píng)估機(jī)制(3)建立監(jiān)管機(jī)制(4)實(shí)現(xiàn)全球協(xié)調(diào)治理2.歐盟對(duì)算法的治理框架和應(yīng)用規(guī)則AI預(yù)和監(jiān)督機(jī)制。第二，確保AI的穩(wěn)健性和AI和結(jié)果的可追溯性，保證AI的決策結(jié)果可AI產(chǎn)品或接受服務(wù)。第六，鼓勵(lì)A(yù)I系統(tǒng)負(fù)擔(dān)3.歐盟將算法治理嵌入數(shù)據(jù)治理的框架中、限制處理權(quán)、反對(duì)權(quán)、4.歐洲算法治理最新案例：意大利禁止算法歧視(二)美國(guó)算法治理現(xiàn)狀和案例1.美國(guó)沒(méi)有采取集中的、命令控制式的治理方式2016年奧巴馬政府發(fā)布報(bào)告討論人工智能已有的和潛在的應(yīng)用，以及人工即行政機(jī)構(gòu)應(yīng)該促進(jìn)可依靠、魯棒的和值得信任的人工智能應(yīng)用。(2)公眾參與，即公眾有機(jī)會(huì)提供信息和參與規(guī)則制定過(guò)程中的各個(gè)環(huán)節(jié)。(3)科學(xué)誠(chéng)信和信息質(zhì)量，即制定政策應(yīng)基于可核驗(yàn)的證據(jù)，并向公眾明確溝通。(4)風(fēng)險(xiǎn)(6)靈活性，即考慮到人工智能技術(shù)的快速變化，“僵硬的、基于設(shè)計(jì)的規(guī)則”即行政機(jī)構(gòu)應(yīng)該考慮人工智能部署的公平和非歧視的問(wèn)題。(8)披露和透明，夠的情況下要求額外的披露。(9)安全，即行政機(jī)構(gòu)應(yīng)該注意人工智能任何潛在的安全風(fēng)險(xiǎn)，同時(shí)注意惡意部署和使用人工智能的風(fēng)險(xiǎn)。(10)跨機(jī)構(gòu)合作，2.美國(guó)沒(méi)有統(tǒng)一的監(jiān)管部門而由各個(gè)部門在自己職責(zé)范圍內(nèi)規(guī)制算法聯(lián)邦貿(mào)易委員會(huì)(FederalTradeCommission，F(xiàn)TC)將其職責(zé)解釋為在國(guó)家的影響。聯(lián)邦食品和藥品管理局(FoodandDrugAdministration，F(xiàn)DA)針對(duì)人工智能的具體用途發(fā)布了一些指導(dǎo)文件，比如人工智能賦能(AI-powered)的醫(yī)DA工智能賦能的糖尿病篩查技術(shù)等。證券交易委員會(huì)(SecuritiesandExchange全納入現(xiàn)有的交通系統(tǒng)中，報(bào)告還討論了監(jiān)管問(wèn)題。美國(guó)國(guó)家科學(xué)基金會(huì) 美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NationalInstituteofStandardsandTechnology,NIST)3.美國(guó)聯(lián)邦層面尚沒(méi)有就算法治理制定專門法律 (使用算法或人工決策進(jìn)行)消費(fèi)者信用信息的收集、信用報(bào)告的制作和獲取。1996年的《健康保險(xiǎn)可攜帶性和問(wèn)責(zé)法》(HealthInsurancePortabilityandAccountabilityAct，HIPAA)規(guī)定了醫(yī)療信息(包括個(gè)人可識(shí)別信息)的收集和該文件要求美國(guó)FTC制定和實(shí)施新規(guī)則，要求使用“自動(dòng)化決策系統(tǒng)”的私人公RonWyden與參議員CoryBooker和眾議員YvetteClarke推出更新策提出質(zhì)疑的記錄。該法案還提出，建議為美國(guó)FTC增4.美國(guó)州層面出臺(tái)算法治理的各類規(guī)章在自動(dòng)駕駛領(lǐng)域，根據(jù)國(guó)家議會(huì)州立法(NationalConferenceofState法透明法案，并于2018年設(shè)立了“算法問(wèn)責(zé)特別工作組”(AlgorithmicAccountabilityTaskFore)，專門負(fù)責(zé)市政府使用算法的情況，就加強(qiáng)紐約市算5.美國(guó)的非政府組織和行業(yè)自律發(fā)揮作用對(duì)算法治理的討論，對(duì)算法治理起到重要作用。具體包括：(1)人工智能伙伴(PartnershiponArtificialIntelligence)：該組織整合了研究機(jī)構(gòu)、私人企業(yè)和非政府組織，討論人工智能促進(jìn)公共利益的問(wèn)題。(2)消費(fèi)者報(bào)告組織：敦促企業(yè)和政府讓公眾對(duì)個(gè)人數(shù)據(jù)擁有更大的控制權(quán)。(3)美國(guó)公民自由聯(lián)盟：主要利等。(4)Up-turn：重點(diǎn)關(guān)注公平金融、刑事司法和數(shù)字權(quán)利方面的法律和政策。(5)人工智能現(xiàn)代研究所(AINow)：研究人工智能對(duì)社會(huì)影響的法律和每年會(huì)發(fā)布相關(guān)報(bào)告。(6)美國(guó)程序代碼組織：關(guān)注通過(guò)數(shù)字技術(shù)增加各級(jí)政府的有效性和可訪問(wèn)性。(7)民主與技術(shù)中心：研究制定與算法和公民自由相關(guān)的政策建議。(8)數(shù)據(jù)與社會(huì)研究所：致力于促進(jìn)公眾關(guān)于以數(shù)據(jù)為中心的立了一家非營(yíng)利性的人工智能合作組織(PartnershiponAI)，且蘋果、英特爾賣給執(zhí)法機(jī)關(guān)和軍方。該公司涉嫌欺騙消費(fèi)者，違反了聯(lián)邦貿(mào)易委員會(huì)法案 (三)新加坡算法治理現(xiàn)狀和案例加坡發(fā)布人工智能治理框架模型者來(lái)說(shuō)是可解釋的、透明的和公平的。該模型從四個(gè)方面闡述了適用于常見AI型框架是新加坡通過(guò)投資和建設(shè)AI能力來(lái)實(shí)現(xiàn)這一目標(biāo)的努力的一部分?！?.新加坡就算法審計(jì)提出原則性要求英文完整版文件參見ModelArtificialIntelligenceGovernanceFramework(SecondEdition)，載.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/AI/SGModelAIGovFramework2.pdf.3.新加坡推動(dòng)自愿性自我評(píng)估測(cè)試工具的研發(fā)和使用 括技術(shù)和非技術(shù)標(biāo)準(zhǔn))、測(cè)試過(guò)程以及衡量指標(biāo)，其中倫理原則包括了11項(xiàng)國(guó)明、可解釋、可復(fù)現(xiàn)、安全、魯棒、AdditiveexPlanations的AdversarialRobustnessToolkit和測(cè)試公平此外，新加坡當(dāng)局還致力于搭建一個(gè)人工智能測(cè)試社群(Community)，包。(四)國(guó)際標(biāo)準(zhǔn)組織在算法治理規(guī)則和實(shí)踐上的探索ISO/IECJTC1/SC42是負(fù)責(zé)制定人工智能國(guó)際標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化組織(下面簡(jiǎn)稱AI算法治理也是整個(gè)AI體系化ISOIECTS如何處IAI理組織在AI技術(shù)和系統(tǒng)的開發(fā)和應(yīng)用過(guò)程中面工作，以支持可信賴(如關(guān)于可解釋性的ISO/IECTS6254，關(guān)于透明度分類的ISO/IEC12792，關(guān)于社會(huì)/個(gè)人影響評(píng)估的ISO/ISO42005，關(guān)于質(zhì)量評(píng)估的系列)、生命周期過(guò)程(ISO/IEC5338)、測(cè)試(ISO/IECTS29119-11)等。三、歐美算法治理實(shí)踐比較與我國(guó)算法治理現(xiàn)狀分析(一)歐美算法治理實(shí)踐比較防范技術(shù)風(fēng)險(xiǎn)。室(OSTP)發(fā)布的《人工智能應(yīng)用監(jiān)管指南》(GuidanceforRegulationofArtificialIntelligenceApplications)重申了應(yīng)少用“硬性”監(jiān)管，鼓勵(lì)行政機(jī)構(gòu)與私營(yíng)部門合作。總《關(guān)于機(jī)器人民事法律規(guī)則的立法建議報(bào)告草案》(DraftReportwithRecommendationstotheCommissionCivilLawRulesonRobotics《歐盟人工智能政策》(ArtificialtelligentforEurope歐盟委員會(huì)《算法的可問(wèn)責(zé)和透明的治理框架》 (AGovernanceFrameworkforAlgorithmicAccountabilityandency《可信任AI倫理指南》(EthicsinesforTrustworthyAI歐盟專家組《人工智能和民事責(zé)任》(ArtificialIntelligenceandCivilLiability)報(bào)告《人工智能法》(提案)歐盟委員會(huì)據(jù)規(guī)則+算法原則”構(gòu)成了歐盟治理算法的制度體系，即通過(guò)“數(shù)據(jù)規(guī)則”實(shí)現(xiàn)算問(wèn)權(quán)、對(duì)個(gè)人數(shù)據(jù)的更正權(quán)、對(duì)個(gè)人數(shù)據(jù)的刪除權(quán)(被遺忘權(quán))、限制處理權(quán)、在歐盟，2019年發(fā)布的《算法責(zé)任與透明治理框架》(AGovernancemicAccountabilityandTransparency美AccountabilityTaskFore)，其專門監(jiān)督市政府使用算法的情況，監(jiān)督場(chǎng)景包括Bill)禁止在線平臺(tái)通過(guò)算法歧視性處理個(gè)人信息。4.治理手段：歐盟和美國(guó)都提出了算法影響評(píng)估作為制度性工具果控制的原則，由責(zé)任人進(jìn)行自我評(píng)估，算法影響評(píng)估(AlgorithmicImpactment類環(huán)境質(zhì)量有重大影響的聯(lián)邦行動(dòng)的提議”編制并公開發(fā)布環(huán)境影響報(bào)告書 歐盟GDPR規(guī)定了數(shù)據(jù)保護(hù)影響評(píng)估制度，歐盟《算法責(zé)任與透明治理框架》 求、個(gè)人信息及決策結(jié)果存儲(chǔ)的時(shí)間。(3)消費(fèi)者對(duì)決策結(jié)果的獲取權(quán)和修改(5)算法主體采取的降低風(fēng)險(xiǎn)的措施。紐約大學(xué)AINow研究所發(fā)布的一份報(bào)關(guān)事項(xiàng)。(4)征求公共評(píng)論以澄清相關(guān)擔(dān)憂和答復(fù)相關(guān)問(wèn)題。(5)為受影響的5.治理模式：歐盟和美國(guó)都采用多元主體參與、協(xié)同共治的模式發(fā)布報(bào)告建議人工智能的相關(guān)倫理問(wèn)題可以通過(guò)透明度和自我規(guī)制伙伴關(guān)系來(lái)眾等發(fā)揮了重要作用。比如第三方非盈利組織“為了人民”(ProPublica)發(fā)現(xiàn)了一些量刑算法中存在的系統(tǒng)性歧視問(wèn)題。人工智能伙伴(PartnershiponArtificialence谷歌、IBM和Facebook聯(lián)合成立人工智能合作組織(PartnershiponAI)，共同(二)我國(guó)算法治理現(xiàn)狀分析法治理的“法治之網(wǎng)”雛形初步形成所謂“硬法”)要弱的準(zhǔn)法律文件。軟法有多種表述形式，諸如“合作規(guī)制”、“自律規(guī)范”和“準(zhǔn)規(guī)制”等?？梢钥吹?見表3)，我國(guó)已經(jīng)初步形成一張算指導(dǎo)意見》《個(gè)人信息安全規(guī)范》《人工智能倫理安全風(fēng)險(xiǎn)防范指引》《深度學(xué)習(xí)算法評(píng)估規(guī)范》《遠(yuǎn)程人臉識(shí)別系統(tǒng)技術(shù)要求》等能北京共識(shí)》2.現(xiàn)階段算法治理的重點(diǎn)問(wèn)題和場(chǎng)景基本明確據(jù)殺熟、算法共謀、3.互聯(lián)網(wǎng)信息領(lǐng)域的算法治理主管機(jī)構(gòu)得以確定(三)比較視野下我國(guó)算法治理的現(xiàn)存問(wèn)題1.在治理目標(biāo)上，現(xiàn)有規(guī)則缺乏體系性，治理目標(biāo)不夠聚焦主體上，多部門“治理競(jìng)爭(zhēng)”，未形成治理合力3.在治理對(duì)象上，重點(diǎn)規(guī)制市場(chǎng)主體，忽視公共主體的算法責(zé)任4.在治理手段上，以行政監(jiān)管為主，對(duì)技術(shù)治理措施重視不夠任夠完善議(一)在宏觀維度上，調(diào)試與完善算法治理框架1.在治理目標(biāo)上，實(shí)現(xiàn)算法可問(wèn)責(zé)與算法經(jīng)濟(jì)高質(zhì)量發(fā)展技術(shù)界從技術(shù)角度增強(qiáng)算法的可解釋性，如技術(shù)界提出可解釋性人工智能 2.在治理主體上，通過(guò)部際聯(lián)席會(huì)議制度形成算法治理合力d監(jiān)管機(jī)構(gòu)，并對(duì)算法進(jìn)行行政許可，要求“有實(shí)驗(yàn)證據(jù)證明算法是安全和可靠的責(zé)2、社區(qū)管理不完善、要不同部門協(xié)同發(fā)力。3.在治理對(duì)象上，建立一套共性的規(guī)則和標(biāo)準(zhǔn)后統(tǒng)籌考慮多元應(yīng)用場(chǎng)景官僚”指通過(guò)政府購(gòu)買或以公私合作的方式介入政府公共管理過(guò)程的算法公司及其24.在治理手段上，善用技術(shù)治理措施“黑箱”的問(wèn)題，業(yè)界也在開發(fā)技術(shù)方案，比如谷歌提出模型透明性工具“modelcardInterpretML師協(xié)會(huì)(IEEE)則提出“遵循倫理的設(shè)計(jì)”(EthicallyAlignedDesign)，“遵循倫理的設(shè)計(jì)”包括兩個(gè)方面：第一，將價(jià)值和倫理標(biāo)準(zhǔn)程序化為代碼嵌入到系統(tǒng)中，并5.在治理模式上，優(yōu)化多元主體參與的協(xié)同共治模式2立“吹哨人”制度，鼓勵(lì)企業(yè)內(nèi)部人員監(jiān)督舉報(bào)，并對(duì)“吹哨人”提供保護(hù)?？傊?，制定，引入第三方獨(dú)立的監(jiān)督力量(見表4)。是科學(xué)知識(shí)的供給者，是人才的培養(yǎng)(二)在微觀維度上，構(gòu)建并適用全生命周期風(fēng)險(xiǎn)管理流程流程和措施見下圖2法模型使用了有偏見、2.保障算法可問(wèn)責(zé)。比如在用于信息安全、3.監(jiān)督并適時(shí)調(diào)整模型2練和決策結(jié)果，實(shí)時(shí)跟蹤、審計(jì)和評(píng)估模型的功能。(見圖2)(三)用例分析：醫(yī)療輔助算法和自動(dòng)駕駛算法的治理與發(fā)展2019年7月，我國(guó)成立人工智能醫(yī)療器械創(chuàng)新合作平臺(tái)，發(fā)布《深度學(xué)習(xí) (1)醫(yī)療數(shù)據(jù)缺失妨礙醫(yī)療輔助算法大規(guī)模開發(fā)和利用的問(wèn)題和建議2(2)以技術(shù)創(chuàng)新加強(qiáng)數(shù)據(jù)安全和個(gè)人信息保護(hù)的問(wèn)題和建議是基于數(shù)據(jù)的算法。。2的(4)促進(jìn)臨床試驗(yàn)中使用人工智能技術(shù)的問(wèn)題和建議藥品審評(píng)中心(CDE)發(fā)布《新冠肺炎疫情期間藥物臨床試驗(yàn)管理指導(dǎo)原則(試訊技術(shù)，以受試者為中心開展臨床試驗(yàn)?！?5)降低人工智能輔助醫(yī)療算法的市場(chǎng)準(zhǔn)入壁壘的問(wèn)題和建議2在醫(yī)療應(yīng)用中成熟度低(指未上市或安全有效性尚未得到充分證實(shí))的人工智能定、用藥指導(dǎo)、.自動(dòng)駕駛算法業(yè)的發(fā)展。(1)自動(dòng)駕駛汽車的市場(chǎng)準(zhǔn)入問(wèn)題和建議準(zhǔn)入問(wèn)題。雖然北京、2(2)自動(dòng)駕駛汽車的法律責(zé)任規(guī)則問(wèn)題和建議則存在規(guī)則缺失。(4)自動(dòng)駕駛汽車的保險(xiǎn)制度問(wèn)題和建議2/42俞可平.全球治理引論[J].馬克思主義與現(xiàn)實(shí),2002(01):20-32.AlexEnglerTheEUandUSarestartingtoalignonAIregulationEBOL].1)[2022-03-20]./blog/techtank/2022/02/01/the-eu-and-u-s-are-starting-to-align-on-ai-regulation/.eOfficeofthePresidentMaintainingAmericanLeadershipintelligenceEBOLhttps//documents/2019/02/14/2019-02544/maintaining-american-leadership-in-ar