2023人工智能的哲學(xué)倫理和安全性

PAGEPAGE1462人工智能的哲學(xué)、倫理和安全性目錄TOC\o"1-2"\h\u132091.1人工智能的極限 4213251.1.1由非形式化得出的論據(jù) 4323341.1.2由能力缺陷得出的論據(jù) 5315891.1.3數(shù)學(xué)異議 6298211.1.4衡量人工智能 7143431.2機(jī)器能真正地思考嗎 984821.2.1中文房間 9189661.2.2意識(shí)與感質(zhì) 10256301.3人工智能的倫理 12210731.3.1致命性自主武器 1387131.3.2監(jiān)控、安全與隱私 16139151.3.3公平與偏見 19142441.3.4信任與透明度 24243121.3.5工作前景 26301141.3.6機(jī)器人權(quán)利 29204461.3.7人工智能安全性 3028903小結(jié) 37在本文中，我們圍繞人工智能的意義，如何合乎倫理地開發(fā)并應(yīng)用人工智能，以及如何確保其安全性等幾大問題展開討論。長(zhǎng)期以來，哲學(xué)家們一直在拷問一些宏大的問題：大腦是如何工作的？機(jī)器是否有可能像人一樣做出智能的行為？這樣的機(jī)器是否會(huì)有真正的、有意識(shí)的思想？除此之外，我們還新增了一些問題：智能機(jī)器在日常使用中的倫理意蘊(yùn)是什么？應(yīng)該允許機(jī)器做出殺死人類的決定嗎？算法能否做到公平公正？如果機(jī)器能完成所有工作，人類將何去何從？如何控制那些可能比我們更加智能的機(jī)器？人工智能的極限1980年，哲學(xué)家約翰·希爾勒（John Searle）提出了弱人工智能（weakAI）和強(qiáng)人工智能（strong AI）的區(qū)別。弱人工智能的機(jī)器以表現(xiàn)得智能，而強(qiáng)人工智能的機(jī)器是真正地有意識(shí)地在思考（而非僅模擬思考）。隨著時(shí)間的推移，強(qiáng)人工智能的定義轉(zhuǎn)而指代“人類級(jí)別的人工智能”或“通用人工智能”等，可以解決各種各樣的任務(wù)，包括各種新奇的任務(wù)，并且可以完成得像人類一樣好。弱人工智能的批評(píng)者曾懷疑機(jī)器是否真的能有智能行為，現(xiàn)在看起來他們和西蒙·紐科姆（Simon Newcomb）一樣短視。1903年10月，在萊特兄弟在基蒂霍克首次飛行的前兩個(gè)月，紐科姆寫道，“空中飛行是人類永遠(yuǎn)無法應(yīng)對(duì)的幾大難題之一”。然而，近年來的飛速進(jìn)展并不能說明人工智能的成就可以無所不及。艾倫·圖靈（Turing, 1950）是一個(gè)定義人工智能的人，也是第一個(gè)對(duì)人工智能提出可能的異議的人，他預(yù)見了后來人提出的幾乎所有的意見。由非形式化得出的論據(jù)圖靈在“由行為的非形式化得出的論據(jù)”中提到，人類的行為太復(fù)雜了，任何一個(gè)形式化的規(guī)則集都無法完全捕捉到。人們必須使用一些非形式化的準(zhǔn)則，（論據(jù)中聲稱）這些準(zhǔn)則永遠(yuǎn)無法由形式化的規(guī)則集捕捉，因此也永遠(yuǎn)無法在計(jì)算機(jī)程序中編碼。休伯特?德雷福斯（HubertDreyfus）是這一觀點(diǎn)的主要支持者，他曾就人工智能發(fā)表了一系列頗具影響力的質(zhì)疑：《計(jì)算機(jī)不能做什么》（WhatComputersCan’tDo）（Dreyfus,1972）和續(xù)篇《計(jì)算機(jī)不能做什么》（WhatComputersStillCan’tDo）（Dreyfus,1992），以及和他的兄弟斯圖爾特?德雷福斯（StuartDreyfus）合著的MindOverMachine（DreyfusandDreyfus,1986）。同樣，哲學(xué)家肯尼斯·薩瑞（KennethSayre）（Sayre,1993）說：“在對(duì)計(jì)算主義的狂熱推崇中追求人工智能，是根本不可能有任何長(zhǎng)久的結(jié)果的。”他們所批評(píng)的技術(shù)后來被稱為老式人工智能（GoodOld-FashionedAI，GOFAI）。GOFAI對(duì)應(yīng)的簡(jiǎn)單邏輯智能體設(shè)計(jì)在第7章中介紹過，它確實(shí)很難在一個(gè)充要的邏輯規(guī)則集里捕捉適當(dāng)行為的每一種可能性，我們稱之為資格問題（qualification problem）。但就如第12章中提到的概率推理統(tǒng)更適合開放領(lǐng)域和第21章中提到的深度學(xué)習(xí)系統(tǒng)在各種“非形式化”任務(wù)上表現(xiàn)良好一樣，這一批評(píng)評(píng)論并不是針對(duì)計(jì)算機(jī)本身，而僅針對(duì)使用邏輯規(guī)則進(jìn)行編程這一特定風(fēng)格。這種風(fēng)格曾在20世紀(jì)80年代流行，但已被新方法取代。德雷福斯最有力的論據(jù)之一是針對(duì)情景式智能體而不是無實(shí)體的邏輯推理機(jī)。相比于那些看過狗奔跑、和狗一起玩過、曾被狗舔過的智能體來說，一個(gè)對(duì)“狗”的理解僅來自一組有限的如“Dog(x) Mannal(x)”這樣的邏輯語句的智能體是處于劣勢(shì)的。哲學(xué)家安迪·克拉克（AndyClark）（Clark,1998）曾說過：“生物大腦是生物體的首要控制系統(tǒng)，生物體在豐富的真實(shí)世界環(huán)境中行動(dòng)?！备鶕?jù)克拉克的觀點(diǎn)，我們“擅長(zhǎng)于飛盤游戲而弱于邏輯”。體驗(yàn)認(rèn)知（embodiedcognition）方法聲稱單獨(dú)考慮大腦是毫無意義的：認(rèn)知發(fā)生在軀體內(nèi)部，而軀體處于環(huán)境中。我們需要從整體上去研究這個(gè)系統(tǒng)。大腦的運(yùn)行利用其所處環(huán)境中的規(guī)律，這里說的環(huán)境包括軀體的其他部分。在體驗(yàn)認(rèn)知方法中，機(jī)器人、視覺和一些其他的傳感器成為核心而非外圍部分?？偟膩碚f，德雷福斯看到了人工智能還未能完全解決的領(lǐng)域，并由此聲稱人工智能是不可能的?，F(xiàn)在我們看到許多科研人員正在這些領(lǐng)域進(jìn)行持續(xù)的研究和開發(fā)，從而提高了人工智能的能力，降低了其不可能性。由能力缺陷得出的論據(jù)“由能力缺陷得出的論據(jù)”提出“機(jī)器永遠(yuǎn)做不到X”這一主張。關(guān)于X，圖靈列舉了以下例子：回顧這些，我們發(fā)現(xiàn)其中一些事相當(dāng)簡(jiǎn)單，如我們都很熟悉“犯錯(cuò)”的計(jì)算機(jī)。具有元推理能力的計(jì)算機(jī)（第5章）能檢查自身計(jì)算，從而成為自身推理的主體。一項(xiàng)有著百年歷史的技術(shù)已證明它有“讓人愛上它”的能力，它就是泰迪熊。計(jì)算機(jī)象棋專家戴維·利維（DavidLevy）預(yù)計(jì)，到2050年，人們對(duì)愛上類人機(jī)器人一事將習(xí)以為常。至于機(jī)器人墜入愛河，這是虛構(gòu)類文學(xué)作品中的常見主題[1]，但這方面的學(xué)術(shù)推測(cè)有限（Kimetal.,2007）。計(jì)算機(jī)已經(jīng)完成了許多非常新穎的作，在天文學(xué)、數(shù)學(xué)、化學(xué)、礦物學(xué)、生物學(xué)和計(jì)算機(jī)科學(xué)等領(lǐng)域都取得了重大發(fā)現(xiàn)，并通過風(fēng)格轉(zhuǎn)換創(chuàng)造了新的藝術(shù)形式（Gatys et 2016）。總的來說，程序在某些任務(wù)上的表現(xiàn)超過了人類，而在其他任務(wù)上則落后于人類。有一件事是很明顯的，那就是它們不能真正成為人類。如歌劇《葛佩莉亞》（1870）、小說《機(jī)器人會(huì)夢(mèng)見電子羊嗎》（1968）（2001）、《機(jī)器人總動(dòng)員》（2008）和《她》（2013）。數(shù)學(xué)異議圖靈（Turing,1936）和哥德爾（G?del,1931）證明了某些數(shù)學(xué)問題原則上是不能用形式系統(tǒng)解決的。哥德爾不完全性定理（見9.5節(jié)）是最著名的例子。簡(jiǎn)單來說，對(duì)任意能表達(dá)初等數(shù)論的形式化公理框架F，都可以構(gòu)造滿足以下性質(zhì)的哥德爾命題G(F)：G(F)是F中的命題，但在F中不可判定；如果F是一致的，那么G(F)為真。盧卡斯（Lucas,1961）等哲學(xué)家聲稱，這個(gè)定理表明機(jī)器在精神不如人類，因?yàn)闄C(jī)器是形式系統(tǒng)，受限于不完全性定理，它們無法判定自身哥德爾命題的真?zhèn)?，而人類則不受此限制。這引起了很多爭(zhēng)議，產(chǎn)生了大量的文獻(xiàn)，包括數(shù)學(xué)家/物理學(xué)家羅杰·彭羅斯爵士（RogerPenrose）的兩本書（Penrose, 1989, 1994）。彭羅斯用一些新的觀點(diǎn)復(fù)了盧卡斯的觀點(diǎn)，例如，人類之所以不同，是因?yàn)樗麄兊拇竽X是通過量子引力運(yùn)作的——這個(gè)理論對(duì)大腦生理學(xué)做出了許多錯(cuò)誤的預(yù)測(cè)。對(duì)盧卡斯的觀點(diǎn)，我們討論其中3個(gè)問題。第一，一個(gè)智能體無須因?yàn)樽约翰荒芘卸ㄆ渌悄荏w可以判定真?zhèn)蔚拿}而感到羞愧?？紤]以下命題：盧卡斯無法斷言該命題為真。如果盧卡斯斷言該命題為真，那么他就自相矛盾了。而如果盧卡斯無法斷言該命題為真，那么這樣看該命題為真。如此，我們展示了一個(gè)盧卡斯無法斷言但其他人（和機(jī)器）可以斷言的真命題。但這并不會(huì)讓我們小看盧卡斯。第二，哥德爾不完全性定理和相關(guān)結(jié)果適用于數(shù)學(xué)而非計(jì)算機(jī)。人或機(jī)器都不能證明不可能被證明的事情。盧卡斯和彭羅斯錯(cuò)誤地假設(shè)，人類可以以某種方式繞過這些限制，正如盧卡斯（Lucas, 1976）說：“如果思想是可能的，我們必須假設(shè)我們自己的一致性?！钡@是一個(gè)毫無根據(jù)的假設(shè)：人類是出了名的不一致的。這當(dāng)然適用于日常推理，但也適用于認(rèn)真的數(shù)學(xué)思考。一個(gè)著名的例子是四色地圖問題。阿爾弗雷德·肯普（AlfredKempe）（Kempe,1879）發(fā)表了一個(gè)被廣泛接受的證明，直到11年后珀西·希伍德（Percy Heawood）（Heawood,1890）指出了其中一個(gè)錯(cuò)誤。第三，技術(shù)上來說，哥德爾不完全性定理僅適用于能表達(dá)初等數(shù)論的形式系統(tǒng)。這種系統(tǒng)包括圖靈機(jī)，盧卡斯的論斷部分是基于“計(jì)算機(jī)等同于圖靈機(jī)”的斷言，這不完全正確。圖靈機(jī)是無限的，而計(jì)算機(jī)（和大腦）是有限的，任何計(jì)算機(jī)都可以在命題邏輯中被描述為一個(gè)（非常大的）系統(tǒng)，因而不受哥德爾不完全性定理的約束。盧卡斯認(rèn)為人類可以“改變他們的想法”而計(jì)算機(jī)不能，這也是錯(cuò)誤的。在有新證據(jù)的情況下或在進(jìn)一步考慮后，計(jì)算機(jī)可以撤回它的結(jié)論；它可以升級(jí)硬件；可以通過機(jī)器學(xué)習(xí)或重寫軟件來改變決策過程。衡量人工智能艾倫·圖靈在他那篇著名論文“Computing Machinery Intelligence”（Turing,1950）中提出，與其問機(jī)器能否思考，不如問機(jī)器能否通過行為測(cè)試，即圖靈測(cè)試。圖靈測(cè)試需要一個(gè)計(jì)算機(jī)程序與測(cè)試者進(jìn)行5分鐘的對(duì)話（通過鍵入消息的方式）。然后，測(cè)試者必須猜測(cè)與其對(duì)話的是人還是程序；如果程序讓測(cè)試者做出的誤判超過30%，那么它就通過了測(cè)試。對(duì)圖靈來說，關(guān)鍵不在于測(cè)試的具體細(xì)節(jié)，而是智能應(yīng)該通過某種開放式行為任務(wù)上的表現(xiàn)而不是通過哲學(xué)上的推測(cè)來衡量。圖靈曾推測(cè)，到2000年，擁有10億存儲(chǔ)單元的計(jì)算機(jī)可以通過圖靈測(cè)試。但2000年已經(jīng)過去了，我們?nèi)圆荒芫褪欠裼谐绦蛲ㄟ^圖靈測(cè)試達(dá)成一致。許多人在他們不知道有可能是和計(jì)算機(jī)在聊天時(shí)被計(jì)算機(jī)程序欺騙了。程序、網(wǎng)絡(luò)聊天機(jī)器人（uphy, 2008）（onhnta.,2009）多次欺騙了與它們交談的人，而聊天機(jī)器人引起了執(zhí)法部門的注意，因?yàn)樗鼰嶂杂谡T導(dǎo)聊天對(duì)象泄露足夠多的個(gè)人信息致使他們的身份被盜用。2014年，一款名為EugeneGoostman的聊天機(jī)器人在圖靈測(cè)試中令33%未受訓(xùn)練的業(yè)余評(píng)測(cè)者做出誤判。這款程序聲稱自己是一名來自烏克蘭的男孩，英語水平有限。這點(diǎn)讓它出現(xiàn)語法錯(cuò)誤有了解釋?；蛟S圖靈測(cè)試其實(shí)是關(guān)于人類易受騙性的測(cè)試。目前為止聊天機(jī)器人還不能騙過受過良好訓(xùn)練的評(píng)測(cè)者（Aaronson,2014）。圖靈測(cè)試競(jìng)賽帶來了更優(yōu)秀的聊天機(jī)器人，但這還沒成為人工智能領(lǐng)域的研究重點(diǎn)。相反，追逐競(jìng)賽的研究者更傾向于下國際象棋、下圍棋、玩《星際爭(zhēng)霸II》游戲、參加八年級(jí)科學(xué)考試或在圖像中識(shí)別物體。在許多這類競(jìng)賽中，程序已經(jīng)達(dá)到或超過人類水平，但這并不意味著程序在這些特定任務(wù)之外也能夠像人類一樣。人工智能研究的關(guān)鍵點(diǎn)在于改進(jìn)基礎(chǔ)科學(xué)技術(shù)和提供有用的工具，而不是讓評(píng)測(cè)者上當(dāng)。機(jī)器能真正地思考嗎一些哲學(xué)家聲稱，一臺(tái)能做出智能行為的機(jī)器實(shí)際上并不會(huì)思考，而只是在模擬思考。但大多數(shù)人工智能研究者并不關(guān)心這一區(qū)別，計(jì)算機(jī)科學(xué)家艾茲格·迪杰斯特拉（Edsger 曾說過：“機(jī)器能否思考……就像潛艇能否游泳這個(gè)問題一樣重要”（Dijkstra,1984）?！睹绹鴤鹘y(tǒng)英語詞典》中對(duì)游泳的第一條定義是“通過四肢、鰭或尾巴在水中移動(dòng)”，大多數(shù)人都認(rèn)同潛艇是無肢的，不能游泳。該詞典也定義飛為“通過翅膀或翅膀狀的部件在空中移動(dòng)”，大多數(shù)人都認(rèn)同飛機(jī)有翅膀狀部件，能夠飛行。然而，無論是問題還是答案都與飛機(jī)和潛艇的設(shè)計(jì)或性能沒有任何關(guān)系，而是與英語中的單詞用法有關(guān)。（事實(shí)上，在俄語中船的確會(huì)游泳這一事實(shí)也更加說明了這一點(diǎn)。）使用英語的人還沒有選定“think”這個(gè)詞的確切定義，“think”需要“brain”還是僅僅需要“brain-likeparts”？圖靈再次解決了這一問題。他指出，關(guān)于他人內(nèi)在心理狀態(tài)如何，我們從未有任何直接證據(jù)，這是一種精神唯我論。圖靈說：“與其繼續(xù)在這個(gè)觀點(diǎn)上爭(zhēng)論不休，不如回到每個(gè)人通常都認(rèn)可的禮貌慣例（politeconvention）?！眻D靈主張，如果我們和能做出智能行為的機(jī)器相處過，那么我們也應(yīng)該將這一禮貌慣例的使用范圍延伸到機(jī)器上。然而，現(xiàn)在我們確實(shí)有了一些經(jīng)驗(yàn)，但看起來在對(duì)感知?dú)w因時(shí)，類人的外表和聲音至少與純粹的智力因素同樣重要。中文房間哲學(xué)家約翰·希爾勒不認(rèn)同禮貌慣例。他在著名的中文房間（Chineseroom）（Searle,1990）中這樣論證：想象一個(gè)只會(huì)英語的人身處一個(gè)房間，房間里有一本英語寫成的規(guī)則書和各式各樣的紙堆。一張寫著無法辨認(rèn)的符號(hào)的紙從門縫下面滑進(jìn)房間，這個(gè)人根據(jù)規(guī)則書的指示，在紙堆里找到對(duì)應(yīng)符號(hào)寫在新紙上并重新排列好。最終，一個(gè)或多個(gè)符號(hào)被轉(zhuǎn)錄到一張紙上并傳回外部世界。從外面我們看到的是一個(gè)系統(tǒng)能讀取輸入的中文句子并以中文生成流暢、智能的回復(fù)。希爾勒接著論證：鑒于這個(gè)人是不懂中文的，規(guī)則書和一堆紙也僅僅是紙，也不懂中文。因此，這整個(gè)過程完全沒有對(duì)中文的理解。希爾勒表示，中文房間和計(jì)算機(jī)會(huì)做的事是一樣的，因此計(jì)算機(jī)也不會(huì)產(chǎn)生任何理解力。希爾勒（Searle, 1980）倡導(dǎo)生物自然主義（biologicalnaturalism），根據(jù)該理論，精神狀態(tài)是由神經(jīng)元中低級(jí)物理過程引起的高級(jí)涌現(xiàn)特征，而神經(jīng)元的（未明確的）特性才是重要的：根據(jù)希爾勒的偏見，神經(jīng)元有“它”，而晶體管沒有。對(duì)希爾勒的論點(diǎn)有許多反駁的觀點(diǎn)，但尚未達(dá)成共識(shí)。他的論點(diǎn)同樣可以（也許被機(jī)器人利用）論證人類不可能有真正的理解；畢竟，人類是由細(xì)胞構(gòu)成的，細(xì)胞不理解，因此人類就無法理解。事實(shí)上，這就是特里·比森（Terry Bisson）的科幻小說They’reMadeOutofMeat（Bisson,1990）中的情節(jié)，在這部小說中，外星機(jī)器人探索地球，不敢相信大塊的肉居然是有知覺的。它們的形成過程仍是個(gè)謎。意識(shí)與感質(zhì)貫穿所有關(guān)于強(qiáng)人工智能爭(zhēng)論的主題是意識(shí)（consciousness）：對(duì)外部世界、自我、生活的主觀體驗(yàn)的認(rèn)識(shí)。經(jīng)驗(yàn)的內(nèi)在本質(zhì)的專業(yè)術(shù)語是感質(zhì)（qualia）（源于拉丁語，大意是“什么樣的”）。最大的問題是機(jī)器是否有感質(zhì)。在電影《2001太空漫游》中，當(dāng)宇航員戴維·鮑曼斷開計(jì)算機(jī)哈爾（HAL 9000）的“認(rèn)知電路”時(shí)，屏幕上寫著“戴夫，我怕。戴夫，我的腦子正在消失，我能感覺到”。哈爾真的有感情（且值得同情）嗎？又或者這個(gè)回復(fù)只是一種算法響應(yīng)，與“404錯(cuò)誤：未找到”沒有任何區(qū)別？對(duì)動(dòng)物們也有類似的問題：寵物的主人確信他們的貓狗有意識(shí)，但不是所有科學(xué)家都認(rèn)同這一點(diǎn)。蟋蟀會(huì)根據(jù)溫度改變自己的行為，但幾乎沒人會(huì)說蟋蟀能體驗(yàn)到溫暖或寒冷的感覺。意識(shí)問題難以解決的一個(gè)原因是，即使經(jīng)過幾個(gè)世紀(jì)的爭(zhēng)論，它的定義依然不明確。但解決方法可能不遠(yuǎn)了。近來，在坦普頓基金會(huì)的贊助下，哲學(xué)家和神經(jīng)科學(xué)家合作開展了一系列能解決部分問題的實(shí)驗(yàn)。兩種主流意識(shí)理論（全球工作空間理論和整合信息理論）的支持者都認(rèn)為這些實(shí)驗(yàn)可以證明一種理論優(yōu)于另一種，這在哲學(xué)史上實(shí)屬罕見。圖靈（Turing, 1950）承認(rèn)意識(shí)問題是一個(gè)困難的問題，但他否它與人工智能的實(shí)踐有很大的關(guān)聯(lián)：“我不想給人留下我認(rèn)為意識(shí)并不神秘這樣的印象……但我認(rèn)為，我們不一定需要在回答本文所關(guān)注的問題之前先揭開這些奧秘?！蔽覀冋J(rèn)同圖靈的觀點(diǎn)，我們感興趣的是創(chuàng)建能做出智能行為的程序。意識(shí)的各個(gè)方面，認(rèn)知、自我認(rèn)知、注意力等都可以通過編程成為智能機(jī)器的一部分。讓機(jī)器擁有和人類一模一樣的意識(shí)這一附加項(xiàng)目并不是我們想要做的。我們認(rèn)同做出智能行為需要一定程度的認(rèn)知，這個(gè)程度在不同任務(wù)中是不同的，而涉及與人類互動(dòng)的任務(wù)需要關(guān)于人類主觀經(jīng)驗(yàn)的模型。在對(duì)經(jīng)驗(yàn)建模這方面，人類明顯比機(jī)器有優(yōu)勢(shì)，因?yàn)槿藗兛梢钥孔陨砣ブ饔^感受他人的客觀體驗(yàn)。例如，如果你想知道別人用錘子敲拇指是什么感覺，你可以用錘子敲自己的拇指。但機(jī)器沒有這種能力，盡管它們可以運(yùn)行彼此的代碼。人工智能的倫理鑒于人工智能是一項(xiàng)強(qiáng)大的技術(shù)，在道德上我們有義務(wù)妥善使用它，發(fā)揚(yáng)其積極的方面，避免或減輕其消極一面。積極的方面有很多，例如，通過改進(jìn)醫(yī)學(xué)診斷、發(fā)現(xiàn)新的醫(yī)學(xué)成果、更好地預(yù)測(cè)極端天氣、通過輔助駕駛直至最終做到自動(dòng)駕駛來實(shí)現(xiàn)更安全的駕駛，人工智能可以拯救生命。改善生活的機(jī)會(huì)也很多。微軟的人道行動(dòng)計(jì)劃將人工智能用于自然災(zāi)害災(zāi)后恢復(fù)、滿足兒童需求和保護(hù)難民。谷歌的賦能社會(huì)AI排放量測(cè)量、危機(jī)咨詢、新聞事實(shí)核查、自殺預(yù)防、回收利用等方面的工作。芝加哥大學(xué)社會(huì)福利數(shù)據(jù)科學(xué)中心應(yīng)用機(jī)器學(xué)習(xí)處理刑事司法、經(jīng)濟(jì)發(fā)展、教育、公共衛(wèi)生、能源和環(huán)境等領(lǐng)域的問題。人工智能在農(nóng)作物管理和糧食生產(chǎn)等方面的應(yīng)用有助于養(yǎng)活全世為零，因此可能有助于先進(jìn)技術(shù)的大眾化（的可能性）。盡管有這么多積極方面，我們也不應(yīng)該忽略人工智能的消極方面。許多新技術(shù)都曾產(chǎn)生意想不到的負(fù)面影響故并產(chǎn)生毀滅全球的威脅；內(nèi)燃機(jī)帶來了空氣污染、全球變暖和死亡的威脅。即使按設(shè)計(jì)初衷使用，有些技術(shù)也會(huì)產(chǎn)生負(fù)面影響，如沙林毒氣、AR-15步槍和電話推銷。自動(dòng)化能創(chuàng)造財(cái)富，但在當(dāng)今經(jīng)濟(jì)形勢(shì)下，大部分財(cái)富將會(huì)流向擁有自動(dòng)化系統(tǒng)的人，加劇收入不平等。這會(huì)破壞一個(gè)運(yùn)轉(zhuǎn)良好的社會(huì)。隨著發(fā)達(dá)國家采用全自動(dòng)化制造設(shè)施，發(fā)展中國家通過出口低成本制造品實(shí)現(xiàn)發(fā)展的道路可能會(huì)被切斷。倫理和治理決策將決定人工智能帶來的不平等程度。所有科學(xué)家和工程師都面臨著倫理考量，哪些項(xiàng)目應(yīng)該做，哪些項(xiàng)目不應(yīng)該進(jìn)行，以及如何確保項(xiàng)目執(zhí)行是安全且有益的。2010年，英國工程和物理科學(xué)研究委員會(huì)召開會(huì)議，制定了一系列機(jī)器人準(zhǔn)則。接下來數(shù)年里，其他政府機(jī)構(gòu)、非盈利組織以及各公司紛紛建立了類似的準(zhǔn)則。建立準(zhǔn)則的重點(diǎn)是，要讓每一個(gè)創(chuàng)造人工智能技術(shù)的機(jī)構(gòu)，以及這些機(jī)構(gòu)中的每個(gè)人都要負(fù)責(zé)確保技術(shù)對(duì)社會(huì)有益而非有害。最常被提到的準(zhǔn)則是：承認(rèn)法律和政策的影響承認(rèn)法律和政策的影響提供透明度避免集權(quán)促進(jìn)協(xié)作體現(xiàn)多樣性與包容性尊重隱私維護(hù)人權(quán)和價(jià)值觀確保公平性建立問責(zé)制確保安全性限制人工智能的有害用途 考慮對(duì)就業(yè)的影響這些原則中有許多（如“確保安全”）適用于所有軟硬件，而不僅僅是人工智能系統(tǒng)。一些原則措辭模糊，難以衡量與執(zhí)行。這在一定程度上是因?yàn)槿斯ぶ悄苁且粋€(gè)有著眾多子領(lǐng)域的大領(lǐng)域，每個(gè)子領(lǐng)域都有著不同的歷史規(guī)范，每個(gè)子領(lǐng)域中人工智能開發(fā)者和利益相關(guān)者之間的關(guān)系也不同。（Mittelstadt,2019）中建議各子領(lǐng)域應(yīng)建立更加具體可行的指南及實(shí)例。致命性自主武器聯(lián)合國將致命性自主武器定義為可在無人監(jiān)督的情況下，定位、選擇和攻擊（如擊殺）人類目標(biāo)的武器。有各式各樣的滿足部分標(biāo)準(zhǔn)的武器。例如，自17世紀(jì)便開始使用的地雷：它們能根據(jù)被施加壓力的程度或存在的金屬數(shù)量在有限范圍內(nèi)選擇和攻擊目標(biāo)，但它們無法自己離開原地并定位目標(biāo)。（《渥太華公約》禁用了地雷。）自20世紀(jì)40年代開始使用的導(dǎo)彈能夠追蹤目標(biāo)，但它們必須由人類指定一個(gè)正確的大方向。20世紀(jì)70年代以來，自動(dòng)發(fā)射雷達(dá)控制炮就被用于防御軍艦。它們主要用于摧毀來襲的導(dǎo)彈，但也用于攻擊載人飛機(jī)。盡管“自主性”一詞常用于描述無人駕駛飛行器或無人機(jī)的，需要人為啟動(dòng)致命載荷。在寫作本書的時(shí)候，一些武器系統(tǒng)似乎已經(jīng)進(jìn)入了完全自主的狀態(tài)。例如，以色列生產(chǎn)的“哈洛普”導(dǎo)彈是一種“巡飛彈”，翼展3米，彈頭重23千克。它會(huì)在指定地區(qū)內(nèi)搜索6小時(shí)，摧毀一切符合給定標(biāo)準(zhǔn)的目標(biāo)。這個(gè)標(biāo)準(zhǔn)可以是“發(fā)射類似防空雷達(dá)的信號(hào)”或“看起來像坦克”。土耳其制造商STM公司宣稱，其Kargu四軸飛行器可以攜帶重達(dá)1.5千克的炸藥，能夠“自動(dòng)擊中……圖像上選定的目標(biāo)……追蹤移動(dòng)目標(biāo)……殺傷人員……人臉識(shí)別”。自主武器被稱為繼火藥和核武器之后的“第三次戰(zhàn)爭(zhēng)革命”。它們的軍事潛力是顯而易見的。例如，沒有專家會(huì)懷疑自主戰(zhàn)斗機(jī)能打敗人類飛行員。與有人駕駛的武器相比，自主化的飛機(jī)、坦克和潛艇更經(jīng)濟(jì)、更快速、更易操作，航程更長(zhǎng)。自2014年以來，聯(lián)合國日內(nèi)瓦辦事處在《特定常規(guī)武器公約》（ConventiononCertainConventionalWeapons，CCW）的支持下，就是否禁止致命性自主武器問題開展了定期討論。本書撰寫期間，包括中國在內(nèi)的30個(gè)締約方宣布支持一項(xiàng)限制致命性自主武器的國際條約，而包括以色列、俄羅斯、韓國和美國在內(nèi)的其他國家或地區(qū)則反對(duì)這項(xiàng)禁令。關(guān)于自主武器的討論涵蓋了法律、倫理和實(shí)踐方面。法律問題主要受《特定常規(guī)武器公約》管轄，該公約要求自主武器能區(qū)分戰(zhàn)斗人員與非戰(zhàn)斗人員，能判斷攻擊的軍事必要性，以及能評(píng)估目標(biāo)軍事價(jià)值與附帶損害可能性之間的相當(dāng)性。滿足這些標(biāo)準(zhǔn)的可行性是一個(gè)工程問題，其答案無疑會(huì)隨著時(shí)間的推移而改變。目前，機(jī)器在某些情況下似乎能夠區(qū)分戰(zhàn)斗與非戰(zhàn)斗人員，且其能力無疑將迅速提高，但目前還做不到對(duì)必要性進(jìn)行判斷和對(duì)相當(dāng)性進(jìn)行評(píng)估：這些都要求機(jī)器根據(jù)情境做出主觀判斷，相比搜索和打擊潛在目標(biāo)這類相對(duì)簡(jiǎn)單的任務(wù)要困難得多。出于這些原因，只有在人類操作員能合理預(yù)測(cè)執(zhí)行任務(wù)中不會(huì)以平民為目標(biāo)，武器不會(huì)進(jìn)行不必要或不合適攻擊的情況下，才能合法使用自主武器。這意味著，就目前而言，自主武器能執(zhí)行的任務(wù)非常有限。在倫理方面，有些人認(rèn)為，把殺人的決定權(quán)交給機(jī)器在道義上是不可接受的。例如，德國駐日內(nèi)瓦大使曾表示“不接受完全由一個(gè)自主系統(tǒng)來做有關(guān)生死的決定”，而日本則表示“沒有計(jì)劃研制可脫離人類且有謀殺的能力的機(jī)器人”。2017年，美國國防部二號(hào)人物保羅·塞爾瓦上將（Gen.PaulSelva）說：“我認(rèn)為讓機(jī)器人決定是否奪走一個(gè)人的生命是不合理的?！甭?lián)合國秘書長(zhǎng)安東尼奧·古特雷斯（António 在2019年表示：“在沒有人類參與的情況下，擁有剝奪生命的權(quán)利和自由裁量權(quán)的機(jī)器在政治上不可接受，道德上令人反感，國際法應(yīng)予以禁止?！眮碜?0多個(gè)國家和地區(qū)的超過140個(gè)非政府組織參加了“殺手機(jī)器人禁令運(yùn)動(dòng)”，2015年由生命未來研究所（FutureofLifeInstitute）牽頭的一封公開信已有超過4000名人工智能研究人員[2]和22000署。包括本書的兩位作者。對(duì)此，可以說隨著技術(shù)的進(jìn)步，開發(fā)出比人類士兵或飛行員更不可能造成平民傷亡的武器是可能的。（自主武器能減少人類士兵和飛行員的死亡風(fēng)險(xiǎn)，這也是一大好處。）自主系統(tǒng)不會(huì)受疲勞、沮喪、歇斯底里、恐懼、憤怒或報(bào)復(fù)等的影響，也不需要“先開槍，后提問”（Arkin,2015）。正如制導(dǎo)彈藥相較于非制導(dǎo)炸彈減少了附帶損害一樣，人們會(huì)期望智能武器進(jìn)一步提高攻擊的精度。［針對(duì)這一點(diǎn)，可以參考本杰明（Benjamin, 2013）對(duì)無人機(jī)戰(zhàn)爭(zhēng)傷亡的分析。］瓦最新一輪談判中的立場(chǎng)。美國是目前少數(shù)幾個(gè)不允許使用自主武器的國家之一，這點(diǎn)可能與我們的直覺相反。2011年美國國防部路線圖顯示：“在可預(yù)見的未來，（通過自主系統(tǒng)）使用武力以及對(duì)哪個(gè)目標(biāo)進(jìn)行致命打擊的決定權(quán)將保留在人類控制手中?！敝贫ㄟ@項(xiàng)政策主要是從實(shí)際出發(fā)：自主系統(tǒng)還未可靠到可以應(yīng)用到軍事決策中?？煽啃詥栴}自1983年9月26日出現(xiàn)，彼時(shí)蘇聯(lián)導(dǎo)彈軍官斯坦尼斯拉夫·彼得羅夫（Stanislav Petrov）的計(jì)算機(jī)屏幕上閃爍著導(dǎo)彈來襲的報(bào)，可靠性問題凸顯出來。根據(jù)協(xié)議，彼得羅夫應(yīng)發(fā)起核反擊，但他懷疑這個(gè)警報(bào)是一個(gè)程序錯(cuò)誤，且最終也按此處理。他判斷對(duì)了，（僥幸）避免了第三次世界大戰(zhàn)。如果這整個(gè)過程中沒有人類參與，我們不知道會(huì)發(fā)生什么。問題。在訓(xùn)練中能完美運(yùn)行的機(jī)器學(xué)習(xí)系統(tǒng)在實(shí)際部署中可能表現(xiàn)糟通信連接也許能阻止這種情況傷及友軍設(shè)備（假設(shè)它還沒有被破壞但這樣的話在武器出現(xiàn)故障時(shí)也無法召回。從攻擊的規(guī)模與可部署的硬件數(shù)量成正比這方面看，關(guān)于自主武器最重要的實(shí)際問題是，它們是可擴(kuò)展的大規(guī)模毀滅性武器，從這個(gè)意義上看，一次攻擊的規(guī)模和能部署的硬件數(shù)量成正比。一架直徑5厘米的四軸飛行器可以攜帶致命的爆炸物，100萬架這樣的飛行器可以裝在一個(gè)普通的集裝箱里。而正因?yàn)樗鼈兪亲灾鞯?，這些武器不需要100萬個(gè)人去監(jiān)督它們的工作。作為大規(guī)模毀滅性武器，與核武器和地毯式轟炸相比，可擴(kuò)展的自主武器對(duì)攻擊者有以下優(yōu)勢(shì)：它們保持財(cái)產(chǎn)完好無損，可以有選擇地用于消除那些可能威脅占領(lǐng)軍的人。當(dāng)然，它們可能用于消滅某一民族或某一特定宗教的所有信徒。在許多情況下，它們也無法被追蹤。這些特點(diǎn)使它們對(duì)非國家行為體特別有吸引力。這些顧慮，尤其是那些有利于攻擊者的特質(zhì)，都表明自主武器將降低全球安全與各方國家安全?？雌饋韺?duì)政府來說，合理的反應(yīng)應(yīng)該是開展軍備控制討論而不是軍備競(jìng)賽。然而，制定一項(xiàng)條約的過程并非一帆風(fēng)順。人工智能是一門兩用技術(shù)：能以和平的方式應(yīng)用的人工智能技術(shù)也能很容易應(yīng)用于軍事目的，如飛行控制、視覺跟蹤、地圖繪制、導(dǎo)航和多智能體規(guī)劃。只需裝上炸藥并命令它尋找目標(biāo)，就能把一架自動(dòng)駕駛的四軸飛行器變成武器。處理這一問題將需要嚴(yán)格履行合規(guī)制度，并進(jìn)行產(chǎn)業(yè)合作，《禁止化學(xué)武器公約》在這方面已經(jīng)取得了一些成果。監(jiān)控、安全與隱私1976年，約瑟夫·維森鮑姆（JosephWeizenbaum）曾發(fā)出警告，自動(dòng)語音識(shí)別技術(shù)可能會(huì)導(dǎo)致大范圍的竊聽，從而導(dǎo)致公民自由的喪失。如今，這種威脅已經(jīng)成為現(xiàn)實(shí)，大多數(shù)電子通信都要經(jīng)過可以被監(jiān)控的中央服務(wù)器，城市里遍布著的麥克風(fēng)和攝像頭可以根據(jù)聲音、面部和步態(tài)識(shí)別和跟蹤個(gè)人。以往需要昂貴而稀缺的人力資源的監(jiān)控現(xiàn)在可以由機(jī)器大規(guī)模地完成。隨著越來越多的機(jī)構(gòu)開始線上運(yùn)作，我們?cè)絹碓饺菀自馐芫W(wǎng)絡(luò)犯罪（如網(wǎng)絡(luò)釣魚、信用卡詐騙、僵尸網(wǎng)絡(luò)、勒索軟件）和網(wǎng)絡(luò)恐怖主義（包括關(guān)閉醫(yī)院和發(fā)電廠、征用自動(dòng)駕駛汽車等可能致命的攻擊）。對(duì)網(wǎng)絡(luò)安全（cybersecurity）戰(zhàn)的雙方而言，機(jī)器學(xué)習(xí)都是強(qiáng)有力的工具。攻擊者可以利用自動(dòng)化探測(cè)不安全點(diǎn)，并且可以利用強(qiáng)化學(xué)習(xí)進(jìn)行網(wǎng)絡(luò)釣魚和自動(dòng)勒索。防御者可以利用無監(jiān)督學(xué)習(xí)檢測(cè)異常的傳入流量模式（Chandolaetal.,2009;Malhotraetal.,2015），以及利用各種機(jī)器學(xué)習(xí)技術(shù)發(fā)現(xiàn)詐騙（Fawcett and Provost, 1997; Bolton and 2002）。隨著攻擊越來越復(fù)雜，所有工程師（不僅僅是安全專家）都肩負(fù)著更大的責(zé)任，要從一開始就設(shè)計(jì)安全的系統(tǒng)。卡納爾（Kanal,2017）預(yù)測(cè)，到2021年，網(wǎng)絡(luò)安全領(lǐng)域的機(jī)器學(xué)習(xí)市場(chǎng)規(guī)模將達(dá)到約1000億美元。善保管他們所持有的數(shù)據(jù)。在美國，《健康保險(xiǎn)便攜性和責(zé)任法案》（HealthInsurancePortabilityandAccountabilityAct，HIPAA）和《家庭教育權(quán)利和隱權(quán)法案》（FamilyEducationalRightsandPrivacyAct，F(xiàn)ERPA）保護(hù)醫(yī)療和教育記錄的隱私。歐盟的《通用數(shù)據(jù)保護(hù)條例》（GeneralDataProtectionRegulation，GDPR）規(guī)定，公司在設(shè)計(jì)系統(tǒng)時(shí)應(yīng)考慮到數(shù)據(jù)保護(hù)，并要求它們?cè)谑占蛱幚頂?shù)據(jù)時(shí)需征求用戶同意。與個(gè)人隱私權(quán)相平衡的是社會(huì)從共享數(shù)據(jù)中獲得的價(jià)值。我們希望能在不壓迫平和異議的情況下阻止恐怖襲擊，我們希望能在不損害任何個(gè)人保護(hù)其健康記錄隱私權(quán)利的情況下治愈疾病。一項(xiàng)關(guān)鍵實(shí)踐是去標(biāo)識(shí)化（de-identification），即去除個(gè)人身份識(shí)別信息（如名字和社會(huì)保險(xiǎn)號(hào)）以便醫(yī)學(xué)研究人員能利用這些數(shù)據(jù)造福大眾。問題在于這些共享的去標(biāo)識(shí)化數(shù)據(jù)可能會(huì)被重新標(biāo)識(shí)。例如，數(shù)據(jù)剔除了姓名、社會(huì)保險(xiǎn)號(hào)和街道地址，但保留了生日、性別、郵編等信息，那么，拉坦婭·斯威尼（LatanyaSweeney）的研究（Sweeney,2000）表明，87%的美國人可以因此被準(zhǔn)確標(biāo)識(shí)。斯威尼在其所在州的州長(zhǎng)住院時(shí)重新識(shí)別出他的健康記錄，再次強(qiáng)調(diào)了這一問題。在Netflix獎(jiǎng)競(jìng)賽中，主辦方提供了去標(biāo)識(shí)化的個(gè)人電影評(píng)分記錄，參賽者需要提供一個(gè)機(jī)器學(xué)習(xí)算法以準(zhǔn)確預(yù)測(cè)個(gè)體喜歡哪些電影。但研究者可以通過匹配Netflix數(shù)據(jù)庫中的評(píng)分日期和互聯(lián)網(wǎng)電影數(shù)據(jù)庫（IMDB）中相似評(píng)分的日期重新識(shí)別個(gè)人用戶，而IMDB中一些用戶會(huì)使用他們的真實(shí)姓名（Narayanan Shmatikov,2006）?？梢酝ㄟ^泛化字段在一定程度上減輕這種風(fēng)險(xiǎn)。例如，將具體的出生日期替換成出生年份，或替換成像“20～30歲”這樣更籠統(tǒng)的表示。完全刪除字段可以視為泛化成“任意”。但僅靠泛化這一手段不足以保證記錄不被重新識(shí)別，可能郵編為94720，年齡在90～100歲的人只有一個(gè)。一個(gè)有用的性質(zhì)是k匿名性（k-anonymity）：具備k匿名性的數(shù)據(jù)庫中的k?1數(shù)據(jù)太過獨(dú)特不滿足這一性質(zhì)，那么就需要對(duì)它們進(jìn)行進(jìn)一步泛化。另一種共享去標(biāo)識(shí)化數(shù)據(jù)的方式是保持所有記錄私有，但允許聚合查詢（aggregate querying）。數(shù)據(jù)庫提供查詢API而非數(shù)據(jù)庫本身，效查詢語句將收到數(shù)據(jù)的匯總響應(yīng)，包含數(shù)據(jù)的計(jì)數(shù)或均值。但如果查詢違反了隱私保障，則不會(huì)有響應(yīng)。例如，我們?cè)试S流行病學(xué)家詢問每個(gè)郵編范圍內(nèi)人口的患癌比例。對(duì)郵編內(nèi)人口至少為n的情況我們提供這一比例（包含少量隨機(jī)噪聲），但當(dāng)郵編內(nèi)人口少于n時(shí)，我們不作任何響應(yīng)。要注意保護(hù)多重查詢時(shí)的去標(biāo)識(shí)化。例如，對(duì)查詢“XYZ公司年齡在30～40歲的員工的平均薪酬和人數(shù)”做出的響應(yīng)是[$81234, 12]，對(duì)查詢“XYZ公司年齡在30～41歲之間的員工的平均薪酬和人數(shù)”做出的響應(yīng)是[$81199,13]，接著如果我們?cè)陬I(lǐng)英（LinkedIn）上發(fā)現(xiàn)XYZ公司的一名41歲員工，那么盡管整個(gè)過程中所有響應(yīng)都包含12個(gè)或更多人，我們也能成功識(shí)別出這名41歲的員工，并且知道他的準(zhǔn)確薪酬。因此，必須仔細(xì)設(shè)計(jì)系統(tǒng)，通過限制可接受的查詢（或許僅允許查詢事先設(shè)定的一組不重疊的年齡范圍）及限制結(jié)果精度（或許兩個(gè)查詢的答案都是“約81000美元”）等手段防止重標(biāo)識(shí)的風(fēng)險(xiǎn)。一種更強(qiáng)的保障是差分隱私（differentialprivacy），即使允許攻擊者使用多重查詢并能訪問單獨(dú)的鏈接數(shù)據(jù)庫，差分隱私也能保證攻擊者不能通過查詢重新識(shí)別數(shù)據(jù)中的任何個(gè)體。查詢做出響應(yīng)時(shí)利用隨機(jī)化算法為結(jié)果添加少量噪聲。給定數(shù)據(jù)庫D，數(shù)據(jù)庫中的任何記錄r，任意查詢Q，以及查詢的可能響應(yīng)y。如果添加記錄r時(shí)響應(yīng)y的對(duì)數(shù)概率變化量小于，即：我們稱數(shù)據(jù)庫D庫中都不會(huì)對(duì)所有人獲取到的答案造成明顯差異，因此隱私不會(huì)限制個(gè)體的參與。許多數(shù)據(jù)庫的設(shè)計(jì)都旨在保證差分隱私。到目前為止，我們已經(jīng)討論了從中央數(shù)據(jù)庫共享去標(biāo)識(shí)數(shù)據(jù)的問題。聯(lián)邦學(xué)習(xí)（federatedlearning）方法（Kone?n?etal.,2016）沒有中央數(shù)據(jù)庫，而是由用戶維護(hù)自己的本地?cái)?shù)據(jù)庫，以保持?jǐn)?shù)據(jù)的私密性。然而，他們可以共享由他們的數(shù)據(jù)強(qiáng)化的機(jī)器學(xué)習(xí)模型參數(shù)，而沒有泄露任何私人數(shù)據(jù)的風(fēng)險(xiǎn)。設(shè)想一個(gè)語音理解應(yīng)用，用戶可以在自己的手機(jī)上本地運(yùn)行。該應(yīng)用包含一個(gè)基線神經(jīng)網(wǎng)絡(luò)，然后用從用戶手機(jī)上聽到的單詞進(jìn)行本地訓(xùn)練改進(jìn)該網(wǎng)絡(luò)。應(yīng)用所有者定期調(diào)研部分用戶，向他們索取改進(jìn)后的本地網(wǎng)絡(luò)參數(shù)值，但不索取任何原始數(shù)據(jù)。將這些參數(shù)值整合到一起形成一個(gè)新的改進(jìn)模型，然后將該模型提供給所有用戶，使所有用戶都能從其他用戶所做的訓(xùn)練中獲益。為保護(hù)隱私，我們必須確保每個(gè)用戶共享的模型參數(shù)不能被逆向工程化。如果我們發(fā)送原始參數(shù)，對(duì)方在檢查這些參數(shù)時(shí)有可能推斷出用戶的手機(jī)是否聽到了某個(gè)單詞。安全聚合（secure （Bonawitzetal.,2017）是消除該風(fēng)險(xiǎn)的一種方法。其想法認(rèn)為對(duì)于每個(gè)參數(shù)，中央服務(wù)器不需要知道每個(gè)分布式用戶的確切參數(shù)值；它只需要所有調(diào)查用戶在該參數(shù)上的平均值。因此，每個(gè)用戶可以通過為每個(gè)值添加唯一掩碼來隱藏他們的參數(shù)值，只要掩碼的總和為零，中央服務(wù)器就能計(jì)算出正確的平均值。協(xié)議的細(xì)節(jié)確保它在通信方面是高效的（傳輸?shù)奈粩?shù)不到與掩碼相對(duì)應(yīng)的位的一半），對(duì)無法響應(yīng)的個(gè)體用戶是穩(wěn)健的，并且在面對(duì)敵對(duì)用戶、竊聽者，甚至是敵對(duì)的中央服務(wù)器時(shí)是安全的。公平與偏見機(jī)器學(xué)習(xí)正增強(qiáng)甚至取代人類在重要情況下的決策：批準(zhǔn)哪些人的貸款、派警察到哪個(gè)社區(qū)、誰能審前釋放或假釋。但機(jī)器學(xué)習(xí)模型會(huì)延續(xù)社會(huì)偏見（societalbias）。考慮這樣一個(gè)算法例子，它預(yù)測(cè)刑事被告是否可能再次犯罪，從而判斷他們是否應(yīng)該在審判前被釋放。這種系統(tǒng)很可能會(huì)從訓(xùn)練集的樣本中學(xué)會(huì)人類的種族或性別偏見。機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)者有道德義務(wù)確保他們的系統(tǒng)在實(shí)際中是公平的。在信貸、教育、就業(yè)和住房等受監(jiān)管的領(lǐng)域，他們也有法律義務(wù)確保公平。但什么是公平？公平有許多種標(biāo)準(zhǔn)。以下是6個(gè)最常用的公平概念。個(gè)體公平：無論個(gè)體屬于哪個(gè)類別，都應(yīng)該被同等對(duì)待。群體公平：從總體統(tǒng)計(jì)上看，不同類別應(yīng)該被同等對(duì)待。無意識(shí)公平能就無法區(qū)分這些屬性。遺憾的是，我們知道機(jī)器學(xué)習(xí)模型可以通過其他相關(guān)變量（如郵編和職業(yè)）來預(yù)測(cè)隱變量（如種族和性別）。而且，刪除這些變量導(dǎo)致無法驗(yàn)證機(jī)會(huì)均等和結(jié)果均等。盡管如此，一些國家（如德國）仍然使用這種方法進(jìn)行人口統(tǒng)計(jì)（型）。結(jié)果均等他們具有人口平價(jià)（demographicparity）。例如，假設(shè)我們要決定是否通過貸款申請(qǐng)，目標(biāo)是要批準(zhǔn)能夠還款的申請(qǐng)人而拒絕可能拖欠貸款的申請(qǐng)人。人口平價(jià)表明男性與女性的貸款獲批比例應(yīng)相同。要注意的是這是群體公平標(biāo)準(zhǔn)，并不確保個(gè)體公平。只要大體上比例是相等的，一個(gè)合格的申請(qǐng)人可能會(huì)被拒絕，一個(gè)不合格的申請(qǐng)人也可能獲得通過。此外，這種方法有助于糾正過去的偏見。如果一個(gè)男人和一個(gè)女人在各方面都相同，從事同一份工作，但女人的收入更少，那么應(yīng)該通過女人的貸款申請(qǐng)嗎？因?yàn)槿绻皇怯捎跉v史的偏見，她和男人的條件是一樣的；又或者說因?yàn)槭聦?shí)上她的收入更少，她更可能違約，所以應(yīng)該拒絕她的申請(qǐng)？機(jī)會(huì)均等別，都應(yīng)有同等機(jī)會(huì)被正確歸類。這種方法也被稱為“平衡”。它會(huì)導(dǎo)致不平等的結(jié)果，忽視產(chǎn)生訓(xùn)練數(shù)據(jù)的社會(huì)過程中偏見的影響。影響均等似，他們應(yīng)該有相同的期望效用。這較機(jī)會(huì)均等更勝一籌，因?yàn)樗瓤紤]了真實(shí)預(yù)測(cè)的好處，也考慮了錯(cuò)誤預(yù)測(cè)的代價(jià)。我們?cè)谝粋€(gè)具體情境中研究這些問題。COMPAS是一個(gè)為累犯（犯）評(píng)分的商業(yè)系統(tǒng)。它給刑事案件中的被告打風(fēng)險(xiǎn)分，法官將利用這個(gè)分?jǐn)?shù)做出決策：審前釋放被告安全嗎？他們應(yīng)該被判刑入獄嗎？如果罪名成立，刑期應(yīng)多長(zhǎng)？是否應(yīng)同意假釋？鑒于以上這些決定的重要性，該系統(tǒng)一直受到嚴(yán)格的審查（DresselandFarid,2018）。COMPAS在設(shè)計(jì)中經(jīng)過良好校準(zhǔn)（wellcalibrate），所有被算法打了相同分?jǐn)?shù)的人，無論種族，都應(yīng)該有大致相同的可能性再次犯罪。例如在模型打了7分（滿分10分）的人中，60%的白人和61%的黑人再次犯罪。因此，設(shè)計(jì)者宣稱COMPAS達(dá)到了預(yù)期的公平目標(biāo)。其實(shí)，COMPAS并沒有做到機(jī)會(huì)均等：沒有再次犯罪卻被模型錯(cuò)誤評(píng)定為高危人群的比例，在黑人中是45%，在白人中是23%。在“威斯康星州訴盧米斯案”中，法官依賴COMPAS決定對(duì)被告的判決，盧米斯辯稱算法不公開的內(nèi)部運(yùn)作侵犯了他的正當(dāng)程序權(quán)利。盡管威斯康星州最高法院認(rèn)為，在本案中即便沒有COMPAS，判決也不會(huì)有什么不同，但它確實(shí)就算法的準(zhǔn)確性和對(duì)少數(shù)族裔被告的風(fēng)險(xiǎn)發(fā)出了警告。其他研究人員則質(zhì)疑在判決等應(yīng)用中使用算法是否合適。我們希望能有一個(gè)算法既經(jīng)過良好校準(zhǔn)，又能做到機(jī)會(huì)均等，但克萊因伯格等人（Kleinbergetal.,2016）證明這是不可能的。如果基類是不同的，那么任何經(jīng)過良好校準(zhǔn)的算法都必然不能做到機(jī)會(huì)均等，反之亦然。我們?cè)撊绾螜?quán)衡這兩個(gè)標(biāo)準(zhǔn)？影響均等是一種可能性。在COMPAS的示例中，這意味著要在被告被錯(cuò)誤歸類為高風(fēng)險(xiǎn)從而失去自由，以及新增一次犯罪的社會(huì)成本二者之間找到一個(gè)優(yōu)化權(quán)衡的點(diǎn)。這件事很復(fù)雜，因?yàn)橛性S多成本需要考慮。有個(gè)人成本——每個(gè)被錯(cuò)誤關(guān)押入獄的被告蒙受損失，被錯(cuò)誤地釋放并再次犯罪的被告的受害者也蒙受損失。但除此之外還有群體成本——每個(gè)人都擔(dān)心自己會(huì)被錯(cuò)誤監(jiān)禁或是成為犯罪受害者，全體納稅人為監(jiān)獄和法庭的成本買單。如果我們根據(jù)相應(yīng)群體的規(guī)模來評(píng)估這些擔(dān)憂和成本，那么大眾的利益可能會(huì)以犧牲少數(shù)群體為代價(jià)。為累犯評(píng)分的另一個(gè)問題是，無論我們使用什么模型，我們都缺少無偏的真實(shí)數(shù)據(jù)。數(shù)據(jù)并不會(huì)告訴我們誰犯過罪，我們只能知道誰被判罪。如果實(shí)施拘捕的警察、法官或陪審團(tuán)中有人帶有偏見，那么這個(gè)數(shù)據(jù)就是有偏的。如果某些地方有更多的警察巡邏，那么數(shù)據(jù)對(duì)這些地方的人就帶有偏見。只有被釋放了的被告才可能再次犯罪，所以如果做出釋放判決的法官是帶偏見的，那么數(shù)據(jù)就是有偏的。如果假設(shè)在有偏數(shù)據(jù)集背后是一個(gè)潛在的、未知的、無偏數(shù)據(jù)集，只是這個(gè)數(shù)據(jù)集被帶有偏見的智能體破壞，那么有一些方法可以將其恢復(fù)到幾乎無偏的數(shù)據(jù)。（JiangandNachum,2019）中介紹了各種不同的場(chǎng)景及相關(guān)技術(shù)。還有一個(gè)風(fēng)險(xiǎn)是機(jī)器學(xué)習(xí)會(huì)被用于證明偏見的合理性。如果一個(gè)帶有偏見的人在與機(jī)器學(xué)習(xí)系統(tǒng)商議后做出決策，這個(gè)人可以聲稱“我對(duì)模型的解讀支持我的決策，所以你不應(yīng)該質(zhì)疑我的決策”。但是對(duì)模型的另一種解讀可能導(dǎo)致相反的決策。有時(shí)候公平意味著我們需要重新考慮目標(biāo)函數(shù)，而不是重新考慮數(shù)據(jù)或算法。例如，在做招聘決策時(shí)，如果目標(biāo)是聘用資質(zhì)最好的候選人，我們會(huì)不公平地獎(jiǎng)勵(lì)那些終身都擁有優(yōu)質(zhì)教育機(jī)會(huì)的人，從而固化類別。但如果我們的目標(biāo)是聘用最能在工作中學(xué)習(xí)的候選人，我們就提供了更好的打破類別壁壘的機(jī)會(huì)，并且能在更廣闊的人群中選擇。許多公司有針對(duì)這類求職者的項(xiàng)目，并在經(jīng)過一年的培訓(xùn)后發(fā)現(xiàn)，采用這種方式招聘的員工表現(xiàn)得與傳統(tǒng)求職者一樣好。同樣地，美國的計(jì)算機(jī)科學(xué)畢業(yè)生女性只占18%，但像哈維馬德大學(xué)（HarveyMuddUniversity）等一些學(xué)校這一比例達(dá)到50%，它們鼓勵(lì)并留住那些開始學(xué)習(xí)計(jì)算機(jī)科學(xué)課程的女生，尤其是那些一開始編程經(jīng)驗(yàn)較少的女生。最后一個(gè)困難在于決定哪些類別值得保護(hù)。在美國，《公平住房法案》（theFairHousingAct）認(rèn)可的7個(gè)受保護(hù)的類別：種族、膚色、宗教、國籍、性別、殘疾和家庭狀況。其他地方性、州立和聯(lián)邦法律還認(rèn)可一些其他類別，包括性取向、懷孕情況、婚姻情況和退伍軍人身份。這些類別僅受一些法律而不受其他法律保護(hù)，這樣是否公平呢？國際人權(quán)法（Internationalhumanrightslaw）中涵蓋了一批廣泛的保護(hù)類別，是協(xié)調(diào)不同群體保護(hù)的一個(gè)潛在框架。即使沒有社會(huì)偏見，樣本量差異（samplesizedisparity）也會(huì)導(dǎo)致結(jié)果有偏。在大部分?jǐn)?shù)據(jù)集中，少數(shù)類別群體的樣本數(shù)往往少于多數(shù)類別群體。機(jī)器學(xué)習(xí)算法在有更多訓(xùn)練數(shù)據(jù)時(shí)能更精確，這意味著對(duì)少數(shù)類別的成員，算法精度更低。例如，布拉姆維尼和格布魯（BuolamwiniandGebru,2018）色男性準(zhǔn)確度近乎完美，而對(duì)深膚色女性有33%的錯(cuò)誤率。約束模型可能不能同時(shí)擬合多數(shù)類別和少數(shù)類別。線性回歸模型僅擬合多數(shù)類別來最小化平均錯(cuò)誤；SVM模型中，支持向量對(duì)應(yīng)的可能全部是多數(shù)類別的成員。偏見也會(huì)在軟件開發(fā)過程中出現(xiàn)（無論軟件是否涉及機(jī)器學(xué)習(xí)）調(diào)試系統(tǒng)的工程師更可能注意并解決那些他們自己會(huì)遇到的問題。例不會(huì)說烏爾都語（巴基斯坦官方語言）如何防止這些偏見呢？第一種想法是了解你所用數(shù)據(jù)的限制。有人建議數(shù)據(jù)集（Gebruetal.,2018;Hindetal.,2018）和模型（Mitchelletal.,2019）類似于電阻器等電子元件的數(shù)據(jù)表（datasheet），讓設(shè)計(jì)者選擇可以用的元件。除數(shù)據(jù)表外，重要的是要從校園教育和在職培訓(xùn)兩方面一起入手，讓工程師意識(shí)到公平與偏見這一問題。工程師們的背景多樣性能讓他們更易注意到數(shù)據(jù)或模型中的問題。AI Now研究所的一項(xiàng)研（Westetal.,2019）發(fā)現(xiàn)，僅有18%人工智能主要會(huì)議的作者及20%人工智能方向的教授為女性。而黑人人工智能工作者的比例低至4%。這些比例在工業(yè)研究實(shí)驗(yàn)室中也類似?？梢酝ㄟ^高中和大學(xué)等早期階段的項(xiàng)目或?qū)I(yè)層級(jí)的更高認(rèn)識(shí)提升多樣性。喬伊·博拉姆維尼（JoyBuolamwini）創(chuàng)立了算法正義聯(lián)盟，以提高人們對(duì)這一問題的認(rèn)識(shí)，并制訂問責(zé)辦法。第二種想法是去除數(shù)據(jù)偏差（Zemeletal.,2013）。可以對(duì)少數(shù)類別的數(shù)據(jù)進(jìn)行過采樣防止樣本量差異。諸如合成少數(shù)過采樣技術(shù)SMOTE（Chawlaetal.,2002）（eta.,2008）等提供了有原則的過采樣方法。我們可以檢查數(shù)據(jù)來源然后做一些操作，例如剔除那些在過去的判例中表現(xiàn)出偏見的法官的案例。一些分析師反對(duì)丟棄數(shù)據(jù)，他們建議應(yīng)為包含偏差的數(shù)據(jù)建立一個(gè)分層模型，以便進(jìn)行建模和補(bǔ)償。谷歌和NeurIPS試圖通過贊助包容性圖像大賽（theInclusiveImagesCompetition）提高人們對(duì)這個(gè)問題的認(rèn)識(shí)。在這個(gè)比賽中，參賽者用從北美和歐洲收集的帶有標(biāo)簽的圖像數(shù)據(jù)集訓(xùn)練一個(gè)網(wǎng)絡(luò)，然后在來自世界各地的圖像上進(jìn)行測(cè)試。問題是，用這個(gè)數(shù)據(jù)集可以很容易把“新娘”這個(gè)標(biāo)簽應(yīng)用到一個(gè)穿著標(biāo)準(zhǔn)西方婚紗的女性身上，但卻很難識(shí)別傳統(tǒng)的非洲和印度婚紗。第三種想法是發(fā)明新的對(duì)偏見更有抵抗力的模型和算法。第四種想法是允許系統(tǒng)最初提出的建議帶有偏見，然后再訓(xùn)練一個(gè)系統(tǒng)對(duì)第一個(gè)系統(tǒng)的建議去偏。貝拉米等人（Bellamyetal.,2018）提出IBMAIFAIRNESS360系統(tǒng)，為所有這些想法提供了一個(gè)框架。我們預(yù)期未來會(huì)有更多人使用這類工具。如何才能確保建立的系統(tǒng)是公平的？在這方面已有一套優(yōu)秀的做法（盡管人們并非總是遵循這些做法）。從項(xiàng)目一開始就考慮公平性。創(chuàng)造一個(gè)能推動(dòng)軟件工程師的社會(huì)背景多樣性的多元化環(huán)境。定義系統(tǒng)的服務(wù)群體：不同語言的使用者、不同年齡群、不同的視力和聽力水平等。優(yōu)化包含公平的目標(biāo)函數(shù)。性。達(dá)到目標(biāo)。標(biāo)。包含能反映少數(shù)群體用戶體驗(yàn)的系統(tǒng)測(cè)試。設(shè)置反饋渠道，當(dāng)公平性問題出現(xiàn)時(shí)能夠得到解決。信任與透明度設(shè)計(jì)一個(gè)準(zhǔn)確、公平、可靠、安全的人工智能系統(tǒng)是富有挑戰(zhàn)的；而讓所有人相信你做到了這一點(diǎn)則又是另一個(gè)挑戰(zhàn)。人們需要能夠信任他們使用的系統(tǒng)。2017年普華永道的一項(xiàng)調(diào)查發(fā)現(xiàn)76%的企業(yè)出于對(duì)可信度的擔(dān)憂放緩對(duì)人工智能的采用。19.9.4節(jié)中我們討論了一些獲取信任的工程方法，這里我們討論政策問題。為獲取信任，任何工程系統(tǒng)都必須通過一項(xiàng)驗(yàn)證與確認(rèn)（verificationandvalidation，V&V）過程。驗(yàn)證指產(chǎn)品滿足某些規(guī)范。確認(rèn)指確保這些規(guī)范在實(shí)際中要滿足用戶及其他受影響方的需求。對(duì)一般的工程和傳統(tǒng)上由程序員完成的軟件開發(fā)，我們有一套詳盡的V&V方法論。這套方法論中大部分適用于人工智能系統(tǒng)。但機(jī)器學(xué)習(xí)系統(tǒng)是不同的，需要一套新的V&V過程，這還有待開發(fā)。我們需要驗(yàn)證系統(tǒng)用于學(xué)習(xí)的數(shù)據(jù)；需要驗(yàn)證結(jié)果的準(zhǔn)確與公平，即使面對(duì)讓精確結(jié)果不可知的不確定性；需要驗(yàn)證對(duì)手不會(huì)過度影響模型，不能通過查詢竊取信息。一種信任工具是認(rèn)證（certification）。例如，美國保險(xiǎn)商實(shí)驗(yàn)室（UnderwritersLaboratories，UL）成立于1894年，彼時(shí)的消費(fèi)者對(duì)電力風(fēng)險(xiǎn)感到擔(dān)憂。電器的UL認(rèn)證讓消費(fèi)者更加信任，且實(shí)際上UL目前正考慮進(jìn)入人工智能的商業(yè)產(chǎn)品測(cè)試和認(rèn)證市場(chǎng)。其他行業(yè)很早就有安全標(biāo)準(zhǔn)了。例如，ISO26262是汽車安全的國際標(biāo)準(zhǔn)，介紹了如何以安全的方式開發(fā)、生產(chǎn)、經(jīng)營、服務(wù)交通工具。人工智能行業(yè)中盡管已經(jīng)有一些像IEEEP7001這樣正在修訂中的框架，為人工智能和自動(dòng)化系統(tǒng)定義倫理設(shè)計(jì)標(biāo)準(zhǔn)（BrysonandWinfield,2017），但還沒有一個(gè)像ISO26262這樣清晰的標(biāo)準(zhǔn)。人們一直在爭(zhēng)論什么樣的認(rèn)證是必需的，以及應(yīng)在多大程度上由政府、IEEE這樣的專業(yè)機(jī)構(gòu)、UL這樣的獨(dú)立認(rèn)證機(jī)構(gòu)完成或通過由產(chǎn)品公司做自監(jiān)管完成。信任的另一方面是透明度（transparency）。消費(fèi)者想要知道系統(tǒng)內(nèi)是怎么運(yùn)行的，并且確保系統(tǒng)不會(huì)出于故意的惡意、無心的故障或普遍的社會(huì)偏見對(duì)他們不利。在其他方面，因?yàn)樯婕爸R(shí)產(chǎn)權(quán)問題對(duì)消費(fèi)者保密，但應(yīng)該對(duì)監(jiān)管和認(rèn)證機(jī)構(gòu)開放。當(dāng)你的貸款申請(qǐng)被一個(gè)人工智能系統(tǒng)拒絕時(shí)，你應(yīng)得到一個(gè)說明。在歐洲，《通用數(shù)據(jù)保護(hù)條例》保障你的這一權(quán)利。一個(gè)可以說明自己的人工智能系統(tǒng)稱為可解釋AI（explainableAI，XAI）。一個(gè)優(yōu)秀的說明具有幾個(gè)性質(zhì)：它應(yīng)該能被用戶理解且能取信用戶，它應(yīng)該能準(zhǔn)確反映系統(tǒng)的推理，它應(yīng)該是完整的，且它應(yīng)該是具體的，不同用戶在不同條件和不同結(jié)果下應(yīng)該得到不同的說明。讓一個(gè)決策算法訪問它的審議過程很容易，只需要將審議過程記錄為可讀的數(shù)據(jù)結(jié)構(gòu)即可。這意味著可能最終機(jī)器能就它們的決策給出比人類更好的說明。此外，我們可以采取措施證明機(jī)器的說明不是欺騙（無論是故意的或自欺欺人），而這對(duì)人類來說更加困難。說明是有用的，但不足以讓人產(chǎn)生信任。其中一個(gè)問題是，說明并不是決策，而是關(guān)于決策的故事。正如19.9.4節(jié)中討論的，如果我們能看到一個(gè)系統(tǒng)中模型的源代碼并看到它在做的事，我們就稱它是可說明的；即使這個(gè)系統(tǒng)本身是個(gè)不可解釋的黑盒，如果我們能就系統(tǒng)做的事給出緣由，我們稱它是可說明的。為說明這個(gè)不可解釋的黑盒，我們需要構(gòu)建、調(diào)試并測(cè)試一個(gè)獨(dú)立的說明系統(tǒng)，并確保它與原始系統(tǒng)同步。因?yàn)槿祟愊矚g聽好故事，我們都很容易被一個(gè)聽起來不錯(cuò)的說明說服。以當(dāng)今的政治爭(zhēng)議為例，你總能找到兩位所謂的專家，他們的說明截然相反，但都能自圓其說。最后一個(gè)問題是，對(duì)一個(gè)案例的說明并不能概括其他案例。如果銀行說明說，“對(duì)不起，你沒有得到貸款，因?yàn)槟阋郧坝胸?cái)務(wù)問題，”你不知道這個(gè)說明是否準(zhǔn)確，或者銀行是否因?yàn)槟撤N原因暗中對(duì)你有偏見。在這種情況下，你不僅需要一個(gè)說明，而且還需要對(duì)過去的決策進(jìn)行審計(jì)，用各種人口學(xué)群體的匯總統(tǒng)計(jì)來查看他們的批貸率是否均衡。透明度的一部分來自于你知道和你交流的是人工智能系統(tǒng)還是人類。托比·沃爾什（Walsh,2015）提出，“認(rèn)成自主系統(tǒng)之外的任何東西，并應(yīng)在任何互動(dòng)開始時(shí)明確自己的身份。”他稱此為“紅旗”法，以紀(jì)念英國1865年通過的《機(jī)車法案》，該法案要求任何機(jī)動(dòng)車輛都必須由舉著紅旗的人走在前面開道，提示他人可能到來的危險(xiǎn)。2019年，美國加利福尼亞州頒布法律，“任何人使用機(jī)器人在網(wǎng)上與加利福尼亞州的另一個(gè)人進(jìn)行交流，意圖在其人造身份上誤導(dǎo)他人的行為是違法的。”工作前景從第一次農(nóng)業(yè)革命（公元前10000年）到工業(yè)革命（18世紀(jì)末）再到糧食生產(chǎn)的綠色革命（20世紀(jì)50年代），新技術(shù)改變了人類的工作和生活方式。人工智能發(fā)展引發(fā)的主要擔(dān)憂是人類勞動(dòng)會(huì)被淘汰。亞里士多德在《政治學(xué)》（Politics）（第一卷）中非常清楚地提出了主要觀點(diǎn)：如果所有工具，都能夠完成自己的工作，服從并預(yù)見到他人意志……倘若織梭能自動(dòng)織布，琴撥能自動(dòng)撥弦，那么工匠就不需要幫手了，主人也就不需要奴隸了。[3]此處對(duì)《政治學(xué)》一書中的引用采用了中國人民大學(xué)出版社1999——編者注所有人都同意亞里士多德的觀點(diǎn)，即當(dāng)雇主發(fā)現(xiàn)一種機(jī)械化方法能代替此前由人完成的工作時(shí)，他會(huì)立刻減少雇傭人數(shù)。問題在于隨之而來的、有助于增加就業(yè)的補(bǔ)償效應(yīng)，最終是否能彌補(bǔ)這一減少。主要的補(bǔ)償效應(yīng)在于生產(chǎn)力提高帶來的總體財(cái)富增長(zhǎng)，進(jìn)而帶動(dòng)商品需求的增加，有利于增加就業(yè)。例如，普華永道（Rao and Verweij, 2017）測(cè)，到2030年，人工智能每年將為全球GDP貢獻(xiàn)15萬億美元。短期內(nèi)醫(yī)療保健和汽車/運(yùn)輸行業(yè)獲益最大。然而，自動(dòng)化的優(yōu)勢(shì)還沒有在我們的經(jīng)濟(jì)體系中發(fā)揮出來：目前勞動(dòng)生產(chǎn)力的增長(zhǎng)率實(shí)際上是低于歷史水平的。布林約爾松等人（Brynjolfssonetal.,2018）試圖解釋這一悖論，其認(rèn)為基礎(chǔ)技術(shù)的發(fā)展與其在經(jīng)濟(jì)中的應(yīng)用之間的滯后比通常假設(shè)的要長(zhǎng)。歷史上，技術(shù)創(chuàng)新曾導(dǎo)致一些人失業(yè)。19世紀(jì)10年代自動(dòng)織布機(jī)曾取代織布工人，引發(fā)了路德派的抗議。路德派不針對(duì)技術(shù)本身，他們只是希望付給嫻熟工匠豐厚報(bào)酬，由他們操作機(jī)器生產(chǎn)高質(zhì)量的商品，而不是支付微薄的薪水，讓毫無經(jīng)驗(yàn)的工人操作機(jī)器生產(chǎn)劣質(zhì)商品。20世紀(jì)30年代全球范圍內(nèi)的就業(yè)減少讓約翰·梅納德·凱恩斯（JohnMaynardKeynes）提出了技術(shù)性失業(yè)（technologicalunemployment）這個(gè)術(shù)語，在以上兩個(gè)例子及其他更多例子中，就業(yè)水平最終都恢復(fù)了。在20世紀(jì)大部分時(shí)間里，主流經(jīng)濟(jì)學(xué)觀點(diǎn)都認(rèn)為技術(shù)性失業(yè)是一種短期現(xiàn)象。提高的生產(chǎn)力總歸會(huì)帶來財(cái)富和需求的增長(zhǎng)，從而帶來凈就業(yè)增長(zhǎng)。銀行柜員是個(gè)經(jīng)常被引用的例子：盡管ATM取代了人類的點(diǎn)鈔工作，但這降低了銀行網(wǎng)點(diǎn)的運(yùn)營成本，因此網(wǎng)點(diǎn)數(shù)量增加，從而使銀行員工總數(shù)增加。工作的性質(zhì)也發(fā)生了變化，變得不那么例行公事，而是需要更高級(jí)的業(yè)務(wù)技能。自動(dòng)化的凈效應(yīng)似乎是減少了任務(wù)，而不是工作機(jī)會(huì)。大多數(shù)評(píng)論者預(yù)測(cè)至少在短期內(nèi)人工智能技術(shù)也是如此。高德納（Gartner）、麥肯錫（McKinsey）、福布斯（Forbes）、世界經(jīng)濟(jì)論壇（WorldEconomicForum）和皮尤研究中心（PewResearchCenter）均在2018年發(fā)布報(bào)告，預(yù)測(cè)人工智能驅(qū)動(dòng)的自動(dòng)化將帶來就業(yè)崗位的凈增長(zhǎng)。但有分析人士認(rèn)為，這次的情況將有所不同。IBM曾在2019年預(yù)測(cè)，到2022年，將有1.2億工人因自動(dòng)化而需要再培訓(xùn)；牛津經(jīng)濟(jì)預(yù)測(cè)，到2030年，將有2000萬制造業(yè)崗位因自動(dòng)化而消失。弗雷和奧斯本（FreyandOsborne,2017）調(diào)查了702種不同的職業(yè)，并估計(jì)其中47%的職業(yè)有被自動(dòng)化的風(fēng)險(xiǎn)，這意味著這些職業(yè)中都至少有部分任務(wù)可以由機(jī)器完成。例如，美國近3%的勞動(dòng)力是汽車司機(jī)，甚至在一些地區(qū)有高達(dá)15%的男性勞動(dòng)力是司機(jī)。正如我們?cè)诘?6章中看到的，駕駛這一任務(wù)很可能被無人駕駛的汽車、卡車、公共汽車、出租車所取代。區(qū)分職業(yè)和這些職業(yè)中涉及的任務(wù)是很重要的。根據(jù)麥肯錫的估計(jì)，只有5%的職業(yè)會(huì)完全自動(dòng)化，而60%的職業(yè)中大約30%在確保妥當(dāng)提貨和交付；在運(yùn)輸路途的起點(diǎn)/終點(diǎn)擔(dān)任客戶服務(wù)代表和銷售；也許還會(huì)管理3輛機(jī)器人卡車的車隊(duì)。用一名車隊(duì)經(jīng)理取代3利用自動(dòng)化：我們是要專注于降低成本，從而將失業(yè)視為一種積極因素；還是要專注于提高質(zhì)量，讓員工和客戶的生活更美好？心應(yīng)該在結(jié)構(gòu)化分析任務(wù)的自動(dòng)化上，如讀取X射線影像、用戶關(guān)系管理（例如，自動(dòng)排序用戶投訴并回復(fù)推薦補(bǔ)救措施的機(jī)器人），合文檔和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行商業(yè)決策并改進(jìn)工作流的業(yè)務(wù)流程自動(dòng)化（businessprocessautomation）。隨著時(shí)間推移，我們將看到更多物理機(jī)器人實(shí)現(xiàn)自動(dòng)化，最開始會(huì)出現(xiàn)在受控的倉庫環(huán)境中，然后推廣到更加不確定的環(huán)境中，預(yù)計(jì)到2030年它們會(huì)占據(jù)相當(dāng)大的市場(chǎng)份額。隨著發(fā)達(dá)國家的人口老齡化，在職員工和退休人員的比例也隨之改變。2015年時(shí)，每100個(gè)職工對(duì)應(yīng)少于30名退休人員；預(yù)計(jì)到2050年，這一數(shù)字將超過60人。對(duì)老年人的照顧將越來越重要，人工智能可以部分填補(bǔ)這一缺口。此外，如果我們想維持目前的生活水平，那么剩下的工人需要有更高的生產(chǎn)力。自動(dòng)化似乎是實(shí)現(xiàn)這一目標(biāo)的最佳機(jī)會(huì)。盡管自動(dòng)化會(huì)帶來數(shù)億萬美元的凈積極性影響，但因受變革的步伐（paceofchange）生改變的：1900年，超過40%的美國勞動(dòng)力從事農(nóng)業(yè)，但到了2000年，這一比例跌至2%。[4]這對(duì)我們的工作方式是一個(gè)巨大的沖擊，但這是在長(zhǎng)達(dá)100年的時(shí)間跨度里發(fā)生的，因此歷經(jīng)了幾代人，而不是在一個(gè)工人的一生內(nèi)完成。2010年，盡管只有2%的美國勞動(dòng)力是真正的農(nóng)民，但超過25%的人口（約8000萬人）玩過一次《開心農(nóng)場(chǎng)》（FarmVille）游戲。那些在這10年內(nèi)被自動(dòng)化取代的工人在接下來幾年內(nèi)可能不得不接受新的職業(yè)，然后有可能發(fā)現(xiàn)他們的新職業(yè)又要被自動(dòng)化取代，并面臨新的再培訓(xùn)期。有些人可能樂于離開他們的老職業(yè)——我們看到隨著經(jīng)濟(jì)的改善，卡車公司需要提供新的激勵(lì)來雇傭足夠的司機(jī)——但工人們會(huì)對(duì)他們的新角色感到擔(dān)憂。為解決這個(gè)問題，社會(huì)需要提供終身教育，也許在某種程度上依賴于由人工智能驅(qū)動(dòng)的在線教育（Martin,2012）。貝森（Bessen, 2015）認(rèn)為，除非工人被培訓(xùn)為能實(shí)施新術(shù)，否則他們的收入不會(huì)增加，而技術(shù)培訓(xùn)是一個(gè)需要時(shí)間的過程。技術(shù)往往會(huì)加劇收入不平等（income inequality）。在以高帶寬球通信和零邊際成本復(fù)制知識(shí)產(chǎn)權(quán)為標(biāo)志的信息經(jīng)濟(jì)［弗蘭克和庫克（FrankandCook,1996）稱之為“贏者通吃的社會(huì)”］中，回報(bào)趨于集中化。如果農(nóng)民A比農(nóng)民B優(yōu)秀10%，那么A的收入就會(huì)比B的收入多10%。因?yàn)锳可以對(duì)優(yōu)質(zhì)商品收取稍高的價(jià)格，而土地上的產(chǎn)量和運(yùn)輸距離是有限制的。但是，如果軟件應(yīng)用開發(fā)者C比開發(fā)者D優(yōu)秀10%，那么C的軟件最終可能會(huì)占據(jù)全球市場(chǎng)的99%。人工智能加快了技術(shù)創(chuàng)新的步伐，從而推動(dòng)了這一整體趨勢(shì)，但人工智能也讓我們休息一會(huì)兒，用自動(dòng)化代理處理一些事情。蒂姆·菲利斯（TimFerriss）（Ferriss,2007）建議利用自動(dòng)化和外包來達(dá)到每周4小時(shí)的工作時(shí)間。人都是這樣做的。工作有3個(gè)目的：促進(jìn)社會(huì)需要的商品的生產(chǎn)；提供自動(dòng)化程度的提高，這3個(gè)目的可能分化了——社會(huì)的部分需求通過自所得稅抵免、負(fù)所得稅和普遍基本收入。機(jī)器人權(quán)利27.2節(jié)中討論的機(jī)器人意識(shí)問題，對(duì)于機(jī)器人該享受哪些權(quán)利（如果有的話）這一問題十分重要。如果它們沒有任何意識(shí)、任何感受，那么沒有人會(huì)討論它們是否應(yīng)該得享有權(quán)利。但如果機(jī)器人能感到疼痛，如果它們懼怕死亡，如果它們被認(rèn)為是“人”，那么就會(huì)提出這樣的論點(diǎn)，如斯帕羅（Sparrow, 2004）提的，他們有權(quán)利且他們的權(quán)利應(yīng)當(dāng)被承認(rèn)，就像奴隸、女性及其他歷史上受壓迫群體通過抗?fàn)帿@取自己的權(quán)利一樣。虛構(gòu)類文學(xué)作品中經(jīng)?？紤]機(jī)器人人格的問題：從皮格馬利翁到葛佩莉亞，再到匹諾曹，再到電娃/機(jī)器人獲得命，并努力被接受為一個(gè)有人權(quán)的人的傳說。在現(xiàn)實(shí)生活中，索菲亞被正式授予沙特阿拉伯公民榮譽(yù)身份的報(bào)道登上了頭條新聞，索菲亞是一個(gè)長(zhǎng)得像人的木偶 能夠說事先編排好的臺(tái)詞如果機(jī)器人擁有權(quán)利，那它們就不應(yīng)該被奴役，那么就出現(xiàn)一個(gè)問題，對(duì)它們重新編程是否是某種形式的奴役呢？另一倫理問題涉及選舉權(quán)：富人可以購買上千個(gè)機(jī)器人，并編程讓它們投出上千張選票，那么這些選票是否算數(shù)呢？如果一個(gè)機(jī)器人克隆了它自己，那它們可以都投票嗎？選票舞弊和形式自由意志之間的界限在哪？機(jī)器人投票何時(shí)會(huì)違反“一人一票”原則呢？為逃避機(jī)器人意識(shí)這一困境，厄尼·戴維斯（ErnieDavis）主張永遠(yuǎn)不要造出可能被認(rèn)為有意識(shí)的機(jī)器人。約瑟夫·維森鮑姆在1976年出版的ComputerPowerandHumanReason（Weizenbaum，1976）一書中曾提出過這一論點(diǎn)，而在此之前，朱利安·德·拉梅特麗（Julien de LaMettrie）在《人是機(jī)器》（L’Homme 一書中也提出過這一論點(diǎn)。機(jī)器人是我們創(chuàng)造出來用以完成我們指令的工具，如果我們授予它們?nèi)烁?，我們其?shí)只是拒絕為自己財(cái)產(chǎn)的行為負(fù)責(zé)：“我的自動(dòng)駕駛汽車的車禍不是我的錯(cuò)，是汽車自己造成的?！蔽覀円呀?jīng)通過隱形眼鏡、起搏器和人工髖關(guān)節(jié)等技術(shù)增強(qiáng)了人類。但是，計(jì)算概念的加入可能會(huì)模糊人和機(jī)器之間的界限。人工智能安全性幾乎所有的技術(shù)在被不當(dāng)使用的情況下都可能造成傷害，但人工智能和機(jī)器人可以自我操縱。無數(shù)科幻小說故事都警告過機(jī)器人或半人半機(jī)器人的瘋狂行為。早期的例子包括瑪麗·雪萊（Mary Shelley）的《蘭肯斯坦》（Frankenstein,ortheModernPrometheus）（Shelley,1818）和卡雷爾·恰佩克（Karel ˇCapek）的戲劇R.U.R.（1920），在這些作品中機(jī)器人征服了世界。《終結(jié)者》（1984）和《黑客帝國》（1999）這兩部電影都講述了機(jī)器人試圖消滅人類的故事。未上映的《機(jī)器人啟示錄》（robopocalypse）（Wilson, 2011）也講述了機(jī)器人對(duì)抗人類的故事?；蛟S是因?yàn)闄C(jī)器人就像早期故事里的女巫和幽靈一樣總代表著未知，所以機(jī)器人常常扮演反派角色。我們希望如果一個(gè)機(jī)器人聰明到能終結(jié)人類，那它應(yīng)該也能知道這不是預(yù)期的效用函數(shù)。但在構(gòu)建智能系統(tǒng)時(shí)不能依靠希望，還要依靠有安全保障的設(shè)計(jì)過程。部署不安全的AI智能體是不道德的。我們要求智能體能避免事故，抵制敵對(duì)攻擊和惡意濫用，一般來說，我們希望智能體帶來利益而不是傷害。對(duì)部署在安全關(guān)鍵應(yīng)用中的AI智能體來說尤其如此，例如駕駛汽車、在危險(xiǎn)工廠或建筑環(huán)境中控制機(jī)器人以及做出生死攸關(guān)的醫(yī)療決策等。安全工程（safetyengineering）在傳統(tǒng)工程領(lǐng)域中有著悠久的歷史。我們知道如何通過預(yù)先設(shè)計(jì)讓橋梁、飛機(jī)、航天器和發(fā)電廠在系統(tǒng)組件出現(xiàn)故障時(shí)也能安全運(yùn)行。第一種技術(shù)是失效模式與效應(yīng)分析（failuremodesandeffectanalysis，F(xiàn)MEA），分析師逐個(gè)考慮系統(tǒng)中的每個(gè)組件，利用過去的經(jīng)驗(yàn)并基于組件的物理性質(zhì)進(jìn)行計(jì)算，設(shè)想組件可能的出錯(cuò)方式（例如，如果這個(gè)螺栓折斷會(huì)怎么樣？）。然后分析師進(jìn)一步考慮失敗會(huì)帶來什么后果。如果后果很嚴(yán)重（如橋梁的一部分可能會(huì)倒塌），那么分析師就要改變?cè)O(shè)計(jì)以減輕故障影響。（有了這個(gè)額外的交叉構(gòu)件，任意5個(gè)螺栓損壞時(shí)橋梁依然不會(huì)倒塌；有了這個(gè)備份服務(wù)器，在主服務(wù)器被海嘯摧毀時(shí)在線服務(wù)依然可以運(yùn)轉(zhuǎn)。）故障樹分析（faulttreeanalysis，F(xiàn)TA）技術(shù)用于做出這類決策：分析人員對(duì)可能的故障建立一個(gè)與或故障樹，并為每個(gè)根原因分配概率，這樣就可以計(jì)算總體故障概率。這些技術(shù)可用于且應(yīng)該用于所有安全關(guān)鍵的工程系統(tǒng)，包括人工智能系統(tǒng)。軟件工程領(lǐng)域的目標(biāo)是生產(chǎn)可靠的軟件，但其重點(diǎn)一直都是正確性，而非安全性。正確性意味著軟件只需要忠實(shí)地執(zhí)行規(guī)范，但安全性的要求遠(yuǎn)不止于此，它要求規(guī)范考慮所有已存在的故障模式，并通過設(shè)計(jì)使得在面對(duì)不曾預(yù)見的故障時(shí)也能優(yōu)雅地降級(jí)故障。例如，除非自動(dòng)駕駛汽車軟件能處理異常情況，否則不會(huì)被認(rèn)為是安全的。例如，如果主計(jì)算機(jī)的電源斷了怎么辦？一個(gè)安全的系統(tǒng)會(huì)有一個(gè)帶獨(dú)立電源的備用計(jì)算機(jī)。如果高速行駛時(shí)輪胎被刺破怎么辦？一個(gè)安全的系統(tǒng)將對(duì)此進(jìn)行測(cè)試，并將有軟件來糾正由此造成的失控。為最大化效用或?qū)崿F(xiàn)目標(biāo)而設(shè)計(jì)的智能體，如果其目標(biāo)函數(shù)錯(cuò)誤，智能體可能變得不安全。假設(shè)我們讓機(jī)器人去廚房取咖啡，可能會(huì)遇到一些意外的副作用（unintendedsideeffect），機(jī)器人可能因急于完成目標(biāo)而撞倒沿途的燈和桌子。在測(cè)試中，我們可能會(huì)注意到這種行為，并修改效用函數(shù)懲罰此類損害，但設(shè)計(jì)人員和測(cè)試人員很難提前預(yù)測(cè)所有可能的副作用。一種解決方式是設(shè)計(jì)低影響（lowimpact）（ArmstrongandLevinstein,2017）用與狀態(tài)所有變化的加權(quán)和之間的差。這樣，在其他所有條件相同時(shí)，機(jī)器人不愿改變對(duì)效用的影響是未知的事物。之所以它避免碰倒臺(tái)燈，并不是因?yàn)樗鞔_知道碰倒臺(tái)燈會(huì)導(dǎo)致其跌落破裂，而是因?yàn)樗榔毡閬砜磾_動(dòng)結(jié)果是不好的。這可以看作醫(yī)學(xué)生信條“首先，不要傷害”的一種版本，也可以類比機(jī)器學(xué)習(xí)中的正則化：我們想要一個(gè)能實(shí)現(xiàn)目標(biāo)的策略，但我們更喜歡那些采取平穩(wěn)、低影響行動(dòng)以實(shí)現(xiàn)目標(biāo)的策略。關(guān)鍵在于如何衡量影響。碰倒易碎的燈是不能接受的，但如果只是房間里的空氣分子受到一點(diǎn)擾動(dòng)，或者房間里的一些細(xì)菌無意中被殺死，那是完全沒問題的。當(dāng)然傷害房間里的寵物和人是絕對(duì)不能接受的。我們需要綜合運(yùn)用顯式編程、機(jī)器學(xué)習(xí)和嚴(yán)格測(cè)試等手段，確保機(jī)器人明白這些情況（以及這其中許多微妙的情況）間的區(qū)別。效用函數(shù)可能會(huì)因?yàn)橥獠啃远鲥e(cuò)，外部性是經(jīng)濟(jì)學(xué)家們用于指那些超出衡量和支付范圍的因素。如果溫室氣體被視為外部性，世界就會(huì)遭受損失——制造溫室氣體的公司和國家不會(huì)受到懲罰，結(jié)果就是每個(gè)人都遭受損失。生態(tài)學(xué)家加勒特?哈丁（Garrett 1968）將對(duì)共享資源的開發(fā)稱為公地悲劇。我們可以通過內(nèi)化外部性來減輕這一悲劇，即將它們作為效用函數(shù)的一部分，例如征收碳稅，或使用被經(jīng)濟(jì)學(xué)家埃莉諾·奧斯特羅姆（ElinorOstrom）認(rèn)為已經(jīng)被世界各地的人們使用了幾個(gè)世紀(jì)的如下設(shè)計(jì)原則（2009年她憑此工作獲得諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)）。明確定義共享資源及誰有訪問權(quán)限。因地制宜。允許各方參與決策。用可靠的監(jiān)控監(jiān)視資源。根據(jù)違反行為的嚴(yán)重性施加制裁。簡(jiǎn)單沖突解決程序。對(duì)大型共享資源施行多級(jí)控制。維多利亞·克拉科夫娜（VictoriaKrakovna）（Krakovna,2018）列舉了幾個(gè)AI智能體示例，這些智能體在不解決設(shè)計(jì)者想解決的問題的情況下，戲弄了系統(tǒng)，找出了最大化效用的方法。對(duì)設(shè)計(jì)者來說這看起來像作弊，但對(duì)智能體來說，它們只是完成自己的工作。一些智能體能利用模擬中的錯(cuò)誤（例如浮點(diǎn)溢出錯(cuò)誤）提出解決方案，這樣的解決方案在錯(cuò)誤修復(fù)后就無法運(yùn)作。有幾個(gè)智能體在視頻游戲中發(fā)現(xiàn)了在將要輸?shù)粲螒虻臅r(shí)候讓游戲崩潰或暫停的方法，從而規(guī)避懲罰。在對(duì)游戲崩潰進(jìn)行懲罰的規(guī)則中，一個(gè)智能體學(xué)會(huì)了恰好用盡內(nèi)存，這樣在輪到對(duì)手的時(shí)候，它就會(huì)因耗盡內(nèi)存而使游戲崩潰。最后，一個(gè)在模擬世界中運(yùn)行的遺傳算法本應(yīng)進(jìn)化出能快速移動(dòng)的生物，但實(shí)際產(chǎn)生的生物個(gè)子非常高，而且是通過摔倒的方式快速移動(dòng)。智能體的設(shè)計(jì)者應(yīng)該要意識(shí)到這類規(guī)則失敗，并采取措施避免這些失敗。為幫助他們做到這一點(diǎn)，克拉科夫娜團(tuán)隊(duì)發(fā)布了人工智能安全網(wǎng)格世界環(huán)境（Leikeetal.,2017），設(shè)計(jì)者可以在這個(gè)環(huán)境中測(cè)試他們的智能體的表現(xiàn)。這個(gè)道理告訴我們，我們需要非常仔細(xì)地去明確我們要什么，因?yàn)樾в米畲蠡茏屛覀兊玫轿覀冋嬲蟮臇|西。價(jià)值對(duì)齊問題（valuealignment problem）是指確保我們所要求的是我們真正想要的，這也稱為邁達(dá)斯王問題，在1.1.5節(jié)我們?cè)懻撨^。當(dāng)效用函數(shù)無法理解背景社會(huì)中關(guān)于可接受行為的規(guī)范時(shí)，我們就會(huì)遇到麻煩。例如，一個(gè)被雇來打掃地板的人在面對(duì)一個(gè)