《人機對齊》導(dǎo)讀

每日聽書|《人機對齊》怎樣讓AI擁有人類的價值觀？這本書能為你1、幫助你深刻理解人工智能的倫理問題，引導(dǎo)你更加負(fù)責(zé)任地使用科技；2、帶你走進(jìn)科學(xué)家們積極應(yīng)對AI未來問題的計劃，探索可能的解決方案；3、讓你看清人工智能的未來，思考AI對社會和倫理的影響；4、幫助你認(rèn)識到科技與文化之間的相互影響，解析人類的科技?xì)v史。適合誰聽1、對人工智能和倫理問題感興趣的科技愛好者和從業(yè)者；2、尋求深度科普讀物，希望了解人工智能發(fā)展歷程的人；3、對跨學(xué)科研究和科技與文化互動感興趣的人。書籍信息：書名：《人機對齊》原作名：TheAlignmentProblem作者：[美]布萊恩·克里斯汀譯者：唐璐出版社：湖南科學(xué)技術(shù)出版社出版年：2023-6定價：98裝幀：平裝ISBN：9787571021733內(nèi)容簡介如今的“機器學(xué)習(xí)”系統(tǒng)已具備非凡能力，能夠在各種場合代替我們看和聽，并代表我們做決定。但是警鐘已經(jīng)敲響。隨著機器學(xué)習(xí)飛速發(fā)展，人們的擔(dān)憂也在與日俱增。如果我們訓(xùn)練的人工智能（AI）做的事情與我們真正的目的不符，就會引發(fā)潛在的風(fēng)險和倫理問題。研究人員稱之為對齊問題（thealignmentproblem）。暢銷書作家布萊恩?克里斯汀用生動的筆調(diào)，清晰闡釋了AI與我們息息相關(guān)的問題。在書中，我們將認(rèn)識第一批積極應(yīng)對對齊問題的學(xué)者，了解他們?yōu)榱吮苊釧I發(fā)展的局面失控，付出的卓絕努力和雄心勃勃的計劃?？死锼雇〔粌H精練地描繪了機器學(xué)習(xí)的發(fā)展史，并且親自深入科研一線同科學(xué)家對話，準(zhǔn)確呈現(xiàn)了機器學(xué)習(xí)最前沿的進(jìn)展。讀者可以清晰認(rèn)識到，對齊問題研究的成敗，將對人類的未來產(chǎn)生決定性影響。對齊問題還是一面鏡子，將人類自身的偏見和盲點暴露出來，讓我們看清自己從未闡明的假設(shè)和經(jīng)常自相矛盾的目標(biāo)。這是一部精彩紛呈的跨學(xué)科史詩，不僅審視了人類的科技，也審視了人類的文化，時而讓人沮喪，時而又柳暗花明。作者簡介布萊恩·克里斯?。˙rianChristian），暢銷書作家，他的《算法之美》（AlgorithmstoLiveBy，與TomGriffiths合著），入選了亞馬遜年度zui佳科學(xué)書籍和MIT技術(shù)評論年度zui佳書籍；《人機大戰(zhàn)》（TheMostHumanHuman）廣受好評，入選了《紐約時報》編輯選書，也是《紐約客》年度zui受歡迎書籍。他的作品贏得了多個獎項，入選了《美國最佳科學(xué)和自然寫作》，被譯成了19種語言?？死锼雇碛胁祭蚀髮W(xué)和華盛頓大學(xué)的計算機科學(xué)、哲學(xué)和詩歌學(xué)位，是加州大學(xué)伯克利分校的訪問學(xué)者。前言你好，歡迎每天聽本書，我是陳章魚。今天我要為你解讀的這本書叫《人機對齊》。這本書2023年6月出版，作者布萊恩·克里斯汀是一位暢銷書作家，他長期關(guān)注計算機科學(xué)的前沿動態(tài)，得到聽書解讀過他的作品《算法之美》。這一次，他的這本《人機對齊》談的是目前人工智能領(lǐng)域最重要的課題之一。人機對齊，就是讓AI的價值觀和人類的價值觀保持一致。更通俗地說，就是怎么讓人工智能更像個人。在科幻作品里，咱們常常能看到這種情節(jié)：AI變得比人類更聰明，于是統(tǒng)治人類，把人類變成奴隸。有的時候人類也會想辦法用各種規(guī)則限制AI，不過也未必能如愿。比如你可能聽過科幻作家阿西莫夫提出的“機器人三定律”，第一條定律就是機器人不能傷害人類。但是，在阿西莫夫的故事里，機器人擁有掌控世界的力量之后，就把所有人類都囚禁在家中。機器人的邏輯是，你們?nèi)祟惪偸菭幎?，甚至?xí)ハ鄽⒙?，我為了保護(hù)你們不受傷害，只能把你們?nèi)P(guān)在家里了。在這篇小說誕生的1942年，這只是小說家的奇談。但是現(xiàn)在，這些擔(dān)心不再是杞人憂天了。AI開始越來越多介入到人們的生活中，商家為你推薦什么商品，網(wǎng)站為你推薦什么視頻，銀行要不要讓你的信用卡擁有更大的額度，婚介為你介紹什么樣的相親對象，甚至是公司是否要錄取某個求職者，法庭要不要允許一個人被保釋，這些決策的背后，有越來越多的人工智能算法在參與。這本書中有個比喻很有意思：AI的能力越來越強，應(yīng)用的領(lǐng)域越來越多，人類就越來越像奇幻小說中的那種半吊子魔法師，懂一點魔法，又不是完全精通，自己憑感覺琢磨咒語，有的時候就會害怕自己勁兒大了。原本想召喚一團(tuán)火焰，結(jié)果變成一個大火球。一旦我們發(fā)現(xiàn)咒語不準(zhǔn)確或者不完整，又手忙腳亂地阻止，免得我們的智慧召喚出什么可怕的巨龍。那么，怎么防止AI訓(xùn)練出現(xiàn)問題呢？這本書當(dāng)中針對不同的算法，指出背后對應(yīng)的問題，還有可能的解決方案?？偨Y(jié)起來一共有三種情況，咱們一個一個慢慢說。第一部分我們先來說第一種可能出現(xiàn)的問題。你可能聽說過谷歌鬧過的一個大烏龍。2015年，谷歌圖片推出過一項功能，用戶上傳照片之后，網(wǎng)站會借助AI技術(shù)自動給照片打標(biāo)簽。比如有人上傳一張和狗狗一起在海邊的照片，AI就會標(biāo)記“海邊旅行”“狗”，這樣方便用戶去搜索自己的照片。但是，一位軟件工程師在試用這項功能時，發(fā)現(xiàn)自己的圖庫里有一個標(biāo)簽叫“大猩猩”。這讓他很奇怪，他也沒去動物園拍過大猩猩。點進(jìn)去他發(fā)現(xiàn)，里邊都是他給一位黑人朋友拍的照片。這位工程師截了一張圖發(fā)到了推特上，他的評論是：“谷歌照片，你們搞砸了。我的朋友不是大猩猩?！边@件事在網(wǎng)上引起了軒然大波，谷歌不得不出面道歉。為什么會出現(xiàn)這樣的問題呢？不是因為AI進(jìn)化出了思想，有意識地歧視黑人。我們得插入一點科普，目前最流行的訓(xùn)練AI的算法有三種。谷歌的圖片識別，用的是一種叫“監(jiān)督學(xué)習(xí)”的算法。這種方法有點像爸爸媽媽教小朋友，給小朋友看這是大象、這是斑馬，小朋友看得多了自己就認(rèn)識了。問題是，如果爸爸媽媽教小朋友認(rèn)蘋果，但是只讓小朋友看紅蘋果，那么小朋友看到綠蘋果的時候，他就可能認(rèn)為這是個梨。谷歌的問題也是這樣。因為谷歌的工程師中黑人比較少，所以谷歌用來訓(xùn)練AI的圖片庫中，黑人圖片沒有白人圖片多，AI在看到不熟悉的東西時，更容易出錯。你可能會說，那這樣的偏見應(yīng)該不難消除吧？實際上，修正AI的難度比我們想象中要大很多。谷歌后來也沒有從技術(shù)上解決這個問題，他們只能禁止了“大猩猩”這個標(biāo)簽，用戶就算上傳真的大猩猩圖片，AI也不會給圖片打這個標(biāo)簽了。這本《人機對齊》中給出的另一個例子更能體現(xiàn)問題。美國有一位計算機專業(yè)的大學(xué)生叫布蘭維尼。布蘭維尼有一次做計算機課的作業(yè)，她想做一個程序，讓人和計算機可以玩躲貓貓。編程的過程十分順利，但是有一個問題：機器人無法識別布蘭維尼的臉，她是個黑人女孩。最后布蘭維尼只能借室友的臉完成作業(yè)。到了大學(xué)快畢業(yè)時，布蘭維尼來到香港參加一個創(chuàng)業(yè)比賽，她看到一家中國公司研發(fā)的社交機器人，這個機器人也認(rèn)不出布蘭維尼的臉。就像布蘭維尼自己說的，“在世界的另一端，我了解到算法偏見的傳播速度與從互聯(lián)網(wǎng)下載文件的速度一樣快”。布蘭維尼碩士畢業(yè)后，去了MIT的實驗室，在那里她又做了一個項目，叫“勵志鏡子”，就是研發(fā)一種增強現(xiàn)實的鏡子，用戶在照鏡子的時候給出勵志的視覺效果，比如，讓照鏡子的人變成獅子。同樣，效果很好，只有一個問題。AI還是認(rèn)不出布蘭維尼的臉，她自己照鏡子時必須戴一個白色面具。后來，布蘭維尼測試了微軟和IBM研發(fā)的人臉識別系統(tǒng)。發(fā)現(xiàn)這些系統(tǒng)都有類似的問題，識別男性面部的準(zhǔn)確率比識別女性高10%到20%，識別淺膚色面孔的準(zhǔn)確率要比識別深膚色面孔要高10%到20%。那么，為什么這種問題解決起來比我們想象中要難呢？畢竟讓AI多看一些圖片，這個問題就不會出現(xiàn)了。我們來看一個AI出現(xiàn)之前的案例，不過從這個案例，我們就能看出問題的關(guān)鍵。在拍電影還要用膠片的時代，好萊塢的攝影師們會用“雪莉卡片”來調(diào)校顏色?！把├蚩ㄆ笔且粡垬?biāo)準(zhǔn)照片，這張照片是個叫雪莉的白人女孩，她是柯達(dá)公司的員工。一開始是柯達(dá)公司為了方便這么做的，隨著柯達(dá)公司的影響力，“雪莉卡片”成了行業(yè)標(biāo)準(zhǔn)。在那個時代，柯達(dá)公司生產(chǎn)的膠片甚至還會根據(jù)白人的膚色，去調(diào)整自己的化學(xué)工藝。其實這在當(dāng)時都挺順理成章的，因為絕大多數(shù)演員和模特都是白人。結(jié)果就是那個時候的攝像機根本拍不好黑人。按說攝像機不是人，鏡頭拍下來的內(nèi)容不會有偏見，可是當(dāng)人們按照白人來調(diào)校攝像機的參數(shù)，按照白人來調(diào)整膠片的工藝，鏡頭就帶上了偏見。我們想象一下，就算一個黑人演員和白人演員在鏡頭前公平競爭，他們的演技和長相都不相上下，但是黑人演員拍出來就是沒有白人演員好看，那么就更容易被淘汰。反過來，因為鏡頭前都是白人，鏡頭和膠片再改進(jìn)技術(shù)，目標(biāo)也都是怎么把白人拍得好看。這就變成了一個循環(huán)。后續(xù)的故事有點黑色幽默：到了上世紀(jì)60年代，柯達(dá)的膠卷對于深色的表現(xiàn)力越來越好。你可能以為這是當(dāng)時美國的民權(quán)運動在起作用，實際上，原因是家具廠商希望能給深色木材拍出更好的效果，巧克力廠商希望給巧克力拍出更好的效果。但是黑人演員、黑人模特卻因此意外獲得了機會。AI時代也是如此，每個人臉識別系統(tǒng)背后都是一個圖像庫，里邊有幾萬張乃至幾十萬張圖片。這些圖片，就是21世紀(jì)的“雪莉卡片”。雖然從一張“雪莉卡片”變成了幾十萬張圖片，但是背后思路是不變的：選擇少數(shù)圖片作為代表，作為接下來工作的指導(dǎo)。因為多一些圖片，就意味著增加工作量和增加成本。你得先花費大量人工把每一張訓(xùn)練圖里都有什么內(nèi)容標(biāo)記好，再“喂”給AI訓(xùn)練。時間有限、成本有限，根本不可能讓AI看遍世界上所有的圖片，那么開發(fā)者只能選擇自己認(rèn)為有代表性的。有選擇，就意味著可能產(chǎn)生偏見。這是AI的第一種偏見，可以說是因為視野受限而產(chǎn)生的偏見。那么這樣的偏見可以消除嗎？這本書認(rèn)為，要消除這樣的偏見，重要的是公開AI訓(xùn)練所用的數(shù)據(jù)集，讓別人來監(jiān)督這個數(shù)據(jù)集是不是真的具有足夠的代表性。如果訓(xùn)練出來的AI將會影響很多人，那么應(yīng)該讓這些人了解，訓(xùn)練AI時選擇的素材是不是真的考慮到了他們之中的所有人。第二部分如果當(dāng)訓(xùn)練AI的時候，用的數(shù)據(jù)集足夠廣泛，沒有遺漏，是不是這樣訓(xùn)練出來的AI就沒有偏見呢？還真有這樣的訓(xùn)練方法。前邊咱們說到，AI在圖像識別領(lǐng)域用的訓(xùn)練方法叫“監(jiān)督學(xué)習(xí)”。在其他領(lǐng)域還有另一種方法，叫“無監(jiān)督學(xué)習(xí)”，把海量的數(shù)據(jù)“喂”給AI，你不用標(biāo)記每個數(shù)據(jù)是什么，AI看得多了會自動發(fā)現(xiàn)其中的規(guī)律和聯(lián)系。如果說“監(jiān)督學(xué)習(xí)”是老師教學(xué)生，那“無監(jiān)督學(xué)習(xí)”就像是讓AI上自習(xí)，反正AI非常勤奮，讓它自己調(diào)研大量內(nèi)容，看多了就會了。因為這種方式不需要提前標(biāo)記數(shù)據(jù)，所以理論上可以讓AI看無限量的數(shù)據(jù)，避免視野受限出現(xiàn)的問題。不過這個時候，新的問題又顯現(xiàn)出來了。書里邊又舉了一個關(guān)于谷歌的案例，可能是谷歌在人工智能領(lǐng)域走得比較靠前，所以成績多，問題也多。谷歌開發(fā)了一種人工智能，從報紙雜志和互聯(lián)網(wǎng)獲得了大量語言數(shù)據(jù)，將這些數(shù)據(jù)輸入到一個神經(jīng)網(wǎng)絡(luò)，讓AI自己去尋找詞語和詞語之間的聯(lián)系。雖然AI未必能理解這些語言，但是它通過自動學(xué)習(xí)，能找到詞語和詞語之間的關(guān)聯(lián)。很快它就發(fā)現(xiàn)北京和中國有關(guān)，莫斯科和俄羅斯有關(guān)，你再問它什么和英國有關(guān)，它就會回答倫敦。你看，AI通過自主學(xué)習(xí)理解了首都和國家這樣的關(guān)聯(lián)。谷歌的工程師給AI增加了一個功能，可以在詞語之間做加減法。當(dāng)然，和數(shù)學(xué)的加減法不完全一樣。如果輸入“中國+河流”，AI的回答可能是“長江”。還可以是更復(fù)雜的算式，比如“巴黎-法國+意大利”，AI的回答是“羅馬”。輸入“國王-男人+女人”，就會得到“女王”。這個AI一直運行得挺好，直到兩年后，幾個科學(xué)家隨便逗這個AI玩的時候，他們發(fā)現(xiàn)了一些問題。輸入“醫(yī)生-男人+女人”，AI返回的答案是“護(hù)士”。更糟糕的情況是，他們輸入“店主-男人+女人”，返回的答案是“家庭主婦”，他們又輸入“計算機程序員-男人+女人”，返回的答案還是“家庭主婦”。換句話說，這樣訓(xùn)練出來的AI，會把職業(yè)和性別關(guān)聯(lián)起來，認(rèn)為某些職業(yè)天生適合男性，某些職業(yè)天生適合女性。這當(dāng)然也不是因為AI進(jìn)化出了思想，有意識地歧視女性，AI只會在詞語之間尋找關(guān)聯(lián)，海量的數(shù)據(jù)背后體現(xiàn)的是人們的偏見。那你說，咱們把這樣的偏見抹去，不讓AI把職業(yè)和性別掛鉤行不行？你會發(fā)現(xiàn)，這件事情的難度會比想象中大很多。很多大公司都開發(fā)了AI系統(tǒng)幫助篩選簡歷，比如亞馬遜。他們的思路是，給AI看過去已經(jīng)入職的員工的簡歷，讓它了解在職員工都是什么樣的。AI在審查求職者簡歷的時候，挑選那些和入職員工最像的人。最像在職員工的求職者，當(dāng)然就是公司需要的人?？墒侨藗儼l(fā)現(xiàn)，這個系統(tǒng)在運行中，會不自覺地帶上偏見。比如說，現(xiàn)有的工程師團(tuán)隊男的多女的少。AI就會認(rèn)為公司需要更多男性工程師，在篩選時刷掉更多女性。你說咱們修改系統(tǒng)，排除掉性別這一項，不讓AI判斷的時候看到求職者的性別。但是簡歷上還會有名字，AI看到一個求職者叫麥克，一個求職者叫瑪麗，它就會覺得麥克更合適。那你說咱們再修改系統(tǒng)，把名字也排除。簡歷上還會寫興趣愛好，AI會根據(jù)你喜歡足球還是壘球來判斷性別；簡歷上還會寫畢業(yè)院校，如果學(xué)校是某某女子學(xué)院，AI也會感覺出來。甚至，男女在寫作風(fēng)格上都會有些許不同，這種細(xì)微的不同咱們也許感覺不到，但是AI能感覺出來。老話說“人以群分”，用這種無監(jiān)督學(xué)習(xí)的方式，AI就能把人劃分成各種群，然后把群當(dāng)做一面高墻，不是這個性別，不是這個民族，可能就進(jìn)不來。這個問題之所以比較難解決，因為我們既需要無監(jiān)督學(xué)習(xí)的不可控，又不能讓它那么不可控。設(shè)計這種算法的目的，本身就是捕捉數(shù)據(jù)中隱藏的相關(guān)性。比如我們開個腦洞，如果AI發(fā)現(xiàn)，學(xué)過一些中文的軟件工程師表現(xiàn)都更好，接下來篩選簡歷時，它給懂中文候選者加分，這可能就是企業(yè)需要的。因為AI發(fā)現(xiàn)了一種我們還意識不到的特質(zhì)，AI比人類更能慧眼識珠。但是這種相關(guān)性又不可控，企業(yè)想要的是能力強或者能快速融入團(tuán)隊，可是AI可能想要的是某種性別、種族?？刂普摰淖鎺煚斨Z伯特·維納，在幾十年前就說過一句話：“我們最好確定，機器的目的是我們真正渴望的目的?！苯裉炜磥碚娴氖欠浅Ｓ蓄A(yù)見性。我在書中看到了另一個人類和AI目的沒有對齊的案例。進(jìn)入21世紀(jì)，美國有越來越多的法官借助AI來幫助做決定，比如，應(yīng)不應(yīng)該允許某個犯人保釋？最受法官歡迎的一個AI工具叫COMPAS，COMPAS能根據(jù)犯人的履歷，對他的未來給出1到10分的評分，評分越高，犯人出獄后再次犯罪的可能性就越大。從原理上講，AI在評估時候，是基于罪犯過往的犯罪史來預(yù)測未來，但是實際使用時，COMPAS展現(xiàn)出了很明顯的種族傾向。比如兩名窩藏毒品的犯人，案情非常類似，但是AI給白人的評分是3分，給黑人卻是10分。那到底是哪里出問題了呢？是算法設(shè)計不合理嗎？有人一針見血地指出，過往的數(shù)據(jù)出了問題。雖然這個AI設(shè)計的目的是預(yù)測一個人有沒有可能犯罪，但是一個人是否犯罪這個數(shù)據(jù)，其實捕捉不到。你可能說不對吧？有警察局的記錄和法庭的卷宗啊。但是你要注意，那其實不是有多少人犯罪的數(shù)據(jù)，而是有多少人被警察抓捕，有多少人被法庭定罪的數(shù)據(jù)。所以，COMPAS這個AI預(yù)測的，其實不是一個犯人出獄后，有多大的可能性再次犯罪，而是有多大的可能性再次被捕和再次定罪。這樣我們就理解為什么案情類似，COMPAS給白人罪犯和黑人罪犯的打分有這么大區(qū)別了。在美國，警察抓捕和法庭宣判的時候，確實對黑人會比較嚴(yán)厲。書中有一個說法讓我印象深刻，前邊咱們說如果人類教AI認(rèn)蘋果，只看到紅蘋果沒看到綠蘋果，會讓AI產(chǎn)生偏見，另一方面，如果有人一直把獅子誤認(rèn)為是貓，那也沒法指望AI真的能認(rèn)出獅子和貓。你看，這個劇情是不是越來越像科幻小說家們幻想過的場景了？人們希望AI秉公執(zhí)法，AI卻陰錯陽差帶上了偏見。這么看來，不論是監(jiān)督學(xué)習(xí)還是無監(jiān)督學(xué)習(xí)，都容易出現(xiàn)問題。監(jiān)督學(xué)習(xí)因為數(shù)據(jù)集有限，很可能因為視野受限出現(xiàn)偏見，忽略那些看不見的人群。無監(jiān)督學(xué)習(xí)倒是沒有這個顧慮，視野開闊了，可是又不受控，有時會出現(xiàn)奇思妙想，有時會出現(xiàn)胡思亂想，就算是能客觀體現(xiàn)人們以往的想法，但是如果之前的想法中本身就帶有偏見，這種偏見就很難根除。不論用哪種方式訓(xùn)練的AI，我是不太敢把審判的權(quán)力交給它。好在，我們還有另一種訓(xùn)練AI的方法。第三部分前邊我們說到過，目前最流行的訓(xùn)練AI的算法有三種。咱們已經(jīng)聊了“監(jiān)督學(xué)習(xí)”和“無監(jiān)督學(xué)習(xí)”，第三種方法叫“強化學(xué)習(xí)”，AI每做出一個決定，都給它一個反饋，比如說加分還是扣分。強化學(xué)習(xí)就像是教練訓(xùn)練運動員，運動員哪個動作出錯了，馬上就被指出來，立即給你糾正。當(dāng)年的AlphaGo用的就是強化學(xué)習(xí)的原理。這種機制看起來更加靠譜，教練訓(xùn)練運動員、老師傅帶徒弟、職場培訓(xùn)新員工，差不多都是用這樣的方式。不過這種方式也有潛在的問題，就是讓AI過于專注“動作”，而忽略了背后的“愿景”。書中有個很有趣的案例，作者的朋友是一位經(jīng)濟(jì)學(xué)家，最近他在訓(xùn)練小兒子上廁所，他希望幾歲大的女兒也能參與進(jìn)來。為了增加積極性，他就制定了一個規(guī)則：每一次姐姐陪弟弟上廁所，爸爸就給姐姐一塊糖。幾天以后，這個幾歲的小姑娘就進(jìn)行了人生中可能是第一次推理，找到了規(guī)則的漏洞。她發(fā)現(xiàn)弟弟喝水越多，上廁所就越多。于是，她開始每天給弟弟灌水。你看，這就是強化學(xué)習(xí)可能會帶來的問題。咱們平時也都看到過類似的情況，一家公司里邊員工每天兢兢業(yè)業(yè)完成任務(wù)，該做的動作都挺標(biāo)準(zhǔn)，可是這些動作是不是真的能給公司帶來收益，是不是真的對業(yè)務(wù)發(fā)展有好處，員工并不關(guān)心。但是我們也不能說就是員工沒有責(zé)任心，有的時候是老板讓員工做這個做那個，可是這些動作和公司發(fā)展之間有什么關(guān)系，他自己也未必想清楚了。人類和AI之間，也是這么個關(guān)系。如果是訓(xùn)練AI下圍棋，這種規(guī)則明確的情況還比較好處理，但是面對更復(fù)雜的場景時，我們其實都是腦子沒有那么清楚的老板，動作和愿景之間的關(guān)系，我們也沒法確定。這怎么辦呢？目前計算機科學(xué)家們已經(jīng)找到了幾種解決的思路。一種思路是模仿，既然場景復(fù)雜，我們沒法拆解出一個個步驟，制定出那么詳細(xì)的獎懲規(guī)則，那就讓人類示范，AI模仿。在這個過程中，AI會慢慢消化我們的一些價值觀。自動駕駛就是典型的例子，想要用一套規(guī)則讓AI明白應(yīng)該怎么開車，確實有點困難，AI可能沒法理解什么叫“在保持安全的情況下盡快開過去”。那就找一位優(yōu)秀的司機示范一下，尤其是復(fù)雜的路況下，比如有人橫穿馬路，汽車和自行車混行，看這位有經(jīng)驗的司機是怎么處理的，讓AI去學(xué)習(xí)。這也是目前自動駕駛領(lǐng)域最好的訓(xùn)練AI的方法。再有一種思路，計算機科學(xué)家稱之為“逆強化學(xué)習(xí)”。聽這個名字你就知道，這種思路是和“強化學(xué)習(xí)”對應(yīng)的。你可以把強化學(xué)習(xí)想象成一個游戲。在這個游戲中，AI采取各種行動，比如向前走、向后走、跳躍等等。每當(dāng)它采取行動，環(huán)境就會給予它一些分?jǐn)?shù)作為獎勵。AI的目標(biāo)就是一次次嘗試，找出一種策略，使得它能夠獲得最多的分?jǐn)?shù)，所以它有可能會鉆規(guī)則的空子，用一種我們想象不到的方式“刷分”。所以，在強化學(xué)習(xí)中，是規(guī)則不變，AI琢磨應(yīng)該怎么行動。而逆強化學(xué)習(xí)，就像是AI看別人打游戲，它看到玩家向前走、向后走，然后分?jǐn)?shù)在變化。讓AI去猜想，到底這個游戲是個什么規(guī)則。換句話說，在逆強化學(xué)習(xí)中，AI琢磨的是規(guī)則。用這種方法，我們就能看到，在AI眼中，我們制定的規(guī)則是什么樣的，和我們想象中的愿景是否一致，不一致的話應(yīng)該怎樣改進(jìn)。這給了我們一個不一樣的視角，畢竟我們的目標(biāo)是“對齊”，如果只