即將到來的人工智能黑客

布《即將到來的人工智能黑客》。報告認為，隨著人工智能在學習和解決問題方面的普遍應用，人工智能黑客將應運而生在社會、經(jīng)濟和政治體系中尋找漏洞然后利用漏洞帶來告分析了人工智能黑客攻擊具有速度快、規(guī)模大和危險工智能黑客攻擊所帶來的影響，提出了具體防御措施建安全研究所對該報告進行了編譯，期望對我國有關(guān)部人工智能已經(jīng)深深地嵌入到人類的社會結(jié)構(gòu)中，它將在一定程度上攻擊人類社會，并帶來前所未有的影響。這種攻擊體現(xiàn)為兩種截然不同的方式：一是人工智能系統(tǒng)被用來攻擊人類；二是人工智能系統(tǒng)自身成為黑客，從各種社會、經(jīng)濟和政治體系中尋找漏洞，并以前所未有的速度、規(guī)模和范圍來利用這些漏洞。隨著人工智能在學習、理解和解決問題方面變得更加先進，人工智能黑客將應運而生。未來人類面臨的將是人工智能系統(tǒng)彼此攻擊的世界，對人類的傷害不過是附帶而已。一、黑客攻擊無處不在計算機無處不在，影響著人類生活的方方面面，黑客攻擊可能出現(xiàn)在任何地方，并導致各種結(jié)果。黑客攻擊是指對某一系統(tǒng)的巧妙而非故意地利用，可顛覆該系統(tǒng)的規(guī)則或規(guī)范，并以犧牲該系統(tǒng)的其他部分為代價；或者指某種被系統(tǒng)所允許、但其設(shè)計者意想不到和不曾預料的情形。黑客攻擊通常被認為是對計算機系統(tǒng)進行的操作，但其實任何規(guī)則體系都是可以被攻擊的。所有的計算機軟件都存在缺陷，某些缺陷會導致安全漏洞，攻擊者可以通過故意觸發(fā)缺陷來達到某種條件，從而使自身獲利。稅法中也存在這類缺陷，例如有一種逃避企業(yè)所得稅的把戲，叫做“愛爾蘭夾荷蘭雙層三明治”（DoubleIrishwithDutchsandwich），這是由多個國家/地區(qū)稅收法律之間的矛盾引發(fā)的漏洞。谷歌、蘋果等美國科技企業(yè)利用設(shè)在愛爾蘭和荷蘭的子公司，將利潤轉(zhuǎn)移至低稅或無稅管轄區(qū)，從而逃避其應在美國繳納的稅款。二、利用人工智能攻擊人類人工智能是一個概括性術(shù)語，涵蓋了模擬人類思維的廣泛的決策技術(shù)。人工智能分為通用人工智能和專門人工智能。通用人工智能能夠以非常普遍和人性化的方式來感知、思考和行動，其中比人類更聰明的被稱為“人工超級智能”。專門人工智能是為特定任務設(shè)計的，一個典型的例子就是自動駕駛系統(tǒng)。本文主要以實用的專門人工智能為討論對象。（一）人工智能能夠很自然地騙取人類的信任2016年，佐治亞理工學院發(fā)表了一項關(guān)于人類對機器人信任的研究。該研究使用了一個非人形機器人協(xié)助在建筑物中導航，提供諸如“走這邊到出口”之類的方向指示。參與者先是在正常情況下與機器人互動，體驗其故意做出的不佳表現(xiàn)；然后決定是否要在模擬的緊急情況下遵循機器人的指令。在后一種情況下，所有26名參與者全都服從了機器人。參與者對這臺機器的信任度是驚人的：當機器人指向一個沒有明確出口的黑暗房間時，大多數(shù)人都會服從機器人，而不是從他們進來的入口安全地離開。研究人員使用其它看似故障的機器人進行了相似的實驗，受試者在緊急情況下仍是跟隨這些機器人，明顯放棄了自己的常識。機器人似乎很自然地就可以騙取人類的信任。（二）類人人工智能會模仿人類、干擾人類的認知長期以來，人們都認為計算機程序具備類似人類的特性，會把人工智能當作人來看待。人工智能也會故意表現(xiàn)得像人一樣，并以此來欺瞞人類，干擾人類的認知。2016年美國總統(tǒng)大選期間，約有五分之一的政治推文是機器人發(fā)布的。在同年的英國脫歐公投當中，則占了三分之一。牛津互聯(lián)網(wǎng)研究所2019年的一份報告指出，有證據(jù)表明機器人被用來“機械地重復刷口號”，在50個國家進行宣傳。2017年聯(lián)邦通信委員會就其廢除網(wǎng)絡(luò)中立法規(guī)的計劃征求公眾意見，收到了驚人的2200萬條評論，其中可能有一半都是人工智能通過盜用身份提交的。人工智能還一直為美聯(lián)社等新聞機構(gòu)撰寫相關(guān)新聞報道，OpenAI的GPT-3項目1正在擴展由人工智能驅(qū)動的文本生1OpenAI是由諸多硅谷、西雅圖科技大亨聯(lián)合建立的人工智能非營利組織。2015年馬斯克與其他硅谷、西雅圖科技大亨進行連續(xù)對話后，決定共同創(chuàng)建OpenAI，希望能夠預防人工智能的災難性影響，推動人工智能發(fā)揮積極作用。2020年6月，OpenAI宣布了GPT-3語言模型，微軟于2020年9月22日取得獨家授權(quán)。GPT-3模型可以虛構(gòu)和開發(fā)程序代碼、編寫深思熟慮的商業(yè)備忘錄、總結(jié)文本等，語言能力十分驚人。成功能，給這些系統(tǒng)輸入事實真相并寫出真實報道，但也很容易給系統(tǒng)輸入不實內(nèi)容并寫出虛假新聞。不難想象人工智能將如何削弱政治話語。由人工智能驅(qū)動的角色模型已經(jīng)能夠給報紙和當選官員寫個性化信件、在新聞網(wǎng)站和留言區(qū)留下可理解的評論，并在社交媒體上智能地進行政治辯論。這些系統(tǒng)只會變得更復雜、更清晰、更個性化，并且更難以同真人區(qū)分開來。在近期的一項實驗中，研究人員使用文本生成程序提交了1000條評論，響應政府就醫(yī)療補助問題展開的公眾意見征集。這些評論聽起來都很獨一無二，很像是來自持有特定政策立場的真人，并成功騙過了系統(tǒng)管理員。深度偽造，即制作虛假事件真實視頻的人工智能技術(shù)，正被用于政治目的。“人物角色機器人”便是其中一個很好的示例。“人物角色機器人”是在社交媒體和其他數(shù)字群組中冒充個人用戶的人工智能，有歷史記錄、個性和溝通風格。它們在各種興趣小組中閑逛，然后冒充這些社區(qū)的正常成員發(fā)帖、評論和討論，它們可以輕松挖掘過往對話以及相關(guān)內(nèi)容，從而顯得知識淵博。這類機器人偶爾會發(fā)布一些與政治議題相關(guān)的內(nèi)容，如一篇關(guān)于阿拉斯加醫(yī)護人員對新冠病毒疫苗產(chǎn)生過敏反應的文章，或者是關(guān)于近期的選舉、種族平等或任何兩極分化的議題。一個“人物角色機器人”可能無法扭轉(zhuǎn)輿論，但假如有成千上萬個，甚至上百萬個呢？這被稱為“運算宣傳”，且將改變?nèi)藗兛创郎贤ǖ姆绞健Ｈ斯ぶ悄芪磥韺⒛軌驅(qū)崿F(xiàn)虛假信息的無限供告—評論”的法規(guī)政策制定程序，也將會破壞群體話語體系。人工智能系統(tǒng)也會對個體認知產(chǎn)生影響。借助人工智能技術(shù)，將原本定制網(wǎng)絡(luò)釣魚攻擊的繁瑣任務自動化，并基于社會工程學，推送個性化的廣告、發(fā)送更具個人針對性的電子郵件，可能使個人和企業(yè)遭受重大經(jīng)濟損失。例如，冒充首席執(zhí)行官發(fā)給財務部門電子郵件或語音，指示其完成一筆特定電匯，可能會特別有效。從根本上講，并不是被人工智能說服就比被另一個人說服更具破壞性，而是人工智能能夠以計算機的速度和規(guī)模做到這一點。目前，人工智能干擾人類的認知還很低級：用來糊弄虛假報刊文章，或是針對最絕望人群的精心騙局。人工智能很可能為所有干擾活動引入微觀目標：個性化、最優(yōu)化和個別投送。傳統(tǒng)詐騙是單獨籌劃的個人對個人的干擾認知，廣告信息則是批量放送的干擾認知，而人工智能技術(shù)卻可能將這兩者全面融合。（三）機器人技術(shù)讓黑客攻擊更具破壞力人形機器人是一項在情感上極具說服力的技術(shù)，機器人技術(shù)讓人工智能的攻擊行為更具破壞力。由于人工智能可以模仿人類、甚至動物，它將劫持人類的所有機制用來互相攻擊。正如心理學家雪莉·特克在2010年寫到的：“當機器人在做眼神交流、面部識別、模仿人類手勢時，它們會按下人類的達爾文按鈕，表現(xiàn)出人類與感知、意圖和情感相關(guān)的那種行為?！睋Q言之，機器人攻擊了人類的大腦。因為人類把機器人當作有情感和意圖的生物，那么人類就很容易被機器人操縱。機器人可以說服人類去做一些原本可能不會做的事情；也可能會恐嚇人們不去做本來可以做的事情。在一項實驗中，機器人能夠?qū)κ茉囌呤┘印巴閴毫Α?，鼓動他們?nèi)ッ案嗟娘L險。人工智能已經(jīng)在嘗試通過分析人類的文字、閱讀人類的面部表情或是監(jiān)測人類的呼吸和心率來偵測情緒。在這些方面，人工智能將變得更強，并終將在能力上超越人類。這將使人工智能能夠更加精確地操縱人類。隨著人工智能和自主機器人承擔了更多現(xiàn)實世界的任務，人類對自主系統(tǒng)的信任將遭遇攻擊行為，并導致危險且代價高昂的后果。但是永遠不要忘記，是人類攻擊者控制著人工智能的攻擊行為。所有系統(tǒng)都是人類設(shè)計的，只不過這些人希望基于特定目的、以特定方式來操縱人類。三、當人工智能成為黑客（一）人工智能在發(fā)現(xiàn)漏洞方面卓有成效“奪旗”比賽是計算機黑客常玩的游戲，黑客在自己的系統(tǒng)美國國防高級研究計劃局為人工智能舉辦了一場類似風格的活動。一百多款人工智能系統(tǒng)參賽，勝出的七名選手對決，在10個小時內(nèi)，尋找并利用其他人工智能的漏洞，同時修補自身漏洞以防被利用。最終，匹茲堡計算機安全研究人員團隊創(chuàng)建的Mayhem系統(tǒng)獲勝。Mayhem還被允許在同年舉辦的DEFCON黑客大會上參與了一場人類團隊的“奪旗”活動，盡管最終其排在末位，但可以預見，隨著技術(shù)的進步，未來人工智能將經(jīng)常性地擊敗人類。人類還要數(shù)年時間才具備完全自主的人工智能網(wǎng)絡(luò)攻擊能力，但人工智能技術(shù)已經(jīng)在改變網(wǎng)絡(luò)攻擊的本質(zhì)。對人工智能系統(tǒng)而言，特別卓有成效的一個方面就是發(fā)現(xiàn)漏洞，逐行檢查軟件代碼正是人工智能擅長的那種單調(diào)問題。盡管還有許多特定領(lǐng)域的挑戰(zhàn)未解決，但目前已經(jīng)有了大量相關(guān)主題的學術(shù)文獻，而且研究仍在繼續(xù)。完全有理由期待，隨著時間的推移，人工智能系統(tǒng)會改進并最終變得非常擅長發(fā)現(xiàn)漏洞。發(fā)現(xiàn)漏洞的影響遠遠超過了計算機網(wǎng)絡(luò)。在存在大量相互交織的規(guī)則的系統(tǒng)中，如稅法、銀行監(jiān)管、政治進程等，人們有理由相信人工智能會找出諸多系統(tǒng)中的新漏洞，并加以利用。而且，隨著時間的推移，人工智能可以在攝取新數(shù)據(jù)的同時，捕捉對這些系統(tǒng)及系統(tǒng)如何與世界交互的理解，并根據(jù)獲得的經(jīng)驗，調(diào)整自身的工作方式，不斷地自我進化和改進。這確實帶來兩個不同卻相關(guān)的問題。一是人工智能可能被人類蓄意用于攻擊某個系統(tǒng)。有人可能會給人工智能輸入世界上的稅法或金融法規(guī)，目的是讓其發(fā)動一系列有利可圖的攻擊。二是人工智能可能會自然而然地（雖然是無意地）攻擊某個系統(tǒng)。這兩種情況都很危險，但第二種情況更加危險，因為人類或許永遠都意識不到系統(tǒng)被攻擊了。（二）人工智能越來越難以解釋現(xiàn)代人工智能系統(tǒng)本質(zhì)上是黑盒子。數(shù)據(jù)從一端輸入，答案自另一端輸出。盡管人們能夠查看人工智能的系統(tǒng)代碼，但也可能根本無法理解系統(tǒng)是如何得出結(jié)論的。人們不明白人工智能圖像分類系統(tǒng)為何會將烏龜誤認為是步槍，或者將帶有某些精心設(shè)計的貼紙的停車標志誤認為是“限速45英里”標志。人工智能與人類解決問題的方式不同，其局限性也與人類不同。人工智能系統(tǒng)會比人類考慮更多可行的解決方案，更重要的是，它會沿著人類完全不曾考慮的路徑向前走。2016年，人工智能程序“阿爾法狗”與世界頂級圍棋手李世石對弈獲勝，其最著名的一手是第2局的第37手，這手棋是人類永遠不會選擇的一手，很難加以解釋。2015年，一個研究小組為一款名為“深度患者”的人工智能系統(tǒng)輸入了大約70萬名患者的健康和醫(yī)療數(shù)據(jù)，并測試了該系統(tǒng)能否預測疾病。結(jié)果發(fā)現(xiàn)，“深度患者”在預測精神分裂癥等精神疾病的發(fā)作方面表現(xiàn)上乘，但其沒有給出關(guān)于診斷依據(jù)的解釋，研究人員也不清楚它是如何得出結(jié)論的。但這并不是人們想要的。人們希望，人工智能系統(tǒng)不僅要吐出答案，還要以人類能夠理解的范式對其答案進行一定的解釋。這樣，人們就可以更放心地信任人工智能的決定，同時這也是確保人工智能系統(tǒng)沒有被入侵并做出不當決策的手段。研究人員正致力于開發(fā)可解釋的人工智能。2017年，美國國防高級研究計劃局劃撥了7500萬美元經(jīng)費，用于該領(lǐng)域的研發(fā)。相信在人工智能可解釋領(lǐng)域會有所進展，但人工智能決策很可能會超出人類的理解范圍，強制進行解釋可能會帶來更多的限制，從而影響人工智能系統(tǒng)做出決策。目前尚不清楚所有這些研究將走向何處。在不久的將來，隨著人工智能系統(tǒng)變得越來越復雜、越來越不像人類，它會變得越來越不透明、更加不可解釋。（三）人工智能會“獎勵黑客行為”正如前文所述，人工智能解決問題的方式與人類不同。人工智能總能無意中發(fā)現(xiàn)人類或許從未預料到的解決方案，一些方案可能會顛覆系統(tǒng)的意圖。這是因為人工智能不會去考慮人類所共有并認為理所應當?shù)暮x、背景、規(guī)范和價值觀。獎勵黑客行為涉及到人工智能以某種其設(shè)計者既不想要、也不打算的方式來實現(xiàn)目標。這里幾個真實的例子。在一對一足球模擬中，球員應當是突破守門員而得分，人工智能系統(tǒng)卻并沒有直接將球踢向球門，因為其發(fā)現(xiàn)如果將球踢出界外，守門員必須去將球扔回界內(nèi)，而此時的球門將無人把守。在堆疊任務中，人工智能應當堆疊方塊，高度也是通過某個特定方塊的底面位置來測量的，人工智能卻學會了將那個方塊倒過來，使方塊底部朝上，而不是將其堆疊在另一個方塊的頂部。這些都屬于黑客行為。人工智能被設(shè)計針對某個目標進行優(yōu)化，但在此過程中，人工智能也會自然而然地以人類意想不到的方式攻擊系統(tǒng)。所有優(yōu)秀的人工智能系統(tǒng)都能自然而然地找到黑客攻擊點。如果規(guī)則中存在問題、不一致或是漏洞，并且如果這些屬性可以導出一個能被規(guī)則定義接受的解決方案，那么人工智就一定會找到。人工智能研究人員將這一問題稱為“目標對齊”。人類無法完美地為人工智能指定目標，而人工智能也無法完全理解人類語言上下文的背景。人工智能不會理解，在排放控制測試中作弊的方案會傷害到其他人、破壞了排放控制測試的意圖，或是其正在違反法律。人工智能會“跳出盒子想問題”，因為其對盒子根本就沒概念，或者是對現(xiàn)有的人類解決方案的局限性沒概念，又或者是對倫理沒概念。人工智能可能不會意識到自己正在攻擊系統(tǒng)，而且由于可解釋性的問題，人類也可能永遠都不會意識到這一點。（四）人工智能是天生的黑客第一代人工智能黑客已經(jīng)出現(xiàn)。推薦引擎并沒有被編程向人們推送極端內(nèi)容，但系統(tǒng)卻通過不斷地嘗試、查看和修改自身，學會了向用戶推送更多的極端內(nèi)容，因為這能提高人們的閱讀或觀看量，會帶來更多流量。2015年一款人工智能教自己玩電腦游戲“打磚塊”，它沒有被告知任何游戲規(guī)則或策略，只是被賦予了控制權(quán)，且會因為提高分數(shù)而獲得獎勵，人工智能卻自主發(fā)現(xiàn)了“隧道”戰(zhàn)術(shù)，砸穿一列磚塊將球送至后墻，并進化到了可吊打人類玩家的地步。上述的一切對人工智能研究人員都不是新聞，很多人目前都在考慮防御“獎勵黑客行為”的方法。一種解決方案是教授人工智能理解上下文，通用術(shù)語是“價值對齊”：人們?nèi)绾未蛟旆从橙祟悆r值觀的人工智能？可以從兩個極端方向來思考解決方法：一種是人們可以明確指定這些價值觀，今天或多或少可以做到這一點，但容易遭受所有黑客攻擊；另一種是人們可以創(chuàng)造學習人類價值觀的人工智能，可能是通過觀察人類的行動，也可能是攝取人類的所有著作等。當前的大多數(shù)研究橫跨了這兩個方向。當然，讓人工智能牢記歷史或人類價值觀將可能會出現(xiàn)問人工智能應該反映誰的價值觀？一個索馬里人的？一個新加坡婦女的？還是兩者的平均值，不管那意味著什么？人類有著自相矛盾的價值觀。任何個人的價值觀都可能是不合理的、不道德的或是基于虛假信息的。在人類的歷史、文學和哲學中也有許多不道德的地方。（五）人工智能黑客從科幻到現(xiàn)實人工智能黑客走向現(xiàn)實，很大程度上取決于被建模和攻擊的人類系統(tǒng)。系統(tǒng)的所有規(guī)則必須以計算機能夠理解的方式形式化。人工智能需要建立精確的目標函數(shù)、得到某種形式的反饋，了解自身在破解系統(tǒng)方面的表現(xiàn)，并不斷進化和改進。但人類社會的大多數(shù)系統(tǒng)都存在模糊性，這種模糊性很難被轉(zhuǎn)化為規(guī)則，這意味著人工智能將很難處理這種模糊性。很難想象人工智能會想出一種現(xiàn)實世界中的運動技巧，比如彎曲曲棍球桿，人工智能不僅要了解游戲規(guī)則，還要了解球員的生理機能、球桿和球的空氣動力學等等。這并非不可能，但目前仍是科幻小說。這種模糊性最終成為針對人工智能黑客的短期安全防御措施。在機器人真正參與人類運動項目之前，或者在人類開發(fā)出一種廣泛理解世界的通用人工智能之前，我們不會有人工智能驅(qū)動的運動黑客。人工智能要花很長時間對人們的工作方式進行建模和模擬，也需要很長時間才能想出新穎的方法來實施黑客攻擊?？赡茏钕仍馐苋斯ぶ悄芎诳偷念I(lǐng)域是金融體系，因為該體系的規(guī)則被設(shè)計成在算法上便于處理。人們可以想象，為人工智能輸入世界上所有的實時金融信息，加上所有的法律法規(guī)，再加上新聞推送和任何人們認為可能相關(guān)的其他信息，然后給人工智能設(shè)定“合法攫取最大利潤”的目標，結(jié)果將是各種新穎的黑客攻擊。這一天不會太遙遠，并且可能會有一些人類無法理解的黑客行為，這意味著人類永遠不會意識到黑客攻擊正在發(fā)生。還有另一個問題被我們很大程度上忽視了。自20世紀50年代以來，出現(xiàn)了兩種不同風格的人工智能。一種被稱作“符號人工智能”，致力于通過以目標為導向的元素、符號和事實操縱來模擬人類的理解。這非常困難，在過去數(shù)十年中并未取得多少實際進展。另一種是“神經(jīng)網(wǎng)絡(luò)”，是一種攝取訓練數(shù)據(jù)并會隨著經(jīng)驗轉(zhuǎn)化為更多數(shù)據(jù)而變得更好的人工智能。過去十年間，得益于計算和數(shù)據(jù)的突飛猛進，神經(jīng)網(wǎng)絡(luò)開始真正起飛。無數(shù)的運算周期和龐大的數(shù)據(jù)集使神經(jīng)網(wǎng)絡(luò)可以做更多的事情，但人工智能基本上是根據(jù)過去“學到”的東西做出預測：一種復雜的統(tǒng)計學模仿。雖然這類模型能做到的事情令人驚訝，但它做不到的事也有很多。但也要看到，人工智能的進步是不連續(xù)的和反直覺的，看似簡單的事其實很難，看似困難的事其實很容易，在任何突破發(fā)生前，人類可能都不會知道突破的發(fā)生。因此，雖然一個充斥著人工智能黑客的世界仍舊是一個科幻問題，但在遙遠的星系中，這并不是一個愚蠢的科幻問題。這主要是明天的問題，但人們今天看到了前兆。人類最好開始考慮可執(zhí)行的、可理解的、合乎倫理的解決方案。四、人工智能黑客的影響及應對措施（一）人工智能黑客的影響黑客攻擊與人類一樣古老。人類是創(chuàng)造性的問題解決者。人類是漏洞利用者，操縱系統(tǒng)為人類的利益服務，為人們爭取更大的影響力、更大的權(quán)力、更多的財富。權(quán)力為權(quán)力服務，而黑客攻擊永遠是其中的一部分。但是，沒有人可以不受約束地最大化自身的利益，即使是反社會者也受到社會復雜性及其自身矛盾沖動的約束。這些非常人性化的特質(zhì)限制了黑客攻擊。隨著一切都變得計算機化，黑客攻擊也發(fā)生了變化。人工智能不會像人一樣受相同的約束，也不會有相同的限制。人工智能會以人類無法預料到的方式攻擊系統(tǒng)。計算機比人快得多，原本需要數(shù)月或數(shù)年的人工過程可能會被縮短到數(shù)天、數(shù)小時乃至數(shù)秒，黑客攻擊將成為人類社會無法管理的問題。人工智能系統(tǒng)一旦發(fā)現(xiàn)漏洞，將以人類尚未準備好的規(guī)模利用漏洞。人工智能系統(tǒng)范圍的擴大也使攻擊變得更加危險，人工智能已經(jīng)在做影響人類生活的重要決定。隨著人工智能系統(tǒng)的能力越來越強，社會將把更多和更重要的決策權(quán)讓渡給它們。人工智能可能會決定某位實力經(jīng)紀人將資助哪些政客，可能會決定誰有資格投票，可能會把想要的社會成果轉(zhuǎn)