2023人工智能基礎

PAGEPAGE119人工智能基礎2023目錄TOC\o"1-3"\h\u1407人工智能基礎 112796第1章緒論 3326431.1什么是人工智能 542651.1.1類人行為：圖靈測試方法 5225221.1.2類人思考：認知建模方法 666341.1.3理性思考：“思維法則”方法 7132811.1.4理性行為：理性智能體方法 841851.2人工智能的基礎 12242681.2.1哲學 12243351.2.2數(shù)學 1656031.2.3經(jīng)濟學 1869761.2.4神經(jīng)科學 20234351.2.5心理學 22326971.2.6計算機工程 2485571.2.7控制理論與控制論 2664721.2.8語言學 28173501.3人工智能的歷史 29213261.3.1 人工智能的誕生（1943—1956） 29266571.3.2 早期熱情高漲，期望無限（1952—1969） 31199871.3.3 一些現(xiàn)實（1966—1973） 3489361.3.4 專家系統(tǒng)（1969—1986） 36298481.3.5神經(jīng)網(wǎng)絡的回歸（1986—現(xiàn)在） 3988131.3.6概率推理和機器學習（1987—現(xiàn)在） 39138061.3.7 大數(shù)據(jù)（2001—現(xiàn)在） 41213431.3.8 深度學習（2011—現(xiàn)在） 4298251.4目前的先進技術 44209361.5人工智能的風險和收益 5012032小結 5521246讀者服務： 5626176第2章智能體 57225842.1智能體和環(huán)境 58170952.2良好行為：理性的概念 61139842.2.1性能度量 6186262.2.2理性 62105202.2.3全知、學習和自主 6391582.3環(huán)境的本質(zhì) 662712.3.1指定任務環(huán)境 66167482.3.2任務環(huán)境的屬性 68304882.4智能體的結構 73131752.4.1智能體程序 73248682.4.2簡單反射型智能體 75324962.4.3基于模型的反射型智能體 789012.4.4基于目標的智能體 8093512.4.5基于效用的智能體 8269592.4.6學習型智能體 84144312.4.7智能體程序的組件如何工作 87第1章緒論在本章中，我們將解釋為什么我們認為人工智能是一個最值得研究的課題，并試圖定義人工智能究竟是什么。這是開啟人工智能學習之旅之前不錯的準備。我們稱自己為智人（有智慧的人），因為智能（intelligence）對我們來說尤其重要。幾千年來，我們一直試圖理解我們是如何思考和行動的，也就是不斷地了解我們的大腦是如何憑借它那小部分物質(zhì)去感知、理解、預測并操縱一個遠比其自身更大更復雜的世界。人工智能（artificialintelligence，AI）領域不僅涉及理解，還涉及構建智能實體。這些智能實體機器需要在各種各樣新奇的情況下，計算如何有效和安全地行動。人工智能經(jīng)常被各種調(diào)查列為最有趣、發(fā)展最快的領域之一，現(xiàn)在每年創(chuàng)造的價值超過一萬億美元。人工智能專家李開復預測稱，人工智能對世界的影響“將超過人類歷史上的任何事物”。此外，人工智能的研究前沿仍是開放的。學習較古老科學（如物理學）的學生可能會認為最好的想法都已經(jīng)被伽利略、牛頓、居里夫人、愛因斯坦等人發(fā)現(xiàn)了，但當下人工智能仍然為專業(yè)人員提供了許多機會。目前，人工智能包含大量不同的子領域，從學習、推理、感知等通用領域到下棋、證明數(shù)學定理、寫詩、駕車或診斷疾病等特定領域。人工智能可以與任何智能任務產(chǎn)生聯(lián)系，是真正普遍存在的領域。什么是人工智能我們聲稱人工智能很有趣，但是我們還沒有描述它是什么。歷史上研究人員研究過幾種不同版本的人工智能。有些根據(jù)對人類行為的復刻來定義智能，而另一些更喜歡用“理性”（rationality）來抽象正式地定義智能，直觀上的理解是做“正確的事情”。智能主題的本身也各不相同：一些人將智能視為內(nèi)部思維過程和推理的屬性，而另一些人則關注智能的外部特征，也就是智能行為。[1]公眾有時會將“人工智能”和“機器學習”從人與理性[2]以及思想與行為這兩個維度來看，有4種可能的組合，而且這4法必然是不同的：追求類人智能必須在某種程度上是與心理學相關的經(jīng)驗科學，包括對真實人類行為和思維過程的觀察和假設；而理性主義方法涉及數(shù)學和工程的結合，并與統(tǒng)計學、控制理論和經(jīng)濟學相聯(lián)系。各個研究團體既互相輕視又互相幫助。接下來，讓我們更細致地探討這4種方法。我們并不是在暗示人類是“非理性的”，不是像字典上所說的“”。我們只是承認人類的決策在數(shù)學上并不總是完美的。類人行為：圖靈測試方法圖靈測試（Turing test）是由艾倫·圖靈（Alan Turing）提出的（Turing, 1950），它被設計成一個思維實驗，用以回避“嗎？”這個哲學上模糊的問題。如果人類提問者在提出一些書面問題后無法分辨書面回答是來自人還是來自計算機，那么計算機就能通過測試。在第27章中，我們會討論圖靈測試的細節(jié)，以及一臺通過圖靈測試的計算機是否真的具備智能。目前，為計算機編程使其能夠通過嚴格的應用測試尚有大量工作要做。計算機需要具備下列能力：自然語言處理（naturallanguageprocessing），以使用人類語言成功地交流；知識表示（knowledge 以存儲它所知道或聽到的內(nèi)容；自動推理（automated reasoning），以回答問題并得出新的論；機器學習（machinelearning），以適應新的環(huán)境，并檢測和推斷模式。圖靈認為，沒有必要對人進行物理模擬來證明智能。然而，其他研究人員提出了完全圖靈測試（totalTuringtest），該測試需要與真實世界中的對象和人進行交互。為了通過完全圖靈測試，機器人還需要具備下列能力：計算機視覺（computervision）和語音識別功能，以感知世界；機器人學（robotics），以操縱對象并行動。以上6個學科構成了人工智能的大部分內(nèi)容。然而，人工智能研究人員很少把精力用在通過圖靈測試上，他們認為研究智能的基本原理更為重要。當工程師和發(fā)明家停止模仿鳥類，轉而使用風洞并學習空氣動力學時，對“人工飛行”的探索取得了成功。航空工程學著作并未將其領域的目標定義為制造“能像鴿子一樣飛行，甚至可以騙過其他真鴿子的機器”。類人思考：認知建模方法我們必須知道人類是如何思考的，才能說程序像人類一樣思考。我們可以通過3種方式了解人類的思維：內(nèi)?。╥ntrospection）——試圖在自己進行思維活動時捕獲思維；心理實驗（psychologicalexperiment）——觀察一個人的行為；大腦成像（brainimaging）——觀察大腦的活動。一旦我們有了足夠精確的心智理論，就有可能把這個理論表達為計算機程序。如果程序的輸入/輸出行為與相應的人類行為相匹配，那就表明程序的某些機制也可能在人類中存在。例如，開發(fā)通用問題求解器（GeneralProblemSolver，GPS）的艾倫·紐厄爾（AlanNewell）和赫伯特·西蒙（HerbertSimon）并不僅僅滿足于讓他們的程序正確地求解問題，他們更關心的是將推理步驟的順序和時機與求解相同問題的人類測試者進行比較（NewellandSimon,1961）。認知科學（cognitivescience）這一跨學科領域匯集了人工智能的計算機模型和心理學的實驗技術，用以構建精確且可測試的人類心智理論。認知科學本身是一個引人入勝的領域，值得用多本教科書和至少一部百科全書（WilsonandKeil,1999）來介紹。我們會偶爾評論人工智能技術和人類認知之間的異同，但真正的認知科學必須建立在對人類或動物實驗研究的基礎上。這里，我們假設讀者只有一臺可以做實驗的計算機，因此我們將把這方面的內(nèi)容留給其他書籍。在人工智能發(fā)展的早期，這兩種方法經(jīng)常會混淆。有作者認為，如果算法在某個任務中表現(xiàn)良好，就會是建模人類表現(xiàn)的良好模型，反之亦然。而現(xiàn)代作者將這兩種主張分開，這種區(qū)分使人工智能和認知科學都得到了更快的發(fā)展。這兩個領域相互促進，值得一提的是計算機視覺領域，它將神經(jīng)生理學證據(jù)整合到了計算模型中。最近，將神經(jīng)影像學方法與分析數(shù)據(jù)的機器學習技術相結合，開啟了“讀心”能力（即查明人類內(nèi)心思想的語義內(nèi)容）的研究。這種能力反過來可以進一步揭示人類認知的運作方式。理性思考：“思維法則”方法希臘哲學家亞里士多德是最早試圖法則化“正確思維”的人之一，他將其定義為無可辯駁的推理過程。他的三段論（syllogism）為論證結構提供了模式，當給出正確的前提時，總能得出正確的結論。舉個經(jīng)典的例子，當給出前提蘇格拉底是人和所有人都是凡人時，可以得出結論蘇格拉底是凡人。［這個例子可能是塞克斯都·恩披里柯（SextusEmpiricus）提出的而不是亞里士多德提出的。］這些思維法則被認為支配著思想的運作，他們的研究開創(chuàng)了一個稱為邏輯（logic）的領域。19世紀的邏輯學家建立了一套精確的符號系統(tǒng)，用于描述世界上物體及其之間的關系。這與普通算術表示系統(tǒng)形成對比，后者只提供關于數(shù)的描述。到1965年，任何用邏輯符號描述的可解問題在原則上都可以用程序求解。人工智能中所謂的邏輯主義（logicism）傳統(tǒng)希望在此類程序的基礎上創(chuàng)建智能系統(tǒng)。按照常規(guī)的理解，邏輯要求關于世界的認知是確定的，而實際上這很難實現(xiàn)。例如，我們對政治或戰(zhàn)爭規(guī)則的了解遠不如對國際象棋或算術規(guī)則的了解。概率（probability）論填補了這一鴻溝，允許我們在掌握不確定信息的情況下進行嚴格的推理。原則上，它允許我們構建全面的理性思維模型，從原始的感知到對世界運作方式的理解，再到對未來的預測。它無法做到的是形成智能行為。為此，我們還需要關于理性行為的理論，僅靠理性思考是不夠的。理性行為：理性智能體方法智能體（agent）就是某種能夠采取行動的東西（agent來自拉丁語agere，意為“做”）。當然，所有計算機程序都可以完成一些任務，但我們期望計算機智能體能夠完成更多的任務：自主運行、感知環(huán)境、長期持續(xù)存在、適應變化以及制定和實現(xiàn)目標。理性智能體（rationalagent）需要為取得最佳結果或在存在不確定性時取得最佳期望結果而采取行動?；谌斯ぶ悄艿摹八季S法則”方法重視正確的推斷。做出正確的推斷的有些方式并不能說與推斷有關。例如，從火爐前退縮是一種反射作用，這通常比經(jīng)過深思熟慮后采取的較慢的動作更為成功。通過圖靈測試所需的所有技能也使智能體得以采取理性行為。知識表示和推理能讓智能體做出較好的決策。我們需要具備生成易于理解的自然語言句子的能力，以便在復雜的社會中生存。我們需要學習不僅是為了博學多才，也是為了提升我們產(chǎn)生高效行為的能力，尤其是在新環(huán)境下，這種能力更加重要。與其他方法相比，基于人工智能的理性智能體方法有兩個優(yōu)點。首先，它比“思維法則”方法更普適，因為正確的推斷只是實現(xiàn)理性的幾種可能機制之一。其次，它更適合科學發(fā)展。理性的標準在數(shù)學上是明確定義且完全普適的。我們經(jīng)?？梢詮倪@個標準規(guī)范中得出可以被證明能夠?qū)崿F(xiàn)的智能體設計，而把模仿人類行為或思維過程作為目標的設計在很大程度上是不可能的。由于上述這些原因，在人工智能領域的大部分歷史中，基于理性智能體的方法都占據(jù)了上風。在最初的幾十年里，理性智能體建立在邏輯的基礎上，并為了實現(xiàn)特定目標制定了明確的規(guī)劃。后來，基于概率論和機器學習的方法可以使智能體在不確定性下做出決策，以獲得最佳期望結果。簡而言之，人工智能專注于研究和構建做正確的事情的智能體，其中正確的事情是我們提供給智能體的目標定義。這種通用范式非常普遍，以至于我們可以稱之為標準模型（standard model）。它不適用于人工智能，也適用于其他領域?？刂评碚撝?，控制器使代價函數(shù)最小化；運籌學中，策略使獎勵的總和最大化；統(tǒng)計學中，決策規(guī)則使損失函數(shù)最??；經(jīng)濟學中，決策者追求效用或某種意義的社會福利最大化。然而在復雜的環(huán)境中，完美理性（總是采取精確的最優(yōu)動作）是不可行的，它的計算代價太高了，因此需要對標準模型做一些重要的改進。第5章和第17章會探討有限理性（limitedrationality）的問題，也就是在沒有足夠時間進行所有可能的計算的情況下，適當?shù)夭扇⌒袆?。但是，完美理性仍然是理論分析的良好出發(fā)點。1.1.5 益機[3]根據(jù)beneficialinsect的翻譯“益蟲”，將beneficialmachine翻譯成“益機”?！g者注自標準模型被提出以來，其一直是人工智能研究的指南，但從長遠來看，它可能不是一個正確的模型，原因是標準模型假設我們總是為機器提供完全指定的目標。人為定義的任務，如國際象棋或最短路徑計算之類的，都附帶固有的目標，因此標準模型是適用的。然而，在真實世界中，我們越來越難以完全正確地指定目標。例如，在設計自動駕駛汽車時，我們可能會認為目標是安全到達目的地。但是，由于存在其他司機失誤、設備故障等原因，在任何道路上行駛都有可能受傷，因此，嚴格的安全目標是要求待在車庫里而不要上路駕駛。向目的地前進和承擔受傷風險是需要權衡的，應該如何進行這種權衡？此外，我們能在多大程度上允許汽車采取會惹惱其他司機的行動？汽車應該在多大程度上調(diào)控其加速、轉向和剎車動作，以避免搖晃乘客？這類問題很難預先回答。在人機交互的整個領域，這些問題尤其嚴重，自動駕駛只是其中一個例子。在我們的真實需求和施加給機器的目標之間達成一致的問題稱為價值對齊問題（valuealignmentproblem），即施加給機器的價值或目標必須與人類的一致。如果我們在實驗室或模擬器中開發(fā)人工智能系統(tǒng)（就像該領域的大多數(shù)歷史案例一樣），就可以輕松地解決目標指定不正確的問題：重置系統(tǒng)、修復目標然后重試。隨著人工智能的發(fā)展，越來越強大的智能系統(tǒng)需要部署在真實世界中，這種方法不再可行。部署了錯誤目標的系統(tǒng)將會導致負面影響，而且，系統(tǒng)越智能，其負面影響就越嚴重?；叵肟此茮]有問題的國際象棋案例，想象一下，如果機器足夠智增加獲勝的機會。[4]它也可能會為自己劫持額外的計算能力。這些行為不是“愚蠢”或“瘋狂”的，這些行為是將獲勝定義為機器唯一目標的邏輯結果。魯伊·洛佩茲（RuyLopez）在最早的一本關于國際象棋的書（Lopez,1561）中寫道：“把棋”我們不希望機器“聰明”地實現(xiàn)它們的目標，而是希望它們實現(xiàn)我們的目標。如果我們不能將這些目標完美地傳達給機器，就需要一個新的表述，也就是機器正在實現(xiàn)我們的目標，但對于目標是什么則是不確定的。當一臺機器意識到它不了解完整的目標時，它就會有謹慎行動的動機，會尋求許可，并通過觀察來更多地了解我們的偏好，遵守人為控制。最終，我們想要的是對人類可證益的（provably 智能體。我們將在1.5節(jié)中討論這個主題。人工智能的基礎在本節(jié)中，我們將簡要介紹為人工智能提供思想、觀點和技術的學科的歷史。像任何歷史一樣，本書只關注少數(shù)人物、事件和思想，而忽略其他同樣重要的。我們圍繞一系列問題來組織這段歷史。我們不希望帶給讀者這樣一種印象：這些問題是各個學科唯一要解決的問題，或者各個學科都將人工智能作為最終成果而努力。哲學可以使用形式化規(guī)則得出有效結論嗎？思維是如何從物質(zhì)大腦中產(chǎn)生的？知識從何而來？知識如何導致行為？亞里士多德（Aristotle，公元前384—公元前322）制定了一套精確的法則來統(tǒng)御思維的理性部分，他是歷史上第一位這樣做的哲學家。他發(fā)展了一套非正式的三段論系統(tǒng)進行適當?shù)耐评?，該系統(tǒng)原則上允許人們在給定初始前提下機械地得出結論。拉蒙·魯爾（Ramon Llull，約1232—1315）設計了一種推理系統(tǒng)，發(fā)表為ArsMagna（即TheGreatArt）（Llull,1305）[5]。魯爾試圖使用實際的機械設備——一組可以旋轉成不同排列的紙盤——實現(xiàn)他的系統(tǒng)。ArsMagna為拉丁文書名，翻譯成英文的書名為TheGreatArt。——編者注大約在1500年，列奧納多·達·芬奇（LeonardodaVinci，1452—1519）設計了一臺機械計算器，雖然當時并未制造，但最近的重構表明該設計是可行的。第一臺已知的計算器是在1623年前后由德國科學家威廉·席卡德（Wilhelm 制造的。布萊茲·帕斯卡（Blaise 于1642年建造了滾輪式加法器（Pascaline），并寫道：“它產(chǎn)生的效用似乎比動物的所有行為更接近思維?！备晏馗ダ锏隆ねとR布尼茨（GottfriedWilhelmLeibniz，1646—1716）制造了一臺機械設備，旨在根據(jù)概念而非數(shù)值進行操作，但其應用范圍相當有限。托馬斯·霍布斯（Thomas 在《利維坦》（Leviathan）一書中提出了會思考的機器的想法，用他的話說就是一種“人造動物”，設想“心臟無非就是發(fā)條，神經(jīng)只是一些游絲，而關節(jié)不過是一些齒輪”。他還主張推理就像是數(shù)值計算，認為“推理就是一種計算，也就是相加減”。[6]此處對《利維坦》一書中的引用采用了商務印書館1985年9——編者注有觀點認為，思維至少在某種程度上是根據(jù)邏輯或數(shù)值規(guī)則運作的，可以建立模仿其中的一些規(guī)則的物理系統(tǒng)。也有觀點說，思維本身就是這樣一個物理系統(tǒng)。勒內(nèi)·笛卡兒（René 首次清晰地討論了思維與物質(zhì)之間的區(qū)別。他指出，思維的純粹物理概念似乎沒有給自由意志留下多少空間。如果思維完全受物理法則支配，那么它擁有的自由意志不會比一塊“決定”往下掉的石頭多。笛卡兒是二元論（dualism）的支持者。他認為，人類思維（靈魂或者精神）的一部分處于自然之外，不受物理定律的約束。但是，動物不具備這種二元特性，它們可以被視為機器。唯物主義（materialism）是二元論的一種替代，它認為大腦根據(jù)物理定律的運作構成了思維。自由意志僅僅是實體對可選決策的感知。物理主義（physicalism）和自然主義（naturalism）這兩個術語也被用于描述這類與超自然觀點相反的觀點。如果給定可以操縱知識的實體思維，接下來的問題就是建立知識的來源。經(jīng)驗主義（empiricism）運動始于弗朗西斯·培根（FrancisBacon，1561—1626）的《新工具》（Novum 約翰·洛克（John Locke，1632—1704）的名言“知識歸根到底都來源于經(jīng)驗”為特征。培根的《新工具》（NovumOrganum）是亞里士多德的《工具論》（Organon）的更新。大衛(wèi)·休謨（DavidHume，1711—1776）的《人性論》（ATreatiseofHumanNature）（Hume,1739）提出了現(xiàn)在稱為歸納法（induction）的原則：通過暴露要素之間的重復聯(lián)系獲得一般規(guī)則。以路德維?！ぞS特根斯坦（LudwigWittgenstein，1889—1951）和伯特蘭·羅素（BertrandRussell，1872—1970）的工作為基礎，著名的維也納學派（Sigmund,2017）——一群在20世紀20年代及20世紀30年代聚集在維也納的哲學家和數(shù)學家——發(fā)展了邏輯實證主義（logicalpositivism）學說。該學說認為，所有知識都可以通過邏輯理論來描述，邏輯理論最終與對應于感知輸入的觀察語句（observation sentence）相聯(lián)系。因此，邏輯實證主義結合了理性主義和經(jīng)驗主義。魯?shù)婪颉た{普（Rudolf Carnap，1891—1970）和卡爾·亨佩爾（CarlHempel，1905—1997）的確證理論（confirmationtheory）試圖通過量化應分配給邏輯語句的信念度來分析從經(jīng)驗中獲取知識，信念度的取值基于邏輯語句與確證或否定它們的觀察之間的聯(lián)系?？{普的《世界的邏輯構造》（TheLogicalStructureoftheWorld）（Carnap,1928）也許是最先提出將思維視為計算過程這一理論的著作。思維的哲學圖景中最后一個要素是知識與動作之間的聯(lián)系。這個問題對人工智能來說至關重要，因為智能不僅需要推理，還需要動作。而且，只有理解了怎樣的行為是合理的，才能理解如何構建行為是合理的（或理性的）智能體。亞里士多德在《論動物的運動》（DeMotuAnimalium）中指出，動作的合理性是通過目標和動作結果的知識之間的邏輯聯(lián)系來證明的：在《尼各馬可倫理學》（Nicomachean Ethics）（第三卷第3章，1112b）中，亞里士多德進一步闡述了這個主題，并提出了一個算法：……他們是先確定一個目的，然后考慮用什么手段和方式來達到目的。如果有幾種手段，他們考慮的就是哪種手段最能實現(xiàn)目的。如果只有一種手段，他們考慮的就是怎樣利用這一手段去達到目的，這一手段又需要通過哪種手段來獲得。這樣，他們就在所發(fā)現(xiàn)的東西中一直追溯到最初的東西……分析的終點也就是起點。如果恰巧遇到不可能的事情，例如需要錢卻得不到錢，那么就放棄這種考慮。而所謂可能的事情，就是以我們自身能力可以做到的那些事情。[8]此處對《尼各馬可倫理學》一書中的引用采用了商務印書館2017年8——編者注2300年后，紐厄爾和西蒙在他們的通用問題求解器（GeneralProblem Solver）程序中實現(xiàn)了亞里士多德的算法。我們現(xiàn)在將其稱貪婪回歸規(guī)劃系統(tǒng)（見第11章）。在人工智能理論研究的前幾十年中，基于邏輯規(guī)劃以實現(xiàn)確定目標的方法占據(jù)主導地位。純粹從行為的角度來思考實現(xiàn)目標通常是有用的，但在某些情況是不適用的。例如，如果有幾種不同的方法可以實現(xiàn)目標，我們就需要某種方法來進行選擇。更重要的是，確定性地實現(xiàn)一個目標可能是無法做到的，但某些行為仍然必須被實施。那該如何決策呢？安托萬·阿爾諾（AntoineArnauld）（Arnauld,1662）分析了賭博中的理性決策概念，提出了一種量化公式，可以最大化期望收入的貨幣價值。后來，丹尼爾·伯努利（DanielBernoulli）（Bernoulli,1738）引入了更普適的效用（utility）概念，可以體現(xiàn)結果的內(nèi)在主觀價值。如第16章所述，在不確定性下，理性決策的現(xiàn)代概念涉及最大化期望效用。在道德和公共政策方面，決策者必須考慮多個個體的利益。杰里米·邊沁（Jeremy Bentham）（Bentham, 和約翰·斯圖爾特·穆勒（JohnStuartMill）（Mill,1863）提出了功利主義（utilitarianism）思想：基于效用最大化的理性決策應該適用于人類活動的所有領域，包括代表許多個體做出公共政策的決策。功利主義是一種特殊的結果主義（consequentialism），行為的預期結果決定了正確與否。相反，伊曼努爾·康德（ImmanuelKant）在1785年提出了一種基于規(guī)則或義務倫理學（deontologicalethics）的理論。在該理論中，“做正確的事”不是由結果決定的，而是由管理可行行為的普適社會法則所決定的，可行行為包括“不要撒謊”“不要殺人”等。因此，如果期望的好處智能系統(tǒng)正是采用了這種方法。數(shù)學得出有效結論的形式化規(guī)則是什么？什么可以被計算？如何使用不確定的信息進行推理？哲學家們提出了人工智能的一些基本理念，但人工智能要成為正規(guī)科學，需要邏輯和概率的數(shù)學化，并引入一個新的數(shù)學分支——計算。形式化邏輯（formallogic）的思想可以追溯到古希臘、古印度和古代中國的哲學家，但它的數(shù)學發(fā)展真正始于喬治·布爾（George1815—1864）的工作。布爾提出了命題和布爾邏輯的細節(jié)（Boole,1847）。1879年，戈特洛布·弗雷格（GottlobFrege，1848—1925）將布爾邏輯擴展到包括對象和關系，創(chuàng)建了沿用至今的一階邏輯[9]。一階邏輯除了在人工智能研究的早期發(fā)揮核心作用外，還激發(fā)了哥德爾和圖靈的工作，這些工作支撐了計算本身。弗雷格提出的一階邏輯符號（文本和幾何特征的神秘組合）從未流行起來。概率（probability）論可以視為信息不確定情況下的廣義邏輯，這對人工智能來說是非常重要的考慮。吉羅拉莫·卡爾達諾（GerolamoCardano，1501—1576）首先提出了概率的概念，并根據(jù)賭博事件的可能結果對其進行了刻畫。1654年，布萊茲·帕斯卡（Blaise —1662）在給皮埃爾·費馬（PierreFermat，1601—1665）的信中展示了如何預測一個未完成的賭博游戲的結局，并為賭徒分配平均收益。概率很快成為定量科學的重要組成部分，用于處理不確定的度量和不完備的理論。雅各布·伯努利（JacobBernoulli，1654—1705，丹尼爾·伯努利的叔叔）、皮埃爾·拉普拉斯（PierreLaplace，1749—1827）等人發(fā)展了這一理論，并引入了新的統(tǒng)計方法。托馬斯·貝葉斯（ThomasBayes，1702—1761）提出了根據(jù)新證據(jù)更新概率的法則。貝葉斯法則是人工智能系統(tǒng)的重要工具。概率的形式化結合數(shù)據(jù)的可用性，使統(tǒng)計學（statistics）成為了一個新研究領域。最早的應用之一是1662年約翰·格蘭特（John 對倫敦人口普查數(shù)據(jù)的分析。羅納德·費舍爾（RonaldFisher）被認為是第一位現(xiàn)代統(tǒng)計學家，他匯總了概率、實驗設計、數(shù)據(jù)分析和計算等思想（Fisher, 1922）。在1919年，他堅稱，如果沒有機械計算器“百萬翁（，第一個可以做乘法的計算器），他就無法進行工作，盡管這臺計算器的成本遠遠超過了他的年薪（Ross,2012）。計算的歷史與數(shù)字的歷史一樣古老，但用于計算最大公約數(shù)的歐幾里得算法被認為是第一個非平凡的算法（algorithm）?！八惴ā币辉~源自一位9世紀的數(shù)學家穆罕默德·本·穆薩·阿爾·花剌子模（MuhammadibnMusaal-Khwarizmi），他的著作還將阿拉伯數(shù)字和代數(shù)引入了歐洲。布爾等人討論了邏輯演繹的算法，到19世紀末，人們開始努力將一般的數(shù)學推理形式化為邏輯演繹。庫爾特·哥德爾（KurtG?del，1906—1978）表明，雖然存在一種有效方法能夠證明弗雷格和羅素的一階邏輯中的任何真實陳述，但是一階邏輯無法滿足表征自然數(shù)所需的數(shù)學歸納原理。1931年，哥德爾證明關于演繹的限制確實存在。哥德爾的不完全性定理（incompletenesstheorem）表明，在任何像皮亞諾算術（Peanoarithmetic，自然數(shù)的基本理論）這樣強的形式化理論中，必然存在一些沒有證明的真實陳述。這個基本結果也可以解釋為作用于整數(shù)上的某些函數(shù)無法用算法表示，即它們無法被計算。這促使艾倫·圖靈（Alan 1954）試圖準確地描述哪些函數(shù)是可計算的，即能夠通過有效的過程進行計算。丘奇-圖靈論題（Church-Turingthesis）提出將圖靈機（Turing,1936）可計算的函數(shù)作為可計算性的一般概念。圖靈還表明，存在某些任何圖靈機都無法計算的函數(shù)。例如，沒有一臺機器能夠在廣義上判斷給定程序是會根據(jù)給定的輸入返回答案，還是永遠運行下去。盡管可計算性（computability）對理解計算很重要，但易處理性（tractability）的概念對人工智能的影響更大。粗略地說，如果解決一個問題實例所需的時間隨著問題規(guī)模呈指數(shù)增長，那么這個問題就是難處理的。在20世紀60年代中期，復雜性的多項式增長和指數(shù)增長之間的區(qū)別首次被強調(diào)（Cobham,1964;Edmonds,1965）。因為指數(shù)級增長意味著即使是中等規(guī)模的問題實例也無法在合理的時間內(nèi)解決，所以易處理性很重要。由斯蒂芬·庫克（Stephen Cook）（Cook, 1971）和理查德·卡普（Richard Karp）（Karp, 1972）開創(chuàng)的NP完全性（NP-completeness）理論為分析問題的易處理性提供了基礎：任何可以歸約到NP完全的問題都可能是難處理的。（盡管尚未證明NP完全問題一定是難處理的，但大多數(shù)理論家都相信這一點。）這些結果與大眾媒體對第一臺計算機的樂觀態(tài)度——“比愛因斯坦還快的電子超級大腦！”——形成了鮮明對比。盡管計算機的速度在不斷提高，但對資源的謹慎使用和必要的缺陷將成為智能系統(tǒng)的特征。粗略地說，世界是一個極大的問題實例！經(jīng)濟學我們應該如何根據(jù)自己的偏好做出決定？當其他人可能不支持時，我們應該怎么做？當收益可能在很遙遠的未來時，我們應該怎么做？經(jīng)濟學起源于1776年，當時亞當·斯密（Adam 1790）發(fā)表了《國富論》（全名為《國民財富的性質(zhì)和原因的研究》，AnInquiryintotheNatureandCausesoftheWeallthofNations）。斯密建議將經(jīng)濟視為由許多關注自身利益的獨立主體組成，但他并不主張將金融貪婪作為道德立場。他在較早的著作《道德情操論》（TheTheoryofMoralSentiments）（Smith,1759）開篇就指出，對他人福祉的關注是每個個體利益的重要組成部分。大多數(shù)人認為經(jīng)濟學就是關于錢的，而實際上第一個對不確定性下的決策進行數(shù)學分析的是安托萬·阿爾諾（Arnauld,1662）的最大期望值公式，而這一分析也的確是與賭注的貨幣價值相關。丹尼爾·伯努利（Bernoulli,1738）注意到，這個公式似乎不適用于更大規(guī)模的金錢，例如對海上貿(mào)易遠征的投資。于是，他提出了基于期望效用最大化的原則，并指出額外貨幣的邊際效用會隨著一個人獲得更多貨幣而減少，從而解釋了大眾的投資選擇。里昂·瓦爾拉斯（Léon Walras，1834—1910）為效用理論提供了一個更為普適的基礎，即對任何結果（不僅僅是貨幣結果）的投機偏好。弗蘭克·拉姆齊（FrankRamsey）（Ramsey,1931）以及后來約翰·馮·諾伊曼（JohnvonNeumann）和奧斯卡·摩根斯特恩（OskarMorgenstern）在他們的著作《博弈論與經(jīng)濟行為》（The Theory of Games EconomicBehavior）（NeumannandMorgenstern,1944）中對這一理論進一步改進。經(jīng)濟學不再是研究金錢的學科，而是對欲望和偏好的研究。決策論（decisiontheory）結合了概率論和效用理論，為在不確定性下做出個體決策（經(jīng)濟的或其他的）提供了一個形式化完整的框架，也就是說，概率適當?shù)孛枋隽藳Q策者所處的環(huán)境。這適用于“大型”經(jīng)濟體，在這種經(jīng)濟體中，每個主體都無須關注其他獨立主體的行為。對“小型”經(jīng)濟體而言更像是一場博弈（game）：一個參與者的行為可以顯著影響另一個參與者的效用（積極或消極的）。馮·諾依曼和摩根斯特恩對博弈論（game theory）的發(fā)展［也可以參考（Luce and 1957）］得出了令人驚訝的結果，即對于某些博弈，理性智能體應該采用隨機（或至少看起來是隨機）的策略。與決策論不同，博弈論并沒有為行為的選擇提供明確的指示。人工智能中涉及多個智能體的決策將在多智能體系統(tǒng)（multiagentsystem）的主題下探討（第18章）。經(jīng)濟學家（除了一些例外）沒有解決上面列出的第三個問題：當行為的收益不是立即產(chǎn)生的，而是在幾個連續(xù)的行為后產(chǎn)生時，應該如何做出理性的決策。這個課題在運籌學（operationsresearch）的領域探討，運籌學出現(xiàn)在第二次世界大戰(zhàn)期間英國對雷達安裝的優(yōu)化工作中，后來發(fā)展出了無數(shù)民用應用。理查德·貝爾曼（Richard （Bellman,1957）的工作將一類序貫決策問題進行了形式化，稱為馬爾可夫決策過程（Markovdecisionprocess），我們將在第17章研究該問題，并在第22章以強化學習（reinforcementlearning）的主題研究該問題。經(jīng)濟學和運籌學的工作對理性智能體的概念做出了很大貢獻，但是多年來的人工智能研究是沿著完全獨立的道路發(fā)展的。原因之一是做出理性決策顯然是復雜的。人工智能的先驅(qū)赫伯特·西蒙（HerbertSimon,1916—2001）憑借其早期工作在1978年獲得了諾貝爾經(jīng)濟學獎，他指出基于滿意度（satisficing）的決策模型（做出“夠好”的決策，而不是費力地計算最優(yōu)決策）可以更好地描述實際的人類行為（Simon,1947）。自20世紀90年代以來，人工智能的決策理論技術重新引起了人們的興趣。神經(jīng)科學大腦如何處理信息？神經(jīng)科學（neuroscience）是對神經(jīng)系統(tǒng)（尤其是對大腦）的研打擊會導致精神喪失。人們也早就知道人的大腦在某種程度上是不同的，大約在公元前335年，亞里士多德寫道：“在所有動物中，人類的大腦與身體大小的比例最大?！盵10]然而，直到18世紀中葉，大腦才被廣泛臟。后來人們發(fā)現(xiàn)樹鼩和一些鳥類的腦體比超過了人類的腦體比。1861年，保羅·布羅卡（Paul Broca，1824—1880）對腦損傷患者的失語癥（語言缺陷）進行了調(diào)查研究，他在大腦左半球發(fā)現(xiàn)一個局部區(qū)域（現(xiàn)在被稱為布羅卡氏區(qū)域）負責語音的產(chǎn)生，從而開始了對大腦功能組織的研究。[11]那時，人們已經(jīng)知道大腦主要由神經(jīng)細胞或神經(jīng)元（neuron）組成，但直到1873年，卡米洛·高爾基（Camillo Golgi，1843—1926）才發(fā)明了一種可以觀察單個神經(jīng)元的染色技術（見圖1-1）。圣地亞哥·拉蒙-卡哈爾（SantiagoRamonyCajal，1852—1934）在神經(jīng)組織的開創(chuàng)性研究中使用了該技術。[12]現(xiàn)在人們普遍認為認知功能是由這些結構的電化學反應產(chǎn)生的。也就是說，一組簡單的細胞就可以產(chǎn)生思維、行為和意識。如約翰·希爾勒（John Searle）（Searle,1992）的精辟名言所說：大腦產(chǎn)生思想。許多人引用亞歷山大·胡德（AlexanderHood）（Hood,1824）的論文作為可能的先驗資卡哈爾提出了“神經(jīng)元學說”，高爾基則堅持他的信念，認為大腦的功能主要是在神經(jīng)元嵌入的連續(xù)介質(zhì)中發(fā)揮的。雖然兩人共同獲得1906立的。圖1-1 神經(jīng)細胞或神經(jīng)元的部分。每個神經(jīng)元都由一個包含神經(jīng)核的細胞體或體細胞組成。多從細胞體中分支出來的纖維狀被稱為樹突，其中的長纖維被稱為軸突。軸突伸展的距離很長，比這張圖上顯示的要長得多。軸突一般長1厘米（是細胞體直徑的100倍），但也可以達到米。一個神經(jīng)元在稱為突觸的連接處與其他10～100000個神經(jīng)元建立連接。信號通過復雜的電化學反應從一個神經(jīng)元傳遞到其他神經(jīng)元。這些信號可以在短期內(nèi)控制大腦活動，還可以長期改變神經(jīng)元的連通性。這些機制被認為是大腦學習的基礎。大多數(shù)信息都在大腦皮質(zhì)（大腦的外層）中處理的。基本的組織單元似乎是直徑約0.5毫米的柱狀組織，包含約20000個神經(jīng)元，并延伸到整個皮質(zhì)（人類皮質(zhì)深度約4毫米）現(xiàn)在，我們有了一些關于大腦區(qū)域和身體部位之間映射關系的數(shù)還沒有完全理解當一個區(qū)域受損時其他區(qū)域是如何接管其功能的。而的，目前幾乎沒有任何相關理論。1929年，漢斯·伯杰（HansBerger）發(fā)明腦電圖儀（EEG），開啟了對完整大腦活動的測量。功能磁共振成像（fMRI）的發(fā)展（Ogawaetal.,1990;CabezaandNyberg,2001）為神經(jīng)科學家提供了前所未有的大腦活動的詳細圖像，從而使測量能夠以有趣的方式與正在進行的認知過程相對應。神經(jīng)元活動的單細胞電記錄技術和光遺傳學（optogenetics）方法的進展（Crick,1999;Zemelmanetal.,2002;HanandBoyden,2007）增強了這些功能，從而可以測量和控制被修改為對光敏感的單個神經(jīng)元。用于傳感和運動控制的腦機接口（brain-machine interface）的發(fā)展（LebedevandNicolelis,2006）不僅有望恢復殘疾人的功能，還揭示了神經(jīng)系統(tǒng)許多方面的奧秘。這項工作的一項重要發(fā)現(xiàn)是，大腦能夠自我調(diào)整，使自己成功與外部設備進行交互，就像對待另一個感覺器官或肢體一樣。大腦和數(shù)字計算機有不同的特性。如圖1-2所示，計算機的周期時間比大腦快一百萬倍。雖然與高端個人計算機相比，大腦擁有更多的存儲和互連，但最大的超級計算機在某些指標上已經(jīng)與大腦相當。未來主義者充分利用這些數(shù)字，指出了一個即將到來的奇點（singularity），在這個奇點上計算機達到了超越人類的性能水平（Vinge, Kurzweil,2005;DoctorowandStross,2012），然后會進一步迅速提高。但是比較原始數(shù)字并不是特別有用。即使計算機的容量到達無限也無濟于事，在理解智能方面仍然需要進一步的概念突破（見第28章）。粗略地說，如果沒有正確的理論，更快的機器只會更快地給出錯誤的答案。圖1-2 領先的超級計算機Summit（Feldman,2017）、2019年的典型個人計算機和人類大腦的粗略對比。數(shù)千年來，人類大腦的能力并沒有發(fā)生太大變化，而超級計算機的計算能力已經(jīng)從20世紀60年代的百萬次浮點運算（MFLOP）提高到了20世紀80年代的十億次浮點運算（GFLOP）、20世紀90年代的萬億次浮點運算（TFLOP）、2008年的千萬億次浮點運算（PFLOP）以及2018年的百億億次浮點運算（exaFLOP，1exaFLOP=1018次浮點運算/秒）心理學人類和動物是如何思考和行為的？科學心理學的起源通常可以追溯到德國物理學家赫爾曼·馮·赫爾姆霍茨（HermannvonHelmholtz，1821—1894）和他的學生威廉·溫特（WilhelmWundt，1832—1920）的工作。赫爾姆霍茨將科學方法應用于人類視覺的研究，他的HandbookofPhysiologicalOptics被描述為“關于人類視覺的物理學和生理學的最重要的專著”（Nalwa,1993,p.15）。1879年，溫特在萊比錫大學開設了第一個實驗心理學實驗室。溫特堅持嚴格控制的實驗，他實驗室的工作人員在進行感知或聯(lián)想任務的同時，內(nèi)省他們的思維過程。嚴格的控制在很大程度上幫助心理學成為了一門科學，但是數(shù)據(jù)的主觀性質(zhì)使得實驗者不太可能會推翻自己的理論。另外，研究動物行為的生物學家缺乏內(nèi)省的數(shù)據(jù)，于是發(fā)展了一種客觀的方法，赫伯特·詹寧斯（HerbertS.Jennings）（Jennings,1906）在他有影響力的著作BehavioroftheLowerOrganisms中對此進行了描述。約翰·沃森（John Watson，1878—1958）領導的行為主義（behaviorism）運動將這一觀點應用于人類，以內(nèi)省無法提供可靠證據(jù)的感知（或刺激）及其產(chǎn)生的行為（或反應）現(xiàn)了很多關于老鼠和鴿子的知識，但是在理解人類方面卻不太成功。認知心理學（cognitive psychology）認為大腦是一個信息處理設備，這至少可以追溯到威廉·詹姆斯（William James，1842—1910）著作。赫爾姆霍茨也堅持認為感知涉及一種無意識的邏輯推斷形式。在美國，認知觀點在很大程度上被行為主義所掩蓋，但在弗雷德里克·巴特利特（Frederic Bartlett，1886—1969）所領導的劍橋大學應用心理學系，認知模型得以蓬勃發(fā)展。巴特利特的學生和繼任者肯尼斯·克雷克（KennethCraik）（Craik,1943）所著的TheNatureofExplanation強有力地重新確立了諸如信念和目標之類的“精神”術語的合法性，認為它們就像用壓力和溫度來討論氣體一樣科學，盡管氣體是由既不具有壓力又不具有溫度的分子組成?？死卓酥赋隽酥R型智能體的3個關鍵步驟：（1）刺激必須轉化為一種內(nèi)在表示；（2）認知過程處理表示，從而產(chǎn)生新的內(nèi)部表示；是一個良好的智能體設計：如果有機體擁有一個“小規(guī)模的模型”，建模了外部現(xiàn)實及其在腦海1943）繼1945年克雷克死于自行車事故之后，唐納德·布勞德本特（DonaldBroadbent）繼續(xù)從事這一工作。布勞德本特的PerceptionandCommunication（Broadbent,1958）是最早將心理現(xiàn)象建模為信息處理的著作之一。與此同時的美國，計算機建模的發(fā)展導致了認知科學（cognitivescience）領域的誕生。這個領域可以說是開始于1956年9月麻省理工學院的一次研討會上，并且僅僅兩個月后，人工智能本身就“誕生”了。在研討會上，喬治·米勒（George Miller）發(fā)表了“The MagicNumberSeven”，諾姆·喬姆斯基（NoamChomsky）發(fā)表了“ThreeModelsof Language”，艾倫·紐厄爾和赫伯特·西蒙發(fā)表了“The Logic Machine”。這3篇影響廣泛的論文分別展示了如何使用計算機模型處理記憶、語言和邏輯思維的心理學問題。現(xiàn)在心理學家普遍認為“認知理論應該就像一個計算機程序”（Anderson,1980），也就是說，認知理應該從信息處理的角度來描述認知功能的運作。為了綜述目的，我們將人機交互（human-computer HCI）領域歸于心理學下。人機交互的先驅(qū)之一道格·恩格巴特（DougEngelbart）倡導智能增強（intelligence augmentation）的理念（IA而非AI）。他認為，計算機應該增強人類的能力，而不是完全自動化人類的任務。1968年，在恩格巴特的“所有演示之母”（motherofalldemos）上首次展示了計算機鼠標、窗口系統(tǒng)、超文本和視頻會議，所有這些都是為了展示人類知識工作者可以通過某些智能增強來共同完成工作。今天，我們更傾向于將IA和AI視為同一枚硬幣的兩面，前者強調(diào)人類控制，而后者強調(diào)機器的智能行為，都是機器有利于人類所必需的。計算機工程如何構建高效的計算機？現(xiàn)代數(shù)字電子計算機是由陷入第二次世界大戰(zhàn)中的3個國家的科學家們獨立且?guī)缀跬瑫r發(fā)明的。第一臺可操作的計算機是由艾倫·圖靈的團隊于1943年建造的機電希思·羅賓遜（HeathRobinson[13]），它的唯一目的是破譯德國的情報。1943年，同一小組開發(fā)了Colossus，這是一款基于真空管的強大通用機器。[14]第一臺可操作的可編程計算機是Z-3，是德國工程師康拉德·楚澤（Konrad Zuse）在1941年發(fā)明的。楚澤還發(fā)明了浮點數(shù)和第一個高級編程語言Plankalkül。第一臺電子計算機ABC是約翰·阿塔納索夫（John 和他的學生克利福德·貝里（CliffordBerry）在1940年至1942年間在愛荷華州立大學組裝的。阿塔納索夫的研究很少得到支持或認可，而ENIAC作為賓夕法尼亞大學秘密軍事項目的一部分被證明是現(xiàn)代計算機最有影響力的先驅(qū)。ENIAC的開發(fā)團隊包括了約翰·莫奇利（JohnMauchly）和約翰·普雷斯伯·埃克特（J.PresperEckert）等工程師。以一位英國漫畫家的名字命名的復雜機器。這位漫畫家描繪了一些古怪而又荒唐的復雜置來完成日常任務，如給面包涂黃油。在第二次世界大戰(zhàn)后，圖靈想把這些計算機用于人工智能研究，例如，他創(chuàng)建了第一個（Turingetal.,1953），但英國政府阻止了這項研究。從那時起，每一代計算機硬件更新都帶來了速度和容量的提升以及價格的下降，這是摩爾定律（Moore’slaw）所描述的趨勢。直到2005年之前，大約每18個月CPU的性能就會翻一番，但功耗問題導致制造商開始增加CPU的核數(shù)而不是提高CPU的時鐘頻率。目前的預期是，未來性能的增加將來自于大量的并行性，這體現(xiàn)了與大腦特性奇妙的一致性。在應對不確定的世界時，基于這一理念設計硬件：不需要64位的數(shù)字精度，只需16位（如bfloat16格式）甚至8位就足夠了，這可以使處理速度更快。已經(jīng)出現(xiàn)了一些針對人工智能應用進行調(diào)整的硬件，如圖形處理單元（GPU）、張量處理單元（TPU）和晶圓級引擎（WSE）。從20世紀60年代到大約2012年，用于訓練頂級機器學習應用的計算能力遵循了摩爾定律。從2012年開始，情況發(fā)生了變化：從2012年到2018年，這一數(shù)字增長了30萬倍，大約每100天翻一番（Amodei and 2018）。在2014年花一整天訓練的機器學習模型在2018年只需兩分鐘就可以訓練完成（Ying et al., 2018）。盡管量子計算（quantumcomputing）還不實用，但它有望為人工智能算法的一些重要子方向提供更顯著的加速。毋庸置疑，在電子計算機出現(xiàn)之前計算設備就已經(jīng)存在了。最早的自動化機器可追溯到17世紀（見1.2.1節(jié)的討論）。第一臺可編程機器是由約瑟夫·瑪麗·雅卡爾（JosephMarieJacquard，1752—1834）于1805年發(fā)明的提花織布機，它使用打孔卡片來存儲編織圖案的指令。19世紀中期，查爾斯·巴貝奇（CharlesBabbage，1792—1871）設計了兩臺計算機，但都沒有完成。差分機的目的是為工程和科學項目計算數(shù)學表。它最終于1991年建成并投入使用（Swade,2000）。巴貝奇的分析機更有雄心：它包括可尋址內(nèi)存、基于雅卡爾打孔卡的存儲程序以及有條件的跳轉。這是第一臺能夠進行通用計算的機器。巴貝奇的同事埃達·洛芙萊斯（Ada Lovelace，詩人拜倫勛爵的女兒）理解了計算機的潛力，將其描述為“一種能思考或者……能推理的機器”，能夠?qū)Α坝钪嬷兴惺挛铩边M行推理（Lovelace, 1843）。她還測到了人工智能的技術成熟度曲線，并提出：“我們最好防范可能夸大分析機能力的想法?！边z憾的是，巴貝奇的機器和洛芙萊斯的思想已基本被遺忘了。人工智能還得益于計算機科學軟件方面的發(fā)展，后者提供了編寫現(xiàn)代程序所需的操作系統(tǒng)、編程語言和工具（以及有關它們的論文）。而這也是人工智能對其有回饋的領域：人工智能工作開創(chuàng)的許多想法正重歸主流計算機科學，包括分時、交互式解釋器、使用窗口和鼠標的個人計算機、快速開發(fā)環(huán)境、鏈表數(shù)據(jù)類型、自動存儲管理，以及符號式編程、函數(shù)式編程、說明性編程和面向?qū)ο缶幊痰年P鍵概念?？刂评碚撆c控制論人造物如何在它們自己的控制下運行？居住在亞歷山大城的古希臘工程師克特西比烏斯（Ktesibios，約公元前250年）建造了第一個自我控制的機器：一臺水鐘，其特點是擁有么的定義。在此之前，只有生物才能根據(jù)環(huán)境的變化來改變自己的行為。其他自調(diào)節(jié)反饋控制系統(tǒng)的示例工作包括由詹姆斯·瓦特（JamesWatt，1736—1918）創(chuàng)建的蒸汽機調(diào)節(jié)器以及科內(nèi)利斯·德雷貝爾（CornelisDrebbel，1572—1633，潛艇發(fā)明者）發(fā)明的恒溫器。詹姆斯·克拉克·麥克斯韋（JamesClerkMaxwell）（Maxwell,1868）開創(chuàng)了控制系統(tǒng)的數(shù)學理論。第二次世界大戰(zhàn)后，控制理論（control theory）發(fā)展的核心人物是諾伯特·維納（Norbert Wiener，1894—1964）。維納是一位杰出的數(shù)家，在對生物和機械控制系統(tǒng)及其與認知的聯(lián)系產(chǎn)生興趣之前，曾與伯特蘭·羅素等人合作。像克雷克（把控制系統(tǒng)作為心理模型）一樣，維納和他的同事阿圖羅·羅森布魯斯（Arturo 以及朱利安·畢格羅（Julian Bigelow）挑戰(zhàn)了行為主義正統(tǒng)派（Rosenblueth et 1943）。他們認為具有目的的行為源于試圖最小化“錯誤”的調(diào)節(jié)機制，即當前狀態(tài)和目標狀態(tài)之間的差異。20世紀40年代后期，維納與沃倫·麥卡洛克（WarrenMcCulloch）、沃爾特·皮茨（WalterPitts）和約翰·馮·諾伊曼一起組織了一系列有影響力的會議，探索關于認知的新數(shù)學和計算模型。維納的《控制論》（Cybernetics）（Wiener, 1948）成為銷書，使大眾意識到了人工智能機器的可能性。與此同時，英國控制論專家羅斯·艾什比（W.RossAshby）開創(chuàng)了類似的思想（Ashby,1940）。艾什比、圖靈、沃爾特和其他一些學者為“那些在維納的書出現(xiàn)之前就有維納想法的人”組織了推理俱樂部[15]。艾什比在《大腦設計》（DesignforaBrain）（Ashby,1948,1952）一書中詳細闡述了他的想法，即可以通過自我平衡（homeostatic）設備來實現(xiàn)智能，該設備使用恰當?shù)姆答伝芈穪韺崿F(xiàn)穩(wěn)定的自適應行為。推理俱樂部（RatioClub）。Ratio取自推理演算器（calculusratiocinator），因此此處翻譯推理俱樂部”。——編者注現(xiàn)代控制理論，特別是被稱為隨機最優(yōu)控制的分支，其目標是設計隨時間最小化代價函數(shù)（costfunction）的系統(tǒng)。這與人工智能的標準模型——設計性能最優(yōu)的系統(tǒng)大致相符。盡管人工智能和控制理論的創(chuàng)始人之間有著密切的聯(lián)系，為什么它們卻是兩個不同的領域呢？答案在于參與者所熟悉的數(shù)學技術與每種世界觀所包含的對應問題是緊密結合的。微積分和矩陣代數(shù)是控制理論的工具，它們適用于固定的連續(xù)變量集描述的系統(tǒng)，而人工智能的建立在一定程度上是為了避開這些可感知的局限性。邏輯推理和計算工具使人工智能研究人員能夠考慮語言、視覺和符號規(guī)劃等問題，而這些問題完全超出了控制理論家的研究范圍。語言學語言是如何與思維聯(lián)系的？1957年，斯金納（B.F.Skinner）發(fā)表了VerbalBehavior，包含該領域最著名的專家對語言學習的行為主義方法的全面詳細的描述。但奇怪的是，一篇對這本書的評述也像這本書一樣廣為人知，幾乎扼殺了大眾對行為主義的興趣。評述的作者是語言學家諾姆·喬姆斯基，彼時他剛剛出版了一本關于他自己理論的書《句法結構》（SyntacticStructure）。喬姆斯基指出，行為主義理論并沒有解決語言創(chuàng)造力的概念，它沒有解釋孩子們?nèi)绾卫斫獠⒃斐鏊麄儚奈绰犨^的句子。喬姆斯基以句法模型為基礎的理論可以追溯到古印度語言學家波你尼（Panini，約公元前350年）。該理論可以解釋語言創(chuàng)造力，而且與以前的理論不同，它足夠形式化，原則上可以被程序化?，F(xiàn)代語言學和人工智能幾乎同時“誕生”，并一起成長，交叉于一個稱為計算語言學（computationallinguistics）或自然語言處理（naturallanguageprocessing）的混合領域。相比1957年，理解語言復雜了許多。理解語言需要理解主題和上下文，而不僅僅是理解句子結構。這似乎是顯而易見的，但直到20世紀60年代才得到廣泛認可。知識表示（knowledgerepresentation）（關于如何將知識轉化為計算機可以推理的形式的研究）的大部分早期工作與語言相關聯(lián)，并受到語言學研究的啟發(fā)，而語言學研究反過來又與數(shù)十年的語言哲學分析工作有關聯(lián)。人工智能的歷史總結人工智能歷史里程碑的快速方法是列出圖靈獎得主：馬文·明斯基（Marvin Minsky）（1969年圖靈獎得主）和約翰·麥卡錫（JohnMcCarthy）（1971年圖靈獎得主）定義了基于表示和推理的領域基礎；艾倫·紐厄爾（AllenNewell）和赫伯特·西蒙（HerbertSimon）（1975年圖靈獎得主）提出了關于問題求解和人類認知的符號模型；愛德華·費根鮑姆（EdFeigenbaum）和勞伊·雷迪（RajReddy）（1994年圖靈獎得主）開發(fā)了通過對人類知識編碼來解決真實世界問題的專家系統(tǒng)；朱迪亞·珀爾（JudeaPearl）（2011年圖靈獎得主）提出了通過原則性的方式處理不確定性的概率因果推理技術；最近的是約書亞·本吉奧（YoshuaBengio）、杰弗里·辛頓（Geoffrey Hinton）和楊立昆（Yann （2018年圖靈獎得主）[16]，他們將“深度學習”（多層神經(jīng)網(wǎng)絡）作為現(xiàn)代計算的關鍵部分。本節(jié)的其余部分將更詳細地介紹人工智能歷史的每個階段。此書英文原著將約書亞·本吉奧、杰弗里·辛頓和楊立昆記錄為獲得了2019年圖靈獎，他們則獲得的是2018年圖靈獎?！幷咦?.3.1 人工智能的誕生（1943—1956）現(xiàn)在普遍認為由沃倫·麥卡洛克和沃爾特·皮茨（McCullochandPitts,1943）完成的工作是人工智能的第一項研究工作。他們受到皮茨的顧問尼古拉斯·拉舍夫斯基（NicolasRashevsky）（1936,1938）對數(shù)學建模工作的啟發(fā)，選擇了3方面的資源構建模型：基礎生理學知識和大腦神經(jīng)元的功能，羅素和懷特海（Whitehead）對命題邏輯的形式化分析，以及圖靈的計算理論。他們提出了一種人工神經(jīng)元模型，其中每個神經(jīng)元的特征是“開”或“關”，并且會因足夠數(shù)量的相鄰神經(jīng)元受到刺激而切換為“開”。神經(jīng)元的狀態(tài)被認為是“事實上等同于提出其充分激活的命題”。例如，他們證明任何可計算的函數(shù)都可以通過一些神經(jīng)元互相連接的網(wǎng)絡來計算，以及所有的邏輯聯(lián)結詞（AND、OR、NOT等）都可以通過簡單的網(wǎng)絡結構來實現(xiàn)。麥卡洛克和皮茨還表明適當定義的網(wǎng)絡可以學習。唐納德·赫布（DonaldHebb）（Hebb,1949）示范了用于修改神經(jīng)元之間連接強度的簡單更新規(guī)則。他的規(guī)則，現(xiàn)在稱為赫布型學習（Hebbianlearning），至今仍是一種有影響力的模式。哈佛大學的兩名本科生馬文·明斯基（Marvin 2016）和迪安·埃德蒙茲（Dean Edmonds）在1950年建造了第一臺神網(wǎng)絡計算機——SNARC。SNARC使用了3000個真空管和B-24轟炸機上一個多余的自動駕駛裝置來模擬由40個神經(jīng)元組成的網(wǎng)絡。后來，明斯基在普林斯頓大學研究了神經(jīng)網(wǎng)絡中的通用計算。他的博士學位委員會對這類工作是否應該被視為數(shù)學持懷疑態(tài)度，但據(jù)說馮·諾伊曼評價：“如果現(xiàn)在還不能被視為數(shù)學，總有一天會的。”還有許多早期工作可以被描述為人工智能，包括1952年由曼徹斯特大學的克里斯托弗·斯特雷奇（ChristopherStrachey）和IBM公司的亞瑟·塞繆爾（ArthurSamuel）分別獨立開發(fā)的西洋跳棋程序。然而，還是圖靈的觀點最有影響力。早在1947年，他就在倫敦數(shù)學協(xié)會（LondonMathematical Society）就這一主題發(fā)表了演講，并在其1950年的章“ComputingMachineryandIntelligence”中闡明了有說服力的議程。在論文中，他介紹了圖靈測試、機器學習、遺傳算法和強化學習。如第27章所述，也回答了許多針對人工智能的質(zhì)疑。他還認為，通過開發(fā)學習算法然后教會機器，而不是手工編寫智能程序，將更容易創(chuàng)造出人類水平的人工智能。他在隨后的演講中警告說，實現(xiàn)這一目標對人類來說可能不是最好的事情。1955年，達特茅斯學院的約翰·麥卡錫說服明斯基、克勞德·香農(nóng)（ClaudeShannon）和納撒尼爾·羅切斯特（NathanielRochester）幫助他召集對自動機理論、神經(jīng)網(wǎng)絡和智能研究感興趣的美國研究人員。他們于1956年夏天在達特茅斯組織了為期兩個月的研討會。這場研討會共有10位與會者，其中包括來自卡內(nèi)基理工學院[17]的艾倫·紐厄爾和赫伯特·西蒙、普林斯頓大學的特倫查德·摩爾（TrenchardMore）、IBM的亞瑟?塞繆爾以及來自麻省理工學院的雷·所羅門諾夫（RaySolomonoff）和奧利弗·賽弗里奇（OliverSelfridge）。該提案指出：[18]現(xiàn)在是卡內(nèi)基梅隆大學（CMU）?！叭斯ぶ悄堋北坏谝淮握绞褂谩Ｒ苍S“計算理性”會更精確、威脅更小，人工智能”一直存在。在達特茅斯會議50周年紀念會上，麥卡錫表示，他反對使用“計算機”或“可計算”等術語，以表達對諾伯特·維納的敬意，因為維納倡導模擬控制設備，而不是數(shù)字計算機。1956年夏天，我們提議在新罕布什爾州漢諾威的達特茅斯學院進行為期兩個月共10人參與的人工智能研討。這次研討是基于這樣的假設：理論上可以精確描述學習的每個方面或智能的任何特征，從而可以制造機器來對其進行模擬。我們將試圖尋找讓機器使用語言，形成抽象和概念，解決人類特有的各種問題并改進自身的方法。我們認為，如果一個精心挑選的科學家團隊在一整個夏天里共同研究這些問題，則可以在一個或多個方面取得重大進展。盡管有這種樂觀的預測，但達特茅斯的研討會并沒有帶來任何突破。紐厄爾和西蒙提出了也許是最成熟的工作——一個稱為“邏輯理論家”（LogicTheorist，LT）的數(shù)學定理證明系統(tǒng)。西蒙聲稱：“我們已經(jīng)發(fā)明了一種能夠進行非數(shù)值思維的計算機程序，從而解決了神圣的身心問題?！盵19]研討會結束后不久，這個程序就已經(jīng)能證明羅素和懷特海的PrincipiaMathematica第2章中的大多數(shù)定理。據(jù)報道，當羅素被告知LT提出了一個比Principia Mathematica書中更精巧的證明時，羅素感到高興。但《符號邏輯雜志》（TheJournalofSymbolicLogic）的編輯們沒被打動，他們拒絕了由紐厄爾、西蒙和邏輯理論家合著的論文。IPL來編寫LT。他們沒有編譯器，只能手動將其譯為機器代碼。為了避免錯誤，他們并行工作，在編寫每條指令時相互大聲喊出二進制數(shù)，1.3.2 早期熱情高漲，期望無限（1952—1969）20世紀50年代的知識界總體上傾向于相信“機器永遠不能做X”。（見第27章中圖靈收集的X的詳細列表。）人工智能研究人員自然而然地一個接一個地演示X以回應。他們特別關注那些被認為能夠顯示人類智能的任務，包括游戲、謎題、數(shù)學和智商測試。約翰·麥卡錫將這段時期稱為“瞧，媽，不需要人動手操控！”（Look，Ma，no hands!）代。紐厄爾和西蒙繼LT成功之后又推出了通用問題求解器，即GPSLT不同，GPS從一開始就被設計為模仿人類求解問題的協(xié)議。結果表明，在它可以處理的有限類型的難題中，該程序考慮的子目標和可能采取的行為的順序與人類處理相同問題的順序類似。因此，GPS可能是第一個體現(xiàn)“人類思維”方式的程序。作為認知模型，GPS和后續(xù)程序的成功使得紐厄爾和西蒙（1976）提出了著名的物理符號系統(tǒng)（physicalsymbol system）假說，該假說認為“物理符號系統(tǒng)具有進行一般智能作的必要和充分方法”。意思是，任何顯示出智能的系統(tǒng)（人類或機器）必須通過操作由符號組成的數(shù)據(jù)結構來運行。之后我們會看到這個假說已經(jīng)受到了多方面的挑戰(zhàn)。在IBM，納撒尼爾·羅切斯特和他的同事開發(fā)了首批人工智能程序。赫伯特·蓋倫特（HerbertGelernter）（Gelernter,1959）構造了幾何定理證明程序（GeometryTheoremProver），它能夠證明許多數(shù)學學生認為相當棘手的定理。這項工作是現(xiàn)代數(shù)學定理證明程序的先驅(qū)。從長遠來看，這一時期所有探索性工作中，最有影響力的可能是亞瑟·薩繆爾對西洋跳棋的研究。通過使用現(xiàn)在稱之為強化學習的方法（見第22章），薩繆爾的程序可以以業(yè)余高手的水平進行對抗。因此，他駁斥了計算機只能執(zhí)行被告知的事情的觀點：他的程序很快學會了玩游戲，甚至比其創(chuàng)造者玩得更好。該程序于1956年在電視上演示，給人留下了深刻的印象。和圖靈一樣，薩繆爾也很難找到使用計算機的機會，他只能晚上工作，使用仍在IBM制造工廠測試場地上還未出廠的計算機。薩繆爾的程序是許多后繼系統(tǒng)的前身，如（uo,1992）和（vrta.,2016）。是世界上最好的西洋雙陸棋棋手之一，而因擊敗人類世界圍棋冠軍而震驚世界（見第5章）。1958年，約翰·麥卡錫為人工智能做出了兩項重要貢獻。在麻省理工學院人工智能實驗室備忘錄1號中，他定義了高級語言Lisp，Lisp在接下來的30年中成為了最重要的人工智能編程語言。在一篇題為“ProgramswithCommonSense”的論文中，麥卡錫為基于知識和推理的人工智能系統(tǒng)提出了概念性議案。這篇論文描述了“建議接受者”（AdviceTaker），這是一個假想程序，它包含了世界的一般知識，并可以利用它得出行動規(guī)劃。這個概念可以用簡單的邏輯公理來說明，這些邏輯公理足以生成一個開車去機場的規(guī)劃。該程序還被設計為能在正常運行過程中接受新的公理，從而實現(xiàn)無須重新編程就能夠在新領域中運行。因此，“建議接受者”體現(xiàn)了知識表示和推理的核心原則：對世界及其運作進行形式化、明確的表示，并且通過演繹來操作這種表示是很有用的。這篇論文影響了人工智能的發(fā)展歷程，至今仍有意義。1958年也是馬文·明斯基轉到麻省理工學院的一年。然而，他與麥卡錫的最初合作并沒有持續(xù)。麥卡錫強調(diào)形式邏輯中的表示和推理，而明斯基則對程序工作并最終形成反邏輯的觀點更感興趣。1963年，麥卡錫在斯坦福大學建立了人工智能實驗室。1965年亞伯拉罕·魯濱遜（J.A.Robinson）歸結原理（一階邏輯的完備定理證明算法；見第9章）的發(fā)現(xiàn)推進了麥卡錫使用邏輯來構建最終“建議接受者”的計劃。麥卡錫在斯坦福大學的工作中強調(diào)了邏輯推理的通用方法。邏輯的應用包括柯德爾·格林（CordellGreen）的問答和規(guī)劃系統(tǒng)（Green,1969b）以及斯坦福研究所（SRI）的Shakey機器人項目，后者（將在第26章中進一步討論）是第一個展示邏輯推理和物理活動完全集成的項目。在麻省理工學院，明斯基指導了一批學生，他們選擇了一些似乎需要智能才能求解的有限問題。這些有限的領域被稱為微世界（ood）。詹姆斯斯萊格爾（s g）的程序（g,1963）能夠求解大學一年級課程中典型封閉形式的微積分問題。托馬斯·埃文斯（ThomasEvans）的ANALOGY程序（Evans,1968）能夠解決智商測試中常見的幾何類比問題。丹尼爾·博布羅（DanielBobrow）的STUDENT項目（Bobrow,1967）能夠求解代數(shù)故事問題，例如：如果湯姆獲得的客戶數(shù)量是他投放的廣告數(shù)量的20%的平方的兩45，那么湯姆獲得的客戶數(shù)量是多少？最著名的微世界是積木世界（blocks world），由一組放置在桌上的實心積木組成（或者更常見的是模擬桌面），如圖1-3所示。在這個世界中，一個典型的任務是用機械手以某種方式重新排列積木，這個機械手一次可以拿起一塊積木。積木世界孕育了戴維·哈夫曼（DavidHuffman）（Huffman,1971）的視覺項目、戴維·沃爾茨（DavidWaltz）（Waltz,1975）的視覺和約束傳播工作、帕特里克·溫斯頓（PatrickWinston）（Winston,1970）的學習理論、特里·溫諾格拉德（TerryWinograd）（Winograd,1972）的自然語言理解程序以及斯科特·法爾曼（ScottFahlman）（Fahlman,1974）的規(guī)劃器。圖1-3 積木世界的場景。SHRDLU（Winograd,1972）剛剛完成了一個命令——“找到一塊比你所持有的積木塊更高的積木塊，并把它放進盒子里”建立在麥卡洛克和皮茨提出的神經(jīng)網(wǎng)絡上的早期工作也蓬勃發(fā)展。什穆埃爾·溫諾格拉德（ShmuelWinograd）和杰克·考恩（JackCowan）的研究（WinogradandCowan,1963）展示了大量元素如何共同代表一個獨立的概念，同時提升穩(wěn)健性和并行性。赫布的學習方法分別得到了伯尼·維德羅（BernieWidrow）（WidrowandHoff,1960;Widrow,1962）和弗蘭克·羅森布拉特（FrankRosenblatt）（Rosenblatt,1962）的改進，他們的網(wǎng)絡分別被稱為線性自適應神經(jīng)網(wǎng)絡（adaline）和感知機（perceptron）。感知機收斂定理（perceptron convergence theorem）（Blocketal.,1962）指出，學習算法可以調(diào)整感知機的連接強度來擬合任何輸入數(shù)據(jù)（前提是存在這樣的擬合）。1.3.3 一些現(xiàn)實（1966—1973）句1957年赫伯特·西蒙的名言經(jīng)常被引用：我的目的不是使大家感到驚訝或震驚，我可以總結出的最簡單的說雖然“可見的未來”這個詞是模糊的，但西蒙也做出了更具體的預測：10定理。實際上，這些預測的實現(xiàn)（或近似實現(xiàn)）用了40過10題上都失敗了。失敗有兩個主要原因。第一個主要原因是許多早期人工智能系統(tǒng)主要基于人類如何執(zhí)行任務的“知情內(nèi)省型”，而不是基于對任務、解的含義以及算法需要做什么才能可靠地產(chǎn)生解的仔細分析。第二