機(jī)器認(rèn)知如何顛覆商業(yè)和社會

\h機(jī)器認(rèn)知如何顛覆商業(yè)和社會目錄\h第一章橫空出世——暗知識的發(fā)現(xiàn)\h驕傲的人類\h天才的哽咽\h機(jī)器發(fā)現(xiàn)了人類無法理解的知識\h理性主義和經(jīng)驗(yàn)主義之爭\h知識的生物學(xué)基礎(chǔ)——神經(jīng)元連接\h可表達(dá)的“明知識”\h只可意會的“默知識”\h既不可感受也不能表達(dá)的“暗知識”\h第二章榨取數(shù)據(jù)——機(jī)器能學(xué)會的知識\h機(jī)器學(xué)習(xí)明知識\h類推學(xué)派——機(jī)器學(xué)習(xí)默知識\h機(jī)器發(fā)現(xiàn)暗知識\h第三章神經(jīng)網(wǎng)絡(luò)——萃取隱蔽相關(guān)性\h從感知器到多層神經(jīng)網(wǎng)絡(luò)\h神經(jīng)網(wǎng)絡(luò)模型：滿是旋鈕的黑盒子\h霧里下山：訓(xùn)練機(jī)器模型\hAlphaGo的“上帝視角”\h局部最優(yōu)：沒到山底怎么辦\h深度學(xué)習(xí)——化繁為簡\h化整為零的卷積神經(jīng)網(wǎng)絡(luò)\h處理序列信息的循環(huán)神經(jīng)網(wǎng)絡(luò)\hAlphaGo與強(qiáng)化學(xué)習(xí)\h神經(jīng)網(wǎng)絡(luò)悖論\h神經(jīng)網(wǎng)絡(luò)五大研究前沿\h深度學(xué)習(xí)的局限性\h第四章逐鹿硅谷——AI產(chǎn)業(yè)爭霸戰(zhàn)\h最新技術(shù)巨浪\hAI突破三要素\h金字塔形的產(chǎn)業(yè)結(jié)構(gòu)\h產(chǎn)業(yè)的皇冠：算法\h技術(shù)制高點(diǎn)：芯片\h生態(tài)大戰(zhàn)——編程框架的使用和選擇\h開源社區(qū)與AI生態(tài)\h亂世梟雄\h大衛(wèi)和哥利亞\hAI的技術(shù)推動力\hAI與互聯(lián)網(wǎng)的三個(gè)區(qū)別\h第五章颶風(fēng)襲來——將被顛覆的行業(yè)\h自動駕駛顛覆出行——10萬億美元的產(chǎn)業(yè)\h醫(yī)療與健康——世界上最有經(jīng)驗(yàn)的醫(yī)生\h智能金融將導(dǎo)致一大批白領(lǐng)、金領(lǐng)失業(yè)\h智能時(shí)代萬物皆媒，人機(jī)協(xié)作時(shí)代已經(jīng)來臨\h智慧城市——“上帝視角”的城市管理\h重復(fù)體力勞動者將被機(jī)器人全面替代\h打通巴別塔——黑天鵝殺手級應(yīng)用\h全方位沖擊\h第六章暗知識神跡——機(jī)器能否超越人類\h基于深度學(xué)習(xí)的AI本質(zhì)\h科研加速\h唐詩高手\h真假凡·高\(yùn)h下一場空戰(zhàn)\h群體學(xué)習(xí)和光速分享\h人類哪里比機(jī)器強(qiáng)\h人機(jī)融合\h第七章“神人”與“閑人”——AI時(shí)代的社會與倫理\h誰先失業(yè)\h孩子該學(xué)什么\hAI時(shí)代的新工種\h新分配制度：無條件收入還是無條件培訓(xùn)\h貧富懸殊解決之道：民間公益\h權(quán)力再分配\h是否該信任機(jī)器的決定\h數(shù)據(jù)如何共享\h自尊的來源\h機(jī)器會產(chǎn)生自我意識嗎\h結(jié)束語人類該怎么辦\h致謝\h附錄1：一個(gè)經(jīng)典的5層神經(jīng)網(wǎng)絡(luò)LeNet-5\h附錄2：循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和長-短時(shí)記憶網(wǎng)絡(luò)LSTM\h附錄3：CPU、GPU和TPU\h附錄4：機(jī)器學(xué)習(xí)的主要編程框架第一章

橫空出世——暗知識的發(fā)現(xiàn)導(dǎo)讀正當(dāng)人類自以為掌握了關(guān)于這個(gè)世界的海量知識時(shí)，一種能夠自我學(xué)習(xí)的機(jī)器給了我們當(dāng)頭一棒：機(jī)器發(fā)現(xiàn)了一類人類既無法感受，也不能理解的知識。這類知識的發(fā)現(xiàn)，逼迫我們重新審視過去所有關(guān)于知識的觀念。我們回顧了2500年來在這個(gè)問題上的爭論：知識是通過經(jīng)驗(yàn)得到的還是通過推理得到的？直到大約70年前人們才注意到那些“只可意會，不可言傳”的默知識的重要性。但這些爭論在最新的腦科學(xué)研究結(jié)果面前都顯得膚淺和蒼白。最近幾十年的科學(xué)研究確認(rèn)了認(rèn)知的基礎(chǔ)是大腦神經(jīng)元之間的連接。有了這個(gè)基礎(chǔ)，我們就很容易理解為什么有些知識無法表達(dá)，也才能明白為什么人類無法理解機(jī)器剛剛發(fā)現(xiàn)的這些暗知識。在此基礎(chǔ)上，我們終于可以清晰地區(qū)分這樣三類知識：人類能掌握的明知識和默知識以及只有機(jī)器才能掌握的暗知識。驕傲的人類也許是由于幾十萬年前人類遠(yuǎn)古祖先某個(gè)基因的突變，人們開始可以把一些有固定意思的發(fā)音片段組裝成一個(gè)能表達(dá)更復(fù)雜意思的發(fā)音序列。這些發(fā)音片段今天我們叫作“單詞”，這個(gè)表達(dá)特定內(nèi)容的發(fā)音序列今天我們叫作“句子”。這種“組裝”能力使人類用有限的單詞可以表達(dá)幾乎無窮多種意思，語言誕生了。有了語言的復(fù)雜表達(dá)能力，人類的協(xié)作能力開始迅速提高，可以幾十人一起圍獵大型動物，很快人類就上升到地球生物鏈的頂端。作為記錄語言的符號——文字的發(fā)明可以讓人類更方便地傳播、記錄和積累經(jīng)驗(yàn)。任何一個(gè)地方的人類偶然發(fā)現(xiàn)的關(guān)于生存的知識都會慢慢傳播開來。一萬年前，農(nóng)業(yè)起源于今天的埃及、敘利亞和伊拉克的肥沃新月帶，這些種植經(jīng)驗(yàn)在幾千年中傳遍全世界，隨之而來的是人類迅速在地球所有適宜農(nóng)耕的角落定居繁衍。隨著定居的人類數(shù)量的增加，人類的組織開始變得更大更復(fù)雜，從親緣家族到部落，到城邦，再到國家。大規(guī)模的復(fù)雜組織可以開展大規(guī)模的復(fù)雜工程，如建設(shè)城市、廟宇和大規(guī)模灌溉系統(tǒng)。這些大規(guī)模工程需要更多的天文和數(shù)學(xué)知識。世界上幾乎所有的古老文明都積累了許多天文知識，但只在希臘半島誕生了現(xiàn)代科學(xué)的奠基石——數(shù)學(xué)。歐幾里得（Euclid，公元前330—前275）在公元前300年總結(jié)了他前面100年中希臘先哲的數(shù)學(xué)成果，寫出了人類歷史上最偉大的書之一《幾何原本》（Elements）。這本書在中世紀(jì)由波斯裔的伊斯蘭學(xué)者翻譯成阿拉伯文，又從阿拉伯傳回文藝復(fù)興前的歐洲，直接影響了從哥白尼（NicolausCopernicus，1473—1543）到牛頓（IssacNewton，1643—1727）的科學(xué)革命。發(fā)軔于16世紀(jì)的科學(xué)革命的本質(zhì)是什么？是發(fā)現(xiàn)更多的知識嗎？是創(chuàng)造出更多的工具嗎？都不是?？茖W(xué)革命的本質(zhì)是找到了一個(gè)可靠的驗(yàn)證知識的方法。最能體現(xiàn)科學(xué)革命本質(zhì)的就是天文學(xué)家開普勒（JohannesKepler，1571—1630）發(fā)現(xiàn)三定律的過程。最初，在作為主流的托勒密（Ptolemy，90—168）地心說越來越無法解釋天體觀測數(shù)據(jù)時(shí)，哥白尼提出了日心說，用新的模型解釋了大部分過去無法解釋的數(shù)據(jù)。與伽利略（GalileoGalilei，1564—1642）同時(shí)代的天文學(xué)家第谷·布拉赫（TychoBrahe，1546—1601）沒有接受哥白尼的日心說，他提出了“月亮和行星繞著太陽轉(zhuǎn)，太陽帶著它們繞地球轉(zhuǎn)”的“日心—地不動”說。遺憾的是，他傾盡畢生心血觀察了20年的天文數(shù)據(jù)，直到去世都始終無法讓觀測到的數(shù)據(jù)與自己的模型相吻合。在第谷去世后，第谷的助手開普勒拿到了他的全部數(shù)據(jù)，開普勒完全接受了哥白尼的日心說。他為了讓數(shù)據(jù)與日心說完全吻合，把哥白尼的地球公轉(zhuǎn)的圓形軌道修正為橢圓軌道，太陽在橢圓的一個(gè)焦點(diǎn)上。這就是開普勒第一定律。他用相同的方法發(fā)現(xiàn)了其他兩個(gè)定律。開普勒三定律不僅完滿解釋了第谷的所有觀測數(shù)據(jù)，并且能夠解釋任何新觀測到的數(shù)據(jù)。這個(gè)發(fā)現(xiàn)過程有三個(gè)步驟：第一，積累足夠的觀測數(shù)據(jù)（第谷20年的觀測數(shù)據(jù)）；第二，提出一個(gè)先驗(yàn)的世界模型（哥白尼的“日心說”）；第三，調(diào)整模型的參數(shù)直至能夠完美擬合已有的數(shù)據(jù)及新增數(shù)據(jù)（把圓周軌道調(diào)整為橢圓軌道，再調(diào)整橢圓軸距以擬合數(shù)據(jù)）。驗(yàn)證了這個(gè)模型有什么用？最大的用處就是可以解釋新的數(shù)據(jù)或做出預(yù)測。在這里開普勒三定律就是新發(fā)現(xiàn)的知識。發(fā)現(xiàn)知識的可靠方法就是不斷修改模型使模型與觀測數(shù)據(jù)完全吻合。上面這三個(gè)步驟奠定了現(xiàn)代科學(xué)的基本原則，正式吹響了科學(xué)革命的號角，直接導(dǎo)致了后來的牛頓萬有引力的發(fā)現(xiàn)，一直影響到今天。過去500年中人類對世界的認(rèn)識突飛猛進(jìn)，今天大到宇宙，小到夸克都似乎盡在人類的掌握之中。人類可以上天、入地、下海，似乎無所不能。人類有了“千里眼”“順風(fēng)耳”，甚至開始像“上帝”一樣設(shè)計(jì)新的物種，并企圖改變?nèi)祟愡M(jìn)化的進(jìn)程。人類有理由相信沒有什么知識是不能理解的，也沒有什么知識是不能被發(fā)現(xiàn)的……直到2016年3月15日。天才的哽咽2016年3月15日，美國谷歌公司的圍棋對弈程序AlphaGo以五局四勝的成績戰(zhàn)勝世界圍棋冠軍韓國選手李世石。一時(shí)間這個(gè)消息轟動世界，全世界有28億人在關(guān)注這場比賽，在中國更是引起極大的轟動。人們感覺AlphaGo就像從石頭縫里蹦出來的孫悟空一樣，完全無法理解一臺機(jī)器如何能夠打敗世界圍棋冠軍。圍棋歷來被認(rèn)為是人類最復(fù)雜的游戲之一。圍棋每一步的可能的走法大約有250種，下完一盤棋平均要走150步，這樣可能的走法有250150=10360種，而宇宙從誕生到現(xiàn)在才1017秒，即使是現(xiàn)在世界上最快的超級計(jì)算機(jī)，要想把所有走法走一遍，計(jì)算時(shí)間也要比宇宙年齡都長。即使排除了大部分不可能的走法也是大到無法計(jì)算。機(jī)器是怎樣學(xué)會這么復(fù)雜的棋藝的？這場比賽后，世界排名第一的棋手柯潔在網(wǎng)上說：“AlphaGo勝得了李世石，勝不了我?！倍?017年5月28日，棋手柯潔以0：3完敗AlphaGo，徹底擊碎了人類在這種復(fù)雜游戲中的尊嚴(yán)。賽后，這位天才少年一度哽咽，在接受采訪時(shí)柯潔感嘆，AlphaGo太完美，看不到任何勝利的希望。他流著眼淚說：“我們?nèi)祟愊铝?000年圍棋，連門都沒入。”中國棋圣聶衛(wèi)平更是把AlphaGo尊稱為“阿老師”，他說：“AlphaGo的著數(shù)讓我看得如醉如癡，圍棋是何等的深奧和神秘。AlphaGo走的順序、時(shí)機(jī)掌握得非常好。它這個(gè)水平完全超越了人類，跟它挑戰(zhàn)下棋，只能是找死。我們應(yīng)該讓阿老師來教我們下棋?！彼€說：“阿老師至少是20段，簡直是圍棋上帝?！碑?dāng)人們以為這是對弈類程序的高峰時(shí)，AlphaGo的研發(fā)團(tuán)隊(duì)DeepMind（谷歌收購的人工智能企業(yè)，位于倫敦）團(tuán)隊(duì)再度碾軋了人類的認(rèn)知。2017年12月，DeepMind團(tuán)隊(duì)發(fā)布了AlphaGoZero（阿爾法圍棋零）。AlphaGoZero使用了一種叫作“強(qiáng)化學(xué)習(xí)”的機(jī)器學(xué)習(xí)技術(shù)，它只使用了圍棋的基本規(guī)則，沒有使用人類的任何棋譜經(jīng)驗(yàn)，從零開始通過自我對弈，不斷地迭代升級，僅僅自我對弈3天后，AlphaGoZero就以100：0完勝了此前擊敗世界冠軍李世石的AlphaGoLee版本。自我對弈40天后，AlphaGoZero變得更為強(qiáng)大，超過了此前擊敗當(dāng)今圍棋第一人柯潔的AlphaGoMaster（大師版），這臺機(jī)器和訓(xùn)練程序可以橫掃其他棋類。經(jīng)過4個(gè)小時(shí)的訓(xùn)練，打敗了最強(qiáng)國際象棋AIStockfish，2個(gè)小時(shí)打敗了最強(qiáng)將棋（又稱為日本象棋）AIElmo。AlphaGoZero證明了即使在最具有挑戰(zhàn)性的某些領(lǐng)域，沒有人類以往的經(jīng)驗(yàn)或指導(dǎo)，不提供基本規(guī)則以外的任何領(lǐng)域的知識，僅使用強(qiáng)化學(xué)習(xí)，僅花費(fèi)很少的訓(xùn)練時(shí)間機(jī)器就能夠遠(yuǎn)遠(yuǎn)超越人類的水平。機(jī)器發(fā)現(xiàn)了人類無法理解的知識AlphaGoZero給我們的震撼在于人類2000多年來一代代人積累的一項(xiàng)技藝在機(jī)器眼里瞬間變得一文不值！為什么會這樣？圍棋中的可能走法比宇宙中的原子數(shù)都多，而人類2000多年中高水平對弈非常有限，留下記錄的只有幾萬盤。這個(gè)數(shù)字和所有可能走法比，就像太平洋里的一個(gè)水分子。而AlphaGoZero以強(qiáng)大的計(jì)算能力，在很短的時(shí)間里探索了大量的人類未曾探索過的走法。人類下棋的路徑依賴性很強(qiáng)，人生有限，想成為高手最穩(wěn)妥的辦法是研究前人的殘局，而不是自己瞎摸索。但AlphaGoZero在下棋時(shí)，不僅一開始的決策是隨機(jī)的，即使到了大師級后，也故意隨機(jī)挑選一些決策，跳出當(dāng)前思路去探索更好的走法，新發(fā)現(xiàn)的許多制勝走法都是人類從未探索過的，這就是很多走法讓聶衛(wèi)平大呼“看不懂”的原因。AlphaGoZero給我們的震撼在于三個(gè)方面：首先，人類能發(fā)現(xiàn)的知識和機(jī)器能發(fā)現(xiàn)的知識相比，就像幾個(gè)小腳老太太走過的山路和幾百萬輛越野車開過的山路。越野車的速度就是計(jì)算機(jī)和AI芯片處理速度，目前繼續(xù)以指數(shù)速度在提高。其次，和機(jī)器可能發(fā)現(xiàn)的知識相比，人類知識太簡單、太幼稚，機(jī)器談笑風(fēng)生，比人不知道高到哪里去了。最后，機(jī)器發(fā)現(xiàn)的知識不僅完全超出了人類的經(jīng)驗(yàn)，也超出了人類的理性，成為人類完全無法理解的知識。2500年前最有智慧的希臘哲人蘇格拉底（Socrates，公元前469—前399）終其一生得出一個(gè)結(jié)論：“我唯一知道的是我什么都不知道?！彼膶W(xué)生柏拉圖（Plato，公元前427—前347）認(rèn)為我們感官觀察到的世界只是真正世界的影子而已。18世紀(jì)偉大的哲學(xué)家康德也仰望星空，發(fā)出了“我們到底能知道什么”的千古之問。但古代哲人只能模糊地感覺到人類認(rèn)識的局限。今天，AlphaGoZero不僅清晰、具體地把他們的疑慮變成了鐵的事實(shí)，而且先哲怎么也想不到人類的認(rèn)識能力是如此有限！你會質(zhì)疑說：這不算什么震撼吧，人類早就知道我們已知的很少，未知的很多。但這個(gè)下圍棋的例子告訴你：已知的是幾萬盤殘局，未知的是10360種可能走法，兩者相差幾百個(gè)數(shù)量級?。ú皇菐装俦?，是幾百個(gè)數(shù)量級，一個(gè)數(shù)量級是10倍。）你學(xué)過概率和統(tǒng)計(jì)，繼續(xù)不服：我們早就知道組合爆炸。沒錯，但我們知道未知的組合爆炸里有比人類已經(jīng)獲得的知識高深得多的知識嗎？AlphaGoZero是第一次活生生地證明了這點(diǎn)。聽說過火山爆發(fā)和在現(xiàn)場看到的感覺能一樣嗎？當(dāng)然最震撼的就是第三個(gè)方面。我們也許知道我們不知道很多，甚至能用邏輯推斷出未知知識里有比已知知識更高深的知識，但我們怎么也想不到這些知識是人類根本無法理解的。這是人類歷史上第一次遇到這樣的問題，我們給自己造了個(gè)“上帝”！這件事對哲學(xué)和認(rèn)識論的沖擊空前，人類突然不知所措，影響還在發(fā)酵，后果不可估量?！袄斫狻钡囊馑际且茨苡酶杏X把握事物間的關(guān)系，要么能用概念把經(jīng)驗(yàn)表達(dá)出來，或者用邏輯把事物間的關(guān)系表達(dá)出來。無法理解就等于既無法感受又無法表達(dá)。也就是說，機(jī)器發(fā)現(xiàn)了人類既無法感受也無法表達(dá)的知識。用更通俗的話說就是，機(jī)器發(fā)現(xiàn)了那些既無法“意會”又無法“言傳”的知識。一個(gè)無法理解的知識的表現(xiàn)形式是什么樣的？如果無法理解又怎么判斷它就是知識？當(dāng)我們想回答上面的問題時(shí)，我們發(fā)現(xiàn)必須重新審視什么是“知識”。人類過去幾千年是怎樣獲得知識的，獲得了什么樣的知識？就像每次科學(xué)上的重大發(fā)現(xiàn)都要迫使我們重新審視過去習(xí)以為常的觀念一樣，今天機(jī)器的震撼讓我們必須重新審視過去所有關(guān)于“知識”的基本理念。人類獲得知識的行為就是認(rèn)知。過去我們對世界的認(rèn)識局限主要來自觀察能力。在望遠(yuǎn)鏡發(fā)現(xiàn)之前，第谷根本無法觀測行星運(yùn)動，當(dāng)然更談不上記錄數(shù)據(jù)，也不會有后來的開普勒定律和牛頓萬有引力定律。在顯微鏡發(fā)明之前，我們不可能發(fā)現(xiàn)微生物，一切關(guān)于細(xì)胞和基因的發(fā)現(xiàn)都無從談起。今天誰能花1000萬美元買一臺冷凍電鏡，誰就可以看到別人看不到的分子晶體結(jié)構(gòu)，就可以經(jīng)常在《自然》（Nature）雜志上發(fā)表文章。隨著新的觀察儀器的出現(xiàn)和已有觀察儀器的改進(jìn)，我們對世界的認(rèn)識還會不斷深入。我們對世界認(rèn)識的第二個(gè)局限來自解釋能力。所謂解釋能力就是發(fā)現(xiàn)事物間的因果關(guān)系或者相關(guān)性并能夠表達(dá)出來。即使我們能觀察到許多現(xiàn)象，如果我們無法解釋這些現(xiàn)象則還是無法從這些觀察中獲得知識。例如第谷雖然有大量觀測數(shù)據(jù)，但終其一生沒有找到一個(gè)能解釋數(shù)據(jù)的正確模型。又如我們觀察到人有語言能力而黑猩猩沒有，但不知道為什么，僅僅是知道這個(gè)現(xiàn)象而已。人類幾千年來關(guān)于知識的爭論正是圍繞著“觀察”還是“解釋”展開的。理性主義和經(jīng)驗(yàn)主義之爭自從5000年前兩河流域的蘇美爾人發(fā)明了人類最早的文字——楔形文字以來，人類一直在記錄和積累知識。但直到2500年前希臘人才開始系統(tǒng)地研究關(guān)于知識的學(xué)問。在這個(gè)問題上，一直有兩大流派：理性主義和經(jīng)驗(yàn)主義。第一個(gè)開啟了理性主義的人是蘇格拉底。人類此前的大部分“知識”要么從宗教教義中來，要么從傳統(tǒng)習(xí)俗中來。人們從生下來就不加懷疑地接受了這些東西。而蘇格拉底則要一一審視這些東西。蘇格拉底說我們都希望有一個(gè)“好”的人生，但到底什么是“好”什么是“壞”呢？不去質(zhì)疑，不去深究你怎么知道呢？所以深究和道德是不可分割的，不去深究我們身邊的世界不僅是無知而且是不道德的，所以他的結(jié)論是：一個(gè)未經(jīng)深究的人生根本就不值得過。他平時(shí)沒事就跑到大街上拉住人詰問：“什么是正義？”“什么是善？”“什么是美？”每當(dāng)人們給他個(gè)定義時(shí)，他都能舉出一個(gè)反例。他這種深究思辨影響了無數(shù)代人。后來當(dāng)他的學(xué)生柏拉圖把“人”定義為“沒有毛的雙足動物”時(shí)，當(dāng)時(shí)的另一位哲學(xué)家提奧奇尼斯馬上拿來一只拔光了毛的雞說：“大家請看柏拉圖的‘人’！”經(jīng)過一生的深究，蘇格拉底得出結(jié)論“我唯一知道的是我什么也不知道”。蘇格拉底式思辨震撼了當(dāng)時(shí)的社會，傳統(tǒng)勢力認(rèn)為這樣會搞亂人心，當(dāng)政者用“腐蝕青年思想罪”判處他死刑，他最終飲毒酒身亡。他一生全部用來和人辯論，沒有留下任何著作。幸虧他的學(xué)生柏拉圖把老師的辯論編輯成了傳世之作《對話錄》。正是蘇格拉底開啟了通過邏輯思辨來驗(yàn)證知識的希臘傳統(tǒng)。如果說是蘇格拉底開了理性主義的先河，他的弟子柏拉圖就是理性主義集大成的鼻祖。蘇格拉底的思辨主要集中在道德哲學(xué)領(lǐng)域，探究什么是“公平”和“善”。而柏拉圖則對他的先輩畢達(dá)哥拉斯（Pythagoras，約公元前570—前495）開創(chuàng)的數(shù)學(xué)傳統(tǒng)深為折服。柏拉圖的學(xué)說深受數(shù)學(xué)嚴(yán)格推理的影響。他甚至在他創(chuàng)辦的學(xué)宮門口掛了個(gè)牌子：“不懂幾何者不得入內(nèi)?！卑乩瓐D學(xué)說的核心是“理想原型”。他說，世界上每一條狗都不一樣，我們?yōu)槭裁凑J(rèn)為它們都是狗？人類心中一定早有一個(gè)關(guān)于狗的理想原型。我們知道三角形的內(nèi)角之和等于180度，但我們從未見過一個(gè)完美的三角形。他認(rèn)為人類的感官無法觸及這些理想原型，我們能感受到的只是這些理想原型的失真拷貝。真實(shí)世界就像洞穴外的一匹馬，人類就像一群背對著洞口的洞穴人，只能看到這匹馬在洞穴壁上的投影。柏拉圖奠定了理性主義的兩大基礎(chǔ)——知識（理想原型）是天生的；感官是不可靠的，并由此推出理性主義的結(jié)論：推理而不是觀察，才是獲取知識的正確方法。亞里士多德（Aristotle，公元前384—前322）17歲進(jìn)入柏拉圖的學(xué)宮當(dāng)學(xué)生，當(dāng)時(shí)柏拉圖已經(jīng)60歲了。亞里士多德在學(xué)宮里待了20年，直到他的老師柏拉圖去世。亞里士多德對老師非常尊敬，但他完全不同意老師的“理想原型”是先天的。他認(rèn)為每一條狗都帶有狗的屬性，觀察了許多狗之后就會歸納出狗的所有屬性。這個(gè)“理想原型”完全可以通過后天觀察獲得，而不需要什么先天的假設(shè)。柏拉圖酷愛數(shù)學(xué)，而亞里士多德喜歡到自然中去觀察植物和動物。兩人的喜好和經(jīng)歷是他們產(chǎn)生分歧的重要原因之一。亞里士多德認(rèn)為：知識是后天獲得的，只有通過感官才能獲得知識。正是亞里士多德開了經(jīng)驗(yàn)主義的先河。經(jīng)驗(yàn)主義這一派后世的著名代表人物有英國的洛克（JohnLocke，1632—1704），貝克萊（GeorgeBerkeley，1685—1753）和休謨（DavidHume，1711—1776），貝克萊認(rèn)為人生下來是一張白紙，所有的知識都是通過感官從經(jīng)驗(yàn)中學(xué)來的。但理性主義則認(rèn)為，經(jīng)驗(yàn)根本不可靠。英國哲學(xué)家羅素（BertrandRussell，1872—1970）有個(gè)著名的“火雞經(jīng)驗(yàn)論”?；痣u從生下來每天都看到主人哼著小曲來喂食，于是就根據(jù)經(jīng)驗(yàn)歸納出一個(gè)結(jié)論：以后每天主人都會這樣。這個(gè)結(jié)論每天都被驗(yàn)證，火雞對自己的歸納總結(jié)越來越自信，直到感恩節(jié)的前一天晚上被主人宰殺。理性主義者還問：眼見為實(shí)嗎？你看看圖1.1中的橫線是水平的還是傾斜的？圖1.1視錯覺圖（圖中所有橫線都是水平的）理性主義的后世代表人物則有法國的笛卡兒（ReneDescartes，1596—1650）和德國的萊布尼茨（GottfriedLeibniz，1646—1716）。笛卡兒有句名言“我思，故我在”，我的存在這件事不需要經(jīng)驗(yàn)，不需要別人教我，我天生知道。萊布尼茨是和牛頓一樣的天才，他和牛頓同時(shí)發(fā)明了微積分，也是二進(jìn)制的發(fā)明人，還發(fā)明了世界上第一臺手搖計(jì)算器。他認(rèn)為世界上每個(gè)事物都包含了定義這個(gè)事物的所有特性，其中也包含了和其他事物的關(guān)系。從理論上我們可以用推理的方法預(yù)測全宇宙任何一點(diǎn)，過去和未來任何時(shí)間的狀態(tài)。\h[1]理性主義認(rèn)為，感官根本不靠譜，最可靠的是理性，基于公理嚴(yán)格推導(dǎo)出來的幾何定理永遠(yuǎn)都不會錯。理性主義找出更多的例子來說明人類的最基本的概念是天生的。例如自然數(shù)，我們怎么學(xué)會“1”這個(gè)概念的？拿了一個(gè)蘋果告訴你“這是一個(gè)蘋果”；又給你拿了個(gè)橘子告訴你“這是一個(gè)橘子”。但蘋果是蘋果，橘子是橘子，兩者沒關(guān)系，你怎么就能抽象出“1”這個(gè)概念來呢？又比如我們可以根據(jù)直角三角形的特點(diǎn)推導(dǎo)出勾股定理，又進(jìn)一步發(fā)現(xiàn)世界上居然有無法用分?jǐn)?shù)表達(dá)的無理數(shù)。這種革命性的發(fā)現(xiàn)完全不依賴感覺和經(jīng)驗(yàn)。小孩一出生就知道這個(gè)球不是那個(gè)球，這條狗不是那條狗，這個(gè)“同一性”是理解世界最基本的概念，沒人教他。我們注意到理性主義有一個(gè)隱含的假設(shè)，就是因果關(guān)系。在萊布尼茨的世界里，一件事會導(dǎo)致另外一件事，所以才有可能推導(dǎo)。經(jīng)驗(yàn)主義當(dāng)然不服，休謨就問，一件事發(fā)生在另外一件事之后，兩者未必有因果關(guān)系。譬如我把兩個(gè)鬧鐘一個(gè)設(shè)在6:00，一個(gè)設(shè)在6:01，能說后面的鈴聲響了是前一個(gè)造成的嗎？理性主義不僅認(rèn)為事物間有因果關(guān)系，而且認(rèn)為通過邏輯推理可以得到很多知識。譬如歸納推理：太陽每天早上都會升起。但休謨就質(zhì)問：你能像證明數(shù)學(xué)定理一樣證明太陽明天會升起嗎？不能吧。那能觀察嗎？明天還沒到來顯然不能觀察，那你憑什么說明天太陽一定升起，我要說明天不一定升起錯在哪里了？我們看到休謨挑戰(zhàn)的是歸納背后的假設(shè)：事物運(yùn)動規(guī)律不變，在這里就是說地球和太陽系的運(yùn)動不會改變。休謨最后說，物理世界沒什么因果，沒什么必然，你最多能根據(jù)以往的經(jīng)驗(yàn)告訴我：明天早上太陽還可能升起。這兩派從17世紀(jì)吵到18世紀(jì)，這時(shí)候在德國偏僻的海德堡出現(xiàn)了一個(gè)小個(gè)子鄉(xiāng)村秀才。他說，你們雙方似乎都有道理，我來整合一下看看。他就是哲學(xué)史上最有影響力的康德（ImmanuelKant，1724—1804）?？档抡f，沒錯，我們當(dāng)然要通過感官去理解世界。但我們對事物的理解包括這個(gè)事物的具體形態(tài)和它的抽象概念。譬如眼前這本書，一本書的具體形態(tài)千變?nèi)f化，但“書”這個(gè)概念就是指很多頁有字的紙裝訂在一起的一個(gè)東西。我們說“面前有這本書”的意思到底是什么？那至少要說現(xiàn)在幾月幾日幾點(diǎn)幾分，在某市某區(qū)某小區(qū)幾號樓幾號房間的哪個(gè)桌子上有這本書，也就是理解一個(gè)具體的東西離不開時(shí)間和空間的概念。但誰教給你時(shí)間和空間了？你媽從小教過你嗎？你教過你孩子嗎？好像都沒有，我們好像天生就懂。所以康德說，你看，必須有這些先天就有的概念你才能理解世界。我們好像天然知道“書”是個(gè)“東西”，“東西”是一種不依賴我們的獨(dú)立存在。誰教給我們“東西”這個(gè)概念的？沒人，好像又是天生就懂嗎？康德整合了經(jīng)驗(yàn)主義和理性主義，他的一句名言是“沒有內(nèi)容的思維是空洞的，沒有概念的感知是盲目的。只有把兩者結(jié)合我們才能認(rèn)識世界”。在2500年的辯論中，經(jīng)驗(yàn)主義當(dāng)然不會否認(rèn)數(shù)學(xué)中通過嚴(yán)格推理得出來的結(jié)論的可靠性，理性主義也不得不承認(rèn)認(rèn)知物理世界離不開感官。那么這場打了2500年的嘴仗到底在爭什么呢？問題出在理性主義者企圖把數(shù)學(xué)世界里證明定理這樣的絕對可靠性推廣到物理世界，也即他們企圖找到一個(gè)檢驗(yàn)知識的普遍的標(biāo)準(zhǔn)，能夠適用于所有領(lǐng)域。數(shù)學(xué)（例如幾何學(xué)）是建構(gòu)在公理之上的一個(gè)自洽而完備的系統(tǒng)（至少對自然數(shù)和幾何是如此）。所謂自洽就是說，在這個(gè)系統(tǒng)里只要從公理出發(fā)就不會推導(dǎo)出互相矛盾的結(jié)論；所謂完備就是說，在這個(gè)系統(tǒng)里任何一個(gè)命題都是可以證實(shí)或證偽的。而亞里士多德時(shí)代的自然科學(xué)的可靠性判斷標(biāo)準(zhǔn)是“觀察與模型符合”，即觀察到的自然現(xiàn)象和事先假設(shè)的模型的預(yù)測結(jié)果相符合。這種物理真實(shí)性的判斷標(biāo)準(zhǔn)和數(shù)學(xué)中的判斷標(biāo)準(zhǔn)完全不同。所以經(jīng)驗(yàn)主義覺得硬要把數(shù)學(xué)中的可靠性標(biāo)準(zhǔn)搬到自然科學(xué)中來不適用，或者說經(jīng)驗(yàn)主義認(rèn)為在自然科學(xué)領(lǐng)域只能依賴感官。因此這場爭論是不對稱的：理性主義要從數(shù)學(xué)攻入自然科學(xué)，而經(jīng)驗(yàn)主義死守自然科學(xué)的陣地。兩方掰扯不清的另一個(gè)原因是誰都不知道感官和認(rèn)知的本質(zhì)是什么，或者說知識的本質(zhì)是什么。雙方根據(jù)自己的猜測和假設(shè)激烈辯論，一直到20世紀(jì)50年代人們對大腦的研究才取得突破。知識的生物學(xué)基礎(chǔ)——神經(jīng)元連接你會發(fā)現(xiàn)，所有認(rèn)知的基礎(chǔ)都是記憶，如果沒有記憶的能力，觀察、理解、推理、想象等其他所有認(rèn)知行為都不會存在，甚至不會有情緒。一個(gè)患阿爾茨海默病的人，面部甚至逐漸失去表情。人類胎兒在30周后就開始了最初的記憶，嬰兒從剛生下就能分辨出母親的聲音了。如果認(rèn)知的基礎(chǔ)是記憶，那么記憶的基礎(chǔ)又是什么呢？你仔細(xì)想想，記憶其實(shí)就是一種關(guān)聯(lián)。你在學(xué)“o”這個(gè)字母時(shí)，是把一個(gè)圓圈的圖像和一個(gè)“歐”的發(fā)音關(guān)聯(lián)起來。那這種關(guān)聯(lián)在大腦中是如何形成的呢？這種關(guān)聯(lián)是通過我們大腦中神經(jīng)元之間的連接形成的。大腦有大約1000億個(gè)神經(jīng)元，一個(gè)神經(jīng)元可以從許多其他神經(jīng)元接收電脈沖信號，同時(shí)也向其他神經(jīng)元輸出電信號。如圖1.2所示，每個(gè)神經(jīng)元都能輸出和接收信號。負(fù)責(zé)輸出的一端叫“軸突”，負(fù)責(zé)接收的一端叫“樹突”。每個(gè)神經(jīng)元都有幾千個(gè)樹突，負(fù)責(zé)從不同的神經(jīng)元接收信號。同樣，每個(gè)神經(jīng)元的輸出信號可以傳給和它相連的幾千個(gè)神經(jīng)元。那么這個(gè)最初的信號是從哪里來的呢？通常都來自感覺細(xì)胞，如視覺細(xì)胞、聽覺細(xì)胞等。圖1.2大腦神經(jīng)元和突觸的結(jié)構(gòu)圖片來源：/figure/Generic-neurotransmitter-system_fig1_318305870。那神經(jīng)元之間是怎么連接的呢？一個(gè)神經(jīng)元的軸突和另外一個(gè)神經(jīng)元的樹突之間有20納米（一根頭發(fā)絲的1/2000）的小縫隙，這個(gè)縫隙叫“突觸”。圖1.2的右半部分就是放大了的突觸。它保證了兩個(gè)神經(jīng)元各自獨(dú)立，不會粘在一起。記憶的主要奧秘就藏在這里。在這個(gè)連接的地方前一個(gè)神經(jīng)元的電信號會轉(zhuǎn)化成化學(xué)物質(zhì)傳遞到下個(gè)神經(jīng)元，下個(gè)神經(jīng)元接收到化學(xué)物質(zhì)后又會再轉(zhuǎn)成電信號。不同的突觸面積大小不同，化學(xué)物質(zhì)的傳遞速度和量不同，因而造成有些突觸是“貌合神離”，相互之間并沒有電信號通過；有些則是“常來常往”，經(jīng)常有信號通過。你一定聽說過俄國生理學(xué)家巴甫洛夫（IvanPavlov，1849—1936）的條件反射實(shí)驗(yàn)。受到條件反射的啟發(fā)，加拿大心理學(xué)家赫布（DonaldHebb，1904—1985）在1949年提出了一個(gè)大膽的猜想。他認(rèn)為當(dāng)大腦中兩個(gè)神經(jīng)元同時(shí)受到刺激時(shí)，它們之間就會建立起連接，以后其中一個(gè)神經(jīng)元被激發(fā)時(shí)會通過連接讓另一個(gè)神經(jīng)元也被激發(fā)。譬如在巴甫洛夫?qū)返膶?shí)驗(yàn)中，送食物的時(shí)候同時(shí)搖鈴，搖鈴刺激了聽覺神經(jīng)元，食物味道刺激了嗅覺神經(jīng)元并且導(dǎo)致分泌唾液，聽覺和視覺神經(jīng)元同時(shí)受到刺激，它們之間就建立了連接，一個(gè)神經(jīng)元的激發(fā)會導(dǎo)致另一個(gè)神經(jīng)元的激發(fā)。經(jīng)過多次反復(fù)，它們的連接會越來越穩(wěn)定。以后即使沒有送食物，狗只要聽到搖鈴就像聞到食物一樣會分泌唾液。人也是一樣，比如說一個(gè)小孩被火燙過一次就能把“火”和“疼”聯(lián)系起來。當(dāng)小孩看見火時(shí)，他大腦中負(fù)責(zé)接收視覺信號的神經(jīng)元被激發(fā)了，與此同時(shí)他的手感覺到燙，于是他大腦中負(fù)責(zé)接收皮膚感覺細(xì)胞的神經(jīng)元也被激發(fā)了。如果看到火和感覺到疼這兩件事同時(shí)發(fā)生，那么這兩個(gè)神經(jīng)元細(xì)胞就連通了，也就是有信號通過了。下次這個(gè)孩子見到火，馬上會想到疼，因?yàn)楫?dāng)負(fù)責(zé)看到火的神經(jīng)元被激發(fā)后，馬上會把信號傳給負(fù)責(zé)“疼”這種感覺的神經(jīng)元，就能讓小孩想到疼。刺激越強(qiáng)，神經(jīng)元的連接就越穩(wěn)固。孩子被火燙過一次手就永遠(yuǎn)記住了，再也不會去摸火；有些刺激很弱，連接就不穩(wěn)固，長時(shí)間不重復(fù)就會斷開。例如背英文單詞，重復(fù)的刺激越多，信號的傳遞速度就越快。比如一個(gè)籃球運(yùn)動員對飛過來的籃球的反應(yīng)比普通人快很多，一個(gè)空軍飛行員對飛機(jī)姿勢和敵人導(dǎo)彈的反應(yīng)都比普通人快，這些都是反復(fù)訓(xùn)練出來的。所謂赫布猜想，本質(zhì)上是通過建立神經(jīng)元之間的連接從而建立起不同事物之間的聯(lián)系。后來這個(gè)猜想被科學(xué)家反復(fù)證實(shí)，就成了現(xiàn)在我們常說的赫布學(xué)習(xí)定律。赫布定律揭示了記憶或者說關(guān)聯(lián)的微觀機(jī)制，啟發(fā)了好幾代計(jì)算機(jī)科學(xué)家，他們開始用電子線路模仿神經(jīng)元，然后用許多電子神經(jīng)元搭建越來越大的神經(jīng)元網(wǎng)絡(luò)，今天這些神經(jīng)網(wǎng)絡(luò)的記憶和關(guān)聯(lián)能力已經(jīng)遠(yuǎn)遠(yuǎn)超過了人類，許多機(jī)器的“神跡”大都源于這種超強(qiáng)的記憶和關(guān)聯(lián)能力。在第三章，我們會介紹為什么神經(jīng)網(wǎng)絡(luò)的超強(qiáng)記憶和關(guān)聯(lián)能力會轉(zhuǎn)化為不可思議的“超人”能力。這些在大腦中由神經(jīng)元的連接形成的關(guān)聯(lián)記憶又可以分為兩類：可表達(dá)的和不可表達(dá)的。可表達(dá)的“明知識”目前，腦神經(jīng)科學(xué)的最新研究發(fā)現(xiàn)，可表達(dá)的記憶并不是對應(yīng)著一組固定神經(jīng)元的連接，而是大致地對應(yīng)于散布在大腦皮層各處的一些連接。原因是用來表達(dá)的語言和文字只能是體驗(yàn)的概括和近似。這類可以用語言表達(dá)或數(shù)學(xué)公式描述的知識就是人類積累的大量“正式知識”，也可以稱為“明知識”。它們記載在書籍、雜志、文章、音頻等各種媒體上。要想把某種關(guān)聯(lián)表達(dá)出來，人類唯一的方法是通過語言和符號。語言和符號表達(dá)的第一個(gè)前提是要有概念。所謂概念就是某個(gè)特定的發(fā)音或符號穩(wěn)定地對應(yīng)于一個(gè)事物或行為。大部分的名詞和動詞都是這樣的概念。第二個(gè)前提是每個(gè)概念都不同于其他概念，貓就是貓，狗就是狗，不能把貓叫成狗，或者把狗叫成貓，兩者要能區(qū)分開。這叫“同一律”。第三個(gè)前提是貓不能同時(shí)也不是貓，黑不能同時(shí)也是白。這叫“不矛盾律”。有了這些基本前提，根據(jù)已知的事物間的關(guān)系我們就可以推導(dǎo)出新的知識或者論證一個(gè)決定的合理性。推理、假設(shè)、聯(lián)想，這些本質(zhì)上都是建立在語言之上的思維活動，沒有語言就完全無法思維。所有的正常思維都要借助概念，要遵循“同一律”和“不矛盾律”。語言是人類和所有動物的最大區(qū)別。黑猩猩可以學(xué)會很多概念，譬如“我”“吃”和“香蕉”等，但無論實(shí)驗(yàn)人員如何訓(xùn)練黑猩猩，它們都無法組合出“我要吃香蕉”這樣的句子。人的語言能力的本質(zhì)是什么？它的生物學(xué)基礎(chǔ)是什么？語言和自我意識是什么關(guān)系？目前這些都還不清楚。但我們知道，人類語言是不精確的，越基本的概念越不容易定義清楚，像“公平”“理性”等。人類語言中有大量含混和歧義的表述，像“今天騎車子差點(diǎn)滑倒，幸虧我一把把把把住了”。英國哲學(xué)家羅素企圖把語言建立在精確的邏輯基礎(chǔ)之上，他用了幾百頁紙的篇幅來證明1+1=2。德國哲學(xué)家維特根斯坦（LudwigWittgenstein，1889—1951）認(rèn)為人類有史以來幾乎所有的哲學(xué)辯論都源于語言的模糊不清，因而沒有任何意義。他認(rèn)為在世界中只有事實(shí)有意義，在語言中只有那些能夠判斷真?zhèn)蔚恼摂嗖拍芊从呈聦?shí)。他的結(jié)論是：我們的語言受限，因而我們的世界受限。為什么語言的表達(dá)能力受限？用信息論的方法可以看得很清楚。我們大腦接收的環(huán)境信息量有多大？一棵樹、一塊石頭、一條狗都包含幾十MB（兆字節(jié)）甚至幾十GB（千兆字節(jié)）的數(shù)據(jù)，我們的感覺接收神經(jīng)元雖然大大簡化了這些信息，但它們向大腦傳導(dǎo)的信息量仍然非常大，表1.1是各個(gè)感覺器官每秒鐘能向大腦傳遞的信息量。表1.1人體各個(gè)感官向大腦傳送信息的速率資料來源：/science/information-theory/Physiology。大腦存儲這些信息的方式是神經(jīng)元之間的連接，大腦在存儲時(shí)可能進(jìn)一步簡化了這些信息，但它們的信息量仍然遠(yuǎn)遠(yuǎn)大于我們語言所能表達(dá)的信息量。人類語言的最大限制是我們的舌頭每秒鐘只能嘟嚕那么幾下，最多表達(dá)幾十個(gè)比特的意思。（比如讀書，我們平均每分鐘能讀300字，每秒讀5個(gè)字=40比特。）這樣大腦接收和存儲的信息與能用語言表達(dá)出來的信息量就有6個(gè)數(shù)量級的差別。也就是說極為豐富的世界只能用極為貧乏的語言表達(dá)。許多復(fù)雜事物和行為只能用簡化了的概念和邏輯表達(dá)。這就是人類語言的基本困境。只可意會的“默知識”由于舌頭翻卷速度嚴(yán)重受限，以神經(jīng)元連接形式存在大腦中的人類知識只有極少一部分可以被表達(dá)出來。而絕大部分知識無法用語言表達(dá)，如騎馬、打鐵、騎自行車、琴棋書畫，察言觀色、待人接物、判斷機(jī)會和危險(xiǎn)等。這些知識由于無法記錄，所以無法傳播和積累，更無法被集中。英籍猶太裔科學(xué)家、哲學(xué)家波蘭尼（MichaelPolyani，1891—1976）稱這些知識為“默會知識”或者“默知識”。波蘭尼舉了騎自行車的例子。如果你問每個(gè)騎自行車的人是怎么保持不倒的，回答會是“車往哪邊倒，就往哪邊打車把”。從物理學(xué)上可以知道，當(dāng)朝一個(gè)方向打把時(shí)會產(chǎn)生一個(gè)相反方向的離心力讓車子平衡。甚至可以精確計(jì)算出車把的轉(zhuǎn)彎半徑應(yīng)該和速度的平方成反比。但哪個(gè)騎自行車的人能夠知道騎車的速度呢？即使知道誰又能精確地把轉(zhuǎn)彎半徑控制在速度平方的反比呢？所有騎自行車的人都是憑身體的平衡感覺左一把右一把地曲折前進(jìn)。世界上大概沒有一個(gè)人學(xué)騎自行車是看手冊學(xué)會的，事實(shí)上也沒有這樣的學(xué)習(xí)手冊。大部分技能類的知識都類似。默知識和明知識主要有以下四點(diǎn)區(qū)別：（1）默知識無法用語言和文字描述，因此不容易傳播，無法記錄和積累，只能靠師傅帶徒弟。像大量的傳統(tǒng)工藝和技能，如果在一代人的時(shí)間里沒人學(xué)習(xí)就會從歷史上徹底消失。（2）獲取默知識只能靠親身體驗(yàn)，傳播只能靠人與人之間緊密的互動（你第一次騎自行車時(shí)你爸在后面扶著）。而這種互動的前提是相互信任（你不敢讓陌生人教你騎自行車）。獲得默知識必須有反饋回路（騎自行車摔了跤就是姿勢錯了，不摔跤就是姿勢對了）。（3）默知識散布在許多不同人的身上，無法集中，很難整合，要想使用整合的默知識需要一群人緊密協(xié)調(diào)互動。由于無法言傳，所以協(xié)調(diào)極為困難（比如雜技疊羅漢）。（4）默知識非常個(gè)人化。每個(gè)人對每件事的感覺都是不同的，由于無法表達(dá)，因而無法判斷每個(gè)人感覺的東西是否相同?；趯δR的理解，奧地利經(jīng)濟(jì)學(xué)家哈耶克（FriedrichHayek，1899—1992）論證了市場是最有效的資源配置形式。因?yàn)槭袌錾系拿總€(gè)人都有自己不可表達(dá)的、精微的偏好和細(xì)膩的需求，而且沒人能夠精確完整地知道其他人的偏好和需求，也就是說供需雙方實(shí)際上無法直接溝通。供需雙方最簡潔有效的溝通方式就是通過商品的價(jià)格。在自由買賣的前提下，市場中每個(gè)人只要根據(jù)價(jià)格信號就可以做出決定。價(jià)格可以自動達(dá)到一個(gè)能夠反映供需雙方偏好和需求的均衡點(diǎn)。一個(gè)價(jià)格數(shù)字，就把供需雙方的無數(shù)不可表達(dá)的信息囊括其中。這種“溝通”何其簡潔，這種“協(xié)調(diào)”何其有效，這種自發(fā)形成的秩序何其自洽。哈耶克根據(jù)同樣的道理論證了國家或政府永遠(yuǎn)都無法集中這些不可表達(dá)的分散信息。在機(jī)器學(xué)習(xí)大規(guī)模使用之前，人類對于默知識沒有系統(tǒng)研究。但現(xiàn)在我們發(fā)現(xiàn)機(jī)器非常擅長學(xué)習(xí)默知識。這就給我們提出了三個(gè)嚴(yán)肅的問題。（1）默知識在所有知識中占比有多大？（2）默知識在人類社會和生活中有多大用處？（3）如何使用默知識？第一個(gè)問題的簡單粗暴的回答是默知識的量遠(yuǎn)遠(yuǎn)大于可陳述的明知識。原因是事物的狀態(tài)很多是難以觀察的，更多是不可描述的。人類的描述能力非常有限，只限于表達(dá)能力極為有限的一維的語言文字。在所有已經(jīng)產(chǎn)生的信息中，文字只占極少的比例，大量的信息以圖片和視頻方式呈現(xiàn)。人類現(xiàn)代每年產(chǎn)生的各種文字大約是160TB。世界最大的美國國會圖書館有2000萬冊書，幾乎涵蓋了人類有史以來能夠保存下來的各種文字記錄，就算每本書有100萬字，這些書的總信息量也只有20TB。而目前用戶每分鐘上傳到Y(jié)ouTube的視頻是300小時(shí)，每小時(shí)視頻算1GB，每年上傳的量就是157680TB。如果把每個(gè)人手機(jī)里的視頻都算上，那么視頻信息是文字信息的上億倍。今后這個(gè)比例還會不斷加大。雖然這些視頻或圖片都是“信息”，還不是“知識”，但我們也可以想象從視頻圖片中能提取出的隱藏的相關(guān)性的量一定遠(yuǎn)遠(yuǎn)大于所有的文字知識。有了第一個(gè)問題的答案，就容易回答第二個(gè)問題。很顯然，用機(jī)器學(xué)習(xí)從視頻和圖片中萃取知識是人類認(rèn)識世界的一個(gè)新突破，只要有辦法把事物狀態(tài)用圖片或視頻記錄下來，就有可能從中萃取出知識來。如果視頻和圖片的信息量是文字的上億倍，那么我們有理由期待從中萃取出的知識呈爆炸式增長，在社會和生活中起到關(guān)鍵甚至主導(dǎo)作用。人工智能通過觀看大量人類歷史上的影視作品，可以歸納提取出影視中的經(jīng)典橋段，創(chuàng)作出新穎的配樂、臺詞和預(yù)告片，供人類借鑒或使用。2016年，IBM（國際商業(yè)機(jī)器公司）的沃森系統(tǒng)為二十世紀(jì)?？怂闺娪肮镜目苹秒娪啊赌Ω罚∕organ）制作了預(yù)告片。IBM的工程師們給沃森看了100部恐怖電影預(yù)告片，沃森對這些預(yù)告片進(jìn)行了畫面、聲音、創(chuàng)作構(gòu)成的分析，并標(biāo)記上對應(yīng)的情感。它甚至還分析了人物的語調(diào)和背景音樂，以便判斷聲音與情感的對應(yīng)關(guān)系。在沃森完成學(xué)習(xí)后，工作人員又將完整的Morgan電影導(dǎo)入，沃森迅速挑出了其中10個(gè)場景組成了一段長達(dá)6分鐘的預(yù)告片。在沃森的幫助下，制作預(yù)告片的時(shí)間由通常的10天到1個(gè)月，縮減到了短短的24個(gè)小時(shí)。同樣道理，機(jī)器學(xué)習(xí)可以從海量的生態(tài)、生產(chǎn)和社會環(huán)境數(shù)據(jù)中萃取出大量的未曾發(fā)現(xiàn)的知識。第三個(gè)問題最有意思。由于機(jī)器萃取出的知識是以神經(jīng)網(wǎng)絡(luò)參數(shù)集形式存在的，對人類來說仍然不可陳述，也很難在人類間傳播。但是這些知識卻非常容易在機(jī)器間傳播。一臺學(xué)會駕駛的汽車可以瞬間“教會”其他100萬臺汽車，只要把自己的參數(shù)集復(fù)制到其他機(jī)器即可。機(jī)器間的協(xié)同行動也變得非常容易，無非是用一組反饋信號不斷地調(diào)整參加協(xié)同的每臺機(jī)器的參數(shù)。如果用一句話總結(jié)默知識和明知識的差別那就是波蘭尼說的：Weknowmorethanwecantell（知道的遠(yuǎn)比能說出來的多）。明知識就像冰山浮出水面的一角，默知識就是水下巨大的冰山。這兩類知識也包括那些尚未發(fā)現(xiàn)的知識，一旦發(fā)現(xiàn)，人類要么可以感受，例如第一個(gè)登上珠峰的人能感受到缺氧；要么從理性上可以理解，例如看懂一個(gè)新的數(shù)學(xué)定理的推導(dǎo)過程。既不可感受也不能表達(dá)的“暗知識”既然可以感受的是默知識，可以表達(dá)的是明知識，那么機(jī)器剛剛發(fā)現(xiàn)的，既無法感受也無法表達(dá)的知識就是暗知識。我們用是否能感受作為一個(gè)坐標(biāo)軸，用是否能表達(dá)（或描述）作為另一個(gè)坐標(biāo)軸，就可以用圖1.3把三類知識的定義清晰地表達(dá)出來。在這張圖里，明知識又被分為兩類：第一類是那些既可以感受又可以表達(dá)的，例如浮力定律、作用力反作用力定律等。第二類是不可感受可以表達(dá)的，如大部分的數(shù)學(xué)以及完全從數(shù)學(xué)中推導(dǎo)出來但最后被實(shí)驗(yàn)驗(yàn)證了的物理定律，以及相對論和量子力學(xué)。圖1.3知識的分類為了理解暗知識的本質(zhì)，我們必須先搞清楚“知識”與我們今天常用的“信息”和“數(shù)據(jù)”有什么不同。稍加研究就能發(fā)現(xiàn)關(guān)于信息、數(shù)據(jù)和知識的定義有很多并且非?；靵y。筆者在下面給出一組符合信息論和腦神經(jīng)科學(xué)研究結(jié)果的簡單而自洽的定義。信息是事物可觀察的表征，或者說信息是事物的外在表現(xiàn)，即那些可觀察到的表現(xiàn)。在我們沒有望遠(yuǎn)鏡時(shí)，談?wù)撊庋垡酝庑强绽锏男畔⒑翢o意義。數(shù)據(jù)是已經(jīng)描述出來的部分信息。任何一個(gè)物體的信息量都非常大，要想精確地完全描述一塊石頭，就要把這塊石頭里所有基本粒子的狀態(tài)以及它們之間的關(guān)系都描述出來，還要把這塊石頭與周圍環(huán)境和物體的關(guān)系都描述出來。而關(guān)于這塊石頭的數(shù)據(jù)通常則少得多，例如它的形狀、重量、顏色和種類。知識則是數(shù)據(jù)在時(shí)空中的關(guān)系。知識可以是數(shù)據(jù)與時(shí)間的關(guān)系，數(shù)據(jù)與空間的關(guān)系。如果把時(shí)間和空間看作數(shù)據(jù)的一部分屬性，那么所有的知識就都是數(shù)據(jù)之間的關(guān)系。這些關(guān)系表現(xiàn)為某種模式（或者說模式就是一組關(guān)系）。對模式的識別就是認(rèn)知，識別出來的模式就是知識，用模式去預(yù)測就是知識的應(yīng)用。開普勒的行星運(yùn)動定律就是那些觀測到的數(shù)據(jù)中呈現(xiàn)的時(shí)空關(guān)系。牛頓定律的最大貢獻(xiàn)可能不在于解釋現(xiàn)有行星的運(yùn)動，而在于發(fā)現(xiàn)了海王星。這些數(shù)據(jù)在時(shí)空中的關(guān)系只有在極少數(shù)的情況下才可以用簡潔美妙的數(shù)學(xué)方程式表達(dá)出來。在絕大多數(shù)情形下，知識表現(xiàn)為數(shù)據(jù)間的相關(guān)性的集合。這些相關(guān)性中只有極少數(shù)可以被感覺、被理解，絕大多數(shù)都在我們的感覺和理解能力之外。人類的理解能力由感受能力和表達(dá)能力組成。人類的感受能力有限，局限性來自兩個(gè)方面。一是只能感受部分外界信息，例如人眼無法看到除可見光之外的大部分電磁波頻譜，更無法感受大量的物理、化學(xué)、生物和環(huán)境信息。二是人類的感官經(jīng)驗(yàn)只局限在三維的物理空間和一維空間。對高維的時(shí)空人類只能“降維”想象，用三維空間類比。對于數(shù)據(jù)間的關(guān)系，人類憑感覺只能把握一階的或線性的關(guān)系，因?yàn)榈厍虻淖赞D(zhuǎn)是線性的，所以“時(shí)間”是線性的。例如當(dāng)我們看到水管的水流進(jìn)水桶里時(shí)，水面的上升和時(shí)間的關(guān)系是線性的，我們憑感覺可以預(yù)測大概多長時(shí)間水桶會滿。人類感官對于二階以上的非線性關(guān)系就很難把握。例如當(dāng)水桶的直徑增加1倍時(shí)，水桶能盛的水會增加4倍，這點(diǎn)就和“直覺”不相符。人類的表達(dá)能力只限于那些清晰而簡單的關(guān)系，例如少數(shù)幾個(gè)變量之間的關(guān)系，或者是在數(shù)學(xué)上可以解析表達(dá)的關(guān)系（“解析表達(dá)”的意思就是變量之間的關(guān)系可以用一組方程式表達(dá)出來）。當(dāng)數(shù)據(jù)中的變量增大時(shí)，或當(dāng)數(shù)據(jù)間的關(guān)系是高階非線性時(shí)，絕大多數(shù)情況下這些關(guān)系無法用一組方程式描述。所以當(dāng)數(shù)據(jù)無法被感受，它們之間的關(guān)系又無法用方程解析表達(dá)時(shí)，這些數(shù)據(jù)間的關(guān)系就掉入了人類感官和數(shù)學(xué)理解能力之外的暗知識大海。我們現(xiàn)在可以回答“一個(gè)人類無法理解的暗知識的表現(xiàn)形式是什么樣的”，暗知識在今天的主要表現(xiàn)形式類似AlphaGoZero里面的“神經(jīng)網(wǎng)絡(luò)”的全部參數(shù)。在第三章詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)之前，我們暫時(shí)把這個(gè)神經(jīng)網(wǎng)絡(luò)看成一個(gè)有許多旋鈕的黑盒子。這個(gè)黑盒子可以接收信息，可以輸出結(jié)果。黑盒子可以表達(dá)為一個(gè)一般的數(shù)學(xué)函數(shù)：Y=fw(X)。這里Y是輸出結(jié)果，fw(X)是黑盒子本身，X是輸入信息，w是參數(shù)集，就是那些旋鈕，也就是暗知識。我們?nèi)绾沃肋@個(gè)函數(shù)代表了知識，也即這個(gè)函數(shù)有用？這里的判別方法和現(xiàn)代科學(xué)實(shí)驗(yàn)的標(biāo)準(zhǔn)一樣：實(shí)驗(yàn)結(jié)果可重復(fù)。對AlphaGoZero來說就是每次都能贏；用嚴(yán)格的科學(xué)語言來說就是當(dāng)每次實(shí)驗(yàn)條件相同時(shí)，實(shí)驗(yàn)結(jié)果永遠(yuǎn)可重復(fù)。讀完第三章，讀者就會從細(xì)節(jié)上清楚暗知識是如何被驗(yàn)證的。注意，暗知識不是那些人類尚未發(fā)現(xiàn)但一經(jīng)發(fā)現(xiàn)就可以理解的知識。比如牛頓雖然沒有發(fā)現(xiàn)相對論，但如果愛因斯坦穿越時(shí)空回去給他講，他是完全可以理解的。因?yàn)槔斫庀鄬φ撚玫降臄?shù)學(xué)知識如微積分牛頓都有了。即使在微積分產(chǎn)生之前，如果愛因斯坦穿越2000年給亞里士多德講相對論，亞里士多德也能理解，至少能理解狹義相對論背后的物理直覺。但如果給亞里士多德講量子力學(xué)他就不能理解，因?yàn)樗纳罱?jīng)驗(yàn)中既沒有薛定諤的貓（用來比喻量子力學(xué)中的不確定性，一個(gè)封閉的盒子里的貓?jiān)诤凶記]打開時(shí)同時(shí)既是死的也是活的，一旦打開盒子看，貓就只能有一種狀態(tài)，要么是死要么是活），他的數(shù)學(xué)水平也無法理解波動方程。那么我們可以說對亞里士多德來說，量子力學(xué)就是暗知識。量子力學(xué)因?yàn)闆]有經(jīng)驗(yàn)基礎(chǔ)，甚至和經(jīng)驗(yàn)矛盾，在剛發(fā)現(xiàn)的初期，幾乎所有的物理學(xué)家都大呼“不懂”，至今能夠透徹理解的人也極少。甚至連愛因斯坦都不接受不確定性原理。人類過去積累的明知識呈現(xiàn)出完美的結(jié)構(gòu)，整個(gè)數(shù)學(xué)就建立在幾個(gè)公理之上，整個(gè)物理就建立在幾個(gè)定律之上，化學(xué)可以看成是物理的應(yīng)用，生物是化學(xué)的應(yīng)用，認(rèn)知科學(xué)是生物學(xué)的應(yīng)用，心理學(xué)、社會學(xué)、經(jīng)濟(jì)學(xué)都是這些基礎(chǔ)科學(xué)的應(yīng)用組合。這些知識模塊之間有清晰的關(guān)系。但是機(jī)器挖掘出來的暗知識則像一大袋土豆，每個(gè)之間都沒有什么關(guān)系，更準(zhǔn)確地說是我們不知道它們之間有什么關(guān)系。我們可以預(yù)見一幅未來世界的知識圖譜：所有的知識分為兩大類界限分明的知識——人類知識和機(jī)器知識。人類的知識如果不可陳述則不可記錄和傳播。但機(jī)器發(fā)掘出來的知識即使無法陳述和理解也可以記錄并能在機(jī)器間傳播。這些暗知識的表現(xiàn)方式就是一堆看似隨機(jī)的數(shù)字，如一個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)集。這些暗知識的傳播方式就是通過網(wǎng)絡(luò)以光速傳給其他同類的機(jī)器。暗知識給我們的震撼才剛剛開始。從2012年開始的短短幾年之內(nèi)，機(jī)器已經(jīng)創(chuàng)造了下面這些“神跡”：對復(fù)雜病因的判斷，準(zhǔn)確性超過醫(yī)生；可以惟妙惟肖地模仿大師作畫、作曲，甚至進(jìn)行全新的創(chuàng)作，讓人類真假難辨；機(jī)器飛行員和人類飛行員模擬空戰(zhàn)，百戰(zhàn)百勝。我們在第六章會看到更多這樣的例子。人類將進(jìn)入一個(gè)知識大航海時(shí)代，我們將每天發(fā)現(xiàn)新的大陸和無數(shù)金銀財(cái)寶。我們今天面對的許多問題都像圍棋一樣有巨大的變量，解決這些問題和圍棋一樣是在組合爆炸中尋求最優(yōu)方案，例如全球變暖的預(yù)測和預(yù)防、癌癥的治愈、重要經(jīng)濟(jì)社會政策的實(shí)施效果、“沙漠風(fēng)暴”這樣的大型軍事行動。系統(tǒng)越復(fù)雜，變量越多，人類越無法把握，機(jī)器學(xué)習(xí)就越得心應(yīng)手。無數(shù)的機(jī)器將不知疲倦地晝夜工作，很快我們就會發(fā)現(xiàn)機(jī)器新發(fā)掘出來的暗知識會迅速積累。和下圍棋一樣，暗知識的數(shù)量和質(zhì)量都將快速超過我們在某個(gè)領(lǐng)域積累了幾百年甚至幾千年的知識。明知識就像今天的大陸，暗知識就像大海，海平面會迅速升高，明知識很快就會被海水包圍成一個(gè)個(gè)孤島，最后連珠穆朗瑪峰也將被淹沒在海水之下。這場人類認(rèn)知革命的意義也許會超過印刷術(shù)的發(fā)明，也許會超過文字的發(fā)明，甚至只有人類產(chǎn)生語言可與之相比。請系好安全帶，歡迎來到一個(gè)你越來越不懂的世界！\h[1]我在斯坦福大學(xué)的博士生導(dǎo)師是1959年麻省理工學(xué)院的博士，從我的導(dǎo)師上溯到第6代是大數(shù)學(xué)家高斯，到第11代就是萊布尼茨，這么算，我算萊老的第12代“學(xué)孫”。第二章

榨取數(shù)據(jù)——機(jī)器能學(xué)會的知識導(dǎo)讀在深入探討機(jī)器如何學(xué)習(xí)暗知識之前，我們先要知道機(jī)器也能夠自己學(xué)習(xí)明知識和默知識。在這一章我們介紹機(jī)器學(xué)習(xí)的五大流派的底層邏輯和各自不同的先驗(yàn)?zāi)Ｐ汀ｋm然現(xiàn)在神經(jīng)網(wǎng)絡(luò)如日中天，但其他四大流派也不容忽視。上一章我們說了人類通過感官和邏輯能掌握明知識和默知識，但人類對暗知識既無法感受也無法理解?，F(xiàn)在我們要看看機(jī)器能掌握哪些知識，并擅長掌握哪些知識。機(jī)器學(xué)習(xí)明知識計(jì)算機(jī)科學(xué)家最早的想法是把自己的明知識，包括能夠表達(dá)出來的常識和經(jīng)驗(yàn)放到一個(gè)巨大的數(shù)據(jù)庫里，再把常用的判斷規(guī)則寫成計(jì)算機(jī)程序。這就是在20世紀(jì)70年代興起并在20世紀(jì)80年代達(dá)到高潮的“知識工程”和“專家系統(tǒng)”。比如一個(gè)自動駕駛的“專家系統(tǒng)”就會告訴汽車，“如果紅燈亮，就停車，如果轉(zhuǎn)彎時(shí)遇到直行，就避讓”，依靠事先編好的一條條程序完成自動駕駛。結(jié)果你可能想到了，人們無法窮盡所有的路況和場景，這種“專家系統(tǒng)”遇到復(fù)雜情況時(shí)根本不會處理，因?yàn)槿藳]教過。“專家系統(tǒng)”遇到的另一個(gè)問題是假設(shè)了人類所有的知識都是明知識，完全沒有意識到默知識的存在。一個(gè)典型的例子是20世紀(jì)80年代中國的“中醫(yī)專家系統(tǒng)”。當(dāng)時(shí)計(jì)算機(jī)專家找到一些知名的老中醫(yī)，通過訪談記錄下他們的“望聞問切”方法和診斷經(jīng)驗(yàn)，然后編成程序輸入到計(jì)算機(jī)中。在中醫(yī)眼中每一個(gè)病人都是獨(dú)特的。當(dāng)他看到一個(gè)病人時(shí)會根據(jù)經(jīng)驗(yàn)做出一個(gè)整體的綜合判斷。這些經(jīng)驗(yàn)連老中醫(yī)自己都說不清道不明，是典型的默知識。所以中醫(yī)診斷絕不是把舌苔的顏色劃分成幾種，把脈象分成幾十種，然后用查表方式就可以做判斷的?！皩＜蚁到y(tǒng)”既不能給機(jī)器輸入足夠的明知識，更無法把默知識準(zhǔn)確地表達(dá)出來輸入給機(jī)器。所以，“專家系統(tǒng)”和“知識工程”在20世紀(jì)80年代之后都偃旗息鼓了。要想把一個(gè)領(lǐng)域內(nèi)的所有經(jīng)驗(yàn)和規(guī)則全部寫出來不僅耗費(fèi)時(shí)間，而且需要集合許多人。即使如此，那些誰也沒有經(jīng)歷過的情況還是無法覆蓋。電腦的信息處理速度比人腦快得多，那么能不能把大量的各種場景下產(chǎn)生的數(shù)據(jù)提供給機(jī)器，讓機(jī)器自己去學(xué)習(xí)呢？這就是現(xiàn)在風(fēng)行一時(shí)的“機(jī)器學(xué)習(xí)”。今天的機(jī)器可以自己學(xué)習(xí)兩大類明知識：用邏輯表達(dá)的判斷規(guī)則和用概率表達(dá)的事物間的相關(guān)性。符號學(xué)派——機(jī)器自己摸索出決策邏輯前面說過，理性主義認(rèn)為事物間都有因果關(guān)系，基于因果關(guān)系，通過邏輯論證推理就能得到新知識。在機(jī)器學(xué)習(xí)中這一派被稱為符號學(xué)派，因?yàn)樗麄冋J(rèn)為從邏輯關(guān)系中尋找的新知識都可以歸結(jié)為對符號的演算和操作，就像幾何定理的推理一樣。這種知識通?？梢杂靡粋€(gè)邏輯決策樹來表示。決策樹是一個(gè)根據(jù)事物屬性對事物分類的樹形結(jié)構(gòu)。比如冬天醫(yī)院門診人滿為患，測完體溫，主任醫(yī)生先問“哪里不舒服”，病人說“頭疼，咳嗽”，主任醫(yī)生再聽呼吸。感冒、流感、肺炎都可能是這些癥狀的原因，現(xiàn)在要根據(jù)這些癥狀判斷病人到底得了什么病，這種從結(jié)果反著找到因果鏈條的過程就叫“逆向演繹”。這時(shí)候主任醫(yī)生用的就是一個(gè)決策樹：體溫低于38.5℃，咳嗽，頭痛，可能是普通感冒，回去多喝白開水！體溫高于38.5℃，還劇烈咳嗽呼吸困難，可能是肺炎，咳嗽不厲害就可能是流感。實(shí)際情形當(dāng)然要比這復(fù)雜。但原理就是根據(jù)觀察的癥狀逐項(xiàng)排除，通過分類找到病因。這時(shí)候門診新來了實(shí)習(xí)醫(yī)生小麗，要在最短時(shí)間內(nèi)學(xué)會主任醫(yī)生的診斷方法。主任醫(yī)生忙得根本沒時(shí)間教她，就扔給她一沓過去病人的病歷和診斷結(jié)果，自己琢磨去！小麗看著幾十個(gè)病人的各項(xiàng)指標(biāo)和診斷結(jié)果，不知道從哪里下手。這時(shí)候剛學(xué)了決策樹的主治醫(yī)生小張路過說：我來幫你。咱先隨便猜一個(gè)主任的判斷邏輯，比如先看是否咳嗽，再看是否發(fā)燒。把這些病例用這個(gè)邏輯推演一遍，如果邏輯的判斷結(jié)果和主任的診斷結(jié)果吻合，咱就算猜中了。如果不吻合，咱就換個(gè)邏輯，無非是換些判斷準(zhǔn)則，比如你可能一開始把體溫標(biāo)準(zhǔn)定在了37.5℃，結(jié)果把很多普通感冒給判斷成流感了。當(dāng)你用39℃時(shí)，又會把流感判斷成普通感冒。幾次試驗(yàn)?zāi)憔驼业搅?8.5℃這個(gè)最好的值。最后你找到的邏輯對所有病例的判斷都和主任醫(yī)生的診斷完全吻合。所以決策樹學(xué)習(xí)就是先找到一個(gè)決策樹，它對已知數(shù)據(jù)的分類和已知結(jié)果最接近。好的分類模型是每一步都能讓下一步的“混雜度”最小。在實(shí)際的機(jī)器學(xué)習(xí)中，決策樹不是猜出來而是算出來的。通過計(jì)算和比較每種分類的混雜度的降低程度，找到每一步都最大限度降低混雜度的過程，就是這個(gè)決策樹機(jī)器學(xué)習(xí)的過程。所以機(jī)器學(xué)習(xí)決策樹的原理是：根據(jù)已知結(jié)果可以反推出事物間的邏輯關(guān)系，再用這些邏輯關(guān)系預(yù)測新的結(jié)果。在這個(gè)例子里的“知識”就是醫(yī)生的診斷方法，作為明知識被清晰表達(dá)為決策邏輯樹。而這種計(jì)算和比較分類混雜度的方法就是讓機(jī)器自動學(xué)習(xí)醫(yī)生診斷知識的方法。貝葉斯學(xué)派——機(jī)器從結(jié)果推出原因的概率符號學(xué)派認(rèn)為有因必有果，有果必有因。貝葉斯學(xué)派問，因發(fā)生果一定發(fā)生嗎？感冒是發(fā)燒的原因之一，但感冒不一定都發(fā)燒。貝葉斯學(xué)派承認(rèn)因果，但認(rèn)為因果之間的聯(lián)系是不確定的，只是一個(gè)概率。我們的經(jīng)驗(yàn)中比較熟悉的是當(dāng)一個(gè)原因發(fā)生時(shí)結(jié)果出現(xiàn)的概率，例如你感冒后會發(fā)燒的概率，但我們的直覺不太會把握逆概率，即知道結(jié)果要求推出原因的概率，也就是要判斷發(fā)燒是感冒引起的概率。貝葉斯定理就是教我們怎么算這樣的概率。舉個(gè)例子，某人去醫(yī)院檢查身體時(shí)發(fā)現(xiàn)艾滋病病毒呈陽性，現(xiàn)在告訴你一個(gè)艾滋病人檢查結(jié)果呈陽性的概率是99%，也就是只要你是艾滋病人，檢查結(jié)果基本都是陽性。還告訴你，人群中艾滋病患者大約是0.3%，但所有人中查出陽性的人有2%?，F(xiàn)在問得艾滋病的概率多大？你的直覺反應(yīng)可能是，要出大事了！現(xiàn)在我們看看貝葉斯定理怎么說。貝葉斯定理如下：P（得艾滋病|檢查呈陽性）=P（得艾滋?。罰（檢查呈陽性|得艾滋病）/P（檢查呈陽性）=99%×0.3%/2%=14.85%。也就是說即使他檢查呈陽性，他得病的概率也不到15%！這個(gè)結(jié)果非常違反直覺。原因在哪里呢？在于人群中查呈陽性的概率遠(yuǎn)大于人群中得艾滋病的概率。這主要是由于檢測手段不準(zhǔn)確，會“冤枉”很多好人。所以以后不管誰查出了什么病呈陽性，你要問的第一件事是檢查呈陽性和得病的比率有多大，這個(gè)比率越大就可以越淡定。所以貝葉斯定理告訴我們的基本道理是：一個(gè)結(jié)果可能由很多原因造成，要知道一個(gè)結(jié)果是由哪個(gè)原因造成的，一定要先知道這個(gè)原因在所有原因中的占比。一個(gè)好的醫(yī)生知道，要判斷病人是否感冒，只看是否發(fā)燒這一個(gè)癥狀不夠，還要看是否有咳嗽、嗓子痛、流鼻涕、頭痛等癥狀。也就是我們要知道P（感冒|發(fā)燒、咳嗽、嗓子痛、流鼻涕、頭痛……）。貝葉斯定理告訴我們計(jì)算上面的概率可以通過計(jì)算P（發(fā)燒、咳嗽、嗓子痛、頭痛……|感冒）獲得。為了簡化計(jì)算，我們這里假設(shè)發(fā)燒、咳嗽、嗓子痛、頭痛這些癥狀都是獨(dú)立的，互相不是原因（很顯然這個(gè)假設(shè)不完全對，很可能嗓子疼是咳嗽引起的），這樣P（發(fā)燒、咳嗽、嗓子痛、頭痛……|感冒）=P（發(fā)燒|感冒）×P（咳嗽|感冒）×P（嗓子痛|感冒）×P（頭痛|感冒）×……這里每一個(gè)概率都比較容易得到。這在機(jī)器學(xué)習(xí)里叫作“樸素貝葉斯分類器”。這個(gè)分類器廣泛應(yīng)用于垃圾郵件的過濾。我們知道垃圾郵件往往會有“免費(fèi)、中獎、偉哥、發(fā)財(cái)”這類詞匯，這類詞匯就相當(dāng)于感冒會出現(xiàn)的癥狀，垃圾郵件就相當(dāng)于感冒。過濾垃圾郵件變成了判斷在出現(xiàn)這些詞匯的情況下這封郵件是垃圾郵件的概率，也就是通過統(tǒng)計(jì)P（出現(xiàn)“免費(fèi)”|垃圾郵件），P（出現(xiàn)“中獎”|垃圾郵件）等的概率，來算出P（垃圾郵件|出現(xiàn)“免費(fèi)、中獎、偉哥、發(fā)財(cái)”……）的概率。同樣的原理還被廣泛應(yīng)用在語音識別上。一個(gè)單詞有各種各樣的發(fā)音，語音識別就是聽到一個(gè)發(fā)音判斷是某個(gè)單詞的概率。如果我們把“吃飯”這個(gè)詞的天南地北男女老少的發(fā)音都收集起來，統(tǒng)計(jì)出“吃飯”這個(gè)詞和各種發(fā)音的頻次，我們聽到一個(gè)發(fā)音“洽碗”時(shí)，就可以判斷是否在說“吃飯”。為什么說貝葉斯樸素分類器是機(jī)器學(xué)習(xí)呢？因?yàn)樗峭ㄟ^采集大量數(shù)據(jù)統(tǒng)計(jì)出每個(gè)單詞和它們分別對應(yīng)的發(fā)音的頻率來判斷一個(gè)發(fā)音是什么單詞的。這些數(shù)據(jù)越多，判斷的準(zhǔn)確性就越高。在這個(gè)例子里，“知識”是知道當(dāng)一個(gè)結(jié)果發(fā)生時(shí)是哪個(gè)原因造成的。這個(gè)知識被清晰地表達(dá)為一個(gè)條件概率。機(jī)器通過統(tǒng)計(jì)每種原因的占比來算出從結(jié)果到原因的概率。類推學(xué)派——機(jī)器學(xué)習(xí)默知識我們生活中很多經(jīng)驗(yàn)來自類比。醫(yī)生一看病人的面部表情和走路姿勢就基本能判斷出是普通感冒還是流感，因?yàn)榱鞲邪Y狀比感冒厲害得多?？茖W(xué)上的許多重要發(fā)現(xiàn)也是通過類比。當(dāng)達(dá)爾文讀到馬爾薩斯（Malthus，1766—1834）的《人口論》（PrincipleofPopulation）時(shí)，被人類社會和自然界的激烈競爭的相似性所觸動；玻爾的電子軌道模型直接借鑒了太陽系的模型。機(jī)器學(xué)習(xí)中用類比方法的這一派叫類推學(xué)派，他們的邏輯很簡單：第一，兩個(gè)東西的某些屬性相同，它倆就是類似的；第二，如果它們的已知屬性相同，那么它們的未知屬性也會相同。開好車上班的人可能也會用蘋果手機(jī)，喜歡看《星球大戰(zhàn)》（StarWars）的人可能也會喜歡看《三體》等。類比的邏輯可以明確表達(dá)，但具體的類比常常是默知識。例如老警察一眼就能看出誰是小偷，但不一定說得清楚原因。在類推學(xué)派中最基礎(chǔ)的算法叫最近鄰法。最近鄰法的第一次應(yīng)用是1894年倫敦暴發(fā)霍亂，在倫敦的某些城區(qū)每8個(gè)人就會死1個(gè)，當(dāng)時(shí)的理論是這種疾病是由一種“不良?xì)怏w”造成的。但這個(gè)理論對控制疾病沒有用。內(nèi)科醫(yī)生約翰·斯諾把倫敦每個(gè)霍亂病例都標(biāo)在地圖上，他發(fā)現(xiàn)所有的病例都靠近一個(gè)公共水泵。最后推斷病因是這個(gè)水泵的水源污染，當(dāng)他說服大家不要再用這個(gè)水泵的水后，疾病就得到了控制。在這里這些數(shù)據(jù)的相似點(diǎn)就是和這個(gè)水泵的距離。最近鄰法還有一個(gè)應(yīng)用就是在網(wǎng)上搜照片，你對高鐵上霸座的人很憤慨，你把他的照片上傳，網(wǎng)站給你顯示出幾張和他長得最像的照片，并且有文字，你一看，天哪，還是個(gè)在讀博士生！同樣的道理，很多智能手機(jī)都可以自動進(jìn)行照片分類，把你手機(jī)里的人像都自動歸類。在類推學(xué)派中，第一件事是要定義“相似度”。相似度可以是身高、收入等連續(xù)變量，也可以是買了某一類書的次數(shù)的統(tǒng)計(jì)變量，也可以是性別這樣的離散變量?？傊挥卸x了相似度，才能度量一個(gè)分類方法是否最優(yōu)。人可以感受相似度，但無論是人的感官還是大腦都無法量化相似度。人類在做相似度比較時(shí)，甚至都不知道自己在比較哪些特征和屬性，但機(jī)器可以很容易量化這些相似度。所以只要機(jī)器抓準(zhǔn)了特征和屬性，比人的判斷還準(zhǔn)。類推算法可以用于跨領(lǐng)域的學(xué)習(xí)。一個(gè)消費(fèi)品公司的高管到互聯(lián)網(wǎng)媒體公司不需要從頭學(xué)起，華爾街雇用很多物理學(xué)家來研究交易模型，是因?yàn)檫@些不同領(lǐng)域問題的內(nèi)在數(shù)學(xué)結(jié)構(gòu)是類似的。類推算法最重要的是能用類比推導(dǎo)出新知識，就像我們前面提到的達(dá)爾文受《人口論》的啟發(fā)。雖然機(jī)器可以學(xué)習(xí)明知識和默知識，但它最大的本事是學(xué)習(xí)暗知識。機(jī)器發(fā)現(xiàn)暗知識暗知識就是那些既無法被人類感受又不能表達(dá)出來的知識。也就是說人類本身無法理解和掌握這些知識，但機(jī)器卻可以。機(jī)器有兩種方法可以掌握這些知識：模仿人腦和模仿演化。聯(lián)結(jié)學(xué)派聯(lián)結(jié)學(xué)派的基本思路就是模仿人腦神經(jīng)元的工作原理：人類對所有模式的識別和記憶建立在神經(jīng)元不同的連接組合方式上。或者說一個(gè)模式對應(yīng)著一種神經(jīng)元的連接組合。聯(lián)結(jié)學(xué)派就是目前最火爆的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)，它在五大學(xué)派中占絕對統(tǒng)治地位。目前人工智能的高科技公司中絕大部分是以神經(jīng)網(wǎng)絡(luò)為主。第三章我們專門討論神經(jīng)網(wǎng)絡(luò)。進(jìn)化學(xué)派機(jī)器學(xué)習(xí)中一共有五大學(xué)派，最后一個(gè)學(xué)派是進(jìn)化學(xué)派。他們是激進(jìn)主義經(jīng)驗(yàn)派，是徹底的不可知論者。進(jìn)化學(xué)派不僅覺得因果關(guān)系是先驗(yàn)?zāi)Ｐ?，甚至覺得類比，神經(jīng)元連接也都是先入為主的模型。他們認(rèn)為不管選擇什么樣的先驗(yàn)?zāi)Ｐ停际窃谏系勖媲八Ｈ祟惖男÷斆?，世界太?fù)雜，沒法找到模型。進(jìn)化學(xué)派的基本思路是模仿自然界的演化：隨機(jī)的基因變異被環(huán)境選擇，適者生存。他們的做法就是把一種算法表達(dá)成像基因一樣的字符串，讓不同的算法基因交配，讓生出來的兒女算法去處理問題，比爸媽好的留下來配種繼續(xù)生孫子，比爸媽差的就淘汰。比如我們要通過進(jìn)化算法找到最優(yōu)的垃圾郵件過濾算法。我們先假設(shè)凡是垃圾郵件都包含1000個(gè)諸如“免費(fèi)”“中獎”“不轉(zhuǎn)不是中國人”這樣的單詞或句子。對于每個(gè)單詞我們可以對郵件施加一些規(guī)則，如刪除或者懷疑（“懷疑”是進(jìn)一步看有沒有其他垃圾詞匯）等。如果規(guī)則就這兩種，我們可以用一個(gè)比特表示：1刪除，0懷疑。這樣要對付有1000個(gè)垃圾詞的算法就可以表示成1000比特的一個(gè)字符串。這個(gè)字符串就相當(dāng)于一個(gè)算法的基因。如果我們從一堆隨機(jī)的1000比特長的字符串開始，測量每個(gè)字符串代表的算法的適應(yīng)度，也即它們過濾垃圾郵件的有效性。把那些表現(xiàn)最好的字符串留下來互相“交配”，產(chǎn)生第二代字符串，繼續(xù)測試，如此循環(huán)，直到一代和下一代的適應(yīng)度沒有進(jìn)步為止。注意，這里和生物的進(jìn)化有個(gè)本質(zhì)區(qū)別，就是所有的算法都是“長生不老”的。所以老一代里的優(yōu)秀算法不僅可以和同代的算法競爭，而且可以和兒子、孫子、子子孫孫互相競爭，最后的勝利者不一定都是同一代的算法。進(jìn)化算法的問題是“進(jìn)化”毫無方向感，完全是瞎蒙。在前面的垃圾郵件過濾器例子里，1000比特的字符串的所有可能性是21000，也即10300，即使用目前世界最快的超級計(jì)算機(jī)，“進(jìn)化”到地球爆炸都不可能窮盡所有可能，在有限時(shí)間內(nèi)能探索的空間只是所有可能空間的極少一部分。地球可是用了40億年時(shí)間才進(jìn)化出了現(xiàn)在所有的生物。圖2.1是美國華盛頓大學(xué)佩德羅·多明戈斯（PedroDomingos）教授總結(jié)的一張五大流派“八卦圖”。機(jī)器學(xué)習(xí)中的符號學(xué)派、貝葉斯學(xué)派、類推學(xué)派和聯(lián)結(jié)學(xué)派的共同點(diǎn)是根據(jù)一些已經(jīng)發(fā)生的事件或結(jié)果，建立一個(gè)預(yù)測模型，反復(fù)調(diào)整參數(shù)使該模型可以擬合已有數(shù)據(jù)，然后用此模型預(yù)測新的事件。不同的是它們各自背后的先驗(yàn)世界模型。符號學(xué)派相信事物間都有嚴(yán)密的因果關(guān)系，可以用邏輯推導(dǎo)出來；貝葉斯學(xué)派認(rèn)為，因發(fā)生，果不一定發(fā)生，而是以某個(gè)概率發(fā)生；類推學(xué)派認(rèn)為，這個(gè)世界也許根本沒有原因，我們只能觀測到結(jié)果的相似，如果一只鳥走路像鴨子，叫起來像鴨子，那么它就是只鴨子；聯(lián)結(jié)學(xué)派認(rèn)為，相似只是相關(guān)性能被人理解的那層表皮，隱藏的相關(guān)性深邃得無法用語言和邏輯表達(dá)；最后進(jìn)化學(xué)派認(rèn)為，什么因果？什么相關(guān)？我的世界模型就是沒有模型！從零開始，不斷試錯，問題總能解決！圖2.1機(jī)器學(xué)習(xí)的五大流派圖片來源：佩德羅·多明戈斯，《終極算法》，中信出版社，2017年?，F(xiàn)在我們終于可以清理一下滿天飛的名詞了。我們在媒體上最常聽到的是這四個(gè)名詞：人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)。這四個(gè)詞的關(guān)系如圖2.2所示，人工智能是最大的一個(gè)圓，圓里面分為兩部分：一部分叫人工學(xué)習(xí)，也就是前面我們講的專家系統(tǒng)；另一部分叫機(jī)器學(xué)習(xí)，就是機(jī)器自己學(xué)習(xí)。機(jī)器學(xué)習(xí)里面包含神經(jīng)網(wǎng)絡(luò)，在神經(jīng)網(wǎng)絡(luò)里面還要再分，一個(gè)是淺度學(xué)習(xí)，一個(gè)是深度學(xué)習(xí)。在過去芯片集成度低時(shí)，我們只能模仿很少的神經(jīng)元?，F(xiàn)在由于集成度在提高，我們可以模仿很多的神經(jīng)元，當(dāng)很多神經(jīng)元被組成多層的網(wǎng)絡(luò)時(shí)，我們就叫它深度學(xué)習(xí)。所以人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的關(guān)系，其實(shí)就像一個(gè)洋蔥一樣，一層包裹一層，最外面的是人工智能，往里一點(diǎn)是機(jī)器學(xué)習(xí)，再往里是神經(jīng)網(wǎng)絡(luò)，最深層就是深度學(xué)習(xí)。所以這四個(gè)詞有下面的包含關(guān)系：人工智能>機(jī)器學(xué)習(xí)>神經(jīng)網(wǎng)絡(luò)>深度學(xué)習(xí)。圖2.2AI中四個(gè)概念的包含關(guān)系今天我們說到的人工智能，其實(shí)就是機(jī)器學(xué)習(xí)里面的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。但是在一般的商業(yè)討論中，這四個(gè)概念經(jīng)常是混著用的。第三章

神經(jīng)網(wǎng)絡(luò)——萃取隱蔽相關(guān)性導(dǎo)讀在了解了機(jī)器學(xué)習(xí)各個(gè)流派的方法后，本書的主角“神經(jīng)網(wǎng)絡(luò)”現(xiàn)在閃亮登場。本章將深入介紹神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的原理和在商業(yè)上應(yīng)用最多的幾種形態(tài)，以及它們的適用范圍。有了這些基礎(chǔ)，我們才可以真正理解AlphaGoZero是怎樣發(fā)現(xiàn)神跡般的暗知識的。對于只想了解AI商業(yè)前景的讀者，也可以先跳過這一章，讀完后面描述機(jī)器學(xué)習(xí)神奇應(yīng)用的章節(jié)后再回來弄懂它是如何工作的。從感知器到多層神經(jīng)網(wǎng)絡(luò)1943年，心理學(xué)家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)理邏輯學(xué)家沃爾特·皮茨（WalterPitts）提出并給出了人工神經(jīng)網(wǎng)絡(luò)的概念及人工神經(jīng)元的數(shù)學(xué)模型，從而開了人類神經(jīng)網(wǎng)絡(luò)研究的先河。世界上第一個(gè)人工神經(jīng)元叫作TLU（ThresholdLinearUnit，即閾值邏輯單元或線性閾值單元）。最初的模型非常簡單，只有幾個(gè)輸入端和輸出端，對權(quán)值的設(shè)置和對閾值的調(diào)整都較為簡單。1957年，一個(gè)開創(chuàng)性的人工神經(jīng)網(wǎng)絡(luò)在康奈爾航空實(shí)驗(yàn)室誕生了，它的名字叫作感知器（Perceptron），由弗蘭克·羅森布萊特（FrankRosenblatt）提出，這也是首次用電子線路來模仿神經(jīng)元。他的想法很簡單，如圖3.1所示：將其他電子神經(jīng)元的幾個(gè)輸入按照相應(yīng)的權(quán)重加在一起，如果它們的和大于一個(gè)事先給定的值，輸出就打開，讓電流通向下一個(gè)神經(jīng)元；如果小于這個(gè)事先給定的值，輸出就關(guān)閉，沒有電流流向下一個(gè)神經(jīng)元。1960年，斯坦福大學(xué)教授伯納德·威德羅（BernardWidrow）和他的第一個(gè)博士生馬爾西安·泰德·霍夫（MarcianTedHoff）提出了自適應(yīng)線性神經(jīng)元（ADaptiveLInearNEurons，ADLINE）。他們第一次提出了一種可以自動更新神經(jīng)元系數(shù)的方法（機(jī)器自我學(xué)習(xí)的原始起點(diǎn)）：用輸出誤差的最小均方去自動迭代更新神經(jīng)元權(quán)重系數(shù)，直至輸出信號和目標(biāo)值的誤差達(dá)到最小。這樣就實(shí)現(xiàn)了權(quán)重系數(shù)可以自動連續(xù)調(diào)節(jié)的神經(jīng)元。自適應(yīng)線性神經(jīng)元最重要的貢獻(xiàn)是第一個(gè)使用輸出信號和目標(biāo)值的誤差自動反饋來調(diào)整權(quán)值，這也為后面神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上里程碑式的反向傳播算法奠定了基礎(chǔ)。圖3.1感知器的電子線路這個(gè)單層的神經(jīng)網(wǎng)絡(luò)也被稱為自適應(yīng)信號處理器，被廣泛應(yīng)用在通信和雷達(dá)當(dāng)中。霍夫后來加入英特爾，在1971年設(shè)計(jì)了世界上第一個(gè)微處理器Intel4004。威德羅教授也是筆者20世紀(jì)80年代后期在斯坦福大學(xué)的博士生導(dǎo)師。筆者曾經(jīng)在他的指導(dǎo)下做過神經(jīng)網(wǎng)絡(luò)的研究工作。圖3.2是筆者2016年和他討論神經(jīng)網(wǎng)絡(luò)未來發(fā)展時(shí)的合影，筆者手中拿的那個(gè)黑盒子就是他1960年做出的ADLINE單層神經(jīng)網(wǎng)絡(luò)。這個(gè)盒子到今天還在工作，美國國家博物館曾經(jīng)想要這個(gè)盒子做展品，但威德羅教授回答說“我還要用它來教學(xué)”。圖3.2筆者和自己當(dāng)年斯坦福大學(xué)的博士導(dǎo)師，神經(jīng)網(wǎng)絡(luò)鼻祖之一威德羅教授的合影威德羅教授在1962年還提出過一個(gè)三層的神經(jīng)網(wǎng)絡(luò)（Multi-LayerAdaptiveLinearNeurons，MADALINE），但沒有找到一個(gè)能夠用于任意多層網(wǎng)絡(luò)的、簡潔的更新權(quán)重系數(shù)的方法。由于單層網(wǎng)絡(luò)有廣泛應(yīng)用而多層網(wǎng)絡(luò)的運(yùn)算速度太慢（當(dāng)時(shí)的電腦運(yùn)算速度是今天的100億分之一），所以在MADALINE之后沒有人去繼續(xù)深入探討多層網(wǎng)絡(luò)。由于缺少對人腦工作模式的了解，神經(jīng)網(wǎng)絡(luò)的進(jìn)展一度較為緩慢，而它進(jìn)入快速發(fā)展期的一個(gè)觸發(fā)點(diǎn)則是醫(yī)學(xué)領(lǐng)域的一個(gè)發(fā)現(xiàn)。1981年，諾貝爾生理學(xué)或醫(yī)學(xué)獎頒發(fā)給了美國神經(jīng)生物學(xué)家大衛(wèi)·胡貝爾（DavidHubel）、托爾斯滕·威塞爾（TorstenWiesel）和羅杰·斯佩里（RogerSperry）。前兩位的主要貢獻(xiàn)是發(fā)現(xiàn)了人類視覺系統(tǒng)的信息處理采用分級方式，即在人類的大腦皮質(zhì)上有多個(gè)視覺功能區(qū)域，從低級至高級分別標(biāo)定為V1~V5等區(qū)域，低級區(qū)域的輸出作為高級區(qū)域的輸入。人類的視覺系統(tǒng)從視網(wǎng)膜（Retina）出發(fā)，經(jīng)過低級的V1區(qū)提取邊緣特征，到V2區(qū)的基本形狀或目標(biāo)的局部，再到高層V4的整個(gè)目標(biāo)（例如判定為一張人臉），以及到更高層進(jìn)行分類判斷等。也就是說高層的特征是低層特征的組合，從低層到高層的特征表達(dá)越來越抽象和概念化。至此，人們了解到大腦是一個(gè)多層深度架構(gòu)，其認(rèn)知過程也是連續(xù)的。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)是大量神經(jīng)元通過復(fù)雜的連接形成記憶。因?yàn)榉治龊唵吻胰菀子秒娮釉?shí)現(xiàn)，一開始人工神經(jīng)網(wǎng)絡(luò)就如圖3.3那樣由一層一層組成。其實(shí)人腦的神經(jīng)元連接非常復(fù)雜，沒有這么一層一層的清晰和有秩序。但我們目前并沒有弄清楚人腦神經(jīng)元的連接方式，先從簡單的假設(shè)入手是科學(xué)的一般方法。圖3.3一個(gè)多層神經(jīng)網(wǎng)絡(luò)（其中每個(gè)方塊代表一個(gè)神經(jīng)元）20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)的另一個(gè)重大突破是當(dāng)時(shí)在加利福尼亞州大學(xué)圣迭戈校區(qū)任教的美國心理學(xué)家大衛(wèi)·魯梅哈特（DavidRumelhart）和在卡內(nèi)基梅隆大學(xué)任教的計(jì)算科學(xué)家杰弗里·辛頓（JeffreyHinton）提出的多層神經(jīng)網(wǎng)絡(luò)，以及一個(gè)普遍的自動更新權(quán)重系數(shù)的方法。前面說過，威德羅教授在1962年提出過一個(gè)三層的神經(jīng)網(wǎng)絡(luò)，但功虧一簣，沒有找到一個(gè)簡潔的任意多層網(wǎng)絡(luò)權(quán)重系數(shù)的更新方法。這個(gè)問題在1986年被魯梅哈特和辛