人工智能教案05章 機(jī)器學(xué)習(xí)5.1 概述

1、5.1 概述機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一。到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有很有限的學(xué)習(xí)能力。系統(tǒng)中的知識(shí)是由人工編程送入系統(tǒng)，知識(shí)中的錯(cuò)誤也不能自動(dòng)改正。換句話說(shuō)，現(xiàn)有的大多數(shù)人工智能系統(tǒng)是演繹的，沒(méi)有歸納推理，因而不能自動(dòng)獲取和生成知識(shí)。什么叫機(jī)器學(xué)習(xí)，至今，還沒(méi)有統(tǒng)一的定義，而且也很難給出一個(gè)被廣泛認(rèn)可的和準(zhǔn)確的定義。顧名思義，機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類(lèi)學(xué)習(xí)活動(dòng)的一門(mén)學(xué)科。關(guān)于機(jī)器的能力是否能超過(guò)人的能力這個(gè)問(wèn)題有很多爭(zhēng)論。持否定意見(jiàn)的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者來(lái)規(guī)定的，因此無(wú)論如何

2、其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。這種觀點(diǎn)，對(duì)不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)的確是對(duì)的，可是對(duì)具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過(guò)一段時(shí)間以后，設(shè)計(jì)者本人也不知他的能力到了何種水平。這就是機(jī)器學(xué)習(xí)的不可預(yù)測(cè)問(wèn)題。學(xué)習(xí)結(jié)果的不確定性帶來(lái)新的問(wèn)題就是學(xué)習(xí)系統(tǒng)產(chǎn)生的知識(shí)可能是系統(tǒng)設(shè)計(jì)者都無(wú)法預(yù)測(cè)，如果用這種系統(tǒng)解決重要問(wèn)題，就可能產(chǎn)生意外的困難或危險(xiǎn)。因此我們必須設(shè)計(jì)新的有自適應(yīng)能力的系統(tǒng)，用于安排測(cè)試過(guò)程來(lái)審查學(xué)習(xí)系統(tǒng)產(chǎn)生的知識(shí)。而且這個(gè)系統(tǒng)必須具有與被監(jiān)測(cè)的系統(tǒng)相當(dāng)?shù)膶W(xué)習(xí)（自適應(yīng)）能力，才能夠跟隨系統(tǒng)知識(shí)的變化，完成實(shí)時(shí)的檢測(cè)。然而，這個(gè)監(jiān)測(cè)系統(tǒng)本身的變化又如何了解、控制

3、那？本章討論的內(nèi)容不涉及機(jī)器學(xué)習(xí)的不可預(yù)測(cè)性。主要介紹機(jī)器學(xué)習(xí)的基本思想和基于實(shí)例的學(xué)習(xí)、基于解釋學(xué)習(xí)等具體的機(jī)器學(xué)習(xí)方法，希望讀者能對(duì)這一領(lǐng)域有一個(gè)初步的了解和認(rèn)識(shí)。學(xué)習(xí)是系統(tǒng)積累經(jīng)驗(yàn)以改善其性能的過(guò)程。從1956年人工智能創(chuàng)立至今，研究人員就一直非常重視機(jī)器學(xué)習(xí)的研究。50年代末，塞繆爾編寫(xiě)了著名的跳棋程序，這一程序可以從經(jīng)驗(yàn)中學(xué)習(xí)，不斷調(diào)整棋盤(pán)局勢(shì)評(píng)估函數(shù)，提高自己的棋藝。1970年，溫斯頓（P. H. Winston）建立了一個(gè)從例子進(jìn)行概念學(xué)習(xí)的系統(tǒng)，它可以學(xué)會(huì)積木世界中一系列概念的結(jié)構(gòu)描述。70年代末至80年代，機(jī)器學(xué)習(xí)更是蓬勃發(fā)展起來(lái)，逐漸成為人工智能研究的主流之一。未來(lái)的計(jì)算機(jī)

4、將有自動(dòng)獲取知識(shí)的能力。它們直接由書(shū)本學(xué)習(xí)，通過(guò)與人談話學(xué)習(xí)，通過(guò)觀察環(huán)境學(xué)習(xí)。它們通過(guò)實(shí)踐自我完善，克服人的局限性，例如存儲(chǔ)量少、效率低、注意力分散和難以傳送所獲取的知識(shí)等等弱點(diǎn)。而一臺(tái)計(jì)算機(jī)獲取的知識(shí)很容易復(fù)制給任何其它機(jī)器。人類(lèi)的這些設(shè)想可望在不久變成現(xiàn)實(shí)。我們有必要對(duì)這一前景給以關(guān)注。5.1.1機(jī)器學(xué)習(xí)的定義學(xué)習(xí)是人類(lèi)具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長(zhǎng)期以來(lái)卻眾說(shuō)紛壇。社會(huì)學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法。按照人工智能大師西蒙（Simon，1983）的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或相類(lèi)似的任務(wù)時(shí)，會(huì)比現(xiàn)在

5、做得更好或效率更高。西蒙對(duì)學(xué)習(xí)給出的定義本身，就說(shuō)明了學(xué)習(xí)的重要作用。另一位人工智能大師Minsky（1985），也給出了學(xué)習(xí)的定義：學(xué)習(xí)是在我們頭腦中（心理內(nèi)部）進(jìn)行有用的變化。學(xué)習(xí)是一種具有多側(cè)面的現(xiàn)象。學(xué)習(xí)基本形式有：知識(shí)獲取和技能求精。知識(shí)獲?。簩W(xué)習(xí)的本質(zhì)就是獲取新的知識(shí)，包括物理系統(tǒng)、行為的描述和模型的建立，構(gòu)造客觀現(xiàn)實(shí)的表示。將新知識(shí)組織成為通用化和有效的表達(dá)形式。例如科學(xué)知識(shí)的學(xué)習(xí)。技能求精：通過(guò)教育或?qū)嵺`改進(jìn)機(jī)制和認(rèn)知能力。這些技能包括意識(shí)的或機(jī)制的。這種改變是通過(guò)反復(fù)實(shí)踐和從失敗中糾正錯(cuò)誤來(lái)進(jìn)行的。借助觀察和實(shí)驗(yàn)發(fā)現(xiàn)新的事實(shí)和新的理論。例如學(xué)習(xí)騎自行車(chē)。知識(shí)獲取的本質(zhì)是一個(gè)自

6、覺(jué)的過(guò)程，其結(jié)果是產(chǎn)生新的符號(hào)知識(shí)結(jié)構(gòu)和智力模型。而技能求精則是下意識(shí)地借助于反復(fù)地實(shí)踐來(lái)實(shí)現(xiàn)的。本課程中涉及到的方法主要是針對(duì)知識(shí)獲取型的機(jī)器學(xué)習(xí)。學(xué)習(xí)的任務(wù)是 獲得對(duì)于輸入的數(shù)據(jù)進(jìn)行分類(lèi)能力：如醫(yī)療診斷，信用卡業(yè)務(wù)或交易，投資，DNA序列，口語(yǔ)，手寫(xiě)字，天文圖象等等。 獲得解決問(wèn)題，行為計(jì)劃和行為控制等的能力。如，解決微分問(wèn)題，下跳棋，象棋，平衡杠桿，駕車(chē)等等。我們可以從以下幾個(gè)方面對(duì)系統(tǒng)學(xué)習(xí)性能進(jìn)行評(píng)價(jià)： 分類(lèi)精度：是否能夠?qū)斎氲臄?shù)據(jù)進(jìn)行正確、精確的分類(lèi)。此類(lèi)系統(tǒng)性能由待分類(lèi)模式的規(guī)模，大規(guī)模（成千上萬(wàn)種）、中規(guī)模（幾千種）、小規(guī)模（幾十、幾百種）；待分類(lèi)樣本的性質(zhì)、質(zhì)量；系統(tǒng)結(jié)構(gòu)；系

7、統(tǒng)學(xué)習(xí)方法等多種因素決定。如，分類(lèi)結(jié)果是精確的還是模糊的、含有多義性的；給出分類(lèi)結(jié)果的同時(shí)是否還可以給出分類(lèi)結(jié)果的可信度；分類(lèi)精確度等等。 解答的正確性和質(zhì)量：無(wú)論是用于分類(lèi)的，還是解決問(wèn)題的系統(tǒng)都有解答正確性問(wèn)題。同時(shí)，正確性不一定保證有好的質(zhì)量，好的質(zhì)量包括：可讀性、穩(wěn)定性等多方面的因素。 學(xué)習(xí)的速度：雖然大多數(shù)系統(tǒng)的學(xué)習(xí)都是在后臺(tái)進(jìn)行的，但是，學(xué)習(xí)速度還是一個(gè)很重要的系統(tǒng)指標(biāo)。它不僅僅影響系統(tǒng)的設(shè)計(jì)，同時(shí)，影響系統(tǒng)的實(shí)現(xiàn)。一個(gè)很費(fèi)時(shí)的學(xué)習(xí)方法，某種意義上也是很難實(shí)現(xiàn)的。因?yàn)?，通常花費(fèi)大量時(shí)間所進(jìn)行的操作表現(xiàn)在對(duì)學(xué)習(xí)樣本量的要求、系統(tǒng)空間的要求、系統(tǒng)硬件性能的要求上。5.1.2機(jī)器學(xué)習(xí)研究

8、意義為什么要研究機(jī)器學(xué)習(xí)？如前所述，一個(gè)真正的智能系統(tǒng)必須具備真正的學(xué)習(xí)功能?；谶@種學(xué)習(xí)功能，人們不僅可以根據(jù)數(shù)據(jù)和經(jīng)驗(yàn)等構(gòu)造一個(gè)具有一定智能的系統(tǒng)，而且該系統(tǒng)還可以在這個(gè)初始數(shù)據(jù)庫(kù)的基礎(chǔ)上，通過(guò)歸納、推理等方法進(jìn)一步豐富自己，完善自己，使自己適應(yīng)外界環(huán)境。大的智能系統(tǒng)如醫(yī)療診斷、勘探等，不僅有大量的數(shù)據(jù)庫(kù)，比較完全的規(guī)則庫(kù)，豐富的專(zhuān)家經(jīng)驗(yàn)。同時(shí)，由于其系統(tǒng)規(guī)模大，開(kāi)發(fā)投資高，應(yīng)用領(lǐng)域明確，使用環(huán)境變化較小，所以，研究開(kāi)發(fā)的過(guò)程中比較重視靜態(tài)知識(shí)的學(xué)習(xí)，而忽視動(dòng)態(tài)知識(shí)的學(xué)習(xí)，或者說(shuō)環(huán)境的自適應(yīng)問(wèn)題。而一些較小型的智能系統(tǒng)，如網(wǎng)絡(luò)上使用的“螞蟻”等，開(kāi)發(fā)時(shí)比較困難或者無(wú)法手工創(chuàng)建，原因在于它們

9、需要特定的細(xì)節(jié)知識(shí)或技能來(lái)完成特別復(fù)雜的任務(wù)（知識(shí)獲取的瓶頸）。系統(tǒng)要能夠根據(jù)經(jīng)驗(yàn)來(lái)自動(dòng)適應(yīng)和定制自身，以滿(mǎn)足具體用戶(hù)的需求，例如個(gè)性化新聞或郵件過(guò)濾，個(gè)性化教程等等。在數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)和模式，數(shù)據(jù)庫(kù)挖掘，例如發(fā)現(xiàn)購(gòu)買(mǎi)模式來(lái)指導(dǎo)市場(chǎng)經(jīng)營(yíng)，更好地理解人和其它生物的學(xué)習(xí)和教學(xué)過(guò)程等等。這樣的系統(tǒng)更需要?jiǎng)討B(tài)機(jī)器學(xué)習(xí)，系統(tǒng)自適應(yīng)的方法。當(dāng)前機(jī)器學(xué)習(xí)研究時(shí)機(jī)比較成熟。主要原因是，一方面該領(lǐng)域的研究已經(jīng)具備初步的算法和理論基礎(chǔ)；另一方面，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展在線數(shù)據(jù)量的不斷增長(zhǎng)，為機(jī)器學(xué)習(xí)提供了充足的數(shù)據(jù)；同時(shí)，計(jì)算機(jī)軟硬件的發(fā)展使得機(jī)器本身已經(jīng)具備了一定強(qiáng)度的計(jì)算能力，能夠承受一定規(guī)模的計(jì)算量的算法。人工

10、智能主要是為了研究人的智能，模仿其機(jī)理，并將其應(yīng)用于工程的科學(xué)。在這個(gè)過(guò)程中必然會(huì)問(wèn)道：“人類(lèi)怎樣做才能獲取這種特殊技能（或知識(shí)）？”。當(dāng)前人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。現(xiàn)在的人工智能系統(tǒng)還完全沒(méi)有或僅有很有限的學(xué)習(xí)能力。不能自動(dòng)獲取和生成知識(shí)，未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力。 5-01_swf.htm機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難1.預(yù)測(cè)難2.歸納推理3.判斷難1.預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)難；目前的大多數(shù)專(zhuān)家系統(tǒng)都是脫離環(huán)境的學(xué)習(xí)，即將人類(lèi)專(zhuān)家準(zhǔn)備好的知識(shí)，以某種方式傳授給機(jī)器。盡管如此，機(jī)器學(xué)習(xí)的不可預(yù)測(cè)性使得中

11、國(guó)的主要專(zhuān)家系統(tǒng)：中醫(yī)醫(yī)療診斷系統(tǒng)難以得到真正的實(shí)際應(yīng)用。如果將機(jī)器學(xué)習(xí)的目的擴(kuò)展到從環(huán)境中、從工作中、從人機(jī)交互中自動(dòng)提取、更新知識(shí)，那么學(xué)習(xí)產(chǎn)生的效果就更加不可預(yù)測(cè)。2.歸納推理：現(xiàn)有的歸納推理只保證假，不保證真（演繹推理保真）。而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多是假的，給生成的知識(shí)帶來(lái)不可靠性；演繹推理是從多數(shù)現(xiàn)象中總結(jié)出結(jié)論，如：根據(jù)今天下雨了同時(shí)也陰天，昨天下雨了也是陰天，前天.，可以演繹出規(guī)則：下雨 陰天。即從一般的現(xiàn)象推倒出總結(jié)性的結(jié)論。歸納推理是從特殊的數(shù)個(gè)例子中總結(jié)出一般的規(guī)律。例如：燕子會(huì)飛 鳥(niǎo)會(huì)飛。比較容易產(chǎn)生錯(cuò)誤，比如：鴕鳥(niǎo)不會(huì)飛?？兹敢膊粫?huì)飛。當(dāng)然死鳥(niǎo)更不會(huì)飛。演

12、繹與歸納不是矛盾的，各有利弊，二者經(jīng)常是在一起使用的。由于歸納的結(jié)論有可能是假的，因此，推理過(guò)程中要使用很多假設(shè)和約定，加上適當(dāng)?shù)幕厮菀员苊庵虚g過(guò)程中的錯(cuò)誤。同時(shí)，這些也都是人為制定的，因此機(jī)器學(xué)習(xí)中依然存在著不可靠性。3.判斷難：機(jī)器目前很難判斷什么重要、什么有意義、應(yīng)該學(xué)習(xí)什么。如果要使得機(jī)器能夠從實(shí)踐中提取知識(shí)，自動(dòng)學(xué)習(xí)，就必須首先要求機(jī)器懂得什么是該學(xué)的、什么是值得學(xué)的。5.1.3發(fā)展歷史機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支之一，大約有50年的歷史，其發(fā)展過(guò)程大體上可分為兩個(gè)時(shí)期。早期（10年以前）機(jī)器學(xué)習(xí)的發(fā)展經(jīng)歷了下面三個(gè)發(fā)展階段。1.神經(jīng)系統(tǒng)模型和決策理論50年代開(kāi)始。其特點(diǎn)是對(duì)

13、開(kāi)始于無(wú)初始結(jié)構(gòu)和面向作業(yè)知識(shí)的通用學(xué)習(xí)系統(tǒng)感興趣。包括構(gòu)造多種具有隨機(jī)或部分隨機(jī)的初始結(jié)構(gòu)的基于神經(jīng)模型的機(jī)器。這些系統(tǒng)一般稱(chēng)為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)狀態(tài)，該方面的研究多停留在理論和硬件上。這些元件類(lèi)似于神經(jīng)元，他們實(shí)現(xiàn)簡(jiǎn)單的邏輯功能。1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗(yàn)?zāi)Ｊ綄?dǎo)致了模式識(shí)別這一新學(xué)科以及機(jī)器學(xué)習(xí)的決策理論方法。這種方法中學(xué)習(xí)就是從給定的一組經(jīng)過(guò)選擇的例子中獲得判斷函數(shù)，這些函數(shù)大多是線性的、多項(xiàng)式的、或相關(guān)的形式的。當(dāng)時(shí)，Samuel(1059-1963)的跳棋程序是最著名的成功的學(xué)習(xí)系統(tǒng)之一。達(dá)到了跳棋大師的水平。2.符號(hào)概念獲取符號(hào)概念獲取的學(xué)習(xí)方法是1975年

14、左右提出的。這類(lèi)學(xué)習(xí)過(guò)程通過(guò)分析一些概念的正例和反例構(gòu)造出這些概念的符號(hào)表示。表示的形式一般是邏輯表達(dá)式、決策樹(shù)、產(chǎn)生式規(guī)則或語(yǔ)義網(wǎng)絡(luò)。采用這類(lèi)方法的代表性的系統(tǒng)有Winston的ARCH。3.知識(shí)加強(qiáng)和論域?qū)Ｓ脤W(xué)習(xí)此方法是70年代中期開(kāi)始，沿著符號(hào)主義路線進(jìn)行的。在原有基礎(chǔ)上逐步加強(qiáng)、重于專(zhuān)業(yè)的專(zhuān)用性。強(qiáng)調(diào)使用面向任務(wù)的知識(shí)和它對(duì)學(xué)習(xí)過(guò)程的引導(dǎo)作用。系統(tǒng)包括預(yù)先確定的概念、知識(shí)結(jié)構(gòu)、論域約束、啟發(fā)式規(guī)則和論域有關(guān)的變換。系統(tǒng)在開(kāi)始并不具有所有的屬性或概念，在學(xué)習(xí)過(guò)程中系統(tǒng)應(yīng)得到一些新的屬性或概念。注意：其實(shí)并沒(méi)有絕對(duì)的學(xué)習(xí)方法，許多系統(tǒng)是上述各種途徑組合的方法實(shí)現(xiàn)的。近十年機(jī)器學(xué)習(xí)進(jìn)入新階段的重要標(biāo)志：.機(jī)器學(xué)習(xí)已成為新的邊緣科學(xué)并在高校形成一門(mén)課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)理論和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。.結(jié)合各種學(xué)習(xí)方法，取長(zhǎng)補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起。多種學(xué)習(xí)方法的綜合不僅僅是人工智能，也是其他相近學(xué)科如模式識(shí)別等學(xué)科的一個(gè)發(fā)展趨勢(shì)。人工智能機(jī)器學(xué)習(xí)方面尤其是連接學(xué)習(xí)和符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問(wèn)題，因此而受到重視。.機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。例如：學(xué)習(xí)與問(wèn)題求解結(jié)合進(jìn)行，知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類(lèi)比學(xué)習(xí)與問(wèn)題求解結(jié)合的