第61-62節(jié)機(jī)器學(xué)習(xí)概述與其基本系統(tǒng)結(jié)構(gòu)

2008-2009學(xué)年第1學(xué)期第一頁，共36頁。2008-2009學(xué)年第1學(xué)期第二頁，共36頁。2008-2009學(xué)年第1學(xué)期第三頁，共36頁。2008-2009學(xué)年第1學(xué)期第四頁，共36頁。第6.1節(jié)機(jī)器學(xué)習(xí)的概述王慶江計算機(jī)科學(xué)與技術(shù)系第五頁，共36頁。目前的AI系統(tǒng)多是基于演繹的，沒有歸納推理，故不能自動獲取和生成新知識；系統(tǒng)中的知識是事先輸入的，包含的錯誤也不能自動改正。自1956年AI創(chuàng)立至今，科研人員一直重視機(jī)器學(xué)習(xí)（Machinelearning）的研究。50年代，Samuel的跳棋程序可從經(jīng)驗中學(xué)習(xí)，調(diào)整棋盤的評估函數(shù)；70年，Winston的學(xué)習(xí)系統(tǒng)可從積木世界里學(xué)習(xí)概念，如“橋梁”；80年代，機(jī)器學(xué)習(xí)逐漸成為AI的主要研究問題之一。2008-2009學(xué)年第1學(xué)期第六頁，共36頁。機(jī)器的能力（智能）會超過人類嗎？對于不具備學(xué)習(xí)能力的機(jī)器，這是不可能的；反之，機(jī)器能力的提高可能是難以預(yù)測的。機(jī)器學(xué)習(xí)的不可預(yù)測問題能否設(shè)計出檢測AI系統(tǒng)能力的系統(tǒng)？檢測系統(tǒng)必須有與被檢測系統(tǒng)相當(dāng)?shù)幕蚋鼜?qiáng)的學(xué)習(xí)能力；檢測系統(tǒng)本身的變化又如何了解和控制呢？2008-2009學(xué)年第1學(xué)期第七頁，共36頁。6.1.1機(jī)器學(xué)習(xí)的基本概念什么是機(jī)器學(xué)習(xí)？它是研究如何用機(jī)器來模擬人類學(xué)習(xí)活動的一門學(xué)科；Simon說，“學(xué)習(xí)是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或改進(jìn)，使系統(tǒng)下一次執(zhí)行同樣或類似任務(wù)時比現(xiàn)在做得更好或效率更高?！盡insky說，“學(xué)習(xí)是人腦（心理內(nèi)部）中進(jìn)行了有用的變化。”2008-2009學(xué)年第1學(xué)期第八頁，共36頁。學(xué)習(xí)的基本形式知識獲取獲取新的知識，這是學(xué)習(xí)的本質(zhì)。技能求精學(xué)習(xí)機(jī)制本身的提高。學(xué)習(xí)的目的是使系統(tǒng)性能得到改善。從不會做到會做；從會做到做得更好。2008-2009學(xué)年第1學(xué)期第九頁，共36頁。機(jī)器學(xué)習(xí)的內(nèi)涵隨著網(wǎng)絡(luò)技術(shù)發(fā)展而變得豐富在AI新興的數(shù)據(jù)挖掘和知識發(fā)現(xiàn)研究中，更多地涉及大規(guī)模海量數(shù)據(jù)；數(shù)據(jù)可以是文本、圖形圖像、語音視頻；數(shù)據(jù)可以是結(jié)構(gòu)化的，也可以半結(jié)構(gòu)化的；并存著分類、聚類、貝葉斯網(wǎng)絡(luò)推理、決策樹、遺傳算法等多種學(xué)習(xí)方法。機(jī)器學(xué)習(xí)的定義更模糊了，這也意味著機(jī)器學(xué)習(xí)正受到越來越多的關(guān)注。2008-2009學(xué)年第1學(xué)期第十頁，共36頁。機(jī)器學(xué)習(xí)的任務(wù)獲得對輸入的數(shù)據(jù)進(jìn)行分類的能力；概念區(qū)分、文字識別、醫(yī)療診斷等。獲得解決問題、行為計劃和行為控制的能力。下棋、平衡杠桿、駕車等。2008-2009學(xué)年第1學(xué)期第十一頁，共36頁。怎么評價學(xué)習(xí)能力？分類精度能否對輸入數(shù)據(jù)進(jìn)行正確、精確的分類。解答的正確性和質(zhì)量無論是分類系統(tǒng)還是解決問題的系統(tǒng)，都有正確性問題；質(zhì)量包括可讀性、穩(wěn)定性等指標(biāo)。學(xué)習(xí)速度很費(fèi)時的學(xué)習(xí)方法在實踐中可能是不可用的。2008-2009學(xué)年第1學(xué)期第十二頁，共36頁。6.1.2機(jī)器學(xué)習(xí)的研究意義一個真正的智能系統(tǒng)應(yīng)該有學(xué)習(xí)能力；通過歸納、演繹等推理豐富知識庫，使系統(tǒng)適應(yīng)環(huán)境。大的智能系統(tǒng)比較注重靜態(tài)知識的學(xué)習(xí)；如醫(yī)療、勘探，有大規(guī)模數(shù)據(jù)庫和較完整的規(guī)則庫，應(yīng)用領(lǐng)域明確，環(huán)境變化較小；而較忽視動態(tài)知識的學(xué)習(xí)。一些較小的智能系統(tǒng)注重動態(tài)知識的學(xué)習(xí)；很難手工創(chuàng)建較完整的數(shù)據(jù)庫；但可自動適應(yīng)環(huán)境和定制自身。2008-2009學(xué)年第1學(xué)期第十三頁，共36頁。當(dāng)前機(jī)器學(xué)習(xí)的研究時機(jī)比較成熟已經(jīng)有機(jī)器學(xué)習(xí)的初步算法和理論基礎(chǔ)；互聯(lián)網(wǎng)可提供越來越充足的數(shù)據(jù)；計算機(jī)性能不斷提高，能運(yùn)行高復(fù)雜度的算法。2008-2009學(xué)年第1學(xué)期第十四頁，共36頁。若干難點(diǎn)制約機(jī)器學(xué)習(xí)的發(fā)展預(yù)測難脫離實際環(huán)境的學(xué)習(xí)方法，在實際中會有怎樣的表現(xiàn)？有學(xué)習(xí)能力的中醫(yī)診斷系統(tǒng)在實際中學(xué)到的新知識是否正確？歸納推理中問題保假，歸納得到的知識不可靠。判斷難什么重要、什么應(yīng)該學(xué)習(xí)？2008-2009學(xué)年第1學(xué)期第十五頁，共36頁。6.1.3機(jī)器學(xué)習(xí)的發(fā)展史神經(jīng)系統(tǒng)模型階段；開始于50年代；主要研究沒有知識的學(xué)習(xí)，試圖建立自組織、自適應(yīng)系統(tǒng)；1957年的“感知器”是這一時期最具代表性的神經(jīng)網(wǎng)絡(luò)模型；這段時期，還出現(xiàn)了跳棋程序、決策理論。2008-2009學(xué)年第1學(xué)期第十六頁，共36頁。符號概念獲取階段；開始于70年左右；試圖模擬人類的概念學(xué)習(xí)過程，通過分析一些概念的正例和反例，構(gòu)造概念的符號表示；表示形式可以是邏輯表達(dá)式、決策樹、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)等。例：Winston的ARCH系統(tǒng)；只能學(xué)習(xí)單概念，未能投入實際應(yīng)用。2008-2009學(xué)年第1學(xué)期第十七頁，共36頁。知識加強(qiáng)和論域?qū)Ｓ脤W(xué)習(xí)階段開始于70年代中期；繼續(xù)沿符號主義路線研究；側(cè)重專業(yè)的專用性，強(qiáng)調(diào)面向任務(wù)的學(xué)習(xí)和任務(wù)對學(xué)習(xí)過程的引導(dǎo)作用；例：D.J.Mostow的指導(dǎo)式學(xué)習(xí)，T.J.Mitchell的解釋學(xué)習(xí)。2008-2009學(xué)年第1學(xué)期第十八頁，共36頁。近20年中的機(jī)器學(xué)習(xí)歸納學(xué)習(xí)的絕對優(yōu)勢有所動搖；出現(xiàn)了解釋學(xué)習(xí)；遺傳式學(xué)習(xí)有了新的發(fā)展；神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)又有了重要進(jìn)展；隨著數(shù)據(jù)挖掘、知識發(fā)現(xiàn)的研究蓬勃發(fā)展，貝葉斯網(wǎng)絡(luò)、決策樹、神經(jīng)網(wǎng)絡(luò)得到了深入研究和應(yīng)用。2008-2009學(xué)年第1學(xué)期第十九頁，共36頁。6.1.4機(jī)器學(xué)習(xí)的分類按學(xué)習(xí)風(fēng)格分類記憶學(xué)習(xí)（死記硬背學(xué)習(xí)、機(jī)械學(xué)習(xí)）基于記憶和檢索；直接記錄問題有關(guān)的信息，然后檢索并利用這些存儲的信息來解決問題；如從數(shù)據(jù)x，經(jīng)過某種計算得到結(jié)果y，則把(x,y)記錄下來，以后要再對x計算時，通過查詢直接得到y(tǒng)。2008-2009學(xué)年第1學(xué)期第二十頁，共36頁。按學(xué)習(xí)風(fēng)格分類演繹學(xué)習(xí)基于演繹推理；如果系統(tǒng)能證明A→B且B→C，則可得到A→C，以后直接使用規(guī)則A→C。2008-2009學(xué)年第1學(xué)期第二十一頁，共36頁。按學(xué)習(xí)風(fēng)格分類歸納學(xué)習(xí)這是研究最多的一種學(xué)習(xí)方法；給定關(guān)于某概念的一些例子，從中歸納出概念的一般描述；例：大馬有四條腿，小馬有四條腿，故馬有四條腿。但是，歸納是危險的推理；例：麻雀會飛，燕子會飛，故鳥會飛。實例（示例）學(xué)習(xí)是典型的歸納學(xué)習(xí)方法。2008-2009學(xué)年第1學(xué)期第二十二頁，共36頁。按學(xué)習(xí)風(fēng)格分類類比學(xué)習(xí)通過目標(biāo)對象與源對象的相似性，用源對象的求解方法來解決關(guān)于目標(biāo)對象的問題；對未知或知之甚少的領(lǐng)域中的問題，用已知的、熟悉的領(lǐng)域中的方法解決。回憶與聯(lián)想；建立對應(yīng)關(guān)系；驗證與歸納。2008-2009學(xué)年第1學(xué)期第二十三頁，共36頁。按學(xué)習(xí)風(fēng)格分類基于解釋的學(xué)習(xí)從問題求解的一個具體過程中抽取出一般的原理，并使其在類似情況下也可利用；與實例學(xué)習(xí)不同，解釋學(xué)習(xí)只分析一個或幾個例子，加上給定的領(lǐng)域知識，進(jìn)行保真演繹，存儲有用結(jié)論，經(jīng)過知識求精和編輯，產(chǎn)生適合以后求類似問題的控制知識；盡量少用歸納，以減少歸納帶來的不可靠性。2008-2009學(xué)年第1學(xué)期第二十四頁，共36頁。按學(xué)習(xí)風(fēng)格分類連接學(xué)習(xí)主要指神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)；通過實例訓(xùn)練，得到網(wǎng)絡(luò)中的參數(shù)甚至結(jié)構(gòu)，實現(xiàn)對輸入模式的分類等功能。2008-2009學(xué)年第1學(xué)期第二十五頁，共36頁。按實現(xiàn)途徑分類符號學(xué)習(xí)連接學(xué)習(xí)符號學(xué)習(xí)用計算機(jī)能理解（處理）的符號表示人類的知識；用學(xué)習(xí)程序?qū)崿F(xiàn)學(xué)習(xí)過程；輸入的是數(shù)據(jù)、事實等信息，產(chǎn)生符號表示的知識（如概念、規(guī)則等）；基于符號演算的知識推理和知識學(xué)習(xí)。2008-2009學(xué)年第1學(xué)期第二十六頁，共36頁。連接學(xué)習(xí)就是人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，縮寫ANN）學(xué)習(xí)；ANN是對生物神經(jīng)網(wǎng)絡(luò)的某種模擬或仿真；ANN學(xué)習(xí)是基于生物神經(jīng)網(wǎng)絡(luò)理論的機(jī)器學(xué)習(xí)方法。2008-2009學(xué)年第1學(xué)期第二十七頁，共36頁。符號學(xué)習(xí)和連接學(xué)習(xí)的實現(xiàn)途徑有什么區(qū)別呢？符號學(xué)習(xí)建立在符號理論基礎(chǔ)上，預(yù)先有專家總結(jié)的大量知識，對知識的可理解性和可讀性非常重視；連接學(xué)習(xí)強(qiáng)調(diào)對大量事實的反復(fù)觀察，最多需要人對事實進(jìn)行分類與標(biāo)注，形成的知識結(jié)構(gòu)是人難以理解的。2008-2009學(xué)年第1學(xué)期第二十八頁，共36頁。按學(xué)習(xí)方法分類有教師指導(dǎo)的，或從樣本中的學(xué)習(xí)被稱作教師的用戶需將數(shù)據(jù)分類（標(biāo)注）；即使沒有先驗知識，只要數(shù)據(jù)是可自然分類的，仍可采用有教師指導(dǎo)類的學(xué)習(xí)算法，如聚類算法；機(jī)器學(xué)習(xí)的目的就是建立從數(shù)據(jù)到結(jié)果空間的映射函數(shù)。無教師指導(dǎo)的，或從環(huán)境中的學(xué)習(xí)通常，準(zhǔn)備好所有數(shù)據(jù)；系統(tǒng)從執(zhí)行結(jié)果的好壞得到反饋信息，依此改進(jìn)執(zhí)行過程，達(dá)到學(xué)習(xí)目的。2008-2009學(xué)年第1學(xué)期第二十九頁，共36頁。6.2機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)Simon認(rèn)為，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或改進(jìn)，使得系統(tǒng)在下執(zhí)行同樣或類似任務(wù)時，會比現(xiàn)在做得更好或效率更高。環(huán)境學(xué)習(xí)知識庫執(zhí)行學(xué)習(xí)系統(tǒng)的基本構(gòu)成2008-2009學(xué)年第1學(xué)期第三十頁，共36頁。環(huán)境是系統(tǒng)的工作對象，還可包括外界條件；代表外界信息來源；例：醫(yī)療系統(tǒng)中，病人當(dāng)前的癥狀、檢驗數(shù)據(jù)和病歷。環(huán)境提供的信息從兩個方面評價信息水平相對于執(zhí)行環(huán)節(jié)的要求而言，由學(xué)習(xí)環(huán)節(jié)消除差距。信息質(zhì)量實例示教是否正確、實例次序是否合理等。2008-2009學(xué)年第1學(xué)期第三十一頁，共36頁。知識庫知識表示要合理；如特征向量、謂詞公式、產(chǎn)生式、過程、LISP函數(shù)、語義網(wǎng)絡(luò)、框架等；推理方法的實現(xiàn)不要太難；存儲的知識是否支持修改（更新）。2008-2009學(xué)年第1學(xué)期第三十二頁，共36頁。學(xué)習(xí)環(huán)節(jié)是機(jī)器學(xué)習(xí)系統(tǒng)的核心模塊；是和外部（環(huán)境）交互的接口；對環(huán)境提供的信息進(jìn)行整理、分析、歸納或類比，生成新的知識單元，或修改知識庫；接收從執(zhí)行環(huán)節(jié)來的反饋信號，通過知識庫修改，進(jìn)一步改善執(zhí)行環(huán)節(jié)的行為。200