人工智能與專家系統(tǒng)第七章

第七章機器學習7.1概述7.2歸納學習7.3決策樹學習7.4基于實例的學習本章小結(jié)課后練習題普通高等院?！笆濞曇?guī)劃教材第七章機器學習機器能否像人類一樣具有學習才干呢？1959年美國的塞繆爾設(shè)計了一個下棋程序，這個程序具有學習才干，它可以在不斷的對弈中改善本人的棋藝。4年后，這個程序戰(zhàn)勝了設(shè)計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個堅持8年之久的常勝不敗的冠軍。它向人們展現(xiàn)了機器學習的才干。本章主要引見機器學習的根本概念和歸納學習、決策樹學習、基于實例的學習等詳細的機器學習方法，希望讀者能對這一領(lǐng)域有一個初步的了解和認識。普通高等院?！笆濞曇?guī)劃教材7.1概述機器學習的研討是根據(jù)生理學、認知科學等對人類學習機理的了解，建立人類學習過程的計算模型或認識模型，開展各種學習實際和學習方法，研討通用的學習算法并進展實際上的分析，建立面向義務(wù)的具有特定運用的學習系統(tǒng)。這些研討目的相互影響相互促進。自從1980年在卡內(nèi)基-梅隆大學召開第一屆機器學術(shù)研討會以來，機器學習的研討任務(wù)開展很快，已成為中心課題之一。普通高等院校“十二五〞規(guī)劃教材7.1.1什么是機器學習1．關(guān)于機器學習的定義Langley(1996)定義的“機器學習是一門人工智能的科學，該領(lǐng)域的主要研討對象是人工智能，特別是如何在閱歷學習中改善詳細算法的性能。〞TomMitchell的機器學習(1997)對信息論中的一些概念有詳細的解釋,其中定義機器學習時提到，“機器學習是對能經(jīng)過閱歷自動改良的計算機算法的研討〞Alpaydin(2004)也提出本人對機器學習的定義，“機器學習是用數(shù)據(jù)或以往的閱歷，以此優(yōu)化計算機程序的性能規(guī)范。〞顧名思義，機器學習是研討如何運用機器來模擬人類學習活動的一門學科。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學習稍為嚴厲的提法是：機器學習是一門研討機器獲取新知識和新技藝，并識別現(xiàn)有知識的學問。這里所說的“機器〞，指的就是計算機，如今是電子計算機，以后還能夠是中子計算機、光子計算機或神經(jīng)計算機等等。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學習2．機器學習的開展簡史最早的具有學習才干的程序是年美國的設(shè)計的跳棋程序。第一階段是20世紀50到60年代的探求階段。主要成果有：感知機(Perceptron)；Friedberg等模擬隨機突變和自然選擇過程的程序；Hunt等的決策樹歸納程序CLS。第二階段是20世紀70年代的開展階段。主要系統(tǒng)和算法包括：Winston的積木世界學習系統(tǒng)；Michalski基于邏輯的歸納學習系統(tǒng)AQVAL；Michalski和Chilausky的AQII；Quinlan的ID3程序；Mitchell的版本空間方法。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學習第三階段是20世紀80年代至今的鼎盛階段。主要成果有：一方面?zhèn)鹘y(tǒng)的符號學習的各種方法已日臻完善。另一方面，機器學習的根底實際的研討越來越引起人們的注重。3．機器學習的普通步驟圖7.1.1機器學習的根本系統(tǒng)構(gòu)造模型普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學習“環(huán)境〞是指外部信息的來源，它為系統(tǒng)的學習提供有關(guān)信息；“學習〞是系統(tǒng)的學習構(gòu)造，從環(huán)境中獲得外部信息，然后經(jīng)分析、綜合、類比和歸納等思想過程獲得知識，并存入知識庫中更新知識庫；“知識庫〞用于存放由學習得到的知識，在存儲時要適當?shù)慕M織，便于運用和維護；“執(zhí)行〞環(huán)節(jié)是基于學習得到的新的知識庫，它執(zhí)行一系列的義務(wù)。此外還需將執(zhí)行結(jié)果信息反響給學習環(huán)節(jié)，以完成對新“知識庫〞的評價，指點進一步的學習任務(wù)。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學習圖7.1.2機器系統(tǒng)學習環(huán)節(jié)的普經(jīng)過程普通高等院?！笆濞曇?guī)劃教材7.1.2機器學習方法的分類1．按學習時所用的分類方法進展分類：〔1〕機械式學習〔2〕示教學習〔3〕類比學習〔4〕解釋學習2．按推理的戰(zhàn)略分類〔1〕演繹學習〔2〕歸納學習3．按綜合要素分類〔1〕銜接學習〔2〕分析學習〔3〕分類器系統(tǒng)普通高等院?！笆濞曇?guī)劃教材7.1.3機器學習中的推理方法〔1〕演繹推理演繹推理是結(jié)論可從叫做前提的知現(xiàn)實必然的得出的推理。假設(shè)前提為真，那么結(jié)論必然為真?！?〕歸納推理所謂歸納推理，就是從個別性知識推出普通性結(jié)論的推理。歸納推理的前提是其結(jié)論的必要條件?！?〕類比推理類比推理是根據(jù)兩個或兩類對象有部分屬性一樣，從而推出它們的其他屬性也一樣的推理。簡稱類推、類比。它是以關(guān)于兩個事物某些屬性一樣的判別為前提，推出兩個事物的其他屬性一樣的結(jié)論的推理。普通高等院校“十二五〞規(guī)劃教材7.2歸納學習歸納學習是人工智能中開展較為成熟，并得到廣泛的研討和運用的學習方法。它是是由一些實例或反例，經(jīng)過歸納推理得出該概念的普通描畫。實現(xiàn)實例到規(guī)那么的歸納推理過程就是歸納學習過程。它的普通操作是泛化和特化，泛化用來擴展假設(shè)的語義信息，以使其可以包含更多的正例，運用于更多的情況。特化是泛化的相反的操作，用于限制概念描畫的運用范圍。普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學習的根本概念歸納是指從個別到普通，從部分到整體的推論行為。歸納推理是運用歸納方法所進展的推理，即從足夠多的實例中歸納出普通性的知識，它是一種從個別到普通的推理。歸納學習是運用歸納推理進展學習的一種學習方法。歸納學習旨在從大量的閱歷數(shù)據(jù)中歸納抽取出普通的斷定規(guī)那么和方式，是從特殊情況推導出普通規(guī)那么的學習方法。它的目的是構(gòu)成合理的能解釋知現(xiàn)實和預見新現(xiàn)實的普通性結(jié)論。歸納學習由于依賴于閱歷數(shù)據(jù)，因此又被稱為閱歷學習；由于依賴于數(shù)據(jù)間的類似性，因此也被稱為基于類似性的學習。普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學習的根本概念1．歸納學習的雙空間模型圖7.2.1雙空間模型普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學習的根本概念2．歸納學習的分類歸納學習按其有無教師指點可分為例如學習和察看與發(fā)現(xiàn)學習。例如學習，又叫做概念獲取——它的義務(wù)是確定概念的普通描畫，這個描畫應(yīng)能解釋一切給定的正例，并排除一切給定的反例，由于學習是根據(jù)教師分好類的正反例進展學習，因此是有教師學習。察看與發(fā)現(xiàn)學習又稱為描畫的泛化——這類學習沒有教師的協(xié)助，它要產(chǎn)生解釋一切或大多數(shù)察看的規(guī)律和規(guī)那么，這些都是未經(jīng)分類的察看學習或是由系統(tǒng)本身的功能去發(fā)現(xiàn)。普通高等院校“十二五〞規(guī)劃教材7.2.1歸納學習的根本概念歸納學習還可以劃分為單概念學習和多概念學習兩類。典型的單概念學習系統(tǒng)包括米切爾的基于數(shù)據(jù)驅(qū)動的變型空間法，昆蘭的ID3方法，狄特利希和米哈爾斯基提出的基于模型驅(qū)動的Induce算法。典型的多概念學習方法和系統(tǒng)有米哈爾斯基的、元和程序等。多概念學習義務(wù)可以劃分成多個單概念學習的義務(wù)來完成。多概念學習與單概念學習的差別在于多概念學習必需處置概念之間的沖突問題。普通高等院?！笆濞曇?guī)劃教材7.2.2變型空間學習1．變型空間的構(gòu)造7.2.2變型空間排序的關(guān)系普通高等院校“十二五〞規(guī)劃教材7.2.2變型空間學習2.候選項刪除算法算法過程：〔1〕初始化H為整個概念空間〔規(guī)那么空間〕?！?〕接受一個新的示教例子?！?〕反復步驟〔2〕，直到G=S，且使這兩個集合都只含有一個元素為止。〔4〕輸出H中的概念，即輸出G或S。普通高等院校“十二五〞規(guī)劃教材7.3決策樹學習決策樹學習是運用最廣泛的歸納學習，特別是在專家系統(tǒng)、工業(yè)控制過程、金融保險預測以及醫(yī)療診斷等領(lǐng)域。假設(shè)學習的義務(wù)是對一個大的實例集合做概念分類的歸納定義，而這些例子都是用一些無構(gòu)造的屬性值對來表示，那么可以采用決策樹學習算法。亨特(Hunt)的概念學習系統(tǒng)CLS是一種早期的基于決策樹的歸納學習系統(tǒng)。1979年，昆蘭對此進展了開展，提出了ID3算法，該算法不僅能方便地表示概念屬性值信息的構(gòu)造，而且能從大量實例數(shù)據(jù)中有效地生成相應(yīng)的決策樹模型。普通高等院?！笆濞曇?guī)劃教材7.3.1決策樹及構(gòu)造算法所謂決策樹是一個類似流程圖的樹構(gòu)造，其中樹的每個結(jié)點對應(yīng)一個特征〔屬性〕變量值的檢驗，每個分枝表示檢驗結(jié)果，樹枝上的葉結(jié)點代表所關(guān)懷的因變量的取值，最頂端的結(jié)點稱為根結(jié)點，內(nèi)結(jié)點用矩形框表示，葉結(jié)點用橢圓框表示。從根結(jié)點到每個葉結(jié)點都有獨一的一條途徑，這條途徑就是一條決策“規(guī)那么〞。假設(shè)每個內(nèi)結(jié)點都恰好有兩個分枝，那么稱為二叉樹，類似可定義多叉樹，在一切的決策樹中，二叉樹最為常用。普通高等院?！笆濞曇?guī)劃教材7.3.1決策樹及構(gòu)造算法

普通高等院?！笆濞曇?guī)劃教材7.3.2根本的決策樹學習算法

普通高等院?！笆濞曇?guī)劃教材7.3.2根本的決策樹學習算法

普通高等院?！笆濞曇?guī)劃教材7.4基于實例的學習基于實例的學習采用保管實例本身的方法來表達從實例集提取出的知識，并將未知的新實例與現(xiàn)有的類知的實例聯(lián)絡(luò)起來進展操作。這種方法直接在樣本上任務(wù)，不需求建立規(guī)那么?；趯嵗膶W習方法包括最近鄰法、部分加權(quán)回歸法、基于范例的推理法等等?；趯嵗膶W習只是簡單地把訓練樣例存儲起來，對這些實例進展泛化的任務(wù)被推遲到必需分類新的實例時，所以也被稱為消極學習法。普通高等院校“十二五〞規(guī)劃教材7.4.1k-近鄰算法最近鄰法經(jīng)過間隔函數(shù)來判別訓練集中的某個實例與哪個位置的測試實例最接近，一旦找到最接近的訓練實例，那么最接近實例所屬的類就被預測為測試實例的類。本質(zhì)性的任務(wù)在對新的實例進展分類時進展，經(jīng)過間隔函數(shù)將每個新實例與現(xiàn)有的實例進展比較，利用最接近的現(xiàn)有實例賦予新實例類別，這就是最近鄰分類方法。有時運用多個最近鄰實例，并且用最近的K個鄰居所屬的多數(shù)類〔假設(shè)類是數(shù)值型，就是經(jīng)間隔加權(quán)的平均值〕賦予新的實例類別值，這就是K-近鄰法。普通高等院校“十二五〞規(guī)劃教材7.4.2間隔加權(quán)最近鄰法對K-近鄰算法的一個改良是對K個近鄰的奉獻進展加權(quán)，越近的間隔賦予越大的權(quán)值，這就是所謂的間隔加權(quán)最近鄰法。K-近鄰算法的一切變體都只思索K個近鄰用以分類查詢點，假設(shè)按間隔加權(quán)，那么可以允許一切的訓練樣例都影響實例Xq的分類，由于間隔非常遠的實例影響很小。思索一切樣例的獨一缺乏是會使分類進展得更慢。假設(shè)分類一個新實例時，思索一切的訓練樣例，可以稱其為全局法；假設(shè)僅思索接近的訓練樣例，那么稱為部分法。普通高等院?！笆濞曇?guī)劃教材7.4.3基于范例的學習1．基于范例推理的普經(jīng)過程〔1〕聯(lián)想記憶〔2〕類比映射〔3〕獲得求解方案〔4〕評價2．范例的表示(1)SUM_NAMEslots：簡記為SMU槽。(2)Constraintslots：簡記為CON槽。(3)Taxonomyslots：簡記為TAX槽。(4)Causalityslots：簡記為CAU槽。(5)Similarityslots：簡記為SIM槽。普通高等院校“十二五〞規(guī)劃教材7.4.3基于范例的學習(6)Partonomyslots：簡記為PAR槽。(7)Csaeslots：簡記為CAS槽。(8)Theoryslots：簡記為THY槽。3．范例組織〔1〕范例內(nèi)容〔2〕范例索引4．范例的檢