第7章 機(jī)器學(xué)習(xí)

1、第七章 機(jī)器(j q)學(xué)習(xí)7.1 機(jī)器學(xué)習(xí)的定義、研究意義與發(fā)展歷史 7.2 機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)7.3 7.7 幾種常用(chn yn)的學(xué)習(xí)方法7.8 知識(shí)發(fā)現(xiàn)7.9 小結(jié)共二十五頁(yè) 7.1 機(jī)器學(xué)習(xí)(xux)的定義和發(fā)展歷史7.1.1 機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的定義 顧名思義(g mng s y),機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技 能,并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。 2共二十五頁(yè)7.1.2機(jī)器(j q)學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。第二階段在60年代

2、中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜(lngjng)時(shí)期。第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。機(jī)器學(xué)習(xí)的最新階段始于1986年 。7.1 機(jī)器學(xué)習(xí)的定義和發(fā)展歷史3共二十五頁(yè)機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成課程。綜合各種學(xué)習(xí)方法 機(jī)器學(xué)習(xí)與人工智能問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大。數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)(fxin)的研究已形成熱潮 。與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍 。 7.1 機(jī)器(j q)學(xué)習(xí)的定義和發(fā)展歷史4共二十五頁(yè)7. 2 機(jī)器學(xué)習(xí)(xux)的主要策略和基本結(jié)構(gòu) 7.2.1 機(jī)器學(xué)習(xí)的主要策略 按照學(xué)習(xí)中使用推理的

3、多少，機(jī)器學(xué)習(xí)所采用(ciyng)的策略大體上可分為4種機(jī)械學(xué)習(xí)、通過(guò)傳授學(xué)習(xí)、類比學(xué)習(xí)和通過(guò)事例學(xué)習(xí)。機(jī)械學(xué)習(xí)傳授學(xué)習(xí)策略類比學(xué)習(xí)系統(tǒng)通過(guò)事例學(xué)習(xí)策略5共二十五頁(yè)7.2.2 機(jī)器學(xué)習(xí)系統(tǒng)(xtng)的基本結(jié)構(gòu) 1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) 環(huán) 境學(xué) 習(xí)知識(shí)庫(kù)執(zhí) 行圖6.1 學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2 機(jī)器學(xué)習(xí)的主要策略和基本(jbn)結(jié)構(gòu)6共二十五頁(yè)2.影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)提供的信息，或者更具體地說(shuō)是信息的質(zhì)量。 知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有特征向量、一階邏輯語(yǔ)句、產(chǎn)生式規(guī)則、語(yǔ)義網(wǎng)絡(luò)(wnglu)和框架等多種形式。7.2 機(jī)器學(xué)習(xí)(x

4、ux)的主要策略和基本結(jié)構(gòu)7共二十五頁(yè)7.3 機(jī)械學(xué)習(xí)1.機(jī)械學(xué)習(xí)模式 機(jī)器學(xué)習(xí)是最簡(jiǎn)單的學(xué)習(xí)方法。機(jī)器學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算(j sun)和推理。它是一種最基本的學(xué)習(xí)過(guò)程。 7.3 機(jī)械學(xué)習(xí)8共二十五頁(yè)存儲(chǔ)計(jì)算推導(dǎo)歸納算法與理論機(jī)械記憶搜索規(guī)則圖7.2 數(shù)據(jù)化簡(jiǎn)級(jí)別圖 Lenat，Hayes-Roth，和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出(t ch)一種有趣的觀點(diǎn)，見(jiàn)圖6.2。7.3 機(jī)械學(xué)習(xí)9共二十五頁(yè)2.機(jī)械學(xué)習(xí)的主要問(wèn)題存儲(chǔ)組織信息：要采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度(sd)盡可能地快。環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題： 機(jī)械學(xué)習(xí)系統(tǒng)

5、必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要。存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。7.3 機(jī)械學(xué)習(xí)10共二十五頁(yè) 7.4 歸納(gun)學(xué)習(xí)歸納學(xué)習(xí)（induction learning）是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。根據(jù)歸納學(xué)習(xí)有無(wú)教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。7.4.1 歸納學(xué)習(xí)的模式(msh)和規(guī)則 歸納學(xué)習(xí)的模式 解釋過(guò)程 實(shí)例空間 規(guī)則空間 規(guī)劃過(guò)程 11共二十五頁(yè)7.5 類比(lib)學(xué)習(xí)7.5.1 類比推理(li b tu l)和類比學(xué)習(xí)方式 類比學(xué)習(xí)（learning by analogy）就是通過(guò)類比，即通過(guò)對(duì)相似事物

6、加以比較所進(jìn)行的一種學(xué)習(xí) 。其推理過(guò)程如下 ：回憶與聯(lián)想- 選擇 - 建立對(duì)應(yīng)關(guān)系-轉(zhuǎn)換 12共二十五頁(yè)7.5.2 類比學(xué)習(xí)過(guò)程與研究(ynji)類型類比學(xué)習(xí)主要包括如下(rxi)四個(gè)過(guò)程：輸入一組已知條件和一組未完全確定的條件 。對(duì)兩組出入條件尋找其可類比的對(duì)應(yīng)關(guān)系。根據(jù)相似轉(zhuǎn)換的方法，進(jìn)行映射。對(duì)類推得到的知識(shí)進(jìn)行校驗(yàn)。7.5 類比學(xué)習(xí)13共二十五頁(yè)類比學(xué)習(xí)(xux)的研究可分為兩大類： (1) 問(wèn)題求解型的類比學(xué)習(xí) (2) 預(yù)測(cè)推定型的類比學(xué)習(xí)。它又分為兩種方式： 一是傳統(tǒng)的類比法 另一是因果關(guān)系型的類比 7.5 類比(lib)學(xué)習(xí)14共二十五頁(yè)7.6 解釋(jish)學(xué)習(xí)7.6.1 解

7、釋學(xué)習(xí)過(guò)程和算法 1986年米切爾（Mitchell）等人為基于解釋的學(xué)習(xí)提出(t ch)了一個(gè)統(tǒng)一的算法EBG： 訓(xùn)練例子 操作準(zhǔn)則 知識(shí)庫(kù) 新規(guī)則 目標(biāo)概念15共二十五頁(yè)EBG求解問(wèn)題的形式(xngsh)可描述于下:給定：(1) 目標(biāo)概念描述TC；(2) 訓(xùn)練實(shí)例TE；(3) 領(lǐng)域知識(shí)DT；(4) 操作準(zhǔn)則(zhnz)OC。求解：訓(xùn)練實(shí)例的一般化概括，使之滿足：(1) 目標(biāo)概念的充分概括描述TC；(2) 操作準(zhǔn)則OC。7.6 解釋學(xué)習(xí)16共二十五頁(yè)7.7 神經(jīng)學(xué)習(xí)7.7.1 基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí) 反向傳播（back-propagation,BP）算法是一種計(jì)算單個(gè)權(quán)值變化(binhu)引

8、起網(wǎng)絡(luò)性能變化(binhu)值的較為簡(jiǎn)單的方法。BP算法過(guò)程包含從輸出節(jié)點(diǎn)開(kāi)始，反向地向第一隱含層傳播由總誤差引起的權(quán)值修正。17共二十五頁(yè)7.7.2 基于(jy)Hopfield網(wǎng)絡(luò)的學(xué)習(xí) 反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。 Hopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。7.7 神經(jīng)(shnjng)學(xué)習(xí)18共二十五頁(yè)7.8 知識(shí)發(fā)現(xiàn)7.8.1 知識(shí)發(fā)現(xiàn)的發(fā)展和定義知識(shí)發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識(shí)發(fā)現(xiàn)最早是于1989年8月在第11屆國(guó)際人工智能聯(lián)合會(huì)議的專題討論會(huì)上提出。知識(shí)發(fā)現(xiàn)的定義 數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)是從大量數(shù) 據(jù)中辨識(shí)出有效的、新穎的、潛在有用(y

9、u yn)的、并可被理解的 模式的高級(jí)處理過(guò)程 。19共二十五頁(yè)7.8.2 知識(shí)(zh shi)發(fā)現(xiàn)的處理過(guò)程 1. 數(shù)據(jù)選擇。根據(jù)用戶的需求(xqi)從數(shù)據(jù)庫(kù)中提取與KDD相關(guān)的數(shù)據(jù)。 2. 數(shù)據(jù)預(yù)處理。主要是對(duì)上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對(duì)丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。 7.8 知識(shí)發(fā)現(xiàn)20共二十五頁(yè)3. 數(shù)據(jù)(shj)變換。即從發(fā)掘數(shù)據(jù)庫(kù)里選擇數(shù)據(jù)4.數(shù)據(jù)挖掘。根據(jù)用戶要求，確定(qudng)KDD的目標(biāo)是發(fā)現(xiàn)何種類型的知識(shí)。5. 知識(shí)評(píng)價(jià)。這一過(guò)程主要用于對(duì)所獲得的規(guī)則進(jìn)行價(jià)值評(píng)定，以決定所得的規(guī)則是否存入基礎(chǔ)知識(shí)庫(kù)。 7.8 知識(shí)發(fā)現(xiàn)21共二

10、十五頁(yè)7.8.3 知識(shí)(zh shi)發(fā)現(xiàn)的方法 1.統(tǒng)計(jì)方法(fngf)：統(tǒng)計(jì)方法(fngf)是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。2. 機(jī)器學(xué)習(xí)方法 3. 神經(jīng)計(jì)算方法 4.可視化方法 ：可視化（visualization）就是把數(shù)據(jù)、信息和知識(shí)轉(zhuǎn)化為可視的表示形式的過(guò)程。 7.8 知識(shí)發(fā)現(xiàn)22共二十五頁(yè)7.8.4 知識(shí)發(fā)現(xiàn)(fxin)的應(yīng)用 知識(shí)發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用。現(xiàn)在，知識(shí)發(fā)現(xiàn)已在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程(gngchng)和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和娛樂(lè)業(yè)等行業(yè)和部門得到成功應(yīng)用，為人們的科學(xué)決策提供很大幫助。 7.8 知識(shí)發(fā)現(xiàn)23共二十五頁(yè)7.9 小結(jié)(xioji) 本章只對(duì)機(jī)器學(xué)習(xí)作個(gè)入門介紹。 機(jī)器學(xué)習(xí)在過(guò)去十多年中獲得(hud)較大發(fā)展。今后機(jī)器學(xué)習(xí)將在理論概念、計(jì)算機(jī)理、綜合技術(shù)和推廣應(yīng)用等方面開(kāi)展新的研究。其中，對(duì)結(jié)構(gòu)模型、計(jì)算理論、算法和混合學(xué)習(xí)的開(kāi)發(fā)尤為重要。在這些方面，有許多事要做，有許多新問(wèn)題需要人們?nèi)ソ鉀Q。 24共二十五頁(yè)內(nèi)容摘要第七章 機(jī)器學(xué)習(xí)。第一階段是在50年代中葉到60年代中葉，屬于熱烈(rli)時(shí)期。第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。圖7.2 數(shù)據(jù)化簡(jiǎn)級(jí)別圖。存儲(chǔ)組織信息：要采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速