第7章 機(jī)器學(xué)習(xí)

1、第七章 機(jī)器(j q)學(xué)習(xí)7.1 機(jī)器學(xué)習(xí)的定義、研究意義與發(fā)展歷史 7.2 機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)7.3 7.7 幾種常用(chn yn)的學(xué)習(xí)方法7.8 知識發(fā)現(xiàn)7.9 小結(jié)共二十五頁 7.1 機(jī)器學(xué)習(xí)(xux)的定義和發(fā)展歷史7.1.1 機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的定義 顧名思義(g mng s y),機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識和新技 能,并識別現(xiàn)有知識的學(xué)問。 2共二十五頁7.1.2機(jī)器(j q)學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個時期第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。第二階段在60年代

2、中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜(lngjng)時期。第三階段從70年代中葉至80年代中葉，稱為復(fù)興時期。機(jī)器學(xué)習(xí)的最新階段始于1986年 。7.1 機(jī)器學(xué)習(xí)的定義和發(fā)展歷史3共二十五頁機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成課程。綜合各種學(xué)習(xí)方法 機(jī)器學(xué)習(xí)與人工智能問題的統(tǒng)一性觀點(diǎn)正在形成。各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)(fxin)的研究已形成熱潮 。與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動空前活躍 。 7.1 機(jī)器(j q)學(xué)習(xí)的定義和發(fā)展歷史4共二十五頁7. 2 機(jī)器學(xué)習(xí)(xux)的主要策略和基本結(jié)構(gòu) 7.2.1 機(jī)器學(xué)習(xí)的主要策略 按照學(xué)習(xí)中使用推理的

3、多少，機(jī)器學(xué)習(xí)所采用(ciyng)的策略大體上可分為4種機(jī)械學(xué)習(xí)、通過傳授學(xué)習(xí)、類比學(xué)習(xí)和通過事例學(xué)習(xí)。機(jī)械學(xué)習(xí)傳授學(xué)習(xí)策略類比學(xué)習(xí)系統(tǒng)通過事例學(xué)習(xí)策略5共二十五頁7.2.2 機(jī)器學(xué)習(xí)系統(tǒng)(xtng)的基本結(jié)構(gòu) 1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) 環(huán) 境學(xué) 習(xí)知識庫執(zhí) 行圖6.1 學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2 機(jī)器學(xué)習(xí)的主要策略和基本(jbn)結(jié)構(gòu)6共二十五頁2.影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)提供的信息，或者更具體地說是信息的質(zhì)量。 知識庫是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個因素。知識的表示有特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)(wnglu)和框架等多種形式。7.2 機(jī)器學(xué)習(xí)(x

4、ux)的主要策略和基本結(jié)構(gòu)7共二十五頁7.3 機(jī)械學(xué)習(xí)1.機(jī)械學(xué)習(xí)模式 機(jī)器學(xué)習(xí)是最簡單的學(xué)習(xí)方法。機(jī)器學(xué)習(xí)就是記憶，即把新的知識存儲起來，供需要時檢索調(diào)用，而不需要計(jì)算(j sun)和推理。它是一種最基本的學(xué)習(xí)過程。 7.3 機(jī)械學(xué)習(xí)8共二十五頁存儲計(jì)算推導(dǎo)歸納算法與理論機(jī)械記憶搜索規(guī)則圖7.2 數(shù)據(jù)化簡級別圖 Lenat，Hayes-Roth，和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出(t ch)一種有趣的觀點(diǎn)，見圖6.2。7.3 機(jī)械學(xué)習(xí)9共二十五頁2.機(jī)械學(xué)習(xí)的主要問題存儲組織信息：要采用適當(dāng)?shù)拇鎯Ψ绞?，使檢索速度(sd)盡可能地快。環(huán)境的穩(wěn)定性與存儲信息的適用性問題： 機(jī)械學(xué)習(xí)系統(tǒng)

5、必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要。存儲與計(jì)算之間的權(quán)衡：對于機(jī)械學(xué)習(xí)來說很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。7.3 機(jī)械學(xué)習(xí)10共二十五頁 7.4 歸納(gun)學(xué)習(xí)歸納學(xué)習(xí)（induction learning）是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。根據(jù)歸納學(xué)習(xí)有無教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。7.4.1 歸納學(xué)習(xí)的模式(msh)和規(guī)則 歸納學(xué)習(xí)的模式 解釋過程 實(shí)例空間 規(guī)則空間 規(guī)劃過程 11共二十五頁7.5 類比(lib)學(xué)習(xí)7.5.1 類比推理(li b tu l)和類比學(xué)習(xí)方式 類比學(xué)習(xí)（learning by analogy）就是通過類比，即通過對相似事物

6、加以比較所進(jìn)行的一種學(xué)習(xí) 。其推理過程如下 ：回憶與聯(lián)想- 選擇 - 建立對應(yīng)關(guān)系-轉(zhuǎn)換 12共二十五頁7.5.2 類比學(xué)習(xí)過程與研究(ynji)類型類比學(xué)習(xí)主要包括如下(rxi)四個過程：輸入一組已知條件和一組未完全確定的條件 。對兩組出入條件尋找其可類比的對應(yīng)關(guān)系。根據(jù)相似轉(zhuǎn)換的方法，進(jìn)行映射。對類推得到的知識進(jìn)行校驗(yàn)。7.5 類比學(xué)習(xí)13共二十五頁類比學(xué)習(xí)(xux)的研究可分為兩大類： (1) 問題求解型的類比學(xué)習(xí) (2) 預(yù)測推定型的類比學(xué)習(xí)。它又分為兩種方式： 一是傳統(tǒng)的類比法 另一是因果關(guān)系型的類比 7.5 類比(lib)學(xué)習(xí)14共二十五頁7.6 解釋(jish)學(xué)習(xí)7.6.1 解

7、釋學(xué)習(xí)過程和算法 1986年米切爾（Mitchell）等人為基于解釋的學(xué)習(xí)提出(t ch)了一個統(tǒng)一的算法EBG： 訓(xùn)練例子 操作準(zhǔn)則 知識庫 新規(guī)則 目標(biāo)概念15共二十五頁EBG求解問題的形式(xngsh)可描述于下:給定：(1) 目標(biāo)概念描述TC；(2) 訓(xùn)練實(shí)例TE；(3) 領(lǐng)域知識DT；(4) 操作準(zhǔn)則(zhnz)OC。求解：訓(xùn)練實(shí)例的一般化概括，使之滿足：(1) 目標(biāo)概念的充分概括描述TC；(2) 操作準(zhǔn)則OC。7.6 解釋學(xué)習(xí)16共二十五頁7.7 神經(jīng)學(xué)習(xí)7.7.1 基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí) 反向傳播（back-propagation,BP）算法是一種計(jì)算單個權(quán)值變化(binhu)引

8、起網(wǎng)絡(luò)性能變化(binhu)值的較為簡單的方法。BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層傳播由總誤差引起的權(quán)值修正。17共二十五頁7.7.2 基于(jy)Hopfield網(wǎng)絡(luò)的學(xué)習(xí) 反饋神經(jīng)網(wǎng)絡(luò)，它是一種動態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。 Hopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。7.7 神經(jīng)(shnjng)學(xué)習(xí)18共二十五頁7.8 知識發(fā)現(xiàn)7.8.1 知識發(fā)現(xiàn)的發(fā)展和定義知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識發(fā)現(xiàn)最早是于1989年8月在第11屆國際人工智能聯(lián)合會議的專題討論會上提出。知識發(fā)現(xiàn)的定義 數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù) 據(jù)中辨識出有效的、新穎的、潛在有用(y

9、u yn)的、并可被理解的 模式的高級處理過程 。19共二十五頁7.8.2 知識(zh shi)發(fā)現(xiàn)的處理過程 1. 數(shù)據(jù)選擇。根據(jù)用戶的需求(xqi)從數(shù)據(jù)庫中提取與KDD相關(guān)的數(shù)據(jù)。 2. 數(shù)據(jù)預(yù)處理。主要是對上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫。 7.8 知識發(fā)現(xiàn)20共二十五頁3. 數(shù)據(jù)(shj)變換。即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)4.數(shù)據(jù)挖掘。根據(jù)用戶要求，確定(qudng)KDD的目標(biāo)是發(fā)現(xiàn)何種類型的知識。5. 知識評價。這一過程主要用于對所獲得的規(guī)則進(jìn)行價值評定，以決定所得的規(guī)則是否存入基礎(chǔ)知識庫。 7.8 知識發(fā)現(xiàn)21共二

10、十五頁7.8.3 知識(zh shi)發(fā)現(xiàn)的方法 1.統(tǒng)計(jì)方法(fngf)：統(tǒng)計(jì)方法(fngf)是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。2. 機(jī)器學(xué)習(xí)方法 3. 神經(jīng)計(jì)算方法 4.可視化方法 ：可視化（visualization）就是把數(shù)據(jù)、信息和知識轉(zhuǎn)化為可視的表示形式的過程。 7.8 知識發(fā)現(xiàn)22共二十五頁7.8.4 知識發(fā)現(xiàn)(fxin)的應(yīng)用 知識發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用。現(xiàn)在，知識發(fā)現(xiàn)已在銀行業(yè)、保險業(yè)、零售業(yè)、醫(yī)療保健、工程(gngchng)和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和娛樂業(yè)等行業(yè)和部門得到成功應(yīng)用，為人們的科學(xué)決策提供很大幫助。 7.8 知識發(fā)現(xiàn)23共二十五頁7.9 小結(jié)(xioji) 本章只對機(jī)器學(xué)習(xí)作個入門介紹。 機(jī)器學(xué)習(xí)在過去十多年中獲得(hud)較大發(fā)展。今后機(jī)器學(xué)習(xí)將在理論概念、計(jì)算機(jī)理、綜合技術(shù)和推廣應(yīng)用等方面開展新的研究。其中，對結(jié)構(gòu)模型、計(jì)算理論、算法和混合學(xué)習(xí)的開發(fā)尤為重要。在這些方面，有許多事要做，有許多新問題需要人們?nèi)ソ鉀Q。 24共二十五頁內(nèi)容摘要第七章 機(jī)器學(xué)習(xí)。第一階段是在50年代中葉到60年代中葉，屬于熱烈(rli)時期。第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時期。第三階段從70年代中葉至80年代中葉，稱為復(fù)興時期。圖7.2 數(shù)據(jù)化簡級別圖。存儲組織信息：要采用適當(dāng)?shù)拇鎯Ψ绞?，使檢索速