教學(xué)機(jī)器學(xué)習(xí)分類

主講：朱佳機(jī)器學(xué)習(xí)—

概述分類（由低到高）通過(guò)歸納總結(jié)學(xué)習(xí)（自學(xué)習(xí)）通過(guò)書本資料學(xué)習(xí)（獨(dú)立研究）通過(guò)實(shí)際事例學(xué)習(xí)（啟發(fā)式學(xué)習(xí)）通過(guò)提問(wèn)學(xué)習(xí)（注入式學(xué)習(xí)）通過(guò)機(jī)械記憶學(xué)習(xí)（死記硬背式）高

低機(jī)器學(xué)習(xí)—

概述分類：(按學(xué)習(xí)策略分類)機(jī)械式學(xué)習(xí)和直接輸入新知識(shí)（記憶學(xué)習(xí)） 學(xué)習(xí)者不需要進(jìn)行任何推理或知識(shí)轉(zhuǎn)換，將知識(shí)直接裝進(jìn)機(jī)器中。根據(jù)示教學(xué)習(xí)（傳授學(xué)習(xí)、指點(diǎn)學(xué)習(xí)） 從老師或其它有結(jié)構(gòu)的事物獲取知識(shí)。要求學(xué)習(xí)者將輸入語(yǔ)言的知識(shí)轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識(shí)有機(jī)地結(jié)合為一體。機(jī)器學(xué)習(xí)—

概述通過(guò)類推學(xué)習(xí)（演繹學(xué)習(xí)） 學(xué)習(xí)者找出現(xiàn)有知識(shí)中所要產(chǎn)生的新概念或技能十分類似的部分。將它們轉(zhuǎn)換或擴(kuò)大成適合新情況的形式，從而取得新的事實(shí)或技能。從例子中學(xué)習(xí)（歸納學(xué)習(xí)） 給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個(gè)總的概念描述，是它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）機(jī)器學(xué)習(xí)—

概述類比學(xué)習(xí) 演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。匹配不同論域的描述、確定公共的結(jié)構(gòu)。以此作為類比映射的基礎(chǔ)。尋找公共子結(jié)構(gòu)是歸納推理，而實(shí)現(xiàn)類比映射是演繹推理。基于解釋的學(xué)習(xí)

學(xué)生根據(jù)教師提供的目標(biāo)概念、該概念的一個(gè)例子、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個(gè)解釋來(lái)說(shuō)明為什么該例子滿足目標(biāo)概念，然后將解釋推廣為目標(biāo)概念的一個(gè)滿足可操作準(zhǔn)則的充分條件。機(jī)器學(xué)習(xí)—

概述分類：(按綜合分類)機(jī)器學(xué)習(xí)近幾年來(lái)發(fā)展很快，無(wú)論是符號(hào)學(xué)習(xí)還是聯(lián)接學(xué)習(xí)都派生出了許多分支和新的方法，研究領(lǐng)域不斷擴(kuò)大，使得不少機(jī)器學(xué)習(xí)方法很難用加以歸類。綜合分類方式則在對(duì)機(jī)器學(xué)習(xí)方法進(jìn)行分類時(shí)，綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識(shí)表示、推理策略、結(jié)果評(píng)估的相似性、研究人員交流的相對(duì)集中性以及應(yīng)用領(lǐng)域等諸因素。綜合分類方式將機(jī)器學(xué)習(xí)方法區(qū)分為以下六類：機(jī)器學(xué)習(xí)—

概述按綜合分類經(jīng)驗(yàn)性歸納學(xué)習(xí)(empiricalinductivelearning)。經(jīng)驗(yàn)性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗(yàn)方法（例如，版本空間法、ID3法，定律發(fā)現(xiàn)方法）對(duì)例子進(jìn)行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號(hào)表示。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強(qiáng)學(xué)習(xí)的部分。機(jī)器學(xué)習(xí)—

概述按綜合分類經(jīng)驗(yàn)性歸納學(xué)習(xí)--決策樹構(gòu)造法ID3。如果學(xué)習(xí)的任務(wù)是對(duì)一個(gè)大的例子集作分類概念的歸納定義，而這些例子又都是用一些無(wú)結(jié)構(gòu)的屬性值對(duì)來(lái)表示，則可以采用示例學(xué)習(xí)方法的一個(gè)變種──決策樹學(xué)習(xí)，其代表性的算法是昆蘭（J.R.Quinlan，1986）提出的ID3。機(jī)器學(xué)習(xí)—

概述按綜合分類決策樹構(gòu)造法--ID3。ID3的輸入是描述各種已知類別實(shí)例的列表。例子由預(yù)先定義的屬性值對(duì)來(lái)表示。歸納推理產(chǎn)生的結(jié)果不是以往討論的那種合取表達(dá)式，而是一棵決策樹（也稱判別樹，并可轉(zhuǎn)而表示為決策規(guī)則的一個(gè)集合），用它可正確地區(qū)分所有給定例子的類屬。機(jī)器學(xué)習(xí)—

概述按綜合分類決策樹構(gòu)造法--ID3。樹中的每一非葉節(jié)點(diǎn)對(duì)應(yīng)一個(gè)需測(cè)試的屬性，每個(gè)分叉就是該屬性可能的取值；樹的葉節(jié)點(diǎn)則指示一個(gè)例子事物的類別。

ID3的顯著優(yōu)點(diǎn)是歸納學(xué)習(xí)花費(fèi)的時(shí)間和所給任務(wù)的困難度（取決于例子個(gè)數(shù)，用來(lái)描述對(duì)象的屬性數(shù)，所學(xué)習(xí)概念的復(fù)雜度即決策樹的節(jié)點(diǎn)數(shù)等）僅成線性增長(zhǎng)關(guān)系。當(dāng)然，ID3只能處理用屬性-值對(duì)表示的例子。機(jī)器學(xué)習(xí)—

概述按綜合分類分析學(xué)習(xí)（analyticlearning）。分析學(xué)習(xí)方法是從一個(gè)或少數(shù)幾個(gè)實(shí)例出發(fā)，運(yùn)用領(lǐng)域知識(shí)進(jìn)行分析。其主要特征為：

☆推理策略主要是演繹，而非歸納；

☆使用過(guò)去的問(wèn)題求解經(jīng)驗(yàn)（實(shí)例）指導(dǎo)新的問(wèn)題求解，或產(chǎn)生能更有效地運(yùn)用領(lǐng)域知識(shí)的搜索控制規(guī)則。

分析學(xué)習(xí)的目標(biāo)是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級(jí)結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。機(jī)器學(xué)習(xí)—

概述按綜合分類類比學(xué)習(xí)。它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。目前，在這一類型的學(xué)習(xí)中比較引人注目的研究是通過(guò)與過(guò)去經(jīng)歷的具體事例作類比來(lái)學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_basedlearning)，或簡(jiǎn)稱范例學(xué)習(xí)。

基于范例的推理（Case-BasedRessoning,CBR）是指利用過(guò)去經(jīng)歷的典型事例（稱為范例）求解或理解當(dāng)前問(wèn)題。機(jī)器學(xué)習(xí)—

概述按綜合分類基于范例的推理。這種推理形式在現(xiàn)實(shí)生活中非常常見(jiàn)。例如，有經(jīng)驗(yàn)的建筑設(shè)計(jì)師在設(shè)計(jì)新的建筑結(jié)構(gòu)時(shí)，往往會(huì)回想起以往類似的例子。在烹飪、日?；顒?dòng)安排及其它許多方面都存在類似情況，即處理問(wèn)題時(shí)不是從頭開始考慮各種細(xì)節(jié)及其關(guān)系，而是依據(jù)過(guò)去典型的事例，做適當(dāng)調(diào)整以處理當(dāng)前問(wèn)題。因而基于范例推理又被稱為"即時(shí)推理"（instantreasoning），特別適合于知識(shí)缺乏或知識(shí)太復(fù)雜而經(jīng)驗(yàn)又相對(duì)豐富、穩(wěn)定的領(lǐng)域。機(jī)器學(xué)習(xí)—

概述按綜合分類基于范例的推理是一種類比推理方式。與一般的類比推理相比,基于范例推理有以下兩個(gè)特點(diǎn)：

1)作為過(guò)去經(jīng)驗(yàn)的范例一般有比較固定的表示結(jié)構(gòu)，通常用框架形式表示；

2)欲求解的問(wèn)題與范例中的問(wèn)題同屬于一個(gè)領(lǐng)域，且一般是同性質(zhì)的，即是兩類同性質(zhì)問(wèn)題的類比。機(jī)器學(xué)習(xí)—

概述基于范例的推理不僅是一種有效的推理方法，也可用于建立一種很好的機(jī)器學(xué)習(xí)方法--基于范例的學(xué)習(xí)（CaseBasedLearning，CBL），其學(xué)習(xí)能力主要表現(xiàn)在：

1)通過(guò)記憶和調(diào)整老問(wèn)題的解，使得新問(wèn)題的求解不必從頭做起，因而推理更有效率。

2)通過(guò)記憶更多的正、反范例，使得系統(tǒng)的推理能力更強(qiáng)。

3)通過(guò)對(duì)范例庫(kù)中同類范例的歸納，可抽象出更一般、有用的結(jié)論。機(jī)器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）。是一種基于進(jìn)化論優(yōu)勝劣汰、適者生存的物種遺傳思想的搜索算法。遺傳算法模擬生物繁殖的突變、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問(wèn)題可能的解編碼為一個(gè)向量，稱為個(gè)體，向量的每一個(gè)元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對(duì)群體（個(gè)體的集合）中的每一個(gè)個(gè)體進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)值（適應(yīng)度）對(duì)個(gè)體進(jìn)行選擇、交換(基因重組)、變異(突變)等遺傳操作，從而得到新的群體。機(jī)器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）。美國(guó)密執(zhí)根大學(xué)的霍勒德（J.H.Holland）于70年代初提出并創(chuàng)立了遺傳算法。在霍勒德的GA算法中采用二進(jìn)制串來(lái)表示個(gè)體?？紤]到物種的進(jìn)化或淘汰取決于它們?cè)谧匀唤缰械倪m應(yīng)程度，GA算法為每一個(gè)體計(jì)算一個(gè)適應(yīng)值或評(píng)價(jià)值，以反映其好壞程度。機(jī)器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）因而，個(gè)體的適應(yīng)值越高，就有更大的可能生存和再生，即它的表示特征有更大的可能出現(xiàn)在下一代中。遺傳操作“交換”旨在通過(guò)交換兩個(gè)個(gè)體的子串來(lái)實(shí)現(xiàn)進(jìn)化；遺傳操作“突變”則隨機(jī)地改變串中的某一（些）位的值，以期產(chǎn)生新的遺傳物質(zhì)或再現(xiàn)已在進(jìn)化過(guò)程中失去的遺傳物質(zhì)。霍勒德提出的遺傳算法也稱為簡(jiǎn)單遺傳算法（SGA），是一種基本的遺傳算法。機(jī)器學(xué)習(xí)—

概述按綜合分類簡(jiǎn)單遺傳算法（simple

geneticalgorithm,SGA）

SGA以0、1組成的串表示問(wèn)題域中待進(jìn)化的個(gè)體（初始解）。利用遺傳操作──交換和突變，SGA從當(dāng)前個(gè)體的集合──群體的各串中產(chǎn)生下一代群體。這一過(guò)程循環(huán)進(jìn)行，直到滿足了結(jié)束條件（如循環(huán)了指定次，或群體性能不再改進(jìn)）。SGA的處理過(guò)程如下：機(jī)器學(xué)習(xí)—

概述按綜合分類簡(jiǎn)單遺傳算法（simple

geneticalgorithm,SGA）

begin

1.選擇適當(dāng)表示，生成初始群體；

2.評(píng)估群體；

3.While未達(dá)到要求的目標(biāo)do

begin

1.選擇作為下一代群體的各個(gè)體；

2.執(zhí)行交換和突變操作；

3.評(píng)估群體；

end

end機(jī)器學(xué)習(xí)—

概述按綜合分類簡(jiǎn)單遺傳算法（simple

geneticalgorithm,SGA）因此，對(duì)于一個(gè)SGA算法來(lái)說(shuō)主要涉及以下內(nèi)容：

·編碼和初始群體生成；

·群體的評(píng)價(jià)；

·個(gè)體的選擇；

·交換；

·突變；機(jī)器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm）。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無(wú)關(guān)數(shù)據(jù)、事物不斷更新、問(wèn)題目標(biāo)不能明顯和精確地定義，以及通過(guò)很長(zhǎng)的執(zhí)行過(guò)程才能確定當(dāng)前行為的價(jià)值等。遺傳算法作為一種解決復(fù)雜問(wèn)題的嶄新的有效優(yōu)化方法，近年來(lái)得到了廣泛的實(shí)際應(yīng)用，同時(shí)也滲透到人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、圖像處理、軟件技術(shù)等計(jì)算機(jī)學(xué)科領(lǐng)域。GA在機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)典型應(yīng)用就是利用GA技術(shù)作為規(guī)則發(fā)現(xiàn)方法應(yīng)用于分類系統(tǒng)。機(jī)器學(xué)習(xí)—

概述按綜合分類聯(lián)接學(xué)習(xí)。典型的聯(lián)接模型實(shí)現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡(jiǎn)單計(jì)算單元以及單元間的加權(quán)聯(lián)接組成。機(jī)器學(xué)習(xí)—

概述按綜合分類加強(qiáng)學(xué)習(xí)（reinforcementlearning）。加強(qiáng)學(xué)習(xí)的特點(diǎn)是通過(guò)與環(huán)境的試探性（trialanderror）交互來(lái)確定和優(yōu)化動(dòng)作的選擇，以實(shí)現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，