人工智能-幾種主要的分類(lèi)算法課件

1、幾種主要的分類(lèi)算法授課人：目錄01決策樹(shù)02最近鄰分類(lèi)器神經(jīng)網(wǎng)絡(luò)030405支持向量機(jī)貝葉斯分類(lèi)器PART 01決策樹(shù) 顧名思義，決策樹(shù)(Decision Tree)是用于決策的一棵樹(shù)，從根節(jié)點(diǎn)出發(fā)，通過(guò)決策節(jié)點(diǎn)對(duì)樣本的不同特征屬性進(jìn)行劃分，按照結(jié)果進(jìn)入不同的分支，最終達(dá)到某一葉子節(jié)點(diǎn)，獲得分類(lèi)結(jié)果。以下是一個(gè)簡(jiǎn)單的垃圾郵件分類(lèi)決策樹(shù)。 樣本集 左述決策樹(shù)對(duì)郵件的標(biāo)題、內(nèi)容分詞和分詞頻率分別進(jìn)行評(píng)估，然后進(jìn)入不同的選擇分支，最終完成分類(lèi)?？梢?jiàn)，決策樹(shù)的構(gòu)建過(guò)程是按照樣本特征的優(yōu)先級(jí)或重要性確定樹(shù)的層次結(jié)構(gòu)，使其葉子節(jié)點(diǎn)盡可能屬于同一類(lèi)別。決策樹(shù)常用于基于規(guī)則的等級(jí)評(píng)估、比賽結(jié)果預(yù)測(cè)和風(fēng)險(xiǎn)研判等

2、。決策樹(shù)PART 02貝葉斯分類(lèi)器 在一些應(yīng)用中，特征集和類(lèi)變量之間的關(guān)系是不確定的，也就是說(shuō)，我們很難通過(guò)一些先驗(yàn)知識(shí)直接預(yù)測(cè)它的類(lèi)標(biāo)號(hào)，這種情況產(chǎn)生的原因可能是多方面的，如噪音、主要變量的缺失等。對(duì)于這類(lèi)求解問(wèn)題，可以將其視為一個(gè)隨機(jī)過(guò)程，使用概率理論來(lái)分析，例如，我們不能直接預(yù)測(cè)隨意一次投幣的結(jié)果是正面（類(lèi)1）還是方面（類(lèi)0），但我們可以計(jì)算出它是正面或方面的概率。貝葉斯(Bayes Classifier)分類(lèi)器就是對(duì)于給定的分類(lèi)項(xiàng)，利用下式貝葉斯定律，求解該分類(lèi)項(xiàng)在條件下各類(lèi)別中出現(xiàn)的概率，哪個(gè)概率最大，就將其劃分為哪個(gè)類(lèi)別。 上式的解釋是：X,Y是一對(duì)隨機(jī)變量，X出現(xiàn)的前提下Y發(fā)生的

3、概率P(Y X )等于Y出現(xiàn)的前提下X發(fā)生的概率P(Y X )與Y出現(xiàn)的概率P(Y )的乘積然后再除以X出現(xiàn)的概率P(X )。貝葉斯分類(lèi)器 仍以垃圾郵件過(guò)濾為例，使用貝葉斯方法通過(guò)考慮關(guān)鍵詞在郵件中出現(xiàn)的概率來(lái)辨別垃圾郵件。假設(shè)收到一封由n個(gè)關(guān)鍵詞組成的郵件E，x=1,0分別表示正常郵件和垃圾郵件，那么就可以根據(jù)n個(gè)關(guān)鍵詞出現(xiàn)在以往郵件中的正常郵件概率p(x=1|E)和這n個(gè)關(guān)鍵詞出現(xiàn)在以往郵件中的垃圾郵件概率p(x=0|E)的大小來(lái)判定該郵件是否為垃圾郵件，如果：p(x=1|E) p(x=0|E)，則為正常郵件，否則為垃圾郵件。貝葉斯分類(lèi)器根據(jù)貝葉斯定理， 上式中p(x=1)和p(x=0)可

4、以根據(jù)郵箱中正常郵件和垃圾郵件的個(gè)數(shù)計(jì)算出來(lái)，而p(E)的計(jì)算則是根據(jù)貝葉斯分類(lèi)假設(shè)，所有的特征變量(關(guān)鍵詞)都是獨(dú)立作用于決策變量，因此有： 上式中的 p(Ei) 表示所有郵件中關(guān)鍵詞 Ei 的概率，于是就根據(jù)貝葉斯分類(lèi)器解決了此垃圾郵件分類(lèi)問(wèn)題。由于貝葉斯分類(lèi)器有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)作為支撐，模型參數(shù)較少，對(duì)缺失數(shù)據(jù)不敏感，其分類(lèi)效率穩(wěn)定，在文本分類(lèi)、圖像識(shí)別和網(wǎng)絡(luò)入侵檢測(cè)等方面得到廣泛應(yīng)用。貝葉斯分類(lèi)器PART 03最近鄰分類(lèi)器 我們把每個(gè)具有n個(gè)特征的樣本看作n維空間的一個(gè)點(diǎn)，對(duì)于給定的新樣本，先計(jì)算該點(diǎn)與其它樣本點(diǎn)的距離(相似度)，然后將新樣本指派為周?chē)鷎個(gè)最近鄰的多數(shù)類(lèi)，這種分類(lèi)器稱(chēng)為最

5、近鄰方法(k-Nearest Neighbor,KNN)。該分類(lèi)器的合理性可以用人們的常規(guī)認(rèn)知來(lái)說(shuō)明：判別一個(gè)人是好人還是壞人，可以從跟他走得最近的k個(gè)人來(lái)判斷，如果k個(gè)人多數(shù)是好人，那么可以指派他為好人，否則他是壞人。在下圖中，求待分類(lèi)樣本x的類(lèi)別。 一個(gè)實(shí)例的最近鄰 由圖可知，如果取k=3個(gè)最近鄰，則x被指派為正方形類(lèi)；如果取k=5個(gè)最近鄰，則x被指派為三角形類(lèi)。由此可見(jiàn)，k的取值大小對(duì)分類(lèi)結(jié)果是有影響的，另外，當(dāng)樣本數(shù)據(jù)較大時(shí)，計(jì)算相似度所消耗的時(shí)間和空間較高，導(dǎo)致分類(lèi)效率低。還有，從上圖可以看出，采用多數(shù)表決方法來(lái)判別x的類(lèi)別，是沒(méi)有考慮與x不同距離的近鄰對(duì)其影響的程度，顯然，一個(gè)遠(yuǎn)離

6、x的近鄰對(duì)x的影響是要弱于離它近的近鄰的。盡管k近鄰分類(lèi)器有諸如上述缺點(diǎn)，但該分類(lèi)技術(shù)是基于具體的訓(xùn)練實(shí)例進(jìn)行預(yù)測(cè)，不必為訓(xùn)練集建立模型，還可以生成任何形狀的決策邊界，從而能提供靈活的模型表示，在數(shù)字和像識(shí)別等方面得到較好的應(yīng)用。最近鄰分類(lèi)器PART 04支持向量機(jī) 支持向量機(jī)(Support Vector Machine,SVM)的基本思想是通過(guò)非線性映射，把樣本空間映射到一個(gè)高維的特征空間，將原本空間線性不可分的問(wèn)題，轉(zhuǎn)化成在高維空間通過(guò)一個(gè)線性超平面將樣本完全劃分開(kāi)。例如，在下圖中，左邊二維空間的樣本點(diǎn)，無(wú)法線性劃分，但通過(guò)映射到三維空間，卻可以用一個(gè)平面將這些樣本完全分開(kāi)。樣本點(diǎn)升維后

7、變成線性可分 SVM是一種有堅(jiān)實(shí)統(tǒng)計(jì)學(xué)理論支撐的機(jī)器學(xué)習(xí)方法，其最終的決策函數(shù)只由位于超平面附件的幾個(gè)支持向量決定，該方法不僅算法簡(jiǎn)單，而且具有較好的魯棒性，特別適合解決樣本數(shù)據(jù)較少、先驗(yàn)干預(yù)少的非線性分類(lèi)、回歸等問(wèn)題。支持向量機(jī)PART 05神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)(Neural Network)分類(lèi)器由輸入層、隱藏層和輸出層構(gòu)成，是通過(guò)模仿人腦神經(jīng)系統(tǒng)的組織結(jié)構(gòu)及其某些活動(dòng)機(jī)理，來(lái)呈現(xiàn)人腦的許多特征。其基本結(jié)構(gòu)如下圖所示。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖 上圖中每個(gè)節(jié)點(diǎn)代表一個(gè)神經(jīng)元，節(jié)點(diǎn)之間的連線對(duì)應(yīng)權(quán)重值w，輸入變量x經(jīng)過(guò)神經(jīng)元時(shí)被激活函數(shù)賦予權(quán)重并加上偏置，將運(yùn)算結(jié)果傳遞到下層網(wǎng)絡(luò)的神經(jīng)元，在輸出層中，神經(jīng)元對(duì)各個(gè)