人工智能基礎(chǔ)與應(yīng)用（第2版）（微課版）課件 模塊4 分門(mén)別類(lèi)：幫你“分而治之”

4-1分類(lèi)器模塊?分門(mén)別類(lèi)：幫你“分而治之”目錄CONTENTS什么是分類(lèi)器01分類(lèi)器如何工作02一.什么是分類(lèi)器1.概念分類(lèi)器：分類(lèi)是人工智能的一種重要方法，是在已有數(shù)據(jù)的基礎(chǔ)上學(xué)習(xí)出一個(gè)分類(lèi)函數(shù)或構(gòu)造出一個(gè)分類(lèi)模型，該函數(shù)或者模型就是一個(gè)能完成分類(lèi)任務(wù)的人工智能系統(tǒng)，即人們通常所說(shuō)的分類(lèi)器。。數(shù)據(jù)集分類(lèi)器給定的某個(gè)類(lèi)型二.分類(lèi)器如何工作1.一般工作過(guò)程三個(gè)關(guān)鍵要素：1樣本特征2正負(fù)樣本3分類(lèi)器類(lèi)型二.分類(lèi)器如何工作2.三個(gè)概念（1）樣本特征。樣本特征提取是分類(lèi)器工作的首要任務(wù)，如果待分類(lèi)對(duì)象沒(méi)有提取特征，也就沒(méi)有分類(lèi)的依據(jù)，就無(wú)從辨別對(duì)象的種類(lèi)。綜合考慮關(guān)聯(lián)對(duì)象的差異，提取出有效的特征，讓分類(lèi)器準(zhǔn)確工作。（2）正、負(fù)樣本。針對(duì)分類(lèi)問(wèn)題，正樣本是指想要正確分類(lèi)出的類(lèi)別所對(duì)應(yīng)的樣本，負(fù)樣本是指不屬于這一類(lèi)別的樣本。既要考慮正樣本，又要根據(jù)實(shí)際工作場(chǎng)景，合理選取足夠多的負(fù)樣本，保證模型訓(xùn)練效果。（3）分類(lèi)器。分類(lèi)器通過(guò)學(xué)習(xí)得到一個(gè)目標(biāo)函數(shù)或模型（以下統(tǒng)稱(chēng)為模型），它能把樣本的特征集X映射到一個(gè)預(yù)先定義的類(lèi)別號(hào)y。二.分類(lèi)器如何工作2.三個(gè)概念那么，機(jī)器學(xué)習(xí)中，常見(jiàn)的分類(lèi)器有哪些呢人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!4-2幾種主要的分類(lèi)器模塊?分門(mén)別類(lèi)：幫你“分而治之”目錄CONTENTS決策樹(shù)01k近鄰分類(lèi)器03貝葉斯分類(lèi)器02神經(jīng)網(wǎng)絡(luò)05支持向量機(jī)04一.決策樹(shù)概念決策樹(shù)（decisiontree）：用于決策的一棵“樹(shù)”，它從根節(jié)點(diǎn)出發(fā)，通過(guò)決策節(jié)點(diǎn)對(duì)樣本的不同特征進(jìn)行劃分，按照結(jié)果進(jìn)入不同的選擇分支，最終到達(dá)某一葉子節(jié)點(diǎn)，獲得分類(lèi)結(jié)果。垃圾郵件分類(lèi)決策樹(shù)：二.貝葉斯分類(lèi)器1.概念貝葉斯分類(lèi)器（bayesclassifier）：就是對(duì)于給定的分類(lèi)項(xiàng)，利用貝葉斯定理，求解該分類(lèi)項(xiàng)在預(yù)先給定條件下各類(lèi)別中出現(xiàn)的概率，哪個(gè)概率最大，就將其劃分為哪個(gè)類(lèi)別。貝葉斯定理公式：二.貝葉斯分類(lèi)器2.舉例用貝葉斯分類(lèi)器來(lái)判定垃圾郵件：

x=[1,0]分別表示正常郵件和垃圾郵件E:由n個(gè)關(guān)鍵詞組成的郵件三.k近鄰分類(lèi)器概念k近鄰（k-NearestNeighbor，KNN）分類(lèi)器:把每個(gè)具有n個(gè)特征的樣本看作n維空間的一個(gè)點(diǎn)，對(duì)于給定的新樣本，先計(jì)算該點(diǎn)與其他點(diǎn)的距離（相似度），然后將新樣本指派為周?chē)鷎個(gè)最近鄰的多數(shù)類(lèi)。什么形狀的物體四.支持向量機(jī)1.概念支持向量機(jī)（SupportVectorMachine，SVM）：基本思想是通過(guò)非線性映射，把樣本空間映射到一個(gè)高維的特征空間，將原本樣本空間線性不可分的問(wèn)題，轉(zhuǎn)化成在高維空間通過(guò)線性超平面將樣本完全劃分開(kāi)的問(wèn)題。不可分：可分：四.支持向量機(jī)1.原理超平面離直線兩邊的數(shù)據(jù)的間隔越大，對(duì)訓(xùn)練集的數(shù)據(jù)的局限性或噪聲有最大的容忍能力，也就是所謂的魯棒性。支持向量機(jī)就是要找到使這個(gè)間隔最大的決策超平面。五.神經(jīng)網(wǎng)絡(luò)1.概念?神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）?是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。權(quán)重值w激活函數(shù)φ加權(quán)求和及函數(shù)sgn處理神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)：人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!4-3項(xiàng)目1—識(shí)別貓狗模塊?分門(mén)別類(lèi)：幫你“分而治之”目錄CONTENTS提出問(wèn)題01預(yù)備知識(shí)03解決方案02任務(wù)1—樣本數(shù)據(jù)預(yù)處理04任務(wù)3—評(píng)估模型效果06任務(wù)2—構(gòu)建及訓(xùn)練KNN模型05一.提出問(wèn)題問(wèn)題描述

對(duì)于人類(lèi)來(lái)說(shuō)，可以很容易識(shí)別身邊的貓和狗，這是人類(lèi)視覺(jué)經(jīng)千萬(wàn)年演變進(jìn)化的結(jié)果。但對(duì)于計(jì)算機(jī)而言，想讓它識(shí)別一個(gè)圖像上的貓和狗就不那么容易了。如何能讓計(jì)算機(jī)識(shí)別出下圖中的貓和狗呢？二.解決方案1.選擇分類(lèi)器選用KNN其核心思想是：如果一個(gè)樣本在特征空間中的k個(gè)最近鄰中的多數(shù)屬于某個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別。通常采用歐氏距離來(lái)計(jì)算兩樣本之間的距離大小，并據(jù)此找到某樣本的k個(gè)最近鄰。貓或狗？K個(gè)最近鄰中，多數(shù)是貓K個(gè)最近鄰中，多數(shù)是狗二.解決方案2.解決方案三.預(yù)備知識(shí)1.圖像灰度化灰度化實(shí)現(xiàn)代碼：三.預(yù)備知識(shí)2.歐氏距離點(diǎn)X與點(diǎn)Y之間的歐氏距離等于各特征值之差的平方和的平方根用KNN算法計(jì)算兩個(gè)樣本之間的距離，以此來(lái)判定某個(gè)樣本周?chē)男┼従与x它是最近的或者是最相似的。歐氏距離是常用的一種計(jì)算公式。樣本X與樣本Y之間的歐氏距離等于各特征值之差的平方和的平方根三.預(yù)備知識(shí)3.

KNN算法的主要參數(shù)點(diǎn)X與點(diǎn)Y之間的歐氏距離等于各特征值之差的平方和的平方根三.預(yù)備知識(shí)4.分類(lèi)性能度量指標(biāo)（1）真正（TruePositive，TP）：被模型預(yù)測(cè)為正的正樣本。（2）假正（FalsePositive，F(xiàn)P）：被模型預(yù)測(cè)為正的負(fù)樣本。（3）假負(fù)（FalseNegative，F(xiàn)N）：被模型預(yù)測(cè)為負(fù)的正樣本。（4）真負(fù)（TrueNegative，TN）：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。（1）真正（TruePositive，TP）：被模型預(yù)測(cè)為正的正樣本。（2）假正（FalsePositive，F(xiàn)P）：被模型預(yù)測(cè)為正的負(fù)樣本。（3）假負(fù)（FalseNegative，F(xiàn)N）：被模型預(yù)測(cè)為負(fù)的正樣本。（4）真負(fù)（TrueNegative，TN）：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。三.預(yù)備知識(shí)4.分類(lèi)性能度量指標(biāo)（1）精確率（2）正確率（3）召回率（4）F1值四.任務(wù)1——樣本數(shù)據(jù)預(yù)處理1.將圖像信息轉(zhuǎn)存為向量（1）導(dǎo)入相關(guān)的庫(kù)（2）定義轉(zhuǎn)換函數(shù)img2array將圖像數(shù)據(jù)轉(zhuǎn)換成一維向量四.任務(wù)1——樣本數(shù)據(jù)預(yù)處理1.將圖像信息轉(zhuǎn)存為向量（3）調(diào)用函數(shù)生成向量保存灰度圖像信息的向量?jī)?nèi)容四.任務(wù)1——樣本數(shù)據(jù)預(yù)處理2.批量生成樣本數(shù)據(jù)（1）生成所有樣本的特征值和標(biāo)簽值四.任務(wù)1——樣本數(shù)據(jù)預(yù)處理2.批量生成樣本數(shù)據(jù)（2）樣本數(shù)據(jù)的歸一化處理歸一化數(shù)據(jù)生成訓(xùn)練集和測(cè)試集四.任務(wù)2——構(gòu)建及訓(xùn)練KNN模型1.構(gòu)建KNN模型上述代碼定義一個(gè)KNN模型knn，模型中參數(shù)n_neighbors=13（采用訓(xùn)練樣本數(shù)量的平方根的一半）、p=2表示使用歐氏距離來(lái)計(jì)算樣本相似度大小，weights='distance'表示權(quán)重與距離成反比，即更近的近鄰有更高的權(quán)重。四.任務(wù)2——構(gòu)建及訓(xùn)練KNN模型2.訓(xùn)練模型（1）用訓(xùn)練集x_train、y_train來(lái)訓(xùn)練模型（2）觀察模型訓(xùn)練效果訓(xùn)練效果不錯(cuò)，在測(cè)試集上是否任然有很好的表現(xiàn)？四.任務(wù)3——評(píng)估模型效果1.

測(cè)試模型性能模型性能測(cè)試報(bào)告評(píng)價(jià)精度為63%狗的召回率62%貓的召回率64%什么原因?qū)е履Ｐ筒焕硐?？?任務(wù)3——評(píng)估模型效果2.通過(guò)交叉表了解模型的錯(cuò)分情況(1)直觀分析：四.任務(wù)3——評(píng)估模型效果2.通過(guò)交叉表了解模型的錯(cuò)分情況(2)交叉表分析：正確識(shí)別36個(gè)錯(cuò)誤劃分34個(gè)四.任務(wù)3——評(píng)估模型效果2.通過(guò)交叉表了解模型的錯(cuò)分情況如何去改善模型的性能例如嘗試改變模型參數(shù)K人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!3-4項(xiàng)目2—輔助診斷乳腺癌模塊?分門(mén)別類(lèi)：幫你“分而治之”目錄CONTENTS提出問(wèn)題01預(yù)備知識(shí)03解決方案02任務(wù)1—準(zhǔn)備訓(xùn)練集和測(cè)試集04任務(wù)3—評(píng)估模型診斷效果06任務(wù)2—構(gòu)建和訓(xùn)練模型05一.提出問(wèn)題問(wèn)題描述隨著醫(yī)療AI在醫(yī)療領(lǐng)域的投入使用，如今智慧醫(yī)療科技的新紀(jì)元已經(jīng)開(kāi)啟，如圖4-17所示，借助“人工智能大腦”，AI輔助診療新時(shí)代正在到來(lái)。而現(xiàn)在AI輔助診斷技術(shù)的應(yīng)用，能夠很大程度地提高醫(yī)療機(jī)構(gòu)、醫(yī)生的工作效率，降低醫(yī)生的工作強(qiáng)度，降低漏診率。那么，AI是如何輔助醫(yī)生進(jìn)行病情診斷的呢二.解決方案1.問(wèn)題本質(zhì)從活檢數(shù)據(jù)中判斷患者是有病還是沒(méi)病，本身是一個(gè)二分類(lèi)問(wèn)題，另外，活檢數(shù)據(jù)稀有、獲取成本高，符合SVM的適用條件，為此，采用SVM進(jìn)行分類(lèi)。采用SVM求解問(wèn)題二.解決方案2.解決方案三.預(yù)備知識(shí)1.SVM的最優(yōu)分界面H0則是最優(yōu)分界面，因?yàn)樗絻蛇吪R界分界面的距離最大,具有較強(qiáng)的抗噪聲能力和較小的泛化誤差。三.預(yù)備知識(shí)2.SVM模型參數(shù)核函數(shù)K(x,y)變換線性不可分線性可分SVM模型的常用參數(shù)三.預(yù)備知識(shí)3.解讀數(shù)據(jù)集其中id列是編號(hào)，無(wú)實(shí)際意義。診斷列diagnosis取值[M|B]，分別表示診斷為惡性或良性。其他30個(gè)列由細(xì)胞核的10個(gè)不同特征的平均值、標(biāo)準(zhǔn)差、最差值等構(gòu)成。四.任務(wù)1——準(zhǔn)備訓(xùn)練集和測(cè)試集1.按比例生成訓(xùn)練集和測(cè)試集8:2比例降為1維四.任務(wù)1——準(zhǔn)備訓(xùn)練集和測(cè)試集2.觀察測(cè)試集的分布情況用數(shù)據(jù)預(yù)測(cè)是否患病五.任務(wù)2——構(gòu)建和訓(xùn)練模型1.用訓(xùn)練樣本訓(xùn)練SVM模型訓(xùn)練模型構(gòu)建模型用支持向量機(jī)svm構(gòu)建預(yù)測(cè)模型，核函數(shù)為rbf，懲罰參數(shù)C取值為1五