第11章：知識(shí)發(fā)現(xiàn)單元-深度學(xué)習(xí)課件

時(shí)間：2020-9-8知識(shí)發(fā)現(xiàn)單元——深度學(xué)習(xí)第11章深度學(xué)習(xí)學(xué)習(xí)模型評(píng)估學(xué)習(xí)方式數(shù)據(jù)準(zhǔn)備機(jī)器學(xué)習(xí)模型機(jī)器學(xué)習(xí)過(guò)程11.111.211.311.411.511.6機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)11.7機(jī)器學(xué)習(xí)的概念界定及意義1機(jī)器學(xué)習(xí)過(guò)程2機(jī)器學(xué)習(xí)與人類學(xué)習(xí)對(duì)比311.1機(jī)器學(xué)習(xí)過(guò)程由于許多實(shí)際問題，沒有算法，或者計(jì)算代價(jià)很高。解決此問題的一種策略就是讓計(jì)算機(jī)從示例中學(xué)習(xí)從輸入數(shù)據(jù)到輸出的函數(shù)對(duì)應(yīng)關(guān)系。機(jī)器學(xué)習(xí)是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。機(jī)器學(xué)習(xí)的概念界定及意義1機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科，目的是獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。背景概念意義機(jī)器學(xué)習(xí)過(guò)程2f(x)稱為學(xué)習(xí)模型，泛化能力是指機(jī)器學(xué)習(xí)算法對(duì)新鮮樣本的適應(yīng)能力。通常期望學(xué)習(xí)模型具有較強(qiáng)的泛化能力。機(jī)器學(xué)習(xí)與人類學(xué)習(xí)對(duì)比3函數(shù)擬合問題1機(jī)器學(xué)習(xí)模型211.2機(jī)器學(xué)習(xí)過(guò)程擬合函數(shù)1線性擬合多項(xiàng)式擬合線性擬合非線性擬合完全擬合完全擬合未完全擬合完全擬合簡(jiǎn)單中簡(jiǎn)單復(fù)雜學(xué)習(xí)模型2假設(shè)空間可能的假設(shè)函數(shù)集合。機(jī)器學(xué)習(xí)過(guò)程就是構(gòu)造逼近實(shí)際輸出y的假設(shè)函數(shù)h的過(guò)程。數(shù)據(jù)集劃分11.3.1數(shù)據(jù)標(biāo)注11.3.211.3數(shù)據(jù)準(zhǔn)備訓(xùn)練數(shù)據(jù)(Traindata)集是用于建模的，數(shù)據(jù)集每個(gè)樣本是有標(biāo)簽的（正確答案）。測(cè)試數(shù)據(jù)(Testdata)集是一個(gè)在建模階段沒有使用過(guò)的數(shù)據(jù)集數(shù)據(jù)集劃分2驗(yàn)證數(shù)據(jù)(Validationdata)集評(píng)估模型的各項(xiàng)指標(biāo)，如果評(píng)估結(jié)果不理想，將改變一些用于構(gòu)建學(xué)習(xí)模型的參數(shù)，最終得到一個(gè)滿意的訓(xùn)練模型。。訓(xùn)練集驗(yàn)證集測(cè)試集平時(shí)練習(xí)周考/月考高考一般來(lái)說(shuō)采用70/15/15比例來(lái)劃分，但這不是必須的，要根據(jù)具體任務(wù)確定劃分比例。數(shù)據(jù)標(biāo)注是通過(guò)數(shù)據(jù)加工人員（可以借助標(biāo)記工具）對(duì)樣本數(shù)據(jù)進(jìn)行加工的一種行為。標(biāo)注畫框、類別標(biāo)注、圖像打點(diǎn)、目標(biāo)物體輪廓線等。數(shù)據(jù)標(biāo)注1數(shù)據(jù)標(biāo)注的類型包括：圖像標(biāo)注、語(yǔ)音標(biāo)注、文本標(biāo)注、視頻標(biāo)注等。概念分類形式有監(jiān)督學(xué)習(xí)11.4.1無(wú)監(jiān)督學(xué)習(xí)11.4.211.4學(xué)習(xí)方式概率圖模型11.4.3集成學(xué)習(xí)11.4.411.4.1有監(jiān)督學(xué)習(xí)定義：通過(guò)訓(xùn)練集學(xué)習(xí)得到一個(gè)模型，然后用這個(gè)模型進(jìn)行預(yù)測(cè)。有監(jiān)督學(xué)習(xí)分為兩類任務(wù)：回歸、分類。線性回歸1決策樹211.4.1有監(jiān)督學(xué)習(xí)支持向量機(jī)3模型：Y=β0+β1X1+回歸系數(shù)：β=(β0，β1)‘建模誤差：兩個(gè)變量間有關(guān)系嗎？關(guān)系有多強(qiáng)？哪一個(gè)變量的影響最大？預(yù)測(cè)的各個(gè)變量影響值能有多精確？預(yù)測(cè)的目標(biāo)值能有多精確？其關(guān)系是線性的嗎？線性回歸1原理幾何意義回答問題線性回歸1房?jī)r(jià)預(yù)測(cè)Python實(shí)現(xiàn)importpandasaspdfromsklearn.linear_modelimportLinearRegressiondata=pd.read_csv(“home.csv”)//讀數(shù)據(jù)X=data.loc[[1:10],[‘總面積(平方米)’]]//獲取自變量Y=data.loc[[1:10],[‘總價(jià)（萬(wàn)元）’]]//獲取因變量regr=LinearRegression()//建模regr.fit(X,Y)predict_outcome=regr.predict([700])//獲取實(shí)際預(yù)測(cè)值決策樹模擬人類進(jìn)行級(jí)聯(lián)選擇或決策的過(guò)程，按照屬性的某個(gè)優(yōu)先級(jí)依次對(duì)數(shù)據(jù)的全部屬性進(jìn)行判別，從而得到輸入數(shù)據(jù)所對(duì)應(yīng)的預(yù)測(cè)輸出。決策樹2基本思想基本概念案例決策樹包含：一個(gè)根結(jié)點(diǎn)、若干內(nèi)部結(jié)點(diǎn)和葉結(jié)點(diǎn)。其中葉結(jié)點(diǎn)表示決策的結(jié)果；內(nèi)部結(jié)點(diǎn)表示對(duì)樣本某一屬性判別。

（1）根據(jù)某種分類規(guī)則得到最優(yōu)的劃分特征，計(jì)算最優(yōu)特征子函數(shù)，并創(chuàng)建特征的劃分節(jié)點(diǎn)，按照劃分節(jié)點(diǎn)將數(shù)據(jù)集劃分為若干部分子數(shù)據(jù)集；（2）在子數(shù)據(jù)集上重復(fù)使用判別規(guī)則，構(gòu)建出新的節(jié)點(diǎn)，作為樹的新分支；（3）重復(fù)，直到滿足遞歸終止條件。決策樹2構(gòu)造過(guò)程特征選擇特征選擇

（2）信息增益比(C4.5)（3）基尼指數(shù)(CATR)

支持向量機(jī)3

SVM是一類按有監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最優(yōu)分類面。概念理論依據(jù)幾何意義傳統(tǒng)的機(jī)器學(xué)習(xí)強(qiáng)調(diào)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。而單純的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生“過(guò)擬合問題”，其泛化力較差。根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。11.4.2無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督學(xué)習(xí)是在沒有老師，學(xué)生自學(xué)的過(guò)程。無(wú)監(jiān)督學(xué)習(xí)不局限于解決像有監(jiān)督學(xué)習(xí)那樣有明確答案的問題，因此，它的學(xué)習(xí)目標(biāo)并不十分明確。常見的幾類無(wú)監(jiān)督學(xué)習(xí)任務(wù)是：聚類、關(guān)聯(lián)分析和降維。聚類1關(guān)聯(lián)分析211.4.2無(wú)監(jiān)督學(xué)習(xí)降維3聚類1聚類模型是將物理或抽象對(duì)象的集合分組為由類似的對(duì)象組成的多個(gè)類的分析過(guò)程。聚類給了我們把兩個(gè)觀測(cè)數(shù)據(jù)根據(jù)它們之間的距離計(jì)算相似度來(lái)分組的方法（沒有標(biāo)注數(shù)據(jù)）。概念層次聚類迭代1次均值聚類迭代3次迭代10次層次聚類通過(guò)計(jì)算不同類別數(shù)據(jù)點(diǎn)間的相似度來(lái)創(chuàng)建一棵有層次的嵌套聚類樹。在聚類樹中，不同類別的原始數(shù)據(jù)點(diǎn)是樹的最低層，樹的頂層是一個(gè)聚類的根節(jié)點(diǎn)。聚類1

譜聚類聚類1（7）切圖：

切圖要求：類內(nèi)權(quán)重和最大，類間權(quán)重和最小。（8）譜聚類：切圖聚類。譜聚類除此之外，還有網(wǎng)格的聚類（圖a）,基于密度的聚類（圖b），基于模型的聚類（圖c）。聚類1關(guān)聯(lián)分析2

想知道哪些商品顧客可能會(huì)在一次購(gòu)物時(shí)同時(shí)購(gòu)買？可以通過(guò)對(duì)商店的顧客事物零售數(shù)量進(jìn)行購(gòu)物籃分析，發(fā)現(xiàn)顧客放入“購(gòu)物籃”中的不同商品之間的關(guān)聯(lián)，分析顧客的購(gòu)物習(xí)慣。幫助商家了解哪些商品頻繁的被顧客同時(shí)購(gòu)買，制定更好的營(yíng)銷策略。購(gòu)物籃關(guān)聯(lián)分析2

術(shù)語(yǔ)Apriori算法

關(guān)聯(lián)分析2接下來(lái)用一個(gè)例子用apriori算法來(lái)走一遍關(guān)聯(lián)規(guī)則的流程（本例子預(yù)定義的=2），下圖是事物數(shù)據(jù)，9個(gè)顧客分別買了不同的商品列表（我們假定I1表示泡面，I2表示礦泉水，I3表示牛欄山，I4表示雪碧，I5表示火腿）。案例首先我們要做的是第一次迭代，掃描所有的事物，對(duì)每個(gè)項(xiàng)進(jìn)行計(jì)數(shù)得到候選項(xiàng)集，得到如下圖所示的結(jié)果，記為C1。關(guān)聯(lián)分析2此時(shí)，我們要對(duì)支持度計(jì)數(shù)和支持度的閾值進(jìn)行比較，剔除小于支持度閾值的項(xiàng)集，顯而易見，在本例中C1的項(xiàng)集都達(dá)到了閾值。我們便可以得出頻繁1項(xiàng)集記作L1案例接下來(lái)我們要進(jìn)行第二次迭代，目的是得出頻繁2項(xiàng)集，所以要使用連接來(lái)產(chǎn)生候選項(xiàng)集2項(xiàng)集。L1??

L1

得出關(guān)聯(lián)分析2連接這一步，我們把它叫做連接步，連接得到C2后，接下來(lái)做的是剪枝步，就是剪掉項(xiàng)集中包含不頻繁項(xiàng)的項(xiàng)集，在本例中1項(xiàng)集全部都是頻繁項(xiàng)集，例如{I1，I2}中沒有不頻繁項(xiàng)集，此項(xiàng)集不剪，{I1，I3}中沒有不頻繁項(xiàng)集，同理不剪，以此類推。所以C2中所有的項(xiàng)集都不需要剪掉。到此連接步、剪枝步全部完成。（這里值得注意的是剪枝是必須的一步，不能省略）最后再計(jì)一下數(shù)得出最終的C2。如下圖所示。案例將支持度計(jì)數(shù)小于閾值2的全部剔除，得出頻繁2項(xiàng)集L2，如上圖所示。關(guān)聯(lián)分析2現(xiàn)在開始進(jìn)行第三次迭代，L2

L2

得出候選項(xiàng)集C3，如下圖所示。案例在這一步同樣是經(jīng)過(guò)了連接步和剪枝步。L2自連接得到然而除了{(lán)i1,i2,i3}，{i1,i2,i5}之外。{i1,i3,i5},{i2,i3,i4},{i2,i3,i5},{i2,i4,i5}中都含有不頻繁項(xiàng)集，第一個(gè){I3，I5}不是L2的元素所以要剪枝，后面以此類推，最終得到上圖的C3。（再重視一下，這個(gè)剪枝不能省略）。最后記一下數(shù)，得出最終的候選項(xiàng)集C3。

關(guān)聯(lián)分析2現(xiàn)在繼續(xù)第四次迭代，L3

自連接得到

{I1，I2，I3，I5}，接下來(lái)剪枝，因?yàn)檫@個(gè)項(xiàng)集中{I2，I3，I5}不屬于L3，所以剪掉，C4為空了，所以算法到此結(jié)束，現(xiàn)在得出了所有的頻繁項(xiàng)集。到此為止，我們做完了第一步：找出所有的頻繁項(xiàng)集。接下來(lái)要做的便是輸出強(qiáng)關(guān)聯(lián)規(guī)則?，F(xiàn)在我們拿X={I1，I2，I5}為例，輸出關(guān)聯(lián)規(guī)則。X的非空子集為{I1，I2}、{I1，I5}、{I2，I5}、{I1}、{I2}、{I5}。所以組合一下關(guān)聯(lián)規(guī)則如下：案例置信度我們根據(jù)上文提到的公式來(lái)算，拿第一個(gè){I1,I2}=>I5為例。confidence=P（I5

|

{I1,I2}）

=

support_count（{I2,I1，I5}）/

support_count（{I1,I2}）降維3

降維的意思是能夠用d維向量來(lái)代表D維向量所包含的有用信息，其中d<D。為什么可以降維，這是因?yàn)閿?shù)據(jù)有冗余，要么是一些沒有用的信息，要么是一些重復(fù)表達(dá)的信息，例如一張512*512的圖只有中心100*100的區(qū)域內(nèi)有非0值，剩下的區(qū)域就是沒有用的信息，又或者一張圖是成中心對(duì)稱的，那么對(duì)稱的部分信息就重復(fù)了。正確降維后的數(shù)據(jù)一般保留了原始數(shù)據(jù)的大部分的重要信息，它完全可以替代輸入去做一些其他的工作，從而很大程度上可以減少計(jì)算量。例如降到二維或者三維來(lái)可視化。

一般來(lái)說(shuō)可以從兩個(gè)角度來(lái)考慮做數(shù)據(jù)降維，一種是直接提取特征子集做特征抽取，例如從512*512圖中只取中心部分，一種是通過(guò)線性/非線性的方式將原來(lái)高維空間變換到一個(gè)新的空間，對(duì)于后面一種，主要方法是PCA。

案例降維3PCAPCA(PrincipalComponentAnalysis，主成分分析)是一種基于從高維空間映射到低維空間的投影方法，主要目的就是學(xué)習(xí)或者算出一個(gè)矩陣變換W，其中W的大小是Dd，其中d<D，用這個(gè)矩陣與高維數(shù)據(jù)相乘得到低維數(shù)據(jù)。新子空間的正交軸(主成分)可以被解釋為原始空間的最大方差方向（如圖）。隱馬爾可夫模型1貝葉斯網(wǎng)絡(luò)211.4.3概率圖模型條件隨機(jī)場(chǎng)3EM算法4隱馬爾可夫模型1隨機(jī)過(guò)程從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)有多條路的過(guò)程稱為隨機(jī)過(guò)程。馬爾科夫過(guò)程一個(gè)系統(tǒng)有N個(gè)狀態(tài)S1，S2，……，Sn，隨著時(shí)間推移，系統(tǒng)從某一狀態(tài)轉(zhuǎn)移到另一狀態(tài)，設(shè)qt為時(shí)間t的狀態(tài)，系統(tǒng)在時(shí)間t處于狀態(tài)Sj的概率取決于其在時(shí)間1,2,……,t-1的狀態(tài)，該概率為：如果系統(tǒng)在t時(shí)間的狀態(tài)只與其在時(shí)間t-1的狀態(tài)相關(guān)，則該系統(tǒng)構(gòu)成一個(gè)離散的一階馬爾可夫鏈(馬爾可夫過(guò)程)：隱馬爾可夫模型1馬爾科夫模型如果其中狀態(tài)轉(zhuǎn)移概率aij必須滿足aij>=0,且則該隨機(jī)過(guò)程稱為馬爾可夫模型。狀態(tài)轉(zhuǎn)移矩陣狀態(tài)轉(zhuǎn)移概率構(gòu)成的矩陣?！纠?1-1】假定一段時(shí)間的氣象可由一個(gè)三狀態(tài)的馬爾可夫模型M描述，S1：雨，S2：多云，S3：晴，狀態(tài)轉(zhuǎn)移概率矩陣為：如果第一天為晴天，根據(jù)這一模型，在今后七天中天氣為O=“晴晴雨雨晴云晴”的概率為：隱馬爾可夫模型1HMM在MM中，每一個(gè)狀態(tài)代表一個(gè)可觀察的事件。在HMM中觀察到的事件是狀態(tài)的隨機(jī)函數(shù)，因此該模型是一雙重隨機(jī)過(guò)程，其中狀態(tài)轉(zhuǎn)移過(guò)程是不可觀察（隱蔽）的(馬爾可夫鏈)，而可觀察的事件的隨機(jī)過(guò)程是隱蔽的狀態(tài)轉(zhuǎn)換過(guò)程的隨機(jī)函數(shù)(一般隨機(jī)過(guò)程)。對(duì)于一個(gè)隨機(jī)事件，有一觀察值序列：O=o1,o2,…oT該事件隱含著一個(gè)狀態(tài)序列：Q=q1,q2,…qT。假設(shè)1：馬爾可夫性假設(shè)（狀態(tài)構(gòu)成一階馬爾可夫鏈）

P(qi|qi-1…q1)=P(qi|qi-1)假設(shè)2：不動(dòng)性假設(shè)（狀態(tài)與具體時(shí)間無(wú)關(guān)）P(qi+1|qi)=P(qj+1|qj)，對(duì)任意i，j成立假設(shè)3：輸出獨(dú)立性假設(shè)（輸出僅與當(dāng)前狀態(tài)有關(guān)）

p(O1,...,OT|q1,...,qT)=Πp(Ot|qt)一個(gè)HMM是由一個(gè)五元組描述的：λ

＝（N，M，A，B，π）其中：N={q1,...qN}：狀態(tài)的有限集合;M={v1,...,vM}：觀察值的有限集合;A={aij}，aij=P(qt=Sj|qt-1=Si)：狀態(tài)轉(zhuǎn)移概率矩陣;B={bjk}，bjk=P(Ot=vk|qt=Sj)：觀察值概率分布矩陣;π={πi}，πi=P(q1=Si)：初始狀態(tài)概率分布隱馬爾可夫模型1HMM隱馬爾可夫模型（HMM）的三個(gè)基本問題：①評(píng)估問題：對(duì)于給定模型，求某個(gè)觀察值序列的概率P(O|λ)；②解碼問題：對(duì)于給定模型和觀察值序列，求可能性最大的狀態(tài)序列maxQ{P(Q|O,λ)}；③學(xué)習(xí)問題：對(duì)于給定的一個(gè)觀察值序列O，調(diào)整參數(shù)λ，使得觀察值出現(xiàn)的概率P(O|λ)最大。

貝葉斯網(wǎng)絡(luò)2條件概率密度鏈?zhǔn)椒▌t使用貝葉斯網(wǎng)絡(luò)鏈?zhǔn)椒▌t，可以將左圖的整體概率表示為：貝葉斯網(wǎng)絡(luò)2貝葉斯網(wǎng)絡(luò)因果推理因果推理從頂向下，以父節(jié)點(diǎn)或者祖先節(jié)點(diǎn)為條件比如說(shuō)P(d0,i1,g3,s1,l1)的概率就等于0.6*0.3*0.02*0.8*0.01。貝葉斯網(wǎng)絡(luò)定義為：①一個(gè)有向無(wú)環(huán)圖表示隨機(jī)變量x1…xn。②每個(gè)節(jié)點(diǎn)都有一個(gè)CPD，是一個(gè)父節(jié)點(diǎn)的條件概率分布。③貝葉斯網(wǎng)絡(luò)可以表示為一個(gè)聯(lián)合概率分布。條件隨機(jī)場(chǎng)3概念應(yīng)用在圖中，每個(gè)點(diǎn)代表一個(gè)標(biāo)簽的可能性，點(diǎn)之間的連線表示標(biāo)簽之間的關(guān)聯(lián)，而每一種標(biāo)注結(jié)果，都對(duì)應(yīng)著圖上的一條完整的路徑。在CRF的序列標(biāo)注問題中，要計(jì)算的是條件概率：設(shè)G=（V，E）是一個(gè)無(wú)向圖，Y={Yv|vV}是以G中節(jié)點(diǎn)v為索引的隨機(jī)變量Y，構(gòu)成的集合。在給定X的條件下，如果每個(gè)隨機(jī)變量Yv服從馬爾可夫?qū)傩?，即則(X,Y)就構(gòu)成一個(gè)條件隨機(jī)場(chǎng)。

EM算法4基本思想問題描述

EM算法，即最大期望算法（ExpectationMaximizationAlgorithm），是一種迭代算法，用于含有隱變量的概率參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。EM算法應(yīng)用于高斯混合模型（GMM）、聚類、隱式馬爾科夫算法（HMM）、基于概率的PLSA模型等等。EM算法4問題求解問題描述假如實(shí)驗(yàn)中根本不知道拋的時(shí)候究竟是哪一種硬幣，或者就不告訴你的話，我們就沒辦法直接計(jì)算兩種硬幣正面朝上的概率了，這種情況叫不完全信息。與圖11-25的數(shù)據(jù)是和完全信息的情況一樣的，區(qū)別在于左邊的標(biāo)簽是問號(hào)，不知道是什么硬幣（見圖11-26）。這個(gè)時(shí)候就用到了EM算法。如果信息完全（每次投哪個(gè)幣，投幾次，結(jié)果如何），求解過(guò)程如圖。EM步驟：樣本數(shù)據(jù)x={x1,x2,...,xm}，聯(lián)合分布p(x,z;θ)，條件分布p(z|x;θ)，最大迭代次數(shù)J。1、隨機(jī)初始化模型參數(shù)θ的初始值θ0

2、開始EM算法的迭代處理：E步：計(jì)算聯(lián)合分布的條件概率M步：極大化L函數(shù)，得到θj+1如果θj+1已經(jīng)收斂，則算法結(jié)束，輸出最終的模型參數(shù)θ，否則繼續(xù)迭代處理。EM算法4基本思想1集成學(xué)習(xí)使用場(chǎng)景211.4.4集成學(xué)習(xí)半監(jiān)督學(xué)習(xí)3Bagging4Boosting5隨機(jī)森林6集成學(xué)習(xí)1基本思想應(yīng)用場(chǎng)景(1)用于分類的特征可能屬于不同類型，例如統(tǒng)計(jì)特征和結(jié)構(gòu)特征，將它們直接組合起來(lái)構(gòu)成單個(gè)分類器是很困難的。因此，將它們各自通過(guò)分類器分類，再進(jìn)行組合是一個(gè)很好的解決辦法。(2)如果特征的維數(shù)太大，只用一個(gè)分類器進(jìn)行識(shí)別會(huì)比較復(fù)雜。此時(shí)，將高維的特征向量分解成幾個(gè)低維向量，分別作為一個(gè)分類器的輸入，再進(jìn)行組合也是一個(gè)好方法，這是因?yàn)槎喾诸惼鹘M合對(duì)單個(gè)分類器的性能要求相對(duì)較低。(3)不同分類器之間存在差異性。每一種分類方法都有其自身的優(yōu)勢(shì)和局限性，其精度和適用范圍也有一定限度。通過(guò)這種差異性可以利用多個(gè)分類器進(jìn)行互補(bǔ)，提高分類性能。集成學(xué)習(xí)（多個(gè)學(xué)習(xí)器融合）能夠在一定程度上彌補(bǔ)單個(gè)學(xué)習(xí)器泛化能力低的缺陷。下圖給出由三個(gè)線性分類器集成實(shí)現(xiàn)二分類的示例。1半監(jiān)督學(xué)習(xí)Bagging半監(jiān)督學(xué)習(xí)是有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方式。主要是用來(lái)解決使用少量帶標(biāo)簽的數(shù)據(jù)和大量沒有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練和分類的問題。集成學(xué)習(xí)1Bosting隨機(jī)森林集成學(xué)習(xí)過(guò)擬合和欠擬合11.5.1交叉驗(yàn)證11.5.211.5學(xué)習(xí)模型評(píng)估混淆矩陣11.5.3過(guò)擬合和欠擬合1過(guò)擬合欠擬合對(duì)于訓(xùn)練好的模型，若在訓(xùn)練集表現(xiàn)差，在測(cè)試集表現(xiàn)同樣會(huì)很差，這可能是欠擬合導(dǎo)致。欠擬合是指模型擬合程度不高，數(shù)據(jù)距離擬合曲線較遠(yuǎn)，或指模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地?cái)M合數(shù)據(jù)。若在訓(xùn)練集表現(xiàn)非常好，但在測(cè)試集上表現(xiàn)很差，這可能是過(guò)擬合導(dǎo)致。過(guò)擬合是指為了使學(xué)習(xí)模型得到一致假設(shè)而使假設(shè)變得過(guò)度復(fù)雜。避免過(guò)擬合是學(xué)習(xí)模型設(shè)計(jì)中的一個(gè)核心任務(wù)。通常采用增大數(shù)據(jù)量和測(cè)試樣本集的方法對(duì)分類器性能進(jìn)行評(píng)價(jià)。過(guò)擬合和欠擬合1欠擬合

恰當(dāng)擬合

過(guò)擬合2交叉驗(yàn)證交叉驗(yàn)證的概念很簡(jiǎn)單。以10倍交叉驗(yàn)證為例，給定一個(gè)數(shù)據(jù)集，隨機(jī)分割10份，使用其中的9份來(lái)建模，用最后的那1份度量模型的性能，重復(fù)選擇不同的9份構(gòu)成訓(xùn)練集，余下的那1份用作測(cè)試，需要重復(fù)10次，10次測(cè)試的平均作為最后的模型性能度量交叉驗(yàn)證3TP(真陽(yáng)性)表示陽(yáng)性樣本經(jīng)過(guò)正確分類之后被判為陽(yáng)性。TN(真陰性)表示陰性樣本經(jīng)過(guò)正確分類之后被判為陰性。FP(假陽(yáng)性)表示陰性樣本經(jīng)過(guò)錯(cuò)誤分類之后被判為陽(yáng)性。FN(假陰性)表示陽(yáng)性樣本經(jīng)過(guò)錯(cuò)誤分類之后被判為陰性?；煜仃噺纳窠?jīng)網(wǎng)絡(luò)談起15.6.1深度學(xué)習(xí)基本原理15.6.211.6深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)CNN15.6.3神經(jīng)網(wǎng)絡(luò)概述1神經(jīng)元211.6.1從神經(jīng)網(wǎng)絡(luò)談起人工神經(jīng)網(wǎng)絡(luò)3神經(jīng)網(wǎng)絡(luò)概述1

深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的發(fā)展。雖然真正意義上的人工神經(jīng)網(wǎng)絡(luò)誕生于1980年代，但遺憾的是神經(jīng)網(wǎng)絡(luò)在過(guò)去很長(zhǎng)一段時(shí)間內(nèi)并沒有得到大規(guī)模的成功應(yīng)用，直到2006年，情況才慢慢改觀。

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)寫為ANN），它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。神經(jīng)元2邏輯結(jié)構(gòu)物理結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)3多個(gè)神經(jīng)元，按如下規(guī)則組成神經(jīng)網(wǎng)絡(luò)：（1）計(jì)算自下而上，所以稱為前饋；（2）同層沒有連接；（3）每一層可以看作一個(gè)空間，層的神經(jīng)元個(gè)數(shù)為空間維數(shù)；（4）輸出層是輸入層的復(fù)合函數(shù)；所謂深度網(wǎng)絡(luò)就是具有很多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，或深度網(wǎng)絡(luò)。用ANN方法解決多層網(wǎng)絡(luò)帶來(lái)的問題（1）要訓(xùn)練的參數(shù)太多；對(duì)硬件要求高、數(shù)據(jù)要多、算法要優(yōu)；（2）非凸優(yōu)化問題；陷入局部極值，對(duì)參數(shù)初始值敏感；（3）梯度彌散問題；對(duì)低層的參數(shù)調(diào)整越來(lái)越困難，甚至不收斂。因此，深度網(wǎng)絡(luò)研究曾一度處于停滯狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)3動(dòng)機(jī)1局部感知211.6.2深度學(xué)習(xí)基本原理權(quán)值共享3深度學(xué)習(xí)與傳統(tǒng)學(xué)習(xí)對(duì)比4動(dòng)機(jī)1受大腦層次認(rèn)知結(jié)構(gòu)啟發(fā)局部感知2原理每個(gè)神經(jīng)元只與上一層的部分神經(jīng)元相連，只感知局部，而不是整幅圖像。（滑窗實(shí)現(xiàn)）原理：局部像素關(guān)系緊密，較遠(yuǎn)像素相關(guān)性弱。通過(guò)在更高層將局部的信息綜合起來(lái)就得到了全局的信息。權(quán)值共享3原理從一個(gè)局部區(qū)域?qū)W習(xí)到的信息，應(yīng)用到圖像的其它地方去。原理：圖像的局部特征在整幅圖像上具有重復(fù)性（即位置無(wú)關(guān)性）。深度學(xué)習(xí)與傳統(tǒng)學(xué)習(xí)對(duì)比4人類對(duì)目標(biāo)的識(shí)別過(guò)程1讀取圖片211.6.3卷積