模式識別 與物聯(lián)網(wǎng)

1、模式識別 與物聯(lián)網(wǎng)第1頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四目錄1.神經(jīng)網(wǎng)絡(luò)概念及優(yōu)點(diǎn)2.神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型3.神經(jīng)網(wǎng)絡(luò)分類4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)系統(tǒng)5.介紹神經(jīng)網(wǎng)絡(luò)分類和傳統(tǒng)分類器6.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和泛化7.特征變量選擇8.誤分類代價第2頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四什么是人工神經(jīng)網(wǎng)絡(luò)？國際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人Hecht Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入狀態(tài)進(jìn)行信息處理?！?第3頁，共33頁，2022年，5月20日，6點(diǎn)25

2、分，星期四人工神經(jīng)網(wǎng)絡(luò)有什么優(yōu)點(diǎn)？(1)可以充分逼近任意復(fù)雜的非線性關(guān)系； (2)所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯性； (3)采用并行分布處理方法，可以進(jìn)行快速大量的運(yùn)算； (4)可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)； (5)能夠同時處理定量、定性知識。 第4頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四優(yōu)點(diǎn)表現(xiàn)？第一，具有自學(xué)習(xí)功能，預(yù)期未來 。第二，具有聯(lián)想存儲功能。 第三，具有高速尋找優(yōu)化解的能力。第5頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型X1，X2，Xn是神經(jīng)元的輸入，即是來自前級n個神經(jīng)元的軸突的信

3、息A是i神經(jīng)元的閻值；Wi1，Wi2，Win分別是i神經(jīng)元對X1，X2，Xn的權(quán)系數(shù)，Yi是i神經(jīng)元的輸出；f是激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X1，X2，Xn的共同刺激達(dá)到閥值時以何種方式輸出。 第6頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四激發(fā)函數(shù)f有多種形式，其中最常見的有階躍型、線性型和S型三種形式：階躍型激發(fā)函數(shù)，它的輸出是電位脈沖，這種激發(fā)函數(shù)的神經(jīng)元稱離散輸出模型。 線性激發(fā)函數(shù)，它的輸出是隨輸入的激發(fā)總量成正比的；這種神經(jīng)元稱線性連續(xù)型模型。s型激發(fā)函數(shù)，它的輸出是非線性的；這種神經(jīng)元稱非線性連續(xù)型模型。 第7頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期

4、四 在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(自適應(yīng)共振理論)網(wǎng)絡(luò)。 Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型，它由相同的神經(jīng)元構(gòu)成的單層，并且具有學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對稱連接。這個網(wǎng)絡(luò)通過學(xué)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。它是目前人們研究得最多的模型之一。第8頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四 BP網(wǎng)絡(luò)是反向傳播(Back Propagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語言綜合，識別和自適應(yīng)控制等用途。BP網(wǎng)絡(luò)需有教師訓(xùn)練。Koh

5、onen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元；而輸出層是二維的神經(jīng)元，神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而，在輸出層中，神經(jīng)元之間有近揚(yáng)遠(yuǎn)抑的反饋特性；從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測器。 第9頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四 ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性，穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個功能互補(bǔ)的子系統(tǒng)相互作用ART網(wǎng)絡(luò)主要用于模式識別，它不足之處是在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感。 第10頁，共33頁，20

6、22年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可以粗略分成3類:1.相關(guān)學(xué)習(xí)規(guī)則 這種規(guī)則只根據(jù)連接間的激活水平改變權(quán)系數(shù)。常用于自聯(lián)想網(wǎng)絡(luò)，如Hopfield網(wǎng)絡(luò)2.糾錯學(xué)習(xí)規(guī)則 這種規(guī)則根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。按局部改善最大的方向一步步進(jìn)行優(yōu)化，從而最終找到全局優(yōu)化值。感知器學(xué)習(xí)就采用這種糾錯學(xué)習(xí)規(guī)則例如BP算法。用于統(tǒng)計(jì)性算法的模擬退火算法也屬于這種學(xué)習(xí)規(guī)則。3.無監(jiān)督學(xué)習(xí)規(guī)則。它是一種對輸入測檢進(jìn)行自適應(yīng)的學(xué)習(xí)規(guī)則。ART網(wǎng)絡(luò)的自組織學(xué)習(xí)算法即屬于這一類。 第11頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過程 這個過程可分為兩個階

7、段；執(zhí)行階段和學(xué)習(xí)階段。下面以前向網(wǎng)絡(luò)情況說明這兩個階段。 1執(zhí)行階段 :指神經(jīng)網(wǎng)絡(luò)對輸入信息進(jìn)行處理，并產(chǎn)生對應(yīng)的輸出過程。第12頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四2學(xué)習(xí)階段 : 學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自我完善的階段；這時，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)系數(shù)Wij，以使到結(jié)定的測度函數(shù)E達(dá)到最小。 神經(jīng)網(wǎng)絡(luò)對信息的學(xué)習(xí)是為了取得對信息的適應(yīng)特性，或信息的特征；而神經(jīng)網(wǎng)絡(luò)對信息的執(zhí)行過程是對特征的檢索或者是對信息的分類過程。 第13頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)框圖輸入部接收外來的輸入樣本X，由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù)W調(diào)整，然后由

8、輸出部輸出結(jié)果。在這個過程中，期望的輸出信號可以作為教師信號輸入，由該教師信號與實(shí)際輸出進(jìn)行比較，產(chǎn)生的誤差去控制修改權(quán)系數(shù)W。 第14頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四感知器是有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，由線性元件及閥值元件組成。感知器如圖所示。 感知器的最大作用就是可以用于分類，可以用做分類器A 類B類第15頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四上面感知器的傳遞函數(shù)是階躍函數(shù)，它可以用作分類器。由于感知器學(xué)習(xí)算法因其傳遞函數(shù)的簡單而存在局限性。 存在問題：即如果函數(shù)不是線性可分時，則求不出結(jié)果；另外，不能推廣到一般前饋網(wǎng)絡(luò)中。 解決辦法：提出另一種算法

9、梯度算法(也即是LMS法)。 為了能實(shí)現(xiàn)梯度算法，需把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù)，例如Sigmoid函數(shù)， 第16頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四反向傳播學(xué)習(xí)的BP算法 ；感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中它只能改變最后權(quán)系數(shù)。因此，感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。 BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無反饋的多層前向網(wǎng)絡(luò)。故而有時也稱無反饋多層前向網(wǎng)絡(luò)為BP模型。 BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一 第17頁，共33頁，2022年，5月20日，6點(diǎn)25分，

10、星期四BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法， 第18頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。 1正向傳播輸入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。2反向傳播反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小。第19頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四傳統(tǒng)的分類

11、過程基于概率模型的貝葉斯決策理論，其局限性是只有當(dāng)滿足已知的概率條件時才能夠取得很好的效果。由于神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，神經(jīng)網(wǎng)絡(luò)用于分類可以取代若干傳統(tǒng)的分類方法。在先驗(yàn)概率不知道的情況下，也可以取的很好的效果。第20頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)用于后驗(yàn)概率估計(jì)考慮一個映射函數(shù)對函數(shù)F應(yīng)用最小均方估計(jì)理論，最小期望均方誤差 是給定x，y的條件期望 ，在分類問題中，輸出y是二進(jìn)制值向量，如果x屬于第j類，那么第j個基向量是 F(x)的第j個元素 由上得出，映射函數(shù)的最小二乘估計(jì)在分類問題中就是后驗(yàn)概率第21頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)

12、絡(luò)和傳統(tǒng)的分類器統(tǒng)計(jì)模式分類是基于貝葉斯決策理論的后驗(yàn)概率，是線性的，而神經(jīng)網(wǎng)絡(luò)分類是非線性的，兩者沒有直接關(guān)系，但是當(dāng)神經(jīng)網(wǎng)絡(luò)采用階梯函數(shù)的分類器時，神經(jīng)網(wǎng)絡(luò)分類器的判決函數(shù)可以和貝葉斯后驗(yàn)概率分類器等價。邏輯回歸也是分類工具，實(shí)際上它是標(biāo)準(zhǔn)的統(tǒng)計(jì)方法，它的性能優(yōu)于判決分析。邏輯回歸可以認(rèn)為是后驗(yàn)概率。第22頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四學(xué)習(xí)和泛化是神經(jīng)網(wǎng)絡(luò)研究的最重要的主題之一，學(xué)習(xí)通過數(shù)據(jù)的訓(xùn)練后輸出近似于輸入的能力，泛化是預(yù)測未知的能力。過擬合對訓(xùn)練樣本的輸出很好，但預(yù)測能力差，欠擬合預(yù)測能力強(qiáng)，但是和期望輸出的誤差大。簡單的模型，比如線性分類器一般會欠擬合，

13、復(fù)雜靈活的模型，比如神經(jīng)網(wǎng)絡(luò)趨向于過擬合。欠擬合和過擬合可以通過預(yù)測錯誤偏差和協(xié)方差的分解來分析。第23頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四對于一個確定的數(shù)據(jù)集，模型的偏差和協(xié)方差是矛盾的，一個減少，另一個就會增大，比較好的神經(jīng)網(wǎng)絡(luò)分類器一般根據(jù)情況選擇一個折中的辦法。不失一般性，設(shè)輸入x，輸出為y，由后驗(yàn)概率模型可知，第24頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四設(shè)訓(xùn)練數(shù)據(jù)集DN的尺寸為N，輸出的實(shí)際值是f（x;DN）， 那么均方誤差錯誤均方估計(jì)誤差對數(shù)據(jù)集很敏感，改變數(shù)據(jù)集或采樣大小，都會影響均方誤差，第25頁，共33頁，2022年，5月20日，6點(diǎn)25

14、分，星期四模型的總體預(yù)測誤差ED表示樣本大小為N的所以可能隨機(jī)樣本的期望。右面第一項(xiàng) 獨(dú)立于訓(xùn)練樣本和基函數(shù)，它反映了由于數(shù)據(jù)的固有噪聲而產(chǎn)生的固有誤差。右面第二項(xiàng)可以分解為上面第一項(xiàng)是模型偏差的平方，第二項(xiàng)是模型協(xié)方差第26頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四減少預(yù)測誤差的方法：神經(jīng)網(wǎng)絡(luò)模型對于給定的訓(xùn)練數(shù)據(jù)一般輸出的偏差很小，但是潛在的風(fēng)險(xiǎn)是其泛化的協(xié)方差比較大。D和K指出，在機(jī)器學(xué)習(xí)背景下，協(xié)方差的指標(biāo)性能比預(yù)測性能差的學(xué)習(xí)偏差更重要。為此，我們要求找到一些減少協(xié)方差方法。減少過擬合的方法1.交叉驗(yàn)證法 2.處罰訓(xùn)練法 3.權(quán)值衰減和節(jié)點(diǎn)變化法第27頁，共33頁，20

15、22年，5月20日，6點(diǎn)25分，星期四多分類器結(jié)合使用，可以減少泛化錯誤。而且性能比單個分類器單獨(dú)使用效果要好，條件是各個分類器是無偏且獨(dú)立的。結(jié)合多分類器方法：不同網(wǎng)絡(luò)結(jié)構(gòu)相同網(wǎng)絡(luò)結(jié)構(gòu)，但1.算法不同，2.初始權(quán)值不同，3.分類器不同。結(jié)合多分類器可以減少誤差主要是減少了模型的輸出方差，而不是輸出的偏差。分類器彼此之間越不相關(guān)，結(jié)合后綜合效果越好第28頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四減少相關(guān)性的方法：選擇不同的特征變量（比相同特征變量不同結(jié)構(gòu)效果好）訓(xùn)練不同的數(shù)據(jù)集雖然結(jié)合分類器的方法比使用單個分類器要好，但還有一些問題存在，包括： 結(jié)合中分類器的選擇 結(jié)合規(guī)模大小

16、結(jié)合分類器的最佳方式 上面這些問題還沒有一個確定標(biāo)準(zhǔn)，都要憑借經(jīng)驗(yàn)來確定。第29頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四在建立神經(jīng)網(wǎng)絡(luò)模型和其它分類器中，特征變量的選擇很重要。特征變量選擇的目的是尋找最小的特征集，使它可以滿足預(yù)測性能。在模式識別里的一些關(guān)于統(tǒng)計(jì)特征選擇標(biāo)準(zhǔn)和算法不能直接用于神經(jīng)網(wǎng)絡(luò)分類器中，由于神經(jīng)網(wǎng)絡(luò)是非線性網(wǎng)絡(luò)。特征變量選擇中一個比較流行的方法是主成分分析法（PCA）,PCA是一個統(tǒng)計(jì)技術(shù)，它可以減少特征變量維數(shù)而不損失包含在原始數(shù)據(jù)中的固有信息。PCA是一個無監(jiān)督學(xué)習(xí)過程，它不考慮輸入變量和目標(biāo)輸出之間的關(guān)系，另外，PCA是一個線性維數(shù)減少的技術(shù)，它不適于非線性的復(fù)雜結(jié)構(gòu)。第30頁，共33頁，2022年，5月20日，6點(diǎn)25分，星期四在大部分文獻(xiàn)中，對誤分類代價研究的比較少，一般都是考慮誤分類代價是相等的，最后找到總的最小誤分類代價。但是這個結(jié)果并不可靠。而實(shí)際應(yīng)用中，比如銀行破產(chǎn)預(yù)測，信用危機(jī)分析，醫(yī)療診斷等，誤分類錯誤在不同組的不同類別中的代價顯著不同。它們對分類結(jié)果