模式識別 與物聯(lián)網(wǎng)

模式識別與物聯(lián)網(wǎng)第1頁，課件共33頁，創(chuàng)作于2023年2月目錄1.神經(jīng)網(wǎng)絡(luò)概念及優(yōu)點(diǎn)2.神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型3.神經(jīng)網(wǎng)絡(luò)分類4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)系統(tǒng)5.介紹神經(jīng)網(wǎng)絡(luò)分類和傳統(tǒng)分類器6.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和泛化7.特征變量選擇8.誤分類代價(jià)第2頁，課件共33頁，創(chuàng)作于2023年2月什么是人工神經(jīng)網(wǎng)絡(luò)？國際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人HechtNielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入狀態(tài)進(jìn)行信息處理?！?/p>

第3頁，課件共33頁，創(chuàng)作于2023年2月人工神經(jīng)網(wǎng)絡(luò)有什么優(yōu)點(diǎn)？(1)可以充分逼近任意復(fù)雜的非線性關(guān)系；(2)所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性；(3)采用并行分布處理方法，可以進(jìn)行快速大量的運(yùn)算；(4)可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；(5)能夠同時(shí)處理定量、定性知識。

第4頁，課件共33頁，創(chuàng)作于2023年2月優(yōu)點(diǎn)表現(xiàn)？第一，具有自學(xué)習(xí)功能，預(yù)期未來。第二，具有聯(lián)想存儲功能。第三，具有高速尋找優(yōu)化解的能力。第5頁，課件共33頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型X1，X2，……，Xn是神經(jīng)元的輸入，即是來自前級n個(gè)神經(jīng)元的軸突的信息A是i神經(jīng)元的閻值；Wi1，Wi2……，Win分別是i神經(jīng)元對X1，X2，……，Xn的權(quán)系數(shù)，Yi是i神經(jīng)元的輸出；f[·]是激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X1，X2，……，Xn的共同刺激達(dá)到閥值時(shí)以何種方式輸出。

第6頁，課件共33頁，創(chuàng)作于2023年2月激發(fā)函數(shù)f[·]有多種形式，其中最常見的有階躍型、線性型和S型三種形式：階躍型激發(fā)函數(shù)，它的輸出是電位脈沖，這種激發(fā)函數(shù)的神經(jīng)元稱離散輸出模型。線性激發(fā)函數(shù)，它的輸出是隨輸入的激發(fā)總量成正比的；這種神經(jīng)元稱線性連續(xù)型模型。s型激發(fā)函數(shù)，它的輸出是非線性的；這種神經(jīng)元稱非線性連續(xù)型模型。

第7頁，課件共33頁，創(chuàng)作于2023年2月

在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(自適應(yīng)共振理論)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型，它由相同的神經(jīng)元構(gòu)成的單層，并且具有學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對稱連接。這個(gè)網(wǎng)絡(luò)通過學(xué)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。它是目前人們研究得最多的模型之一。第8頁，課件共33頁，創(chuàng)作于2023年2月

BP網(wǎng)絡(luò)是反向傳播(BackPropagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語言綜合，識別和自適應(yīng)控制等用途。BP網(wǎng)絡(luò)需有教師訓(xùn)練。Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元；而輸出層是二維的神經(jīng)元，神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而，在輸出層中，神經(jīng)元之間有近揚(yáng)遠(yuǎn)抑的反饋特性；從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測器。

第9頁，課件共33頁，創(chuàng)作于2023年2月

ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性，穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用．ART網(wǎng)絡(luò)主要用于模式識別，它不足之處是在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感。第10頁，課件共33頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可以粗略分成3類:1.相關(guān)學(xué)習(xí)規(guī)則這種規(guī)則只根據(jù)連接間的激活水平改變權(quán)系數(shù)。常用于自聯(lián)想網(wǎng)絡(luò)，如Hopfield網(wǎng)絡(luò)2.糾錯(cuò)學(xué)習(xí)規(guī)則這種規(guī)則根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。按局部改善最大的方向一步步進(jìn)行優(yōu)化，從而最終找到全局優(yōu)化值。感知器學(xué)習(xí)就采用這種糾錯(cuò)學(xué)習(xí)規(guī)則．例如BP算法。用于統(tǒng)計(jì)性算法的模擬退火算法也屬于這種學(xué)習(xí)規(guī)則。3.無監(jiān)督學(xué)習(xí)規(guī)則。它是一種對輸入測檢進(jìn)行自適應(yīng)的學(xué)習(xí)規(guī)則。ART網(wǎng)絡(luò)的自組織學(xué)習(xí)算法即屬于這一類。第11頁，課件共33頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過程

這個(gè)過程可分為兩個(gè)階段；執(zhí)行階段和學(xué)習(xí)階段。下面以前向網(wǎng)絡(luò)情況說明這兩個(gè)階段。1．執(zhí)行階段:指神經(jīng)網(wǎng)絡(luò)對輸入信息進(jìn)行處理，并產(chǎn)生對應(yīng)的輸出過程。第12頁，課件共33頁，創(chuàng)作于2023年2月2．學(xué)習(xí)階段:

學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自我完善的階段；這時(shí)，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)系數(shù)Wij，以使到結(jié)定的測度函數(shù)E達(dá)到最小。神經(jīng)網(wǎng)絡(luò)對信息的學(xué)習(xí)是為了取得對信息的適應(yīng)特性，或信息的特征；而神經(jīng)網(wǎng)絡(luò)對信息的執(zhí)行過程是對特征的檢索或者是對信息的分類過程。第13頁，課件共33頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)框圖輸入部接收外來的輸入樣本X，由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù)W調(diào)整，然后由輸出部輸出結(jié)果。在這個(gè)過程中，期望的輸出信號可以作為教師信號輸入，由該教師信號與實(shí)際輸出進(jìn)行比較，產(chǎn)生的誤差去控制修改權(quán)系數(shù)W。

第14頁，課件共33頁，創(chuàng)作于2023年2月感知器是有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，由線性元件及閥值元件組成。感知器如圖所示。

感知器的最大作用就是可以用于分類，可以用做分類器A類B類第15頁，課件共33頁，創(chuàng)作于2023年2月上面感知器的傳遞函數(shù)是階躍函數(shù)，它可以用作分類器。由于感知器學(xué)習(xí)算法因其傳遞函數(shù)的簡單而存在局限性。存在問題：即如果函數(shù)不是線性可分時(shí)，則求不出結(jié)果；另外，不能推廣到一般前饋網(wǎng)絡(luò)中。解決辦法：提出另一種算法——梯度算法(也即是LMS法)。為了能實(shí)現(xiàn)梯度算法，需把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù)，例如Sigmoid函數(shù)，

第16頁，課件共33頁，創(chuàng)作于2023年2月反向傳播學(xué)習(xí)的BP算法；感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中．它只能改變最后權(quán)系數(shù)。因此，感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無反饋的多層前向網(wǎng)絡(luò)。故而．有時(shí)也稱無反饋多層前向網(wǎng)絡(luò)為BP模型。BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一第17頁，課件共33頁，創(chuàng)作于2023年2月BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法，第18頁，課件共33頁，創(chuàng)作于2023年2月反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。1．正向傳播輸入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。2．反向傳播反向傳播時(shí)，把誤差信號按原來正向傳播的通路反向傳回，并對每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小。第19頁，課件共33頁，創(chuàng)作于2023年2月傳統(tǒng)的分類過程基于概率模型的貝葉斯決策理論，其局限性是只有當(dāng)滿足已知的概率條件時(shí)才能夠取得很好的效果。由于神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，神經(jīng)網(wǎng)絡(luò)用于分類可以取代若干傳統(tǒng)的分類方法。在先驗(yàn)概率不知道的情況下，也可以取的很好的效果。第20頁，課件共33頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)用于后驗(yàn)概率估計(jì)考慮一個(gè)映射函數(shù) 對函數(shù)F應(yīng)用最小均方估計(jì)理論，最小期望均方誤差 是給定x，y的條件期望，在分類問題中，輸出y是二進(jìn)制值向量，如果x屬于第j類，那么第j個(gè)基向量是 F(x)的第j個(gè)元素由上得出，映射函數(shù)的最小二乘估計(jì)在分類問題中就是后驗(yàn)概率第21頁，課件共33頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的分類器統(tǒng)計(jì)模式分類是基于貝葉斯決策理論的后驗(yàn)概率，是線性的，而神經(jīng)網(wǎng)絡(luò)分類是非線性的，兩者沒有直接關(guān)系，但是當(dāng)神經(jīng)網(wǎng)絡(luò)采用階梯函數(shù)的分類器時(shí)，神經(jīng)網(wǎng)絡(luò)分類器的判決函數(shù)可以和貝葉斯后驗(yàn)概率分類器等價(jià)。邏輯回歸也是分類工具，實(shí)際上它是標(biāo)準(zhǔn)的統(tǒng)計(jì)方法，它的性能優(yōu)于判決分析。邏輯回歸可以認(rèn)為是后驗(yàn)概率。第22頁，課件共33頁，創(chuàng)作于2023年2月學(xué)習(xí)和泛化是神經(jīng)網(wǎng)絡(luò)研究的最重要的主題之一，學(xué)習(xí)通過數(shù)據(jù)的訓(xùn)練后輸出近似于輸入的能力，泛化是預(yù)測未知的能力。過擬合對訓(xùn)練樣本的輸出很好，但預(yù)測能力差，欠擬合預(yù)測能力強(qiáng)，但是和期望輸出的誤差大。簡單的模型，比如線性分類器一般會欠擬合，復(fù)雜靈活的模型，比如神經(jīng)網(wǎng)絡(luò)趨向于過擬合。欠擬合和過擬合可以通過預(yù)測錯(cuò)誤偏差和協(xié)方差的分解來分析。第23頁，課件共33頁，創(chuàng)作于2023年2月對于一個(gè)確定的數(shù)據(jù)集，模型的偏差和協(xié)方差是矛盾的，一個(gè)減少，另一個(gè)就會增大，比較好的神經(jīng)網(wǎng)絡(luò)分類器一般根據(jù)情況選擇一個(gè)折中的辦法。不失一般性，設(shè)輸入x，輸出為y，

由后驗(yàn)概率模型可知，第24頁，課件共33頁，創(chuàng)作于2023年2月設(shè)訓(xùn)練數(shù)據(jù)集DN的尺寸為N，輸出的實(shí)際值是f（x;DN），那么均方誤差錯(cuò)誤

均方估計(jì)誤差對數(shù)據(jù)集很敏感，改變數(shù)據(jù)集或采樣大小，都會影響均方誤差，第25頁，課件共33頁，創(chuàng)作于2023年2月模型的總體預(yù)測誤差

ED表示樣本大小為N的所以可能隨機(jī)樣本的期望。右面第一項(xiàng) 獨(dú)立于訓(xùn)練樣本和基函數(shù)，它反映了由于數(shù)據(jù)的固有噪聲而產(chǎn)生的固有誤差。右面第二項(xiàng)可以分解為 上面第一項(xiàng)是模型偏差的平方，第二項(xiàng)是模型協(xié)方差 第26頁，課件共33頁，創(chuàng)作于2023年2月減少預(yù)測誤差的方法：神經(jīng)網(wǎng)絡(luò)模型對于給定的訓(xùn)練數(shù)據(jù)一般輸出的偏差很小，但是潛在的風(fēng)險(xiǎn)是其泛化的協(xié)方差比較大。D和K指出，在機(jī)器學(xué)習(xí)背景下，協(xié)方差的指標(biāo)性能比預(yù)測性能差的學(xué)習(xí)偏差更重要。為此，我們要求找到一些減少協(xié)方差方法。減少過擬合的方法

1.交叉驗(yàn)證法

2.處罰訓(xùn)練法

3.權(quán)值衰減和節(jié)點(diǎn)變化法第27頁，課件共33頁，創(chuàng)作于2023年2月多分類器結(jié)合使用，可以減少泛化錯(cuò)誤。而且性能比單個(gè)分類器單獨(dú)使用效果要好，條件是各個(gè)分類器是無偏且獨(dú)立的。結(jié)合多分類器方法：不同網(wǎng)絡(luò)結(jié)構(gòu)相同網(wǎng)絡(luò)結(jié)構(gòu)，但1.算法不同，2.初始權(quán)值不同，3.分類器不同。結(jié)合多分類器可以減少誤差主要是減少了模型的輸出方差，而不是輸出的偏差。分類器彼此之間越不相關(guān)，結(jié)合后綜合效果越好第28頁，課件共33頁，創(chuàng)作于2023年2月減少相關(guān)性的方法：選擇不同的特征變量（比相同特征變量不同結(jié)構(gòu)效果好）訓(xùn)練不同的數(shù)據(jù)集雖然結(jié)合分類器的方法比使用單個(gè)分類器要好，但還有一些問題存在，包括：結(jié)合中分類器的選擇結(jié)合規(guī)模大小結(jié)合分類器的最佳方式上面這些問題還沒有一個(gè)確定標(biāo)準(zhǔn)，都要憑借經(jīng)驗(yàn)來確定。第29頁，課件共33頁，創(chuàng)作于2023年2月在建立神經(jīng)網(wǎng)絡(luò)模型和其它分類器中，特征變量的選擇很重要。特征變量選擇的目的是尋找最小的特征集，使它可以滿足預(yù)測性能。在模式識別里的一些關(guān)于統(tǒng)計(jì)特征選擇標(biāo)準(zhǔn)和算法不能直接用于神經(jīng)網(wǎng)絡(luò)分類器中，由于神經(jīng)網(wǎng)絡(luò)是非線性網(wǎng)絡(luò)。特征變量選擇中一個(gè)比較流行的方法是主成分分析法（PCA）,PCA是一個(gè)統(tǒng)計(jì)技術(shù)，它可以減少特征變量維數(shù)而不損失包含在原始數(shù)據(jù)中的固有信息。PCA是一個(gè)無監(jiān)督學(xué)習(xí)過程，它不考慮輸入變量和目標(biāo)輸出之間的關(guān)系，另外，PCA是一個(gè)線性維數(shù)減少的技術(shù)，它不適于非線性的復(fù)雜結(jié)構(gòu)。第30頁，課件共33頁，創(chuàng)作于2023年2月在大部分文獻(xiàn)中，對誤分類代價(jià)研究的比較少，一般都是考慮誤分類代價(jià)是相等的，最后找到總的最小誤分類代價(jià)。但是這個(gè)結(jié)果并不可靠。而實(shí)際應(yīng)用中，比如銀行破產(chǎn)預(yù)測，信用危機(jī)分析，醫(yī)療診斷等