數(shù)字圖像處理第9章資料

1、本章指導(dǎo)：重點(diǎn)掌握圖像匹配與識別技術(shù)的基本概念以及常用(chn yn)圖像匹配與識別方法，如基于匹配的識別、統(tǒng)計模式識別、句法模式識別等，對模糊模式識別、人工神經(jīng)網(wǎng)絡(luò)識別和支持向量機(jī)識別等有初步了解。第9章 圖像匹配與識別(shbi) 共五十七頁9.1 模式(msh)與模式(msh)識別 9.2 基于匹配的識別技術(shù) 9.3 統(tǒng)計模式識別 9.4 句法模式識別 9.5 模糊模式識別方法9.6 人工神經(jīng)網(wǎng)絡(luò)識別法 9.7 統(tǒng)計學(xué)習(xí)理論和支持向量機(jī)識別方法9.8 小結(jié)第9章 圖像匹配與識別(shbi) 共五十七頁9.1模式(msh)與模式(msh)識別 9.1.1 模式的概念 模式識別(patter

2、n recognition)作為一門學(xué)科有其系統(tǒng)的理論基礎(chǔ)和技術(shù)方法。 模式識別屬于圖像分析的范疇，它所得到的結(jié)果是一幅由明確意義的數(shù)值或符號構(gòu)成的圖像或圖形文件，而不再是一幅具有隨機(jī)分布性質(zhì)的圖像 。 模式識別的目的是對圖像中的物體進(jìn)行分類，或者可以說是找出圖像中有哪些物體。模式就是存在于時間和空間中，可以區(qū)別它們是否相同或相似的可觀察的事物。但模式所指的不是事物本身，而是從事物中獲取的信息。因此(ync)模式往往表現(xiàn)為具有時間和空間分布的信息。 共五十七頁9.1.2 模式識別(m sh sh bi)系統(tǒng) 模式識別技術(shù)起源于人類自身對事物的認(rèn)知分析過程，是依據(jù)一定的量度或觀測基礎(chǔ)把待識別模式

3、劃分到各自的模式類中取得過程。模式類是指模式所屬的類別或同一類中模式的總體。 模式識別實(shí)際上包含了以下(yxi)兩個步驟：（1）特征提取和選擇（2）決策分類共五十七頁模式識別系統(tǒng)(xtng)的基本構(gòu)成信息獲取數(shù)據(jù)預(yù)處理特征提取和選擇分類器設(shè)計分類決策訓(xùn)練過程輸出結(jié)果共五十七頁信息獲取部分 為了使計算機(jī)能夠?qū)Ω鞣N現(xiàn)象進(jìn)行分類識別，首先利用各種輸入設(shè)備將要識別對象的信息輸入計算機(jī)。 通過測量(cling)、采樣和量化，可以用矩陣或者向量來表示待識別對象的信息，這就是信息獲取的過程。 預(yù)處理部分 預(yù)處理的目的就是去除噪聲，加強(qiáng)有用的信息，并對輸入測量儀器或其他因素所造成的退化現(xiàn)象進(jìn)行復(fù)原。 對于(d

4、uy)數(shù)字圖像來說，預(yù)處理就是應(yīng)用前面講到的圖像復(fù)原、增強(qiáng)和變換等技術(shù)對圖像進(jìn)行處理，提高圖像的視覺效果，優(yōu)化各種統(tǒng)計指標(biāo)，為特征提取提供高質(zhì)量的圖像。共五十七頁特征提取和選擇 由于待識別對象的數(shù)據(jù)量可能是相當(dāng)大的，為了有效的實(shí)現(xiàn)分類識別，就要對原始數(shù)據(jù)進(jìn)行某種變換(binhun)，得到最能反映分類本質(zhì)的特征。這就是特征提取和選擇的過程。 決策分類 分類決策就是利用特征空間中獲得的信息，對計算機(jī)進(jìn)行訓(xùn)練，從而制定判別標(biāo)準(zhǔn)，用某種方法把待識別對象歸為某一類別的過程。 共五十七頁9.1.3 模式識別(m sh sh bi)方法的分類 統(tǒng)計(tngj)模式識別方法 基本思想是將提取的特征向量定義在一

5、個特征空間中，不同類別的對象都對應(yīng)于空間中的一點(diǎn)，在分類階段，利用統(tǒng)計決策原理對特征空間進(jìn)行劃分，從而識別不同特征的對象。統(tǒng)計模式識別的主要方法有：判別函數(shù)法、K近鄰分類法、非線性映射法、特征分析法以及主成分分析法等。 共五十七頁模糊模式識別 模糊識別的理論基礎(chǔ)是模糊數(shù)學(xué)(fuzzy math)。它根據(jù)人辨識事物的思維邏輯，吸取人腦的識別特點(diǎn)(tdin)，將計算機(jī)中常用的二值邏輯轉(zhuǎn)向連續(xù)邏輯。模糊識別的結(jié)果是用被識別對象隸屬于某一類別的程度，即隸屬度來表示的。人工神經(jīng)網(wǎng)絡(luò)模式識別 人工神經(jīng)網(wǎng)絡(luò)研究源于對生物神經(jīng)系統(tǒng)的研究。它將若干個處理單元(即神經(jīng)元)通過一定的互連模型連結(jié)成一個網(wǎng)絡(luò)，這個網(wǎng)絡(luò)

6、通過一定的機(jī)制(如誤差后向傳播)可以模仿人的神經(jīng)系統(tǒng)的動作過程，以達(dá)到識別分類的目的。 共五十七頁句法結(jié)構(gòu)模式識別 著眼于對待識別對象的結(jié)構(gòu)特征的描述。將一個識別對象看成是一個語言結(jié)構(gòu)，例如一個句子是由單詞和標(biāo)點(diǎn)符號(biodinfho)按照一定的語法規(guī)則生成的，同樣，一幅圖像是由點(diǎn)、線、面等基本元素按照一定的規(guī)則構(gòu)成的。 共五十七頁9.1.4 模式識別(m sh sh bi)的應(yīng)用 模式識別已經(jīng)在天氣預(yù)報、衛(wèi)星航空圖片解釋、工業(yè)產(chǎn)品檢測、字符識別、語音識別、指紋識別、醫(yī)學(xué)圖像分析等許多方面得到了成功的應(yīng)用(yngyng)。 具體來講，模式識別在圖像處理與分析中的應(yīng)用可分為以下幾個方面： (1

7、) 字符識別 (2) 生物特征識別 (3) 遙感應(yīng)用 (4) 醫(yī)學(xué)診斷 共五十七頁9.2 基于匹配(ppi)的識別技術(shù)9.2.1 全局模板匹配為了從圖像中確定出是否存在某一目標(biāo)，可把某目標(biāo)從標(biāo)準(zhǔn)圖像中預(yù)先分割出來作為全局描述的模板，然后在另一幅圖像中搜索是否有這種模板目標(biāo)。 設(shè)全圖像f(x,y)大小為MN，若目標(biāo)模板是JK大小的w(x,y)，常用相關(guān)(xinggun)度量R(x，y)來表示它們之間的相關(guān)性：式中，m=0,1,2,M-1;n=0,1,2,N-1。進(jìn)一步，規(guī)格化相關(guān)度： 共五十七頁 式中設(shè)樣板所框出范圍(fnwi)都是j,k從到J,K計算，而(m,n)則為f(x,y)的MN小區(qū)中任

8、一點(diǎn)，式中f1 (x,y)是f(x,y)在(m,n)點(diǎn)框出JK大小的f(x,y)區(qū)，當(dāng)m,n改變時，可搜索到一個R(m,n)最大值, 即為樣板配準(zhǔn)或匹配的位置。 若圖像和目標(biāo)樣板用f和w1向量表示，則相關(guān)計算為： 式中w1為w(j-m,k-n)形成的向量。 共五十七頁yMxJ(m,n) w(x,y)K在點(diǎn)(m,n)處的全局(qunj)樣本相關(guān) 共五十七頁9.2.2 模板(mbn)向量匹配 若用向量描述樣板，則相關(guān)匹配可以用求向量差的方法求相關(guān)，如用相似度作為樣板與圖像某子區(qū)域的匹配量度。 把圖像被JK框出部分(b fen)用向量表示，樣板也用向量表示，這時兩個向量相似度可用兩個向量的向量差為相

9、似度的一種度量，差值D(m,n) 共五十七頁 D(m,n)是被搜索到的圖像場f(j,k)和樣板w(n,j)差。規(guī)定一個最小向量差的閾值，若 則說明在(m,n)位置上匹配，應(yīng)該指出(zh ch)向量僅為JK維。 SSDA法(Sequent Similiarity Detection A1gorithm)： SSDA法用下式計算圖像f(x,y)在點(diǎn)(u,v)的非相似度m(u,v)作為匹配尺度，式中(u,v)表示的不是模板中心坐標(biāo)，而是它左上角坐標(biāo)。模板的大小為mn。 共五十七頁如果在(u,v)處圖像中有和模板一致的圖案時，則m(u,v)值很小，相反則較大。 在模板和圖像重疊部分完全不一致的場合下，

10、如果在模板內(nèi)的各像素與圖像重合部分對應(yīng)像素的灰度差的絕對值依次增加下去，其和就會急劇地增大。因此，在做加法(jif)的過程中，如灰度差的絕對值部分和超過某一閾值，就認(rèn)為這位置上不存在和模板一致的圖案，從而轉(zhuǎn)移到下一個位置上計算m(u,v)。還有一種把在圖像上的模板移動分為粗檢索和細(xì)檢索兩個階段進(jìn)行的匹配方法。共五十七頁粗檢索，它不是讓模板每次移動一個像素，而是每隔若干個像素把模板和圖像重疊，并計算匹配的尺度，從而求出對象物體大致存在的范圍(fnwi)。細(xì)檢索，在粗檢索求出的范圍內(nèi)，讓模板每隔一個像素移動一次，根據(jù)求出的匹配尺度確定對象物體所在的位置。共五十七頁9.2.3 特征(tzhng)匹配

11、若圖像待識別部分和樣板都用特征向量表示，則向量的維數(shù)大為減少。例如用不變矩描述(mio sh)時，則f(j,k)和w(j,k)特征向量只有7維，即： X和W向量差可用差向量的范數(shù)來表示：若圖像中已分割出個目標(biāo)物，求其中是否有目標(biāo)物，則只需求出個 選出其中最小的一個j，即為與w相似的圖像。共五十七頁最小距離分類器 該分類器基于對模式的采樣來估計各類模式的統(tǒng)計(tngj)參數(shù)并且完全由各模式類的均值和方差確定。 假定有w個類，并給出w個參考矢量(此處具體為均值量) ，在這里將每一個模式 用均值矢量 表示： 式中Nj的為模式類 中的模式數(shù)目。對于 的最小距離(jl)分類就是把輸入的新模式x分為 類，

12、遵循的分類規(guī)則就是x與參考模型原型 之間的距離，與哪一個最近就屬于哪一類。共五十七頁可采用歐氏距離來確定兩者之間的接近程度： 歐氏距離的最小值代表了模式的最佳匹配，所以只要 達(dá)到最小值，就將劃為第 類。對此，繼續(xù)對上式進(jìn)行(jnxng)推導(dǎo)： 從而可得： 于是，可以將 求最小值的問題轉(zhuǎn)化為求下式最大值的問題： 在 取得最大值時，將此時的x劃歸到第 類。共五十七頁9.3 統(tǒng)計(tngj)模式識別統(tǒng)計模式識別主要是根據(jù)模式統(tǒng)計特性，采用(ciyng)一系列自動處理技術(shù)對給定模式進(jìn)行大量統(tǒng)計分析，抓取反映模式本質(zhì)的特征而進(jìn)行賦值和分類識別處理。 統(tǒng)計識別認(rèn)為圖像可能包含有一個或若干個不同的物體，對于

13、每一個物體都應(yīng)當(dāng)屬于若干事先定義的模式類之一。 共五十七頁統(tǒng)計(tngj)模式識別的過程 統(tǒng)計模式識別方法最終都要?dú)w結(jié)為分類的問題。如果從某個模式中共抽取N個模式符圖像，可以分為m個模式類，那么就可以對N進(jìn)行分類，進(jìn)而決定出未知圖像屬于這m個模式類中的哪一種。對模式的分類主要建立在統(tǒng)計決策理論之上的，而決策理論方法又要用到?jīng)Q策函數(shù)。通?？梢园炎R別模式當(dāng)作是對一個n維模式矢量進(jìn)行分類，即： 其中 為描述模式表達(dá)方式的第i個描述符。 共五十七頁 上式代表了一個n維模式矢量，對于給定的m個模式類1，2，3，m，識別過程就是要確定此n維模式矢量是否屬于模式類i，以及模式矢量中的每一個 可以劃歸到哪一個

14、i模式類。該問題也可以轉(zhuǎn)化為對決策函數(shù) 的確定，如果模式屬于模式類i，就有 從另一個角度考慮：如果將未知模式代入所有(suyu)的決策函數(shù)，得到第i個決策函數(shù)的計算結(jié)果最大，那么就可以將這個未知模式劃歸到第i個模式類。 共五十七頁 在對決策函數(shù)進(jìn)行計算時，不排除出現(xiàn) 的可能。對于這種情況，實(shí)際得到的是第i個模式類與第j個模式類的決策邊界(binji)，對于決策邊界(binji)上的未知模式，可以通過下式對其進(jìn)行補(bǔ)充判斷： 可見，對模式的識別關(guān)鍵在于找到合適的判別函數(shù)。 共五十七頁9.4 句法(jf)模式識別 所謂句法，是描述語法規(guī)則的一種法則。一個完整的句子一定是由主語+謂語或主語+謂語+賓語

15、(或表語)的基本結(jié)構(gòu)構(gòu)成。一種特定的語言，定類型的句子之間是有定的結(jié)構(gòu)順序的。 無規(guī)則的任意組合，必然達(dá)不到正確的思想交流。形容詞、副詞(fc)、冠詞等可以與名詞、動詞構(gòu)成“短語”，豐富句子要表達(dá)的思想內(nèi)容。而這些短語的構(gòu)成也是有特定規(guī)律的。 共五十七頁句子(j zi)的層狀結(jié)構(gòu) 共五十七頁自然句法規(guī)則的思想可以移植到圖像的模式識別中。盡管自然界的景物組合是千變?nèi)f化的，但仔細(xì)分析可以看出(kn ch)：某一對象的結(jié)構(gòu)，也存在一些不變的規(guī)則。一座房子由內(nèi)屋頂和墻面構(gòu)成。組成屋頂?shù)膸缀螆D形，可以是三角形、四邊形、圓形等，組成墻平面的幾何圖形也是由矩形、平行四邊形(透視效果)等構(gòu)成，至少每一個墻面應(yīng)

16、該有門，而窗的高度不低于門等等。進(jìn)一步，還可以提出一些用來刻畫構(gòu)成一所房子的規(guī)則，如屋頂一定在墻面之上，且由墻面支撐。一所房子這些規(guī)則就像構(gòu)成一個句子的句法規(guī)則一樣，是不能改變的。共五十七頁如果將描述房子的規(guī)則(它構(gòu)成個房子的模式)存于計算機(jī)，而我們的任務(wù)是要在一張風(fēng)景照片上去識別有無房子，那么就可按照片上所有景物的外形匹配是否符合房子的模式(房子構(gòu)成規(guī)則)。符合房子模式的就輸出為“有房子”，否則(fuz)，輸出“無房子”。 句法模式識別是將一個復(fù)雜的模式分解成一系列更簡單的模式(子模式)，對子模式繼續(xù)分解，最后分解成最簡單的子模式(或稱基元)，借助于一種形式語言對模式的結(jié)構(gòu)進(jìn)行描述，從而識別

17、圖像。模式、子模式、基元類似于英文句子的短語、單詞、字母，這種識別方法類似語言的句法結(jié)構(gòu)分析。因此稱為句法模式識別。 共五十七頁句法(jf)模式識別系統(tǒng)框圖 共五十七頁9.5 模糊(m hu)模式識別方法 常規(guī)的分類方法規(guī)定一個像素只能屬于一個類別，也稱為硬分類。 但是在物體的交界處，由于成像過程和數(shù)字化過程中分辨率及其他因素的影響(yngxing)，圖像中物體邊緣處的一個像素可能包含了兩個物體的信息。換句話而言，就是這個像素既可能屬于類別i，也可能屬于類別j，也就是常說的混合像素。 共五十七頁模糊模式識別(m sh sh bi)是模糊集理論在模式識別(m sh sh bi)中的一種應(yīng)用，它認(rèn)

18、為一個像素是可分的，即一個像素可以在某種程度上屬于一個類別，而在另一種程度上屬于另一個類別。這種程度通過模糊數(shù)學(xué)中的隸屬函數(shù)來表示。具體而言，在進(jìn)行模糊模式識別時，多根據(jù)相似系數(shù)和距離來確定各樣本之間存在的關(guān)系。相似系數(shù)越接近于1，則說明樣本越接近，距離越小，樣本也就越接近，可以將這些比較接近的樣本歸為一類。 共五十七頁對樣本間距離的計算可以采用絕對值距離(式1)、歐氏距離(式2)和馬氏距離(式3)等幾種不同的定義方式：模糊模式識別方法對圖像(t xin)進(jìn)行分類的關(guān)鍵是確定每一個類別的隸屬函數(shù)。不同類型的圖像(t xin)，其隸屬函數(shù)的計算也不盡相同。一般需要根據(jù)具體的應(yīng)用目的和專業(yè)知識來確

19、定。通常在類別隸屬度方面選用最大隸屬度原則，即以模式的描述屬性作為模糊子集，分別計算場景中所有模式隸屬于該模糊子集的隸屬度，選擇其中的最大者作為分類。在實(shí)際中，也可以靈活地修改判決規(guī)則，使一個像素在分類時可以被同時劃分為多個類別。共五十七頁9.6 人工神經(jīng)網(wǎng)絡(luò)識別(shbi)法9.6.1 BP神經(jīng)網(wǎng)絡(luò)圖像識別 BP神經(jīng)網(wǎng)絡(luò)是反向(fn xin)傳播(BackPropagation)法的簡稱。 其實(shí)質(zhì)是把一組樣本輸入、輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題，并通過梯度算法利用迭代運(yùn)算求解權(quán)值問題的一種學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)模型 共五十七頁BP算法不僅有輸入層節(jié)點(diǎn)、輸出(shch)層節(jié)點(diǎn)，還可有1個或多

20、個隱含層節(jié)點(diǎn)。對于輸入信號，要先向前傳播到隱含層節(jié)點(diǎn)，經(jīng)作用函數(shù)后，再把隱節(jié)點(diǎn)的輸出信號傳播到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。節(jié)點(diǎn)的作用的激勵函數(shù)通常選取S型函數(shù)，如 式中Q為調(diào)整激勵函數(shù)形式的Sigmoid參數(shù)。該算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通道返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號最小。這一過程實(shí)際上就是前向傳播和誤差后向傳播。共五十七頁 BP神經(jīng)網(wǎng)絡(luò)模式識別包括學(xué)習(xí)和分類兩個階段，將其用于圖像模式識別

21、需要實(shí)現(xiàn)步驟如下： （1）網(wǎng)絡(luò)系統(tǒng)的確定 主要是輸入層、隱含層、輸出層結(jié)點(diǎn)數(shù)目的確定，輸入層結(jié)點(diǎn)數(shù)目一般與待分類圖像的數(shù)據(jù)維數(shù)或特征向量的元素個數(shù)相同，輸出層結(jié)點(diǎn)數(shù)目則與待分的類別數(shù)目相同，隱含層結(jié)點(diǎn)數(shù)目的個數(shù)選取則一般依據(jù)經(jīng)驗選取。（2）樣本數(shù)據(jù)及控制參數(shù)的輸入 樣本數(shù)據(jù)中的輸入模式一般是圖像上各個類別典型區(qū)域的灰度值或其他統(tǒng)計特征值，輸出模式則是一個二值向量，相應(yīng)(xingyng)類別的值為1，其他類別的值為0，如假定有4個類別，則第2個類別樣本的輸出模式為0100?？刂茀?shù)包括最大循環(huán)次數(shù)、分類精度、學(xué)習(xí)因子等。（3）為網(wǎng)絡(luò)分配內(nèi)存并初始化權(quán)值矩陣 初始權(quán)值矩陣可由計算機(jī)的隨機(jī)函數(shù)產(chǎn)生，

22、每一矩陣元素的值限定在0，1區(qū)間。共五十七頁（4）計算各層之間的權(quán)系數(shù) 應(yīng)該注意輸出層和隱含層的誤差和權(quán)值調(diào)整公式有所不同。（5）判斷精度是否達(dá)到要求 首先判斷單類樣本輸出層的輸出值是否達(dá)到了給定的精度要求，如果沒有則返回步驟(4)進(jìn)行權(quán)值調(diào)整；如果單類精度已滿足要求，則判斷總的分類精度是否達(dá)到要求，若沒有則返回步驟4；如果精度達(dá)到要求，則繼續(xù)向下執(zhí)行。若循環(huán)次數(shù)巳超過最大循環(huán)次數(shù)，表明學(xué)習(xí)沒有達(dá)到頂期設(shè)想，可重新設(shè)置參數(shù)。（6）分類階段 網(wǎng)絡(luò)根據(jù)在學(xué)習(xí)過程中所得到(d do)的網(wǎng)絡(luò)的權(quán)系數(shù)矩陣，依次對圖像的各個像元進(jìn)行計算，根據(jù)輸出結(jié)果與每類期望值的對比，將圖像的各個像素歸為誤差最小的一類。

23、 共五十七頁一個實(shí)例手寫體字符識別 用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行手寫體數(shù)字識別時，整個過程由輸入環(huán)節(jié)、預(yù)處理環(huán)節(jié)、輸出環(huán)節(jié)等三部分組成 1.輸入環(huán)節(jié)及預(yù)處理環(huán)節(jié)輸入環(huán)節(jié)通過掃描儀將數(shù)字掃描輸入到計算機(jī)內(nèi)部，并以點(diǎn)陣的形式做成數(shù)據(jù)文件，供處理程序隨時調(diào)用和處理。預(yù)處理環(huán)節(jié)由數(shù)字分離與去污點(diǎn)、壓縮變換、細(xì)化與特征抽取三部分組成。數(shù)字分離與去污點(diǎn)部分相對來說比較(bjio)容易，因為每個數(shù)字都是寫在一個方框內(nèi)的，所以采用一般常規(guī)方法，即可進(jìn)行數(shù)字分離與去污點(diǎn)。 壓縮變換部分是把輸入的點(diǎn)陣圖形壓縮成固定的(3232)點(diǎn)陣形式。因為輸入的點(diǎn)陣圖形有大有小，所以首先應(yīng)該去掉多余的信息，而保留有用的信息，使處理后的圖

24、形處于一個正方形內(nèi)，以便于從該正方形變換到另一規(guī)格化正方形(3232)時，使畸變達(dá)到最小。 最后一步是細(xì)化與特征抽取。共五十七頁特征提取算法（1） 將(3232)的正方形點(diǎn)陣劃分成44的16個子正方形，每個正方形都是(88)點(diǎn)陣，對每個子正方形，從左至右，從上到下的掃描，統(tǒng)計每個子正方形內(nèi)橫向為“1”的點(diǎn)數(shù)注意：若(x,y1)=1，(x,y2)=1，(x,y3)=； y1y2y3Yj(ij)時，則Yi為有效(yuxio)輸出結(jié)果。 各結(jié)點(diǎn)的非線性作用函數(shù)為S型函數(shù)： 共五十七頁 隱含層 ： 輸出層 ： 以上兩式中的 值是不一樣(yyng)的，Xi，Xhi分別是輸入層和輸出層的輸入，Wij是第i

25、個結(jié)點(diǎn)與第j個結(jié)點(diǎn)之間的聯(lián)接權(quán)值， 是第j個結(jié)點(diǎn)的閾值，Xj是隱含層的輸出，Yj是輸出層的輸出。 本系統(tǒng)采用的學(xué)習(xí)規(guī)則為delta規(guī)則： 式中，ti(t)是期望輸出值，ai(t)是實(shí)際輸出值，Oj(t)為第j個結(jié)點(diǎn)的輸出值，為學(xué)習(xí)系數(shù)(01)。共五十七頁權(quán)的修正算法為： 當(dāng)Opi為輸出(shch)層結(jié)點(diǎn)輸出(shch)時， 當(dāng)Opi為隱含層結(jié)點(diǎn)輸出時， 這里(zhl)Wji是某層的第i個結(jié)點(diǎn)與上一層第j個結(jié)點(diǎn)間的連接權(quán)，Opi是第i個結(jié)點(diǎn)的輸出， 是第j個結(jié)點(diǎn)接收到的信息總和， 是第j個結(jié)點(diǎn)的輸出誤差，0是學(xué)習(xí)系數(shù)，yj是輸出結(jié)點(diǎn)實(shí)際計算得到的輸出值，tpj是期望的輸出值，xj是隱含層結(jié)點(diǎn)的輸

26、出值。 為了抑制振蕩的發(fā)生，友增加了一個動量項 ， 即為： ，一般取經(jīng)驗值。在本例中，取=0.9，=0.3時，學(xué)習(xí)與收斂速度為最佳。共五十七頁9.6.2 自組織神經(jīng)網(wǎng)絡(luò)的圖像識別BP神經(jīng)網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)，在網(wǎng)絡(luò)訓(xùn)練過程中需要同時(tngsh)提供輸入樣本和相應(yīng)的理想輸出。自組織神經(jīng)網(wǎng)絡(luò)(Self-Organizing Feature Map)是一種基于自組織競爭學(xué)習(xí)的無監(jiān)督神經(jīng)網(wǎng)絡(luò)。Kohonen神經(jīng)網(wǎng)絡(luò)是一種具有側(cè)向聯(lián)想能力的兩層結(jié)構(gòu)自組織神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的第一層為輸入層，第二層為輸出層，也稱為競爭層，其神經(jīng)元的排列可以是一維的，也可以是二維陣列。在每個輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間以可變權(quán)值進(jìn)行全連

27、接。在網(wǎng)絡(luò)中，每個輸出節(jié)點(diǎn)都有一個拓?fù)溧徲?，常用的有正方形和六邊形等。鄰域的大小與其所包含(bohn)的節(jié)點(diǎn)數(shù)有關(guān)，沒有特定的形狀，可按實(shí)際情況的不同而不同，并隨著算法的進(jìn)程而改變。共五十七頁自組織(zzh)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以節(jié)點(diǎn)(ji din)C為中心的兩種形式的鄰域共五十七頁假設(shè)樣本空間 是RN中的N維子集。 ， 稱為輸入矢量，Xkj稱為Xk的第j個特征。其中N表示輸入空間模式(msh)矢量的維數(shù)或特征數(shù)，也就是神經(jīng)網(wǎng)絡(luò)輸入層的神經(jīng)元個數(shù)。輸出層由個神經(jīng)元組成，每個神經(jīng)元連接權(quán)矢量的維數(shù)與輸入空間模式的特征維數(shù)一致。兩層之間的動態(tài)連接權(quán)矢量為： 輸入矢量聚類是將X分成C個子域。 為了找到輸入空

28、間模式矢量與連接權(quán)矢量間的最佳匹配，則對輸出空間中所有神經(jīng)元權(quán)矢量與輸入空間模式間的距離進(jìn)行比較，并選擇一個最小距離作為最佳匹配的輸出神經(jīng)元。最佳匹配的輸出神經(jīng)元j，也即勝者神經(jīng)元定義為： 共五十七頁 由于勝者神經(jīng)元對于它周圍最近的神經(jīng)元也會產(chǎn)生(chnshng)一定的興奮作用，也即在勝者神經(jīng)元周圍存在一個拓?fù)溧徲?。在這個拓?fù)溧徲蛑?，勝者神?jīng)元本身是這個拓?fù)溧徲蛑写碳ぷ畲蟮臄?shù)值點(diǎn)，以它為中心，離它越遠(yuǎn)的神經(jīng)元側(cè)抑制作用越強(qiáng)。 一個最簡單的核函數(shù)為： 上式中 為學(xué)習(xí)率，其范圍為0 1。它和Nj鄰域中的半徑的形式均定義(dngy)為一個隨時間增加而逐漸減小的線性變換。 其中t，T分別為當(dāng)前和最大迭

29、代次數(shù)， 分別為學(xué)習(xí)率和鄰域半徑的初始值。共五十七頁網(wǎng)絡(luò)(wnglu)中輸出層節(jié)點(diǎn)的連接權(quán)值要求根據(jù)輸入矢量進(jìn)行相應(yīng)的修改。基于輸出層勝者神經(jīng)元與其周圍的興奮神經(jīng)元間的鄰域關(guān)系，其連接權(quán)值的修正公式為： 當(dāng)訓(xùn)練正常結(jié)束時，賦予每個輸出節(jié)點(diǎn)一個連接權(quán)值，并確定Kohonen神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，即建立了一個分類器。然后用該訓(xùn)練好的Kohonen神經(jīng)網(wǎng)絡(luò)分類器根據(jù)公式 進(jìn)行圖像數(shù)據(jù)的分類，并根據(jù)下式獲得待分類模式k屬于第j類的可能性程度。 這表示輸入模式屬于j類的可能性程度為 。其中 。全局最小距離的類別(libi)將有一個可能性程度為1的值，也就是這個可能性程度越高，輸入模式就更有可能屬于該類。

30、共五十七頁9.7 統(tǒng)計(tngj)學(xué)習(xí)理論和支持向量機(jī)識別方法9.7.1 SVM算法(sun f)的基本思想對于兩類的情況，假設(shè)訓(xùn)練集可被一個超平面線性劃分，該超平面集為 。H1、H2分別為過各類中離分類超平面最近的樣本且平行于分類超平面的平面，它們之間的距離叫做分類間隔。對于線性可分的情況，可假定 上式可歸一化得： H1和H2到H的距離為 , 分類間隔為 。使分類間隔最大，即使 最小的分類面就叫最優(yōu)分類超平面。而H1和H2上的訓(xùn)練樣本點(diǎn)就稱作支持矢量(Support Vector)。因此，求最佳(w,b)可歸結(jié)為二次規(guī)劃問題：共五十七頁最優(yōu)分類(fn li)超平面共五十七頁 上述規(guī)劃問題的對

31、偶問題，即最大化目標(biāo)函數(shù)： 其解可通過引入Lagrange優(yōu)化函數(shù)求得。 上式中 為與每個樣本對應(yīng)的Lagrange乘子。解中只有一部分(通常是少部分) 不為零，對應(yīng)的樣本就是(jish)支持矢量。 這樣， 相應(yīng)(xingyng)的分類決策函數(shù)為：共五十七頁對于非線性情況，SVM的基本思想是通過事先確定的非線性映射將輸入向量x映射到一個高維特征空間中，然后在此高維空間中構(gòu)建最優(yōu)超平面。由于目標(biāo)函數(shù)和決策函數(shù)中的向量之間都只涉及點(diǎn)積運(yùn)算，因此只要采用滿足Mercer條件的核函數(shù)(Kernel Function), 它就對應(yīng)某一變換空間中的內(nèi)積。相應(yīng)(xingyng)的二次規(guī)劃問題的目標(biāo)函數(shù)變?yōu)椋?通常并不需要明確知道 ，只需要選擇合適的核函數(shù)K就可以確定一個支持(zhch)矢量機(jī)。共五十七頁9.7.2 SVM算法的分類過程SVM算法的分類過程