概率神經(jīng)網(wǎng)絡(luò)

概率神網(wǎng)概述概率神經(jīng)網(wǎng)絡(luò)（ProbabilisticNeural）由D.F.Specht在1990年提出的。主要思想是貝葉斯決策規(guī)則，即錯誤分類的期望風(fēng)險最小多維入空間內(nèi)分離決策空間。它是一種基于統(tǒng)計原理的人工神經(jīng)網(wǎng)絡(luò)以Parazen窗口函數(shù)為激活函數(shù)的一種前饋網(wǎng)絡(luò)模型PNN吸收了徑向基神經(jīng)網(wǎng)絡(luò)與經(jīng)典的概率密度估計原理的優(yōu)點，與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)相比，在模式分類方面尤其具有較為顯著的優(yōu)勢。1.1概率神經(jīng)網(wǎng)絡(luò)分類器的理論推導(dǎo)由貝葉斯決策理論：if(w|)(w)ithen

ij

i（1-1其中|i

p)p|)ii

。一般情況下類的概率密度函數(shù)核的Parzen估如下：

w|x)i

是未知的用高斯令狐采學(xué)創(chuàng)作

ilikliik令狐采學(xué)創(chuàng)作ilikliikpx|)i

1

i

Nk

12

l

2

)（1-2其中，是屬于第類的第k個訓(xùn)練樣本，是樣本向量ik

i的維數(shù)，是平滑參數(shù)，是第w的訓(xùn)練樣本總數(shù)。i

i去掉共有的元素，判別函數(shù)可簡化為：g

i

()

p(w)i

Nk

22

)i（1-31.2概率神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)模型PNN的結(jié)構(gòu)以及各層的輸入輸出關(guān)系量如圖1所示，共由四層組成，當(dāng)進(jìn)行并行處理時，能有效地進(jìn)行上式的計算。圖1概率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，PNN網(wǎng)絡(luò)由四部分組成：輸入層、樣本層、求和層和競爭層。PNN的工作過程：首先將輸入向量

輸入到輸入層，在輸入層中，網(wǎng)絡(luò)計算輸入向量與訓(xùn)練樣本向量之間令狐采學(xué)創(chuàng)作

i的差值

|-|ik

令狐采學(xué)創(chuàng)作的大小代表著兩個向量之間的距離得的向量由輸入層輸出，該向量反映了向量間的接近程度；接著，輸入層的輸出向量

ik

送入到樣本層中層節(jié)點的數(shù)目等于訓(xùn)練樣本數(shù)目的總和，

Ni

N，其中M是類的總數(shù)。樣本層i的主要工作是：先判斷哪些類別輸入向量有關(guān)，再將相關(guān)度高的類別集中起來，樣本層的輸出值就代表相識度；然后，將樣本層的輸出值送入到求和層，求和層的結(jié)點個數(shù)是M，每個結(jié)點對應(yīng)一個類，通過求和層的競爭傳遞函數(shù)進(jìn)行判決；最后，判決的結(jié)果由競爭層輸出，輸出結(jié)果中只有一個1，其余結(jié)果都是0，概率值最大的那一類輸出結(jié)果為12.

基本學(xué)習(xí)算法第一步：首先必須對輸入矩陣進(jìn)行歸一化處理，這樣可以減小誤差，避免較小的值唄較大的值“吃掉”。設(shè)原始輸入矩陣為：X

XX

XXXX

m

X

Xm（2-1）令狐采學(xué)創(chuàng)作

n2kn2k令n2kn2k從樣本的矩陣如（2-1中可以看出該矩陣的習(xí)樣本由m一個樣本的特征屬性有n個求歸一化因子之前，必須先計算然后計算：

T

矩陣：C

Bm

X

m

MM

MM

MM

CC

C

xm2mnMMMmmm

12CC22

C1

m2

Cmn（2-2式中，

1

,

2

2,m

2k

kk則歸一化后的學(xué)習(xí)矩陣為C。在式中，符表示矩陣在做乘法運算時，相應(yīng)元素之間的乘積。第二步歸一化好的m個樣本送入網(wǎng)絡(luò)樣本層中令狐采學(xué)創(chuàng)作

nkkpkknkkpkkkdmk為是有監(jiān)督的學(xué)習(xí)算法以很容易就知道每個樣本屬于哪種類型假設(shè)樣本有m個么一共可以分為c類并且各類樣本的數(shù)目相同，設(shè)為k于是m=k*c。第三步：模式距離的計算，該距離是指樣本矩陣與學(xué)習(xí)矩陣中相應(yīng)元素之間的距離設(shè)將由P個n維向量組成的矩陣稱為待識別樣本矩陣，則經(jīng)歸一化后，需要待識別的輸入樣本矩陣為：

d

D

12ddp

（2-3）計算歐氏距離：就是需要是別的樣本向量，樣本層中各個網(wǎng)絡(luò)節(jié)點的中心向量，這兩個向量相應(yīng)量之間的距離：ddEdE

ddpk2

pk

E1p

pm令狐采學(xué)創(chuàng)作

k1lk2llk22l2k1lk2llk22l2m1lmlm（2-4第四步：樣本層徑向基函數(shù)的神經(jīng)元被激活。學(xué)習(xí)樣本與待識別樣本被歸一化后，通常取標(biāo)準(zhǔn)差激活后得到出事概率矩陣：

的高斯型函數(shù)。(2-5)第五步：假設(shè)樣本有m，那么一共可以分為c類，并且各類樣本的數(shù)目相同，設(shè)為k則可以在網(wǎng)絡(luò)的求和層求得各個樣本屬于各類的初始概率和：

Pl

pl

P1llP2lPpll

PSS111lPSSS2lPSSpl1ppcl（2-6上式中，S

ij

代表的意思是：將要被識別的樣本中，第i個樣本屬于第j類的初始概率和。第六步率

prob

i個樣本屬于j類的概率。ij令狐采學(xué)創(chuàng)作

令狐采學(xué)創(chuàng)作probij（2-7特點3.

ijcl

il概率神經(jīng)網(wǎng)絡(luò)具有如下特性：（1)（2)

訓(xùn)練容易，收斂速度快，從而非常適用于實時處理；可以完成任意的非線性變換形成的判決曲面與貝葉斯最優(yōu)準(zhǔn)則下的曲面相接近；（3)（4)

具有很強的容錯性；模式層的傳遞函數(shù)可以選用各種用來估計概率密度的核函數(shù)，并且，各分類結(jié)果對核函數(shù)的形式不敏感；（5)

各層神經(jīng)元的數(shù)目比較固定，因而易于硬件實現(xiàn)。4.不足之處概率神經(jīng)網(wǎng)絡(luò)的不足主要集中在其結(jié)構(gòu)的復(fù)雜性和網(wǎng)絡(luò)參數(shù)的選擇上PNN網(wǎng)絡(luò)進(jìn)行模式分類的機理是基于貝葉斯最小風(fēng)險決策，為了獲得貝葉斯準(zhǔn)則下的最優(yōu)解，必須保證有足夠多的訓(xùn)練樣本PNN拓?fù)浣Y(jié)構(gòu)和訓(xùn)練樣本數(shù)目成直接比例關(guān)系，每個訓(xùn)練樣本決定一個隱含層神經(jīng)元，所以當(dāng)訓(xùn)練樣本數(shù)量巨大時導(dǎo)致規(guī)模龐大的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)礙了PNN絡(luò)令狐采學(xué)創(chuàng)作

令狐采學(xué)創(chuàng)作的推廣和應(yīng)用且PNN的網(wǎng)絡(luò)參比如連