自適應(yīng)線性元件

自適應(yīng)線性元件第一頁，共十一頁，編輯于2023年，星期三自適應(yīng)線性元件(AdaptiveLinearElement，簡(jiǎn)稱Adaline)由威德羅（Widrow）和霍夫（Hoff）首先提出的它與感知器的主要不同之處在于其神經(jīng)元有一個(gè)線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W—H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對(duì)權(quán)值進(jìn)行訓(xùn)練自適應(yīng)線性元件的主要用途是線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想。第二頁，共十一頁，編輯于2023年，星期三3．1自適應(yīng)線性神經(jīng)元模型和結(jié)構(gòu)圖5.1自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第三頁，共十一頁，編輯于2023年，星期三3．2W－H學(xué)習(xí)規(guī)則W—H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來修正權(quán)矢量的學(xué)習(xí)規(guī)則采用W—H學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想(PatternAssociation)。第四頁，共十一頁，編輯于2023年，星期三定義一個(gè)線性網(wǎng)絡(luò)的輸出誤差函數(shù)為：我們的目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達(dá)到最小值。所以在給定E(W，B)后，利用W—H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點(diǎn)開始，沿著E(W，B)的斜面向下滑行。第五頁，共十一頁，編輯于2023年，星期三根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上E(W，B)的梯度，對(duì)于第i個(gè)輸出節(jié)點(diǎn)有：或表示為：（5.3）第六頁，共十一頁，編輯于2023年，星期三η為學(xué)習(xí)速率。在一般的實(shí)際運(yùn)用中，實(shí)踐表明，η通常取一接近1的數(shù)，或取值為：采用W—H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨(dú)立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象。第七頁，共十一頁，編輯于2023年，星期三3.3網(wǎng)絡(luò)訓(xùn)練自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可以歸納為以下三個(gè)步驟：1)表達(dá)：計(jì)算訓(xùn)練的輸出矢量A＝W*P十B，以及與期望輸出之間的誤差E＝T—A；2)檢查：將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)；3)學(xué)習(xí)：采用W—H學(xué)習(xí)規(guī)則計(jì)算新的權(quán)值和偏差，并返回到1)。第八頁，共十一頁，編輯于2023年，星期三感知器和自適應(yīng)線性網(wǎng)絡(luò)

(1)網(wǎng)絡(luò)模型結(jié)構(gòu)上

感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在激活函數(shù)：一個(gè)是二值型的，一個(gè)線性的。

當(dāng)把偏差與權(quán)值考慮成一體時(shí)，自適應(yīng)線性網(wǎng)絡(luò)的輸與輸出之間的關(guān)系可以寫成A＝W*P。如果P是滿秩話，則可以寫成AP-1＝W，或W=A/P。

3.4對(duì)比與分析第九頁，共十一頁，編輯于2023年，星期三(2)學(xué)習(xí)算法

感知器的算法是最早提出的可收斂的算法，它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法。最后又在BP算法中得到進(jìn)一步的推廣，它們屬于同一類算法。

第十頁，共十一頁，編輯于2023年，星期三(3)適用性與局限性

感知器僅能夠進(jìn)行簡(jiǎn)單的分類。它的局限性是僅能對(duì)線性可分的輸入進(jìn)行分類。

自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進(jìn)行線性分類外