自適應(yīng)線性元件

自適應(yīng)線性元件第1頁，共11頁，2023年，2月20日，星期六自適應(yīng)線性元件(AdaptiveLinearElement，簡稱Adaline)由威德羅（Widrow）和霍夫（Hoff）首先提出的它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W—H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進(jìn)行訓(xùn)練自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進(jìn)行模式聯(lián)想。第2頁，共11頁，2023年，2月20日，星期六3．1自適應(yīng)線性神經(jīng)元模型和結(jié)構(gòu)圖5.1自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第3頁，共11頁，2023年，2月20日，星期六3．2W－H學(xué)習(xí)規(guī)則W—H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來修正權(quán)矢量的學(xué)習(xí)規(guī)則采用W—H學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個函數(shù)式而進(jìn)行模式聯(lián)想(PatternAssociation)。第4頁，共11頁，2023年，2月20日，星期六定義一個線性網(wǎng)絡(luò)的輸出誤差函數(shù)為：我們的目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達(dá)到最小值。所以在給定E(W，B)后，利用W—H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點開始，沿著E(W，B)的斜面向下滑行。第5頁，共11頁，2023年，2月20日，星期六根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上E(W，B)的梯度，對于第i個輸出節(jié)點有：或表示為：（5.3）第6頁，共11頁，2023年，2月20日，星期六η為學(xué)習(xí)速率。在一般的實際運用中，實踐表明，η通常取一接近1的數(shù)，或取值為：采用W—H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象。第7頁，共11頁，2023年，2月20日，星期六3.3網(wǎng)絡(luò)訓(xùn)練自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可以歸納為以下三個步驟：1)表達(dá)：計算訓(xùn)練的輸出矢量A＝W*P十B，以及與期望輸出之間的誤差E＝T—A；2)檢查：將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)；3)學(xué)習(xí)：采用W—H學(xué)習(xí)規(guī)則計算新的權(quán)值和偏差，并返回到1)。第8頁，共11頁，2023年，2月20日，星期六感知器和自適應(yīng)線性網(wǎng)絡(luò)

(1)網(wǎng)絡(luò)模型結(jié)構(gòu)上

感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在激活函數(shù)：一個是二值型的，一個線性的。

當(dāng)把偏差與權(quán)值考慮成一體時，自適應(yīng)線性網(wǎng)絡(luò)的輸與輸出之間的關(guān)系可以寫成A＝W*P。如果P是滿秩話，則可以寫成AP-1＝W，或W=A/P。

3.4對比與分析第9頁，共11頁，2023年，2月20日，星期六(2)學(xué)習(xí)算法

感知器的算法是最早提出的可收斂的算法，它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法。最后又在BP算法中得到進(jìn)一步的推廣，它們屬于同一類算法。

第10頁，共11頁，2023年，2月20日，星期六(3)適用性與局限性

感知器僅能夠進(jìn)行簡單的分類。它的局限性是僅能對線性可分的輸入進(jìn)行分類。

自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進(jìn)行線性分類外，又