極限學(xué)習(xí)機(jī)簡介

1、1 極限學(xué)習(xí)機(jī)傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)采用梯度下降的迭代算法去調(diào)整權(quán)重參數(shù)，具有明顯的缺陷：1） 學(xué)習(xí)速度緩慢，從而計(jì)算時間代價增大；2） 學(xué)習(xí)率難以確定且易陷入局部最小值；3）易出現(xiàn)過度訓(xùn)練，引起泛化性能下降。這些缺陷成為制約使用迭代算法的前饋神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用的瓶頸。針對這些問題，huang等依據(jù)摩爾-彭羅斯（MP）廣義逆矩陣?yán)碚撎岢隽藰O限學(xué)習(xí)(ELM)算法，該算法僅通過一步計(jì)算即可解析求出學(xué)習(xí)網(wǎng)絡(luò)的輸出權(quán)值，同迭代算法相比，極限學(xué)習(xí)機(jī)極大地提高了網(wǎng)絡(luò)的泛化能力和學(xué)習(xí)速度。極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)訓(xùn)練模型采用前向單隱層結(jié)構(gòu)。設(shè) 分別為網(wǎng)絡(luò)輸入層、隱含層和輸出層的節(jié)點(diǎn)數(shù)， 是隱層神經(jīng)元的激活函數(shù)， 為閾值。

2、設(shè)有 個不同樣本 ， ，其中 ，則極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)訓(xùn)練模型如圖1所示。圖1 極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)訓(xùn)練模型極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)模型可用數(shù)學(xué)表達(dá)式表示如下：式中， 表示連接網(wǎng)絡(luò)輸入層節(jié)點(diǎn)與第i個隱層節(jié)點(diǎn)的輸入權(quán)值向量； 表示連接第i個隱層節(jié)點(diǎn)與網(wǎng)絡(luò)輸出層節(jié)點(diǎn)的輸出權(quán)值向量； 表示網(wǎng)絡(luò)輸出值。極限學(xué)習(xí)機(jī)的代價函數(shù)E可表示為式中， ，包含了網(wǎng)絡(luò)輸入權(quán)值及隱層節(jié)點(diǎn)閾值。Huang等指出極限學(xué)習(xí)機(jī)的懸鏈目標(biāo)就是尋求最優(yōu)的S，使得網(wǎng)絡(luò)輸出值與對應(yīng)實(shí)際值誤差最小，即 ?？蛇M(jìn)一步寫為式中，H表示網(wǎng)絡(luò)關(guān)于樣本的隱層輸出矩陣，表示輸出權(quán)值矩陣，T表示樣本集的目標(biāo)值矩陣，H，T分別定義如下：極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)訓(xùn)練過程可歸結(jié)為一個非線性優(yōu)化問題。當(dāng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)的激活函數(shù)無限可微時，網(wǎng)絡(luò)的輸入權(quán)值和隱層節(jié)點(diǎn)閾值可隨機(jī)賦值，此時矩陣H為一常數(shù)矩陣，極限學(xué)習(xí)機(jī)的學(xué)習(xí)過程可等價為求取線性系統(tǒng) 最小范數(shù)的最小二乘解 ，其計(jì)算式為式中時矩陣的MP廣義逆。2實(shí)驗(yàn)結(jié)果>> ELM('diabetes_train', 'diabetes_test', 1, 20, 'sig')TrainingTime = 0.0468TestingTime = 0TrainingAccuracy = 0.7934TestingAccuracy = 0.73