2023學年完整公開課版極限學習1

主講：極限學習單層前饋神經(jīng)網(wǎng)絡（SLFN）以其良好的學習能力在許多領域得到了廣泛的應用，然而傳統(tǒng)的學習算法，如BP等固有的一些缺點，成為制約其發(fā)展的主要瓶頸，前饋神經(jīng)網(wǎng)絡大多采用梯度下降法，該方法存在以下幾個方面的缺點和不足：訓練速度慢。由于梯度下降法需要多次迭代，從而達到修正權值和閾值的目的，因此訓練過程耗時較長；容易陷入局部極小值，無法到達全局最??；學習率的選擇敏感，學習率對神經(jīng)網(wǎng)絡的性能影響較大，必須選擇合適的才能達到較為理想的效果，太小則算法的收斂速度很慢，訓練過程耗時較長，太大，則訓練過程可能不穩(wěn)定。極限學習極限學習機（ExtremeLearningMachine,ELM）或“超限學習機”是一類基于前饋神經(jīng)網(wǎng)絡（FeedforwardNeuronNetwork,FNN）構建的機器學習系統(tǒng)或方法，適用于監(jiān)督學習和非監(jiān)督學習問題。ELM在研究中被視為一類特殊的FNN，或對FNN及其反向傳播算法的改進，其特點是隱含層節(jié)點的權重為隨機或人為給定的，且不需要更新，學習過程僅計算輸出權重。傳統(tǒng)的ELM具有單隱含層，在與其它淺層學習系統(tǒng)，例如單層感知機（singlelayerperceptron）和支持向量機（SupportVectorMachine,SVM）相比較時，被認為在學習速率和泛化能力方面可能具有優(yōu)勢

。ELM的一些改進版本通過引入自編碼器構筑或堆疊隱含層獲得了深度結構，能夠進行表征學習。極限學習ELM的應用包括計算機視覺和生物信息學，也被應用于一些地球科學、環(huán)境科學中的回歸問題。其最大的創(chuàng)新點：輸入層和隱含層的連接權值、隱含層的閾值可以隨機設定，且設定完后不用再調整。這和BP神經(jīng)網(wǎng)絡不一樣，BP需要不斷反向去調整權值和閾值。因此這里就能減少一半的運算量了。隱含層和輸出層之間的連接權值β不需要迭代調整，而是通過解方程組方式一次性確定。研究表明，通過這樣的規(guī)則，模型的泛化性能很好，速度提高了不少。一言概之，ELM最大的特點就是對于傳統(tǒng)的神經(jīng)網(wǎng)絡，尤其是單隱層前饋神經(jīng)網(wǎng)絡(SLFNs)，在保證學習精度的前提下比傳統(tǒng)的學習算法速度更快。極限學習

極限學習

極限學習不同的隱含層節(jié)點可以有不同的映射函數(shù)，神經(jīng)網(wǎng)絡的節(jié)點也由其具有的特征映射命名，例如Sigmoid節(jié)點、徑向基函數(shù)節(jié)點等。除上述映射函數(shù)外，SLFN的節(jié)點也可以是其它經(jīng)過封