2023學年完整公開課版激活函數(shù)

激活函數(shù)主講：孫靜激活函數(shù)-屬性詳解本次課程介紹神經(jīng)網(wǎng)絡中激活函數(shù)的真正意義?一個激活函數(shù)需要具有哪些必要的屬性?還有哪些屬性是好的屬性但不必要的?激活函數(shù)-非線性即導數(shù)不是常數(shù)。這個條件是多層神經(jīng)網(wǎng)絡的基礎，保證多層網(wǎng)絡不退化成單層線性網(wǎng)絡。這也是激活函數(shù)的意義所在。激活函數(shù)-幾乎處處可微可微性保證了在優(yōu)化中梯度的可計算性。傳統(tǒng)的激活函數(shù)如sigmoid等滿足處處可微。對于分段線性函數(shù)比如ReLU，只滿足幾乎處處可微（即僅在有限個點處不可微）。對于SGD算法來說，由于幾乎不可能收斂到梯度接近零的位置，有限的不可微點對于優(yōu)化結(jié)果不會有很大影響。激活函數(shù)-計算簡單非線性函數(shù)有很多。極端的說，一個多層神經(jīng)網(wǎng)絡也可以作為一個非線性函數(shù)，類似于NetworkInNetwork中把它當做卷積操作的做法。但激活函數(shù)在神經(jīng)網(wǎng)絡前向的計算次數(shù)與神經(jīng)元的個數(shù)成正比，因此簡單的非線性函數(shù)自然更適合用作激活函數(shù)。這也是ReLU之流比其它使用Exp等操作的激活函數(shù)更受歡迎的其中一個原因。激活函數(shù)-非飽和性飽和指的是在某些區(qū)間梯度接近于零（即梯度消失），使得參數(shù)無法繼續(xù)更新的問題。最經(jīng)典的例子是Sigmoid，它的導數(shù)在x為比較大的正值和比較小的負值時都會接近于0。更極端的例子是階躍函數(shù)，由于它在幾乎所有位置的梯度都為0，因此處處飽和，無法作為激活函數(shù)。ReLU在x>0時導數(shù)恒為1，因此對于再大的正值也不會飽和。但同時對于x<0，其梯度恒為0，這時候它也會出現(xiàn)飽和的現(xiàn)象（在這種情況下通常稱為dyingReLU）。LeakyReLU和PReLU的提出正是為了解決這一問題激活函數(shù)-單調(diào)性即導數(shù)符號不變。這個性質(zhì)大部分激活函數(shù)都有，除了諸如sin、cos等。個人理解，單調(diào)性使得在激活函數(shù)處的梯度方向不會經(jīng)常改變，從而讓訓練更容易收斂。激活函數(shù)-幾乎處處可微有限的輸出范圍使得網(wǎng)絡對于一些比較大的輸入也會比較穩(wěn)定，這也是為什么早期的激活函數(shù)都以此類函數(shù)為主，如Sigmoid、TanH。但這導致了前面提到的梯度消失問題，而且強行讓每一層的輸出限制到固定范圍會限制其表達能力。因此現(xiàn)在這類函數(shù)僅用于某些需要特定輸出范圍的場合，比如概率輸出（此時loss函數(shù)中的log操作能夠抵消其梯度消失的影響）、LSTM里的gate函數(shù)。激活函數(shù)-接近恒等變換即約等于x。這樣的好處是使得輸出的幅值不會隨著深度的增加而發(fā)生顯著的增加，從而使網(wǎng)絡更為穩(wěn)定，同時梯度也能夠更容易地回傳。這個與非線性是有點矛盾的，因此激活函數(shù)基本只是部分滿足這個條件，比如TanH只在原點附近有線性區(qū)（在原點為0且在原點的導數(shù)為1），而ReLU只在x>0時為線性。這個性質(zhì)也讓初始化參數(shù)范圍的推導更為簡單。這種恒等變換的性質(zhì)也被其他一些網(wǎng)絡結(jié)構(gòu)設計所借鑒，比如CNN中的ResNet和RNN中的LSTM。激活函數(shù)-參數(shù)少大部分激活函數(shù)都是沒有參數(shù)的。像PReLU帶單個參數(shù)會略微增加網(wǎng)絡的大小。還有一個例外是Maxout，盡管本身沒有參數(shù)，但在同樣輸出通道數(shù)下k路Maxout需要的輸入通道數(shù)是其它函數(shù)的