激活函數(shù)和損失

1、最為接近生物神經(jīng)元。此外，(0,1)的輸出還可以被表示作概率，或用于輸入的最為接近生物神經(jīng)元。此外，(0,1)的輸出還可以被表示作概率，或用于輸入的歸一化，代表性的如Sigmoid 交叉熵?fù)p失函數(shù)。激活函數(shù)和損失函御關(guān)2017.12.2817:46字?jǐn)?shù) 2059閱讀5040喜歡關(guān)于激活函數(shù)，首先要搞清楚 是，激活函數(shù)是什么， 用？不用激活函數(shù)可不可以？ 是不可以。激活函數(shù)的主要作用是提供網(wǎng)絡(luò)的非線性建模能力。如果沒(méi)有激活函數(shù)，那么該網(wǎng)絡(luò)僅能夠表達(dá)線性 ，此時(shí)即便有再多的隱活函數(shù)之后，深度神經(jīng)網(wǎng)絡(luò)才具備了分層的非線性 學(xué)習(xí)能力。輸出值的范圍： 當(dāng)激活函數(shù)輸出值是 有限 的時(shí)候，基于梯度的優(yōu)化方

2、更加 穩(wěn)定，因?yàn)樘卣鞯谋硎臼苡邢迿?quán)值的影響更顯著;當(dāng)激活函數(shù)的輸出是 無(wú)限的時(shí)候，模型的訓(xùn)練會(huì)更加高效，不過(guò)在這種情況小，一般需要更小的 learning 到，當(dāng)x0時(shí)，則不存在飽和問(wèn)題。所以，ReLU能夠在x0 時(shí)保持梯度不衰減，從而緩解梯度其收斂速度要比sigmoid 快，減少迭代次數(shù)。然而，從途中可以看出，tanh 一樣具有軟飽和性，從而造成梯度 。3.1.3ReLU，P-ReLU,Leaky-ReLU 兩側(cè)導(dǎo)數(shù)逐漸趨近于 0與軟飽和對(duì)應(yīng)的是硬飽和, 即f(x)=0，當(dāng)|x|c，其中c下傳導(dǎo)的梯度包含了一個(gè)f(x)因子（sigmoid關(guān)于輸入的導(dǎo)數(shù)），因此一旦輸入sigmoid 網(wǎng)絡(luò)在

3、5 層之內(nèi)就會(huì)產(chǎn)生梯度這會(huì)導(dǎo)致后一層的神經(jīng)元將得到上一層輸出的非 0 均值的信號(hào)作為輸入。3.1.2 tanh 融合了sigmoid和ReLU，左側(cè)具有軟飽和性，右側(cè)無(wú)飽和性。右側(cè)線性部分使得ELU 能融合了sigmoid和ReLU，左側(cè)具有軟飽和性，右側(cè)無(wú)飽和性。右側(cè)線性部分使得ELU 能夠緩解梯度，而左側(cè)軟飽能夠讓ELU對(duì)輸入變化或噪聲更魯棒。 ELU 的輸出均值接近于零，所以收斂速度更快。在 ImageNet 上，不加 Batch Normalization 30 層以上的 ReLU 網(wǎng)絡(luò)會(huì)無(wú)法收斂，PReLU 網(wǎng)絡(luò)在MSRA 的 Fan-in （caffe ）初始化下會(huì)發(fā)散，而 ELU

4、 網(wǎng)絡(luò)在Fan-in/Fan-out下都能收斂3.1.5 Maxout 在我看來(lái)，這個(gè)激活函數(shù)有點(diǎn) 的感覺(jué)，因?yàn)?maxout網(wǎng)絡(luò)能夠近似任意連w2,b2,wn,bn0時(shí)， 為 ReLU。Maxout能夠緩解梯度消失，同時(shí)又規(guī)避了 ReLU 神經(jīng)元 的缺點(diǎn)，但增加了參數(shù)和計(jì)算量。3.2 在之前的內(nèi)容中， 其中y是 期望的輸出，a為神經(jīng)元的實(shí)際輸出（a=(Wx+b)。也就是說(shuō)，當(dāng)神經(jīng)元的實(shí)際輸出與 的期望輸出差距越大，代價(jià)就越高。想法非常的好，然而在實(shí)際應(yīng)用中， 知道參數(shù)的修正是與CW 和Cb 成正比的，而根據(jù)這就是Leaky-ReLU, 而P-ReLU認(rèn)為，也可以作為一個(gè)參數(shù)來(lái)學(xué)習(xí)，原文獻(xiàn)建議初始化a 為 0.25，不采用正則。3.1.4 ELU 種現(xiàn)象被稱為“神經(jīng)元 ”。與sigmoid類似，ReLU0，偏移現(xiàn)象和 神經(jīng)元 會(huì)共同影響網(wǎng)絡(luò)的收斂性。針對(duì)在x0的硬飽和問(wèn)題， ReLU發(fā)現(xiàn)其中都有(a)這一項(xiàng)。因?yàn)閟igmoid 函數(shù)的性質(zhì)，導(dǎo)致(z)在z 取大算得的a 值