激勵函數(shù)和損失函數(shù)

1.1

機學習概覽歡迎進入《數(shù)據(jù)科學與機器學習》課程學習第4單元機器學習與神經(jīng)網(wǎng)絡深度神經(jīng)網(wǎng)絡（DNN）

深度神經(jīng)網(wǎng)絡（DNN）感知器02

從生物元到人工神經(jīng)元01多層感知器與反向傳播03激活函數(shù)和損失函數(shù)05

多層神經(jīng)網(wǎng)絡（深度學習）04梯度下降算法（SGD）06激活函數(shù)激活函數(shù)的作用如果一個神經(jīng)元的輸出通過一個非線性函數(shù)，整個神經(jīng)網(wǎng)絡模型就不再是線性的了，這個非線性函數(shù)就是激活函數(shù)。激活函數(shù)加入非線性因素，主要是解決線性模型表達能力不足的問題。

圖1：

激活函數(shù)激活函數(shù)常用的激活函數(shù)有sigmoid、tanh、relu和softmax。舉個簡單的例子，二分類問題，如果不使用激活函數(shù)，例如使用簡單的邏輯回歸，只能作簡單的線性劃分（左圖）如果使用激活函數(shù)，則可以實現(xiàn)非線性劃分，如右圖所示：圖2：激活函數(shù)的作用激活函數(shù)

Sigmoid函數(shù)公式：Sigmoid函數(shù)的取值范圍在(0,1)之間，單調(diào)連續(xù)，求導容易，一般用于二分類神經(jīng)網(wǎng)絡的輸出層。圖3：Sigmoid函數(shù)圖形激活函數(shù)tanh函數(shù)公式：tanh函數(shù)的取值范圍在(-1,1)之間，單調(diào)連續(xù)，求導容易。

相比于Sigmoid函數(shù)，tanh函數(shù)的優(yōu)點主要有兩個：其一，收斂速度更快，如下圖所示，tanh函數(shù)線性區(qū)斜率較Sigmoid更大一些。在此區(qū)域內(nèi)訓練速度會更快。其二，tanh函數(shù)輸出均值為零，不響應訓練速度。圖4：tanh函數(shù)激活函數(shù)Relu函數(shù)公式：

ReLU函數(shù)是最近幾年比較火熱的激活函數(shù)之一。相比Sigmoid和tanh函數(shù)，其主要優(yōu)點包括以下幾個方面：

沒有飽和區(qū)，不存在梯度消失問題。沒有復雜的指數(shù)運算，計算簡單、效率提高。實際收斂速度較快，大約是Sigmoid/tanh的6倍。比Sigmoid更符合生物學神經(jīng)激活機制。圖5：Relu函數(shù)激活函數(shù)Relu衍生函數(shù)

除了relu本身外，TensorFlow后續(xù)又有相關ReLU衍生的激活函數(shù)，比如：ReLU6、SReLU、LeakyReLU、PReLU、RReLU、CReLU。圖6：Relu函數(shù)衍生激活函數(shù)Softmax函數(shù)公式：

Softmax函數(shù)可以把它的輸入，通常被稱為logits或者logitscores，處理成0到1之間，并且能夠把輸出歸一化到和為1。這意味著softmax函數(shù)與分類的概率分布等價。它是一個網(wǎng)絡預測多分類問題的最佳輸出激活函數(shù)。圖7：Softmax函數(shù)實現(xiàn)多分類預測損失函數(shù)損失函數(shù)的作用損失函數(shù)就是用來表現(xiàn)預測與實際數(shù)據(jù)的差距程度，損失函數(shù)用來衡量網(wǎng)絡的準確性。損失函數(shù)（lossfunction）是用來估量你模型的預測值f(x)與真實值Y的不一致程度，它是一個非負實值函數(shù),通常使用L(Y,f(x))來表示，損失函數(shù)越小，模型的魯棒性就越好。圖8：損失函數(shù)的作用損失函數(shù)常用的損失函數(shù)（1）平方損失（Squareloss）的標準形式：當樣本個數(shù)為n時，此時的損失函數(shù)變?yōu)椋篩-f(X)表示的是殘差，整個式子表示的是殘差的平方和，而我們的目的就是最小化這個目標函數(shù)值（注：該式子未加入正則項），也就是最小化殘差的平方和（residualsumofsquares，RSS）。損失函數(shù)常用的損失函數(shù)（2）均方誤差（MSE）的標準形式：均方誤差（MSE）是最常用的回歸損失函數(shù)。MSE是目標變量和預測值之間的平方距離之和。損失函數(shù)常用的損失函數(shù)（3）交叉熵的標準形式：交叉熵是信息論中一個重要概念，主要用于度量兩個概率分布間的差異性。在TensorFlow中常見的交叉熵函數(shù)，有sigmoid交叉熵函數(shù)，softmax交叉熵函數(shù)，加權sigmoid交叉熵函數(shù)。損失函數(shù)線性回歸問題一般使用均方差作為最小損失函數(shù)。多分類問題，如果使用s