softmax交叉熵?fù)p失函數(shù)求導(dǎo)

softmax交叉熵?fù)p失函數(shù)求導(dǎo)softmax函數(shù)的公式是這種形式:bX-2aWo32呵殉其中W_{ij}softmax函數(shù)的公式是這種形式:bX-2aWo32呵殉其中W_{ij}是第i個(gè)神經(jīng)元的第個(gè)權(quán)重，b是偏移值。Z_i表示該網(wǎng)絡(luò)的第個(gè)輸出。給這個(gè)輸出加上一個(gè)softmax函數(shù)，那就變成了這樣：神經(jīng)元的輸出設(shè)為:簡(jiǎn)單易懂的softmax交叉熵?fù)p失函數(shù)求導(dǎo)來(lái)寫(xiě)一個(gè)softmax求導(dǎo)的推導(dǎo)過(guò)程，不僅可以給自己理清思路，還可以造福大眾，豈不美哉~softmax經(jīng)常被添加在分類(lèi)任務(wù)的神經(jīng)網(wǎng)絡(luò)中的輸出層，神經(jīng)網(wǎng)絡(luò)的反向傳播中關(guān)鍵的步驟就是求導(dǎo)，從這個(gè)過(guò)程也可以更深刻地理解反向傳播的過(guò)程，還可以對(duì)梯度傳播的問(wèn)題有更多的思考。softmax函數(shù)softmax（柔性最大值）函數(shù)，一般在神經(jīng)網(wǎng)絡(luò)中，softmax可以作為分類(lèi)任務(wù)的輸出層。其實(shí)可以認(rèn)為softmax輸出的是幾個(gè)類(lèi)別選擇的概率，比如我有一個(gè)分類(lèi)任務(wù)，要分為三個(gè)類(lèi)，softmax函數(shù)可以根據(jù)它們相對(duì)的大小，輸出三個(gè)類(lèi)別選取的概率，并且概率和為。S」代表的是第i個(gè)神經(jīng)元的輸出。ok,其實(shí)就是在輸出后面套一個(gè)這個(gè)函數(shù)，在推導(dǎo)之前，我們統(tǒng)一一下網(wǎng)絡(luò)中的各個(gè)表示符號(hào)，避免后面突然出現(xiàn)一個(gè)什么符號(hào)懵逼推導(dǎo)不下去了。首先是神經(jīng)元的輸出，一個(gè)神經(jīng)元如下圖：a_i代表softmax的第i個(gè)輸出值，右側(cè)就是套用Tsoftmax函數(shù)。損失函數(shù)lossfunction在神經(jīng)網(wǎng)絡(luò)反向傳播中，要求一個(gè)損失函數(shù)，這個(gè)損失函數(shù)其實(shí)表示的是真實(shí)值與網(wǎng)絡(luò)的估計(jì)值的誤差，知道誤差了，才能知道怎樣去修改網(wǎng)絡(luò)中的權(quán)重。損失函數(shù)可以有很多形式，這里用的是交叉熵函數(shù)，主要是由于這個(gè)求導(dǎo)結(jié)果比較簡(jiǎn)單，易于計(jì)算，并且交叉熵解決某些損失函數(shù)學(xué)習(xí)緩慢的問(wèn)題。交叉熵的函數(shù)是這樣的:其中y_i表示真實(shí)的分類(lèi)結(jié)果。到這里可能嵌套了好幾層，不過(guò)不要擔(dān)心，下面會(huì)一步步推導(dǎo)，強(qiáng)烈推薦在紙上寫(xiě)一寫(xiě)，有時(shí)候光看看著看著就迷糊了，自己邊看邊推導(dǎo)更有利于理解最后的準(zhǔn)備在我最開(kāi)始看softmax推導(dǎo)的時(shí)候，有時(shí)候看到一半不知道是怎么推出來(lái)的，其實(shí)主要是因?yàn)橐恍┣髮?dǎo)法則忘記了，唉所以這里把基礎(chǔ)的求導(dǎo)法則和公式貼出來(lái)~有些忘記的朋友可以先大概看一下：

(2)(3J(cm.x)'cos?tW(CMK0(tan=￡己匚］x冋(catx/=—esc31(wc亦二secxtanx(3)(escj)*=-cscxcotz⑨(afc)r=caJkiitf(101tey=e?Z丫二—(121(ks)r=--xhidX(13)(AKSLftXY=」——(141(afcc&sjr)r=-——(15)(arctanx)f=——r1+x(161(arccQt—1+x鑿《!啲*口，董枳.商齡號(hào)注期u-v=v(t)E：T-mJell畑土巧'冃11"土討⑵(佻『=01?iC*毎宜數(shù)(3)(卯〕??“中+山討.f震合函披求導(dǎo)注則=/(?)-而?=P(x)且/⑷)黑軟力耳耳導(dǎo):列良舍曲數(shù)$=』!栽或］打?qū)矠樽?變色或卄畑?如axMiax推導(dǎo)過(guò)程好了，這下正式開(kāi)始~首先，我們要明確一下我們要求什么，我們要求的是我們的0SS對(duì)于神經(jīng)元輸出(z_i)的梯度，即:dC

dZi根據(jù)復(fù)合函數(shù)求導(dǎo)法則:dzidajdzi有個(gè)人可能有疑問(wèn)了，這里為什么是1」而不是a_i,這里要看一下Softmax的公式了，因?yàn)閟oftmax公式的特性，它的分母包含了所有神經(jīng)元的輸出，所以，對(duì)于不等于的其他輸出里面，也包含著z」，所有的a都要納入到計(jì)算范圍中，并且后面的計(jì)算可以看到需要分為=j和i土j兩種情況求導(dǎo)。下面我們一個(gè)一個(gè)推：dC必-乙力1叫)p1==—〉V;—dajdaj牛"a}第二個(gè)稍微復(fù)雜一點(diǎn)，我們先把它分為兩種情況:ok，接下來(lái)我們只需要把上面的組合起來(lái):dC”口1dtJ』P習(xí)TH肓=(一乙力一)忑-=—-Aj)+2^—aiaf=一敢+y(ai+Z艸內(nèi)=->,+h,2j>fa^