生成式對(duì)抗網(wǎng)絡(luò)GAN

GenerativeAdversarialNetwork(GAN)

生成對(duì)抗式網(wǎng)絡(luò)非監(jiān)督學(xué)習(xí)及GAN非監(jiān)督學(xué)習(xí)：訓(xùn)練集沒(méi)有標(biāo)注，學(xué)習(xí)的結(jié)果是數(shù)據(jù)的隱含規(guī)律，表現(xiàn)形式可以使數(shù)據(jù)按相似性分組、數(shù)據(jù)的分布、數(shù)據(jù)分量間的關(guān)聯(lián)規(guī)則，最主要的是探討非監(jiān)督學(xué)習(xí)中的聚類(lèi)問(wèn)題。GAN是IanGoodfellow在2014年的經(jīng)典之作，在許多地方作為非監(jiān)督深度學(xué)習(xí)的代表作給予推廣。

GAN解決了非監(jiān)督學(xué)習(xí)中的著名問(wèn)題：給定一批樣本，訓(xùn)練一個(gè)系統(tǒng)，能夠生成(generate)類(lèi)似的新樣本。GAN之前的非監(jiān)督學(xué)習(xí)直白的想法是，根據(jù)訓(xùn)練集估計(jì)樣本分布p(x)。之后對(duì)p(x)進(jìn)行采樣，可以生成“和訓(xùn)練集類(lèi)似”的新樣本。對(duì)于低維樣本，可以使用簡(jiǎn)單的，只有少量參數(shù)的概率模型（例如高斯）擬合p(x)，但高維樣本（例如圖像）就不好辦了。RBM(RestrictedBoltzmannMachine)：構(gòu)造一個(gè)無(wú)向圖，圖的能量和節(jié)點(diǎn)取值的概率有指數(shù)關(guān)系。利用訓(xùn)練集設(shè)定圖中節(jié)點(diǎn)和邊的系數(shù)，用來(lái)表述樣本中單個(gè)元素和相連元素的關(guān)系。DBN(DeepBeliefNetworks)：用單個(gè)RBM和若干有向?qū)訕?gòu)成網(wǎng)絡(luò)。計(jì)算復(fù)雜GAN對(duì)抗網(wǎng)絡(luò)：使用兩個(gè)網(wǎng)絡(luò)互相競(jìng)爭(zhēng)，稱(chēng)之為對(duì)抗式(adversarial)結(jié)構(gòu)隨機(jī)向量隨機(jī)取樣生成器G：通過(guò)一個(gè)參數(shù)化概率生成模型(通常用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)化)進(jìn)行概率分布的逆變換采樣，得到一個(gè)生成的概率分布。判別器D：給定樣本，判斷(通常也是深度卷積神經(jīng)網(wǎng)絡(luò))這個(gè)樣本來(lái)自真實(shí)數(shù)據(jù)還是偽造數(shù)據(jù)。GAN損失函數(shù)這個(gè)Loss其實(shí)就是交叉熵。對(duì)于判別器D，它的任務(wù)是最小化-L(G,D)，即如果采用零和博弈，生成器G的目標(biāo)是最小化L(G,D)，而實(shí)際操作發(fā)現(xiàn)零和博弈訓(xùn)練效果并不好，G的目標(biāo)一般采用最小化

或一般來(lái)說(shuō)，更新D是，G是固定的；更新G時(shí)，D是固定的。GAN缺點(diǎn)在原始GAN的（近似）最優(yōu)判別器下，第一種生成器loss面臨梯度消失問(wèn)題，第二種生成器loss面臨優(yōu)化目標(biāo)荒謬、梯度不穩(wěn)定、對(duì)多樣性與準(zhǔn)確性懲罰不平衡導(dǎo)致缺乏多樣性的問(wèn)題。原始GAN問(wèn)題的根源可以歸結(jié)為兩點(diǎn)，一是等價(jià)優(yōu)化的距離衡量（JS散度、KL散度）不合理，二是生成器隨機(jī)初始化后的生成分布很難與真實(shí)分布有不可忽略的重疊。衡量?jī)蓚€(gè)分部的相似程度衡量?jī)蓚€(gè)分部的相似程度應(yīng)用：DCGAN2015年的DCGAN把類(lèi)似的理念應(yīng)用到人臉圖像上。通過(guò)對(duì)編碼（輸入的隨機(jī)向量）進(jìn)行代數(shù)運(yùn)算，控制生成人臉圖像的屬性。FacebookAIResearchTSFacebookAIResearchWasserstein距離Wasserstein距離又叫Earth-Mover（EM）距離，定義如下：Ⅱ(Pr,Pg)是Pr和Pg組合起來(lái)的所有可能的聯(lián)合分布的集合，反過(guò)來(lái)說(shuō)，Ⅱ(Pr,Pg)中每一個(gè)分布的邊緣分布都是Pr和Pg。對(duì)于每一個(gè)可能的聯(lián)合分布γ而言，可以從中采樣得到一個(gè)真實(shí)樣本x和一個(gè)生成樣本y，并算出這對(duì)樣本的距離||x-y||，所以可以計(jì)算該聯(lián)合分布γ下樣本對(duì)距離的期望值。在所有可能的聯(lián)合分布中能夠?qū)@個(gè)期望值取到的下界，就定義為Wasserstein距離。直觀上可以把理解為在γ這個(gè)“路徑規(guī)劃”下把Pr這堆“沙土”挪到Pg“位置”所需的“消耗”，而W(Pr,Pg)就是“最優(yōu)路徑規(guī)劃”下的“最小消耗”，所以才叫Earth-Mover（推土機(jī)）距離。Wasserstein距離相比KL散度、JS散度的優(yōu)越性在于，即便兩個(gè)分布沒(méi)有重疊，Wasserstein距離仍然能夠反映它們的遠(yuǎn)近。EM距離—>WGANWasserstein距離定義中的沒(méi)法直接求解，用了一個(gè)已有的定理把它變換為如下形式：Lipschitz連續(xù)：對(duì)于連續(xù)函數(shù)f，存在常數(shù)K大于等于0，使得：對(duì)于定義域內(nèi)任意x1，x2滿足：把f用一個(gè)帶參數(shù)w的神經(jīng)網(wǎng)絡(luò)來(lái)表示，并對(duì)w進(jìn)行限制，此時(shí)所有偏導(dǎo)數(shù)也不會(huì)超過(guò)某個(gè)范圍使得f

Lipschitz連續(xù)。EM距離—>WGAN構(gòu)造一個(gè)含參數(shù)w、最后一層不是非線性激活層的判別器網(wǎng)絡(luò)，在限制w不超過(guò)某個(gè)范圍的條件下，使得盡可能取到最大，此時(shí)L就會(huì)近似真實(shí)分布與生成分布之間的Wasserstein距離（忽略常數(shù)倍數(shù)K）原始GAN的判別器做的是真假二分類(lèi)任務(wù)，所以最后一層是sigmoid，但是現(xiàn)在WGAN中的判別器做的是近似擬合Wasserstein距離，屬于回歸任務(wù)，所以要把最后一層的sigmoid拿掉WassersteinGAN（WGAN）生成器要近似地最小化Wasserstein距離，可以最小化L，由于Wasserstein距離的優(yōu)良性質(zhì)，我們不需要擔(dān)心生成器梯度消失的