計(jì)算機(jī)視覺(jué)應(yīng)用開(kāi)發(fā)課件：對(duì)抗生成網(wǎng)絡(luò)

對(duì)抗生成網(wǎng)絡(luò)對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念01任務(wù)循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）02任務(wù)學(xué)習(xí)目標(biāo)了解對(duì)抗生成網(wǎng)絡(luò)的原理及構(gòu)成掌握循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念除了使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像風(fēng)格遷移任務(wù)之外，現(xiàn)在流行的對(duì)抗生成網(wǎng)絡(luò)（GAN）非常適合做圖像生成類的任務(wù)。在介紹GAN之前，先簡(jiǎn)單回顧下之前所介紹的CNN模型。在圖中，CNN通過(guò)卷積、池化等操作對(duì)輸入圖像進(jìn)行分析，從而對(duì)其進(jìn)行分類（判定是否為貓），這個(gè)過(guò)程可以概括為圖像處理，即模型輸入的圖像是確定的、待分析的對(duì)象，通過(guò)各種神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)其進(jìn)行分析。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念與上述過(guò)程相反，對(duì)于圖像生成任務(wù)來(lái)說(shuō)，模型的輸出才是確定的圖像，而模型的輸入則是不確定的，具體取決于場(chǎng)景以及特定的模型設(shè)計(jì)。在圖像生成任務(wù)的一種特殊應(yīng)用——風(fēng)格遷移中，模型的輸入可能是一個(gè)隨機(jī)生成的圖像，圖中模型的訓(xùn)練過(guò)程可以看成對(duì)這個(gè)隨機(jī)生成的圖像所對(duì)應(yīng)像素值的更新過(guò)程，以實(shí)現(xiàn)較好的風(fēng)格遷移效果。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNets，GAN）自提出以來(lái)，在許多領(lǐng)域中出現(xiàn)大量有趣的應(yīng)用，如漫畫(huà)變臉的特效、訓(xùn)練樣本的構(gòu)造、模型的架構(gòu)等。通過(guò)以上講解，應(yīng)該建立以下認(rèn)知：圖像處理任務(wù)利用如CNN的神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行分析處理，得到跟輸入圖像內(nèi)容相關(guān)的信息；與圖像處理任務(wù)相反，在圖像生成任務(wù)中，圖像生成模型根據(jù)輸入圖像內(nèi)容相關(guān)的信息來(lái)生成圖像；對(duì)于圖像生成任務(wù)來(lái)說(shuō)，圖像生成模型的輸入是不確定的，具體取決于場(chǎng)景以及特定的模型設(shè)計(jì)。其中風(fēng)格遷移就屬于其中的一種場(chǎng)景；生成對(duì)抗網(wǎng)絡(luò)（GAN）可以應(yīng)用于風(fēng)格遷移。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念接下來(lái)簡(jiǎn)單介紹GAN的基本原理，GAN的主要組成如圖所示：1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念GAN模型中有兩個(gè)核心的組成：生成器（Generator）與判別器（Discriminator）。它的整體的流程如下：1.首先定義一個(gè)生成器（Generator），輸入一組隨機(jī)噪聲向量（最好符合常見(jiàn)的分布，一般的數(shù)據(jù)分布都呈現(xiàn)常見(jiàn)分布規(guī)律），輸出為一個(gè)圖片；2.定義一個(gè)判別器（Discriminator），用它來(lái)判斷圖片是否為訓(xùn)練集中的圖片，是為真，否為假；3.當(dāng)判別器無(wú)法分辨真假，即判別概率為0.5時(shí)，停止訓(xùn)練。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念體現(xiàn)“對(duì)抗”的關(guān)鍵步驟是：1.固定生成器（的參數(shù)），訓(xùn)練（優(yōu)化）判別器，使得判別器能夠盡可能準(zhǔn)確地區(qū)分“真圖像”與“假圖像”；2.在完成步驟1之后，固定判別器（的參數(shù)），訓(xùn)練（優(yōu)化）生成器，盡可能使得判別器無(wú)法準(zhǔn)確地區(qū)分“真圖像”與“假圖像”。在GAN模型訓(xùn)練完成后，即可使用經(jīng)訓(xùn)練的生成器（Generator）來(lái)生成圖像了。GAN的判別器與生成器都由多層感知機(jī)（可以看成全連接神經(jīng)網(wǎng)絡(luò)，即FC）構(gòu)成，它們都可以使用其他類型的神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）。1對(duì)抗生成網(wǎng)絡(luò)（GAN）的基本概念GAN模型的目標(biāo)函數(shù)如下：在這里，訓(xùn)練網(wǎng)絡(luò)D使得盡可能最大程度地分對(duì)訓(xùn)練樣本的標(biāo)簽（最大化logD(x)和log(1-D(G(z))))，訓(xùn)練網(wǎng)絡(luò)G最小化log(1-D(G(z))），即最大化D的損失。而訓(xùn)練過(guò)程中固定一方，更新另一個(gè)網(wǎng)絡(luò)的參數(shù)，交替迭代，使得對(duì)方的錯(cuò)誤最大化。最終，G能估測(cè)出樣本數(shù)據(jù)的分布，也就是生成的樣本更加的真實(shí)。然后從式子中解釋對(duì)抗，了解到G網(wǎng)絡(luò)的訓(xùn)練是希望D(G(z))趨近于1，也就是正類，這樣G的loss就會(huì)最小。而D網(wǎng)絡(luò)的訓(xùn)練就是一個(gè)2分類，目標(biāo)是分清楚真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，也就是希望真實(shí)數(shù)據(jù)的D輸出趨近于1，而生成數(shù)據(jù)的輸出即D(G(z))趨近于0，或是負(fù)類。這里就是體現(xiàn)了對(duì)抗的思想。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）現(xiàn)在要通過(guò)GAN網(wǎng)絡(luò)實(shí)現(xiàn)風(fēng)格遷移需要考慮的事情就是如何為GAN網(wǎng)絡(luò)加上內(nèi)容約束和風(fēng)格約束了，著名的CycleGAN變通過(guò)自己巧妙的loss設(shè)計(jì)實(shí)現(xiàn)了這一點(diǎn)。針對(duì)原始GAN網(wǎng)絡(luò)可以進(jìn)行如下的簡(jiǎn)化描述，如圖所示：輸入x經(jīng)過(guò)生成器G得到輸出Y，判別器用來(lái)負(fù)責(zé)判別Y是取自真實(shí)數(shù)據(jù)集還是來(lái)自生成的圖像。通過(guò)這一約束，使得生成器生成的圖片越來(lái)越真實(shí)，但是由于沒(méi)有內(nèi)容和風(fēng)格約束，所以模型的輸出結(jié)果是不可預(yù)測(cè)的，這更像是藝術(shù)創(chuàng)作。就像給畫(huà)家一張白紙，說(shuō)你去畫(huà)畫(huà)吧，最后只評(píng)判畫(huà)家畫(huà)的畫(huà)寫(xiě)不寫(xiě)實(shí)，因此畫(huà)家可以隨意創(chuàng)作，這要保證作品看起來(lái)真實(shí)就好。那么如何添加約束？2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）首先，要實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換，就必須要有兩套不同風(fēng)格的數(shù)據(jù)集，例如春天數(shù)據(jù)集和冬天數(shù)據(jù)集，GAN網(wǎng)絡(luò)的輸入也不再是隨機(jī)噪聲，而是其中一個(gè)數(shù)據(jù)集，這里使用春天數(shù)據(jù)集，經(jīng)過(guò)生成器后重建的結(jié)果圖片與冬天數(shù)據(jù)集一起作為判別器的輸入，讓判別器來(lái)判斷該冬天風(fēng)格圖是否真實(shí)，從而指導(dǎo)生成器生成的圖片是冬天風(fēng)格且真實(shí)的。這樣生成器G就通過(guò)優(yōu)化對(duì)抗loss就學(xué)習(xí)到了一種由春天風(fēng)格到冬天風(fēng)格的一種映射，可以將任意一張輸入圖片轉(zhuǎn)換為冬天風(fēng)格的。這里的風(fēng)格約束與使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行風(fēng)格轉(zhuǎn)換的思路就完全不同了，一個(gè)是通過(guò)不斷優(yōu)化結(jié)果圖與風(fēng)格圖gram矩陣的距離作為loss；一個(gè)是通過(guò)對(duì)抗損失的動(dòng)態(tài)博弈為loss。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）值得一提的是，由于對(duì)抗損失只是為了學(xué)習(xí)不同風(fēng)格域間的映射，因此兩個(gè)數(shù)據(jù)集里的數(shù)據(jù)不必是成對(duì)的，（通俗的理解是風(fēng)格作為紋理特征的延伸是一種低級(jí)特征，內(nèi)容作為語(yǔ)義信息是一種高級(jí)特征。當(dāng)只從不同數(shù)據(jù)集學(xué)習(xí)風(fēng)格映射時(shí)，只需要保證不同數(shù)據(jù)集風(fēng)格一致即可，比如一個(gè)數(shù)據(jù)集都是冬天，另一個(gè)數(shù)據(jù)集都是夏天，對(duì)數(shù)據(jù)集中具體照片的內(nèi)容沒(méi)有要求，是貓是狗是啥姿態(tài)無(wú)所謂（即可以是非配對(duì)的），這一點(diǎn)很重要，因?yàn)楝F(xiàn)實(shí)中不同風(fēng)格下成對(duì)的數(shù)據(jù)是很難獲得的。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）但是，僅僅使用兩個(gè)數(shù)據(jù)集運(yùn)用GAN網(wǎng)絡(luò)是不能達(dá)到風(fēng)格遷移的目的的，原因有二：其一，沒(méi)有內(nèi)容約束，生成的結(jié)果無(wú)法預(yù)測(cè)，失去了風(fēng)格遷移的意義（風(fēng)格遷移后的語(yǔ)義信息是不變的）；其二，GAN網(wǎng)絡(luò)的訓(xùn)練傾向于模式崩塌（Modelcollapse），這里不展開(kāi)解釋，簡(jiǎn)單來(lái)說(shuō)就是，當(dāng)生成器發(fā)現(xiàn)生成某一張圖片可以輕易的騙過(guò)判別器時(shí)，其他的生成結(jié)果就會(huì)傾向類似于該照片。即當(dāng)生成器發(fā)現(xiàn)一個(gè)好的解時(shí)，就瘋狂輸出類似于這個(gè)解的結(jié)果，不愿意去做其他的嘗試，但是，關(guān)鍵在于該解并不一定有較好的視覺(jué)效果或者不一定是期望的結(jié)果，只是因?yàn)樵摻獾膌oss較優(yōu)，生成器才做此決定，希望生成器多去嘗試，以找到最優(yōu)解。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）CycleGAN如何進(jìn)行內(nèi)容約束？如圖所示：圖中對(duì)輸出結(jié)果進(jìn)行一次反變換，來(lái)對(duì)比原始輸入和反變換后的輸出間的差異即可進(jìn)行內(nèi)容上的約束。類比語(yǔ)言翻譯：我的目的是將漢語(yǔ)風(fēng)格的X（“神經(jīng)網(wǎng)絡(luò)真奇妙~”）

變換成英語(yǔ)Y。生成器G相當(dāng)于翻譯機(jī)，經(jīng)過(guò)GAN的過(guò)程可以有多個(gè)翻譯結(jié)果：例如1，“神經(jīng)netveryfun”；2，“neuralnetwork真好玩”；3，“neuralnetworkveryfantastic”；4，“Iamveryhandsome”

，判斷器D的任務(wù)是判斷哪個(gè)結(jié)果更像英語(yǔ)，因此判斷器給出的結(jié)果可能是3，也可能是4，因?yàn)樗鼈兌际怯⒄Z(yǔ)。但是，顯然4是不對(duì)的。那要如何進(jìn)行約束呢？只需要再進(jìn)行一次反變換，判斷其結(jié)果和原始輸出之間的差別即可。經(jīng)過(guò)CycleGAN的過(guò)程，得到3的結(jié)果是神經(jīng)網(wǎng)絡(luò)真奇妙，與原始輸入結(jié)果（神經(jīng)網(wǎng)絡(luò)真奇妙）的距離為0，4的結(jié)果與原始結(jié)果的距離就很大了。這便達(dá)到了內(nèi)容約束的目的。2循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）將后半部分進(jìn)行翻轉(zhuǎn)就形成了一個(gè)閉環(huán)，如圖6-7-6所示，這就是CycleGAN名字的由來(lái)。總結(jié)一下，CycleGAN使用兩個(gè)不同風(fēng)格的數(shù)據(jù)集，通過(guò)優(yōu)化對(duì)抗損失來(lái)達(dá)到風(fēng)格約束的目的，這一過(guò)程需要生成器和判別器兩個(gè)網(wǎng)絡(luò)組成；CycleGAN又通過(guò)一次反向變化來(lái)達(dá)到內(nèi)容約束的目的，同樣，這一過(guò)程也需要生成器和判別器兩個(gè)網(wǎng)絡(luò)組成。因此CycleGAN的網(wǎng)絡(luò)組成部分是兩個(gè)生成器和兩個(gè)判別器四部分，loss