現(xiàn)代機(jī)器學(xué)習(xí) 課件 第13章 生成對(duì)抗網(wǎng)絡(luò)

第13生成對(duì)抗網(wǎng)絡(luò)13.1生成對(duì)抗網(wǎng)絡(luò)簡介13.2網(wǎng)絡(luò)結(jié)構(gòu)13.3訓(xùn)練過程13.4評(píng)價(jià)指標(biāo)13.5訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)面臨的挑戰(zhàn)13.6生成對(duì)抗網(wǎng)絡(luò)經(jīng)典算法13.7生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用本章小結(jié)

13.1生成對(duì)抗網(wǎng)絡(luò)簡介

生成對(duì)抗網(wǎng)絡(luò)(GenerativeAdversarialNetwork,GAN)是由Goodfellow等人在2014年提出的。GAN的思想自提出就受到了廣泛關(guān)注。

GAN是一種結(jié)構(gòu)化的概率模型,通過圖像、音頻和數(shù)據(jù)來學(xué)習(xí)復(fù)雜的高維分布。生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)網(wǎng)絡(luò)組成:一個(gè)是生成器(Generator,G),用于捕獲數(shù)據(jù)分布并生成偽樣本;另一個(gè)是判別器(Discriminator,D),用于預(yù)測(cè)輸入數(shù)據(jù)是來自真實(shí)數(shù)據(jù)分布還是生成器生成的數(shù)據(jù)分布的概率。生成器G和判別器D分別作為博弈的兩方,學(xué)習(xí)真實(shí)的數(shù)據(jù)分布,生成與真實(shí)數(shù)據(jù)一樣的數(shù)據(jù)。

利用梯度下降技術(shù),由生成器和判別器進(jìn)行最小最大博弈直到納什均衡,此時(shí)生成器可以生成與真實(shí)數(shù)據(jù)相似的數(shù)據(jù),而判別器不能區(qū)分真實(shí)數(shù)據(jù)與生成器生成的數(shù)據(jù)。為了更新生成器和判別器的梯度,判別器通過計(jì)算兩個(gè)分布之間的差異所帶來的損失來接收梯度信號(hào)。因此,生成對(duì)抗網(wǎng)絡(luò)的三個(gè)主要設(shè)計(jì)和優(yōu)化組件是:網(wǎng)絡(luò)結(jié)構(gòu)、目標(biāo)(損失)函數(shù)和優(yōu)化算法。當(dāng)模型達(dá)到納什均衡時(shí),可以認(rèn)為生成器捕捉到了真實(shí)數(shù)據(jù)分布。圖13.1顯示了2014—2018年生成對(duì)抗網(wǎng)絡(luò)圖像生成能力的進(jìn)展情況。圖13.12014—2018年生成對(duì)抗網(wǎng)絡(luò)圖像生成能力的進(jìn)展情況

13.2網(wǎng)絡(luò)結(jié)構(gòu)

生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)將簡單的潛在分布映射為更復(fù)雜的數(shù)據(jù)分布。生成對(duì)抗網(wǎng)絡(luò)基于兩個(gè)網(wǎng)絡(luò)(即一個(gè)生成器和一個(gè)判別器)博弈的思想,使生成器和判別器相互競爭。生成對(duì)抗網(wǎng)絡(luò)可以是深度生成模型或生成神經(jīng)模型的一部分,其中生成器和判別器通過神經(jīng)網(wǎng)絡(luò)參數(shù)化,并在參數(shù)空間中進(jìn)行更新。

GAN的生成模型用來獲取真實(shí)的數(shù)據(jù)分布,判別模型用來預(yù)測(cè)輸入是來自真實(shí)數(shù)據(jù)的概率。GAN輸入真實(shí)數(shù)據(jù)x和隨機(jī)噪聲向量z,同時(shí)訓(xùn)練G和D兩個(gè)模型。GAN的網(wǎng)絡(luò)結(jié)構(gòu)如圖13.2所示，G的目的是令D(G(z))足夠大,最大化預(yù)測(cè)生成樣本為真實(shí)數(shù)據(jù)的概率,盡可能地生成與真實(shí)數(shù)據(jù)相似的數(shù)據(jù),使判別器判斷不出來生成的數(shù)據(jù)G(z)是假數(shù)據(jù);D的目的是使D(G(z))足夠小,盡可能正確地判斷輸入數(shù)據(jù)是真實(shí)數(shù)據(jù)還是假數(shù)據(jù)。

判別器輸入一個(gè)0或1的數(shù),表示數(shù)據(jù)來自真實(shí)數(shù)據(jù)的概率,1表示輸入的數(shù)據(jù)來自真實(shí)數(shù)據(jù),0表示輸入的數(shù)據(jù)是生成器生成的假數(shù)據(jù)。判別器輸入數(shù)據(jù)對(duì)(xreal,1)和(xfake,0)經(jīng)過多次的對(duì)抗調(diào)整,最后使生成器和判別器達(dá)到一個(gè)動(dòng)態(tài)平衡,即納什均衡(即自身利益最大化,G和D沒有任何一方再需改變其策略的均衡狀態(tài))。圖13.2生成對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)

13.3訓(xùn)練過程

生成器的輸入為隨機(jī)噪聲,判別器則接收輸入的真實(shí)數(shù)據(jù)和生成器生成的數(shù)據(jù);訓(xùn)練過程中固定生成器或判別器的梯度,更新另一方的梯度。判別器D根據(jù)式(13-1)進(jìn)行隨機(jī)梯度上升更新,生成器G根據(jù)式(13-2)進(jìn)行隨機(jī)梯度下降更新。

式中:x表示真實(shí)數(shù)據(jù);z表示隨機(jī)噪聲向量;G(z)表示生成器生成的樣本;D(x)表示判斷真實(shí)數(shù)據(jù)為真實(shí)數(shù)據(jù)的概率;D(G(z))表示判斷生成器生成的數(shù)據(jù)為真實(shí)數(shù)據(jù)的概率。生成器和判別器交替迭代,其中G和D都極力優(yōu)化自己的網(wǎng)絡(luò),形成一種競爭對(duì)抗?fàn)顟B(tài),直到模型收斂,G、D雙方達(dá)到納什均衡。但是在訓(xùn)練初期,若生成器的生成效果很差,則判別器可以輕松地判別樣本真假,log(1-D(G(z)))很容易達(dá)到飽和,因此選擇最大化log(D(G(z))),而不是最小化log(1-D(G(z)))。

利用交叉熵?fù)p失函數(shù)計(jì)算判別器的損失。判別器的損失函數(shù)lD為

生成器與判別器對(duì)抗競爭,它嘗試將式(13-3)最大化,因此生成器的損失函數(shù)可寫為

最終的損失函數(shù)l為

上述損失函數(shù)僅對(duì)單個(gè)數(shù)據(jù)有效,若考慮整個(gè)數(shù)據(jù)集,需添加數(shù)據(jù)期望:

實(shí)際上,式(13-6)中的log(1-D(G(z)))飽和,并使不充分的梯度流過G,即梯度值變小,停止學(xué)習(xí)。為了克服梯度消失問題,式(13-6)中的目標(biāo)函數(shù)被重新定義為兩個(gè)單獨(dú)的目標(biāo):

和

在式(13-7)中進(jìn)行計(jì)算后,可以使用反向傳播來更新模型參數(shù)。這兩個(gè)不同目標(biāo)的更新規(guī)則如下:

在足夠的訓(xùn)練迭代次數(shù)下,如果生成器和判別器具有足夠的能力,生成器可以將一個(gè)簡單的潛在分布pg轉(zhuǎn)換為更復(fù)雜的分布;當(dāng)pg收斂到pdata時(shí),即可認(rèn)為pg=pdata。

13.4評(píng)價(jià)指標(biāo)

生成對(duì)抗網(wǎng)絡(luò)模型已被廣泛用于無監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)等。為了設(shè)計(jì)更好的生成對(duì)抗網(wǎng)絡(luò)模型,需要開發(fā)或使用適當(dāng)?shù)亩慷攘恐笜?biāo)來克服定性度量的局限性。近年來,隨著新模型的出現(xiàn),多個(gè)生成對(duì)抗網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)被引入,進(jìn)行定量度量。

13.4.1InceptionScore(IS)

IS指標(biāo)首先評(píng)價(jià)生成對(duì)抗網(wǎng)絡(luò)生成圖像的質(zhì)量好壞。但是圖像質(zhì)量是一個(gè)非常主觀的概念,不夠清晰的寵物狗圖片和線條足夠明晰但表述抽象的圖片均應(yīng)算作低質(zhì)量圖片。計(jì)

算機(jī)不太容易認(rèn)識(shí)到這個(gè)問題,最好可以設(shè)計(jì)一個(gè)可計(jì)算的量化指標(biāo)。

結(jié)合這兩個(gè)要求,IS定義為

式中運(yùn)用KL散度(Kullback-LeibierDivergence)衡量兩個(gè)概率分布的距離。KL散度的數(shù)值非負(fù),值越大,說明這兩個(gè)概率分布越不相像。KL散度的公式如下:

IS指標(biāo)作為論文中最常出現(xiàn)的評(píng)價(jià)標(biāo)準(zhǔn),在一定程度上可以反映出生成圖片的質(zhì)量以及多樣性。但也存在一些問題,例如數(shù)值受樣本選取的干擾較大,不適合在內(nèi)部差異較大的數(shù)據(jù)集上使用,分類模型和生成模型應(yīng)該在同一個(gè)數(shù)據(jù)集上訓(xùn)練,無法區(qū)分過擬合等。

13.4.2ModeScore(MS)

MS指標(biāo)是IS指標(biāo)的改進(jìn)版本。與IS指標(biāo)不同的是,MS指標(biāo)可以測(cè)量實(shí)際分布與生成分布的差異性,數(shù)值越高,效果越好。具體公式如下:

式中:p*(y)表示由訓(xùn)練數(shù)據(jù)集的樣本得到的標(biāo)簽向量的類別概率;p(y)表示由生成樣本得到的標(biāo)簽向量的類別概率。與IS指標(biāo)相似的是,MS指標(biāo)同樣考慮了生成樣本的質(zhì)量與多樣性的問題。

13.4.3FréchetInceptionDistance(FID)

計(jì)算IS指標(biāo)時(shí)只考慮了生成樣本,沒有考慮真實(shí)數(shù)據(jù),即IS指標(biāo)無法反映真實(shí)數(shù)據(jù)和樣本之間的距離。IS指標(biāo)判斷數(shù)據(jù)真實(shí)性的依據(jù)源于InceptionV3模型的訓(xùn)練集——ImageNet,

因此凡是不像ImageNet的數(shù)據(jù),都被認(rèn)為是不真實(shí)的。

FID計(jì)算真實(shí)樣本與生成樣本在特征空間上的距離。具體步驟是:首先利用Inception網(wǎng)絡(luò)來提取特征,然后使用高斯模型對(duì)特征空間進(jìn)行建模,再去求解兩個(gè)特征之間的距離。

較低的FID意味著較高圖片的質(zhì)量和多樣性。具體公式如下:

其中:μr和μg分別表示真實(shí)圖片和生成圖片的特征的均值;Cr和Cg分別表示真實(shí)圖片和生成圖片特征的協(xié)方差矩陣。當(dāng)生成圖片和真實(shí)圖片特征越相近時(shí),均值之差的平方越小,

協(xié)方差也越小,則兩者之和FID也越小。

相比較IS來說,FID對(duì)噪聲有更好的魯棒性。因?yàn)镕ID只是把InceptionV3模型作為特征提取器,并不依賴它判斷圖片的具體類別,因此不必?fù)?dān)心InceptionV3的訓(xùn)練數(shù)據(jù)和生成模型的訓(xùn)練數(shù)據(jù)不同。同時(shí),由于FID直接衡量生成樣本分布和真實(shí)樣本分布之間的距離,也不必?fù)?dān)心生成器只能產(chǎn)生幾個(gè)類別的樣本的問題,即模式崩潰問題。

13.5訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)面臨的挑戰(zhàn)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)時(shí)經(jīng)常出現(xiàn)如下幾個(gè)問題:(1)訓(xùn)練過程難以收斂,出現(xiàn)振蕩;實(shí)驗(yàn)結(jié)果隨機(jī),難以復(fù)現(xiàn)。(2)訓(xùn)練收斂,但是出現(xiàn)模式崩潰。例如,我們用MNIST數(shù)據(jù)集訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)模型,訓(xùn)練后的生成對(duì)抗網(wǎng)絡(luò)只能生成10個(gè)數(shù)字中的某一個(gè);或者在人臉圖片的實(shí)驗(yàn)中只生成某一種風(fēng)格的圖片。(3)用真實(shí)圖片訓(xùn)練后的生成對(duì)抗網(wǎng)絡(luò)模型涵蓋所有模式,但是同時(shí)會(huì)生成一些沒有意義或者在現(xiàn)實(shí)中不可能出現(xiàn)的圖片。(4)生成器梯度消失,無法更新模型參數(shù)。

13.5.1模式崩潰

如圖13.3所示,給定數(shù)據(jù)集,用編碼映射將其映射入特征空間中,每個(gè)數(shù)字對(duì)應(yīng)一個(gè)團(tuán)簇,即MNIST數(shù)據(jù)集的概率分布密度函數(shù)具有多個(gè)峰值,每個(gè)峰值被稱為是一個(gè)模式

(Mode)。理想情況下,生成模型應(yīng)該能夠生成10個(gè)數(shù)字,如果只能生成其中的幾個(gè),而錯(cuò)失其他的模式,則稱這種現(xiàn)象為模式崩潰(ModeCollapse)。圖13.3MNIST數(shù)據(jù)集嵌入在平面上,10個(gè)團(tuán)簇對(duì)應(yīng)著10個(gè)模式

13.5.2不收斂和不穩(wěn)定性

大多數(shù)深度模型的訓(xùn)練都使用優(yōu)化算法尋找損失函數(shù)全局最小點(diǎn)。優(yōu)化算法通常是個(gè)可靠的梯度下降過程。生成對(duì)抗網(wǎng)絡(luò)要求生成器和判別器雙方在博弈的過程中達(dá)到勢(shì)均力

敵。每個(gè)模型(例如生成器)在更新的過程中梯度成功地下降,同樣的更新可能會(huì)造成博弈的另一個(gè)模型(例如判別器)梯度上升。甚至有時(shí)候博弈雙方雖然最終達(dá)到了均衡,但雙方在不斷地抵消對(duì)方的進(jìn)步,并沒有使雙方同時(shí)達(dá)到一個(gè)最優(yōu)點(diǎn)。對(duì)生成器和判別器同時(shí)使用梯度下降,使得某些模型收斂但不是所有模型均收斂。

13.5.3生成器梯度消失

在GAN的訓(xùn)練過程中,初始的隨機(jī)噪聲分布與真實(shí)數(shù)據(jù)分布之間的距離相差太遠(yuǎn),兩個(gè)分布之間幾乎沒有任何重疊的部分,此時(shí)判別器能夠準(zhǔn)確區(qū)分真實(shí)數(shù)據(jù)和生成的假數(shù)據(jù),達(dá)到判別器的最優(yōu)化,造成生成器的梯度無法繼續(xù)更新甚至梯度消失。

13.6生成對(duì)抗網(wǎng)絡(luò)經(jīng)典算法

13.6.1InfoGAN不同于傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)利用的是單一的非結(jié)構(gòu)化噪聲向量z,如圖13.4所示,InfoGAN將輸入噪聲矢量分解為兩部分:被視為不可壓縮的隨機(jī)噪聲向量z;針對(duì)真實(shí)數(shù)據(jù)分布的結(jié)構(gòu)化語義特征的潛在編碼c。圖13.4InfoGAN的結(jié)構(gòu)

13.6.2ConditionalGAN(cGAN)

如果判別器和生成器都以一些額外信息y為條件,那么生成對(duì)抗網(wǎng)絡(luò)可以擴(kuò)展為條件模型。條件生成對(duì)抗網(wǎng)絡(luò)(ConditionalGAN,cGAN)的目標(biāo)函數(shù)為

通過比較式(1314)和式(1315),可以看出InfoGAN的生成器與cGAN的生成器類似。但是InfoGAN的潛在編碼c是未知的,c是通過訓(xùn)練得到的。此外,InfoGAN還有一個(gè)額外的網(wǎng)絡(luò)Q來輸出條件變量Q(c|x)。

基于如圖13.5所示的cGAN,我們可以在類標(biāo)簽、文本、邊界框和關(guān)鍵點(diǎn)上生成樣本。cGAN已經(jīng)被用于卷積人臉生成、人臉老化、圖像轉(zhuǎn)換以及合成具有特定場景屬性的室外

圖像、自然圖像描述和3D感知場景操作。Chrysos等人提出魯棒的cGAN。Thekumparapil等人討論了條件GAN對(duì)噪聲標(biāo)簽的魯棒性。模式搜索生成對(duì)抗網(wǎng)絡(luò)(MSGAN)提出了簡

單有效的正則項(xiàng)來解決cGAN的模式崩潰問題。圖13.5條件生成對(duì)抗網(wǎng)絡(luò)

用于圖像翻譯的方法pix2pix使用cGAN和稀疏正則化進(jìn)行圖像到圖像的轉(zhuǎn)換。在生成對(duì)抗網(wǎng)絡(luò)中,生成器學(xué)習(xí)從隨機(jī)噪聲向量z到G(z)的映射。而pix2pix的生成器沒有噪聲輸入,它的一個(gè)新穎之處在于其生成器學(xué)習(xí)從觀察圖像y到輸出圖像G(y)的映射,例如從灰度圖像到彩色圖像。pix2pix方法的目標(biāo)函數(shù)可以表示為

13.6.3DeepConvolutionalGAN(DCGAN)

DCGAN體系結(jié)構(gòu)的三個(gè)關(guān)鍵特性如下:

(1)總體架構(gòu)主要基于全卷積網(wǎng)。這種體系結(jié)構(gòu)既沒有池化層,也沒有“反池化”層。當(dāng)生成器需要增加特征的空間尺寸時(shí),使用步長大于1的轉(zhuǎn)置卷積(反卷積)即可。

(2)對(duì)生成器和判別器的大部分層進(jìn)行批歸一化處理,批歸一化可以解決初始化差的問題,幫助梯度傳播到每一層,并防止生成器把所有的樣本都收斂到同一個(gè)點(diǎn)。此外,直接將批歸一化應(yīng)用到所有層會(huì)導(dǎo)致樣本振蕩和模型不穩(wěn)定,因此在生成器的最后一層和判別器的第一層不進(jìn)行批歸一化處理,這樣神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)到數(shù)據(jù)分布的正確均值和尺度。

(3)利用Adam優(yōu)化器代替SGD(隨機(jī)梯度下降)

圖13.6是DCGAN針對(duì)LSUN數(shù)據(jù)集的生成網(wǎng)絡(luò)模型架構(gòu),但它并不適用于所有數(shù)據(jù)集,當(dāng)數(shù)據(jù)規(guī)模發(fā)生變化時(shí),對(duì)應(yīng)的卷積架構(gòu)就需要進(jìn)行改變。例如對(duì)于MNIST數(shù)據(jù)集,G和D的網(wǎng)絡(luò)架構(gòu)都應(yīng)相應(yīng)地減小,否則不能擬合。圖13.6用于LSUN數(shù)據(jù)集的DCGAN生成器

為了驗(yàn)證DCGAN的生成效果,使用LSUN數(shù)據(jù)集訓(xùn)練DCGAN模型。經(jīng)過一次循環(huán)和五次循環(huán)的訓(xùn)練和收斂,生成器網(wǎng)絡(luò)得到的效果分別如圖13.7和圖13.8所示。圖13.7一次訓(xùn)練后DCGAN生成器生成的臥室圖13.8五次訓(xùn)練后DCGAN生成器生成的臥室

13.7生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用

13.7.1圖像超分辨SRGAN(Super-ResolutionGAN)是用于超分辨的生成對(duì)抗網(wǎng)絡(luò),其結(jié)構(gòu)如圖13.9所示。圖13.9SRGAN結(jié)構(gòu)

1.內(nèi)容損失

像素方式的MSE(均方誤差)損失計(jì)算公式為

式中:ILR表示輸入的低分辨率圖像;IHR表示ILR的高分辨率版本,即ILR是通過對(duì)IHR使用高斯濾波器,且進(jìn)行下采樣(采樣因子為r)而得到的;W和H為ILR的長和寬;rW和rH為IHR的長和寬。

SRGAN不再依賴像素?fù)p失,而是使用更接近感知相似性的損失函數(shù)。SRGAN根據(jù)預(yù)訓(xùn)練的19層VGG網(wǎng)絡(luò)的ReLU激活層來定義VGG損失。用φi,j表示在VGG19網(wǎng)絡(luò)內(nèi)的第i個(gè)最大化層之前通過第j個(gè)卷積(激活之后)獲得的特征映射。再將VGG損失定義為重建圖像GθG(ILR)的特征表示與參考圖像IHR之間的歐氏距離:

這里,Wi,j和Hi,j描述VGG網(wǎng)絡(luò)內(nèi)各個(gè)特征圖的尺寸。

2.對(duì)抗損失

除了到目前為止所描述的內(nèi)容損失,SRGAN還將GAN的生成器部分添加到損失中。這鼓勵(lì)網(wǎng)絡(luò)通過嘗試愚弄判別器網(wǎng)絡(luò)來支持保留自然圖像的解決方案。生成損失lSRGen基于所有訓(xùn)練樣本上的判別器DθD

(GθG(ILR))的概率定義為

13.7.2人臉生成

生成對(duì)抗網(wǎng)絡(luò)生成的人臉質(zhì)量逐年提高。從圖13.1可以看出,前期的基于原始生成對(duì)抗網(wǎng)絡(luò)生成的人臉視覺質(zhì)量較低,只能作為概念證明。Radford等人使用了更好的神經(jīng)網(wǎng)

絡(luò)結(jié)構(gòu)——深度卷積神經(jīng)網(wǎng)絡(luò),用于人臉生成。Roth等人解決了GAN訓(xùn)練的不穩(wěn)定性問題,使得更大的例如ResNet的體系結(jié)構(gòu)可以被使用。Karras等人利用多尺度訓(xùn)練,以高保

真度生成百萬像素人臉圖像。

13.7.3紋理合成

紋理合成是圖像領(lǐng)域的一個(gè)經(jīng)典問題。Markovian-GAN(MGAN)是一種基于生成對(duì)抗網(wǎng)絡(luò)的紋理合成方法。通過捕捉馬爾可夫圖像塊的紋理數(shù)據(jù),MGAN可以快速生成風(fēng)格化的視頻和圖像,從而實(shí)現(xiàn)實(shí)時(shí)紋理合成。SpatialGAN(SGAN)是第一個(gè)將無監(jiān)督學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于紋理合成的。PeriodicSpatialGAN(PSGAN)是SGAN的變體,它可以從單個(gè)圖像或復(fù)雜的大數(shù)據(jù)集中學(xué)習(xí)周期性紋理。

13.7.4視頻領(lǐng)域的應(yīng)用

生成對(duì)抗網(wǎng)絡(luò)也被應(yīng)用于進(jìn)行視頻的生成。Villegas等人提出了一種利用生成對(duì)抗網(wǎng)絡(luò)預(yù)測(cè)視頻序列中未來幀的深度神經(jīng)網(wǎng)絡(luò)。DR-net提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的視頻圖

像分離表示網(wǎng)絡(luò)。video2video提出了一種基于生成性對(duì)抗學(xué)習(xí)框架的視頻合成方法。MoCoGan用來分解動(dòng)作與內(nèi)容,以生成視頻。

13.7.5應(yīng)用于自然語言處理

IRGAN被提出用于信息檢索(InformationRetrieval,IR)。生成對(duì)抗網(wǎng)絡(luò)也已用于文本生成和語音語言處理。KbGAN