2025神經(jīng)網(wǎng)絡與深度學習深度生成模型

深度生成模型

DeepGenerativeModels《神經(jīng)網(wǎng)絡與深度學習》2025參考《神經(jīng)網(wǎng)絡與深度學習》-深度生成模型一些例子來自于李宏毅《IntroductionofGenerativeAdversarialNetwork(GAN)》生成模型

GenerativeModels機器學習的兩種范式生成模型：一系列用于隨機生成可觀測數(shù)據(jù)的模型生成模型包含兩個步驟：密度估計采樣生成數(shù)據(jù)的另一種思路深度生成模型深度生成模型就是利用神經(jīng)網(wǎng)絡構建生成模型。變分自編碼器（VariationalAutoencoder，VAE）[KingmaandWelling,2013,Rezendeetal.,2014]生成對抗網(wǎng)絡（GenerativeAdversarialNetwork，GAN）[Goodfellowetal.,2014]變分自編碼器

VariationalAutoencoder，VAE含隱變量的概率圖模型生成數(shù)據(jù)x的過程可以分為兩步進行：根據(jù)隱變量的先驗分布p(z;θ)采樣得到樣本z；根據(jù)條件分布p(x|z;θ)采樣得到x。概率生成模型EM算法回顧給定一個樣本x，其對數(shù)邊際似然logp(x|θ)可以分解為EstepMstep變分自編碼器的模型結構可以分為兩個部分：尋找后驗分布p(z|x;θ)的變分近似q(z|x;??)；變分推斷：用簡單的分布q去近似復雜的分p(z|x;θ)在已知q(z|x;??)的情況下，估計更好的分布p(x|z;θ)。變分自編碼器(VAE)用神經(jīng)網(wǎng)絡來替代變分自編碼器推斷網(wǎng)絡推斷網(wǎng)絡目標生成網(wǎng)絡先驗分布p(z|θ)一般假設隱變量z的先驗分布為各向同性的標準高斯分布N(z|0,I)條件概率分布p(x|z,θ)假設p(x|z,θ)服從對角化協(xié)方差的高斯分布目標模型匯總再參數(shù)化再參數(shù)化分布q(z|x,?)依賴于參數(shù)?再參數(shù)化（reparameterization）是實現(xiàn)通過隨機變量實現(xiàn)反向傳播的一種重要手段

變分自編碼器的訓練過程變分自編碼器學習到的隱變量流形生成對抗網(wǎng)絡

GenerativeAdversarialNetwork（GAN）顯式密度模型和隱式密度模型顯式密度模型顯示地構建出樣本的密度函數(shù)p(x|θ)，并通過最大似然估計來求解參數(shù)；變分自編碼器、深度信念網(wǎng)絡隱式密度模型不顯示地估計出數(shù)據(jù)分布的密度函數(shù)但能生成符合數(shù)據(jù)分布pdata(x)的樣本無法用最大似然估計生成網(wǎng)絡生成網(wǎng)絡從隱空間（latentspace）中隨機采樣作為輸入，其輸出結果需要盡量模仿訓練集中的真實樣本。如何學習生成網(wǎng)絡？生成網(wǎng)絡示例生成網(wǎng)絡

生成網(wǎng)絡

生成網(wǎng)絡

生成網(wǎng)絡

Eachdimensionofinputvectorrepresentssomecharacteristics.LongerhairbluehairOpenmouth判別網(wǎng)絡判別網(wǎng)絡的輸入則為真實樣本或生成網(wǎng)絡的輸出，其目的是將生成網(wǎng)絡的輸出從真實樣本中盡可能分辨出來。判別網(wǎng)絡判別網(wǎng)絡判別網(wǎng)絡判別網(wǎng)絡1.01.00.1?MinMaxGame對抗訓練生成網(wǎng)絡要盡可能地欺騙判別網(wǎng)絡。判別網(wǎng)絡將生成網(wǎng)絡生成的樣本與真實樣本中盡可能區(qū)分出來。兩個網(wǎng)絡相互對抗、不斷調整參數(shù)，最終目的是使判別網(wǎng)絡無法判斷生成網(wǎng)絡的輸出結果是否真實。生成網(wǎng)絡v3生成網(wǎng)絡v2對抗過程生成網(wǎng)絡(student)判別網(wǎng)絡(teacher)生成網(wǎng)絡v1判別網(wǎng)絡v1判別網(wǎng)絡v2NoeyesNomouthMinMaxGame判別網(wǎng)絡生成網(wǎng)絡MinimaxGame訓練過程AnimeFaceGeneration100updates1000updatesAnimeFaceGeneration2000updates5000updatesAnimeFaceGeneration10,000updates50,000updates一個具體的模型：DCGANs判別網(wǎng)絡是一個傳統(tǒng)的深度卷積網(wǎng)絡，但使用了帶步長的卷積來實現(xiàn)下采樣操作，不用最大匯聚（pooling）操作。生成網(wǎng)絡使用一個特殊的深度卷積網(wǎng)絡來實現(xiàn)使用微步卷積來生成64×63大小的圖像。DCGANs模型分析數(shù)據(jù)分布

Intheend……realgenerated模型分析

不穩(wěn)定性：生成網(wǎng)絡的梯度消失

使用JS散度來訓練生成對抗網(wǎng)絡的一個問題是當兩個分布沒有重疊時，它們之間的JS散度恒等于常數(shù)log2。對生成網(wǎng)絡來說，目標函數(shù)關于參數(shù)的梯度為0。模型坍塌：生成網(wǎng)絡的“錯誤”目標生成網(wǎng)絡的目標函數(shù)其中后兩項和生成網(wǎng)絡無關，因此前向和逆向KL散度

前向KL散度逆向KL散度前向和逆向KL散度改進弱化判別器使用更好的損失函數(shù)realgeneratedstrongweakLeastSquareGAN(LSGAN)Replacesigmoidwithlinear(replaceclassificationwithregression)1(Real)0(Fake)判別網(wǎng)絡scalar判別網(wǎng)絡scalarTheydon’tmove.01realgeneratedf-GAN

f-GAN目標函數(shù)f-divergencesWassersteinGANWasserstein距離

Wasserstein距離

Kantorovich-

Rubinstein對偶定理Lipschitz連續(xù)函數(shù)WassersteinGAN梯度問題DCGANWGANbatchnormalizationconstantnumberoffiltersateverylayerDCGANG:CNN,D:CNNG:CNN(nonormalization),D:CNN(nonormalization)LSGANOriginalWGANImprovedWGANG:CNN(tanh),D:CNN(tanh)DCGANLSGANOriginalWGANImprovedWGANG:MLP,D:CNNG:CNN(badstructure),D:CNNG:101layer,D:101layerGAN的擴展條件生成根據(jù)條件針對性的生成數(shù)據(jù)生成網(wǎng)絡“Girlwithredhairandredeyes”“Girlwithyellowribbon”生成網(wǎng)絡

Inaspecificrange條件生成Givencondition:CaptionGenerationChat-botGivencondition:“Hello”“Ayounggirlisdancing.”“Hello.Nicetoseeyou.”ConditionalGANInfoGAN判別網(wǎng)絡分類器scalarGenerator=zZ'cxcPredictthecodecthatgeneratesx“Auto-encoder”Parametersharing(onlythelastlayerisdifferent)encoderdecoder/abs/1606.03657/abs/1606.03657AC-GANBiGANEncoderDecoderDiscriminatorImagexcodezImagexcodezImagexcodezfromencoderordecoder?(real)(generated)(frompriordistribution)JeffDonahue,

PhilippKr?henbühl,

TrevorDarrell,“AdversarialFeatureLearning”,

ICLR