6深度學習-第六章 生成對抗網(wǎng)絡與擴散模型

第六章

生成對抗網(wǎng)絡與擴散模型

第一節(jié)生成對抗網(wǎng)絡6.1.1什么是生成對抗網(wǎng)絡？生成對抗網(wǎng)絡（GAN）實質上就是一種深度學習模型，由IanGoodfellow等人于2014年提出。它由兩個主要組件組成：生成器（Generator）和判別器（Discriminator）。生成器：通常是一個深度神經網(wǎng)絡，它接受一個隨機噪聲作為輸入，并嘗試將其轉換成看起來像真實數(shù)據(jù)的輸出。這個過程涉及到從一個潛在空間中采樣，然后通過生成模型將這些樣本轉換成高維數(shù)據(jù)樣本。判別器：也是一個深度神經網(wǎng)絡，它的任務是判斷輸入的數(shù)據(jù)樣本是否來自真實數(shù)據(jù)集，或者是由生成器生成的假數(shù)據(jù)。這兩個組件通過對抗學習的方式相互競爭，以達到訓練數(shù)據(jù)分布的模擬或生成新數(shù)據(jù)樣本。無監(jiān)督學習：GAN是一種無監(jiān)督學習方法，它不需要標記數(shù)據(jù)進行訓練。生成新數(shù)據(jù)：GAN能夠學習訓練數(shù)據(jù)的分布，并利用學到的分布生成與訓練數(shù)據(jù)相似的新數(shù)據(jù)樣本。多樣性和逼真性：生成器通過學習數(shù)據(jù)的分布，可以生成多樣化和逼真的數(shù)據(jù)樣本。GAN的生成器通常能夠生成具有高分辨率和逼真度的圖像，使得生成的數(shù)據(jù)與真實數(shù)據(jù)難以區(qū)分。對抗訓練機制：GAN利用生成器和判別器之間的對抗訓練機制，通過交替訓練兩個網(wǎng)絡來提高生成器和判別器的性能。這種對抗訓練機制能夠推動模型不斷提高，使得生成器產生更逼真的數(shù)據(jù)樣本，同時使判別器更加準確地區(qū)分真實數(shù)據(jù)和生成數(shù)據(jù)。6.1.1什么是生成對抗網(wǎng)絡？生成對抗網(wǎng)絡的特點優(yōu)點作為一種無監(jiān)督學習方法，生成對抗網(wǎng)絡（GAN）不需要標記的數(shù)據(jù)即可訓練。生成器能夠生成多樣化的數(shù)據(jù)樣本，使得生成結果具有創(chuàng)造性，能夠產生多個不同風格和內容的數(shù)據(jù)。缺點與挑戰(zhàn)訓練不穩(wěn)定：GAN的訓練過程通常比較不穩(wěn)定，容易出現(xiàn)模式崩潰或模式震蕩等問題，需要仔細調整超參數(shù)和網(wǎng)絡架構。模式震蕩：GAN訓練過程中可能出現(xiàn)模式震蕩，即生成器和判別器在學習過程中不斷輪換，但最終無法收斂到穩(wěn)定的狀態(tài)。模型評估困難：由于生成的數(shù)據(jù)樣本是由模型生成的，因此很難確定生成結果的質量和逼真度，評估生成對抗網(wǎng)絡的性能是一個挑戰(zhàn)。6.1.1什么是生成對抗網(wǎng)絡？生成對抗網(wǎng)絡（GAN）的優(yōu)點與缺點圖像領域生成對抗網(wǎng)絡在圖像領域的應用范圍非常廣泛，涵蓋了圖像生成、修復、轉換、超分辨率等多個方面，為圖像處理、計算機視覺等領域催生了新的發(fā)展方向風格遷移圖像增強超分辨率圖像生成6.1.2生成對抗網(wǎng)絡（GAN）的應用范圍類似于在圖像方面，GAN在音頻領域和視頻領域也有十分廣泛的應用音頻領域語音合成音樂生成音頻增強和去噪語音轉換圖像領域圖像生成圖像修復和增強圖像風格遷移圖像超分辨率視頻領域視頻生成與編輯應用視頻修復和增強視頻風格遷移視頻分析和理解6.1.2生成對抗網(wǎng)絡（GAN）的應用范圍《深度學習》張敬林南開大學

人工智能學院第六章

生成對抗網(wǎng)絡與擴散模型

第二節(jié)生成對抗網(wǎng)絡的原理GAN的基本原理很簡單，其由兩個網(wǎng)絡組成，一個是生成器G，另外一個是判別器D。在最理想的狀態(tài)下，G可以生成足以“以假亂真”的圖片G(z)。在概率統(tǒng)計理論中，運用生成模型的目的主要是隨機生成觀測數(shù)據(jù)。在機器學習中，生成模型既可以用來直接對數(shù)據(jù)建模，也可以用來建立變量間的條件概率分布。生成模型可以依照貝葉斯定理形成條件概率分布。簡單而言，利用生成模型，可以在原來訓練數(shù)據(jù)樣本的基礎上生成新的數(shù)據(jù)樣本。6.2.1生成模型功能生成模型的目標是能夠學習到真實數(shù)據(jù)分布的潛在結構，并通過分析和模擬這種結構生成逼近于真實數(shù)據(jù)的模擬樣本。在生成過程中，生成器會盡量縮小生成樣本與真實樣本之間的分布差異，即最小化損失函數(shù)。其損失函數(shù)通常表示為生成樣本被判別為真實樣本的概率的負對數(shù)似然：6.2.1生成模型生成模型數(shù)學原理PyTorch實現(xiàn)了對生成器模型的封裝，使用者可以直接調用classGenerator定義。超參數(shù)描述與使用示例如下所示。下邊是生成器模型的Python代碼：這段代碼定義了一個簡單的生成器模型，它包含三個全連接層，并且在激活函數(shù)上使用了ReLU。最后一層使用Tanh激活函數(shù)將輸出限制在[-1,1]之間，以便與圖像數(shù)據(jù)的范圍相匹配。生成模型代碼展示6.2.1生成模型判別模型可以把一副圖像的內容分成是否有貓或者狗或者其他，像下圖中我們訓練一個判別模型去辨別是否是梵高的畫，這個判別模型會對數(shù)據(jù)集中的畫的特征進行提起和分類，從而區(qū)分出哪個是梵高所作。6.2.2判別模型功能判別模型的目標是區(qū)分生成的樣本和真實樣本。判別器嘗試最大化正確分類的概率，即最大化對真實樣本和生成樣本的預測準確性。判別模型的損失函數(shù)通常表示為判別器正確分類真實樣本和生成樣本的概率的負對數(shù)似然：判別模型數(shù)學原理6.2.2判別模型這段代碼定義了一個簡單的判別器模型，它包含三個全連接層，并在激活函數(shù)上使用了LeakyReLU。最后一層使用Sigmoid激活函數(shù)將輸出限制在[0,1]之間，表示判別樣本為真實樣本的概率。判別模型代碼展示6.2.2判別模型生成對抗網(wǎng)絡的整體訓練過程可以用一個聯(lián)合優(yōu)化問題來描述，該問題包括生成器損失函數(shù)的最大化和判別器損失函數(shù)的最小化。整體訓練過程的數(shù)學公式如下：6.2.3訓練過程損失函數(shù)《深度學習》張敬林南開大學

人工智能學院第六章

生成對抗網(wǎng)絡與擴散模型

第三節(jié)GAN的可視化與實踐6.3.1生成對抗網(wǎng)絡訓練過程可視化GAN的訓練可視化理解：IanGoodfellow在他的論文中提供了一個GAN的可視化實現(xiàn)示例，下圖中的虛線代表真實數(shù)據(jù)分布，而實線代表生成器生成的數(shù)據(jù)分布。在這個例子中，生成對抗網(wǎng)絡的目標是讓實線（生成數(shù)據(jù)的分布）逐漸逼近虛線（真實數(shù)據(jù)分布）。DCGAN：DCGAN（DeepConvolutionalGenerationAdversarialNetwork，深度卷積生成對抗網(wǎng)絡）是一種生成對抗網(wǎng)絡的變體，它是利用CNN來構建自己的生成器和判別器的。InfoGAN：InfoGAN（InformationMaximizingGenerativeAdversarialNetworks，信息最大化生成對抗網(wǎng)絡）是在原始GAN基礎上發(fā)展而來的變體，它引入了一種無監(jiān)督學習方法，旨在從隨機噪聲中提取有意義的特征。CycleGAN：CycleGAN（CycleGenerativeAdversarialNetwork，循環(huán)對抗生成網(wǎng)絡）是一種適用于無監(jiān)督圖像轉換的生成對抗網(wǎng)絡。它能夠實現(xiàn)在不同領域之間的轉換，例如將馬轉變?yōu)榘唏R，或將夏天的場景轉換為冬天。6.3.2生成對抗網(wǎng)絡的衍生結構《深度學習》張敬林南開大學

人工智能學院第六章

生成對抗網(wǎng)絡與擴散模型

第四節(jié)擴散模型6.4.1什么是擴散模型擴散模型是一種用于描述和模擬自然界中物質傳播和擴散過程的數(shù)學模型。它基于偏微分方程，通常是擴散方程，描述了物質在空間中隨時間傳播的行為。擴散模型的特點是一種基于偏微分方程的數(shù)學模型，描述了物質在空間中隨時間傳播的行為，具有良好的數(shù)學基礎和理論支持。擴散模型考慮了物質的濃度梯度，假設物質會沿著濃度梯度從高濃度區(qū)域向低濃度區(qū)域擴散，因此可以描述物質的傳播規(guī)律。擴散模型可以適用于多種物質和不同尺度的擴散過程，包括分子擴散、熱傳導、人口遷移、信息傳播等現(xiàn)象，具有廣泛的適用性。擴散模型在實際應用中具有重要意義，可以用于環(huán)境保護、醫(yī)學診斷、城市規(guī)劃等領域，為問題的分析、預測和決策提供了有力工具。擴散模型的定義6.4.2擴散模型的使用范圍圖像領域圖像去噪圖像分割圖像平滑處理圖像弱邊緣視頻領域視頻去噪視頻平滑邊緣保留雖然擴散模型在圖像分割領域的使用范圍較窄，但仍然可以將其作為圖像分割任務中的一個輔助工具或者預處理方法來使用《深度學習》張敬林南開大學

人工智能學院第六章

生成對抗網(wǎng)絡與擴散模型

第五節(jié)擴散模型的原理6.5.1擴散模型基礎生成式建模的一個核心挑戰(zhàn)是在模型的靈活性和可計算性之間尋找平衡。擴散模型提出了一種基本思想，即通過正向擴散過程有序地擾動數(shù)據(jù)分布，然后通過學習反向擴散過程來恢復數(shù)據(jù)的分布，從而創(chuàng)建一個高度靈活且易于計算的生成模型。下面是兩種擴散模型實例：DenoisingDiffusionProbabilisticModels（DDPM）Score-BasedGenerativeModels（SGM）DenoisingDiffusionProbabilisticModels（DDPM）：一個雙向隱式生成模型（DDPM）由兩個參數(shù)化馬爾可夫鏈（分為正向鏈和反向鏈）組成，利用變分推斷技術，在有限時間內生成與原始數(shù)據(jù)分布一致的樣本。正向鏈的作用是擾動數(shù)據(jù)，它按照預先設計的噪聲進度逐漸向數(shù)據(jù)添加高斯噪聲，直到數(shù)據(jù)的分布趨向于先驗分布，即標準高斯分布。反向鏈從給定的先驗分布開始，使用參數(shù)化的高斯轉換核，逐步學習恢復原始數(shù)據(jù)分布。去噪擴散概率模型6.5.1擴散模型基礎若用表示原始數(shù)據(jù)及其分布，那么正向鏈的分布可由下式表示：這表明正向鏈是馬爾可夫過程，xt是經過t步噪聲擾動后的樣本，βt是預先設定的控制噪聲進度的參數(shù)。當t趨于1時，可近似認為其服從標準高斯分布。當βt很小時，逆向過程的轉移核也可近似認為是高斯的，公式如下所示：去噪擴散概率模型6.5.1擴散模型基礎Score-BasedGenerativeModels（SGM）：SGM構建了一個隨機微分方程（SDE），以平滑地擾動數(shù)據(jù)分布，將原始數(shù)據(jù)分布映射到已知的先驗分布。其公式如下：可以將先驗分布轉換回原始數(shù)據(jù)分布，其公式如下：因此，為了逆轉擴散過程并生成數(shù)據(jù)，我們唯一需要的信息是每個時間點的得分函數(shù)。通過利用得分匹配技巧，我們可以通過以下?lián)p失函數(shù)來學習得分函數(shù)：基于分數(shù)的生成模型6.5.1擴散模型基礎6.5.2擴散模型核心思想擴散模型作為生成模型的一種，其核心思想是通過從隨機噪聲開始，逐步生成逼真的圖像。在生成過程中，模型通過多個步驟逐漸細化，直到產生最終的輸出圖像。在每個步驟中，模型都會估計如何從當前輸入（通常是噪聲圖像）變?yōu)楦咏鎸崍D像的版本，即去噪的圖像。值得注意的是，在每個步驟中，模型只會進行很小的更改，以逐漸逼近真實圖像的細節(jié)和特征。早期階段的估計中可能存在一些錯誤，但隨著模型的不斷迭代更新，這些錯誤會被逐漸糾正，直到最終生成的圖像質量達到所需的水平。因此，擴散模型的核心思想是從噪聲圖像開始，利用迭代過程逐步生成逼真的圖像，并通過不斷地更新來提高生成圖像的質量。擴散模型直觀的核心思想6.5.2擴散模型核心思想如下圖，假設第一行是清晰的圖像，第二行是加了噪聲的圖像。我們采用一個簡單的編碼-解碼器模型，直接對帶噪聲的圖像進行去噪處理，以生成清晰的圖像，結果顯示在第三行?？梢杂^察到，在噪聲相對較小的情況下，這樣的模型能夠有效地去除噪聲。然而，當噪聲較大時（右側圖像），這種方法往往難以恢復出清晰的圖像。理解擴散模型的核心思想6.5.3擴散模型的數(shù)學原理前向過程：該部分將對擴散模型的前向過程進行數(shù)學原理的可視化直觀解釋。擴散模型首先定義了一個前向擴散過程，共包含T個時間步，如下圖所示：左側的綠色圓圈x0表示真實的自然圖像，對應下方的小狗圖片。右側的綠色圓圈xt表示純高斯噪聲，對應下方的噪聲圖片。中間的綠色圓圈xt表示加了噪聲的x0，對應下方加了噪聲的小狗圖片。箭頭下方的q（xt|xt-1）表示一個以前一個狀態(tài)

為均值的高斯分布，xt從這個高斯分布中采樣得到。前向過程前向擴散過程可被理解為一個馬爾可夫鏈，它逐步地對一張真實圖片添加高斯噪聲，直到最終變成純高斯噪聲圖片。其數(shù)學表達式如下：換言之，每個時間步xt是從一個以（1-βt)?為均值，βt為方差的高斯分布中采樣得到的。其中βt，t∈[1,T]是一系列固定的值，由一個公式生成。前向擴散過程具有一個特性，即可以直接從x0采樣得到中間任意一個時間步的噪聲圖片xt，其公式如下：6.5.3擴散模型的數(shù)學原理前向過程反向過程：這一部分將通過數(shù)學原理的可視化直觀解釋，對擴散模型的反向過程進行說明。反向擴散過程q(xt-1|xt,x0)(見綠色箭頭）是前向擴散過程q(xt|xt-1)的后驗概率分布。與前向過程相反，是從最右邊的純高斯噪聲圖開始，逐步采樣得到真實圖像x0

，過程如下圖所示：6.5.3擴散模型的數(shù)學原理前向過程后驗概率q(xt-1|xt,x0)可以根據(jù)貝葉斯公式進行推到得到以下公式：然而，現(xiàn)在出現(xiàn)了一個問題。在通過反向過程生成圖像時，我們并不知道均值中的x0，因為這是待生成的目標圖像。那么我們可以構建一個高斯分布q(xt-1|xt)，使其方差與后驗分布q(xt-1|xt,x0)一致。從公式上看，方差是一個常量，可以提前計算得到所有時間步的方差值公式如下：其均值計算公式如下：6.5.3擴散模型的數(shù)學原理前向過程《深度學習》張敬林南開大學

人工智能學院第六章

生成對抗網(wǎng)絡與擴散模型

第六節(jié)生成對抗網(wǎng)絡與擴散模型的結合6.6.1結合的優(yōu)勢提升數(shù)據(jù)生成的質量。盡管GAN在圖像生成領域表現(xiàn)出色，但有時生成的數(shù)據(jù)可能缺乏多樣性和真實感。通過將擴散模型與GAN相結合，可以引入物質傳輸?shù)奶匦裕瑥亩股傻臄?shù)據(jù)更加自然。生成對抗網(wǎng)絡通常難以對生成過程進行精細控制。然而，在某些應用場景下，我們可能期望生成的數(shù)據(jù)具有特定的時間或空間演化模式。引入擴散模型可以讓我們更精細地控制生成過程。結合擴散模型和GAN技術，可有效用于圖像恢復和去噪。這種結合能夠實現(xiàn)更高水準的圖像恢復和去噪效果。生成器通過處理含噪聲的圖像，能夠還原出更清晰的圖像，同時保持圖像的細節(jié)和特征，使得結果更加逼真和可靠。提升數(shù)據(jù)生成的質量完成精細化控制數(shù)據(jù)恢復和去噪盡管GAN能夠生成逼真的圖像，但有時生成的圖像仍然可能存在一些模糊、失真或偽影等問題。改進生成器的架構，可以引入多個判別器、修改損失函數(shù)或采用其他正則化技術，以鼓勵生成器生成更多樣化的圖像。此外，調整損失函數(shù)、引入更多的先驗信息等方法，可以提高生成圖像的質量。當GAN用于條件合成時，通常會利用大量類別標簽，因此可以借助分類器來增強擴散模型的效果。無需對擴散模型進行額外訓練，可以直接在已訓練好的擴散模型基礎上，通過外部分類器引導生成期望的圖像。通過將分類器與擴散模型進行有效集成來提高效率。在訓練過程中，可以設計輕量級的分類器結構，以減少額外的計算成本。此外，可以將分類器與生成器進行參數(shù)共享，