計算機視覺應用開發(fā)課件：基于CycleGAN的圖像風格遷移

基于CycleGAN的圖像風格遷移案例描述01任務案例目標02任務案例分析03任務案例實施04任務1案例描述1案例描述本案例將學習如何使用搭建一個CycleGAN風格遷移網(wǎng)絡，通過訓練該網(wǎng)絡實現(xiàn)斑馬和馬的風格互換。2案例目標案例目標學會搭建一個完整的CycleGAN風格遷移網(wǎng)絡；

設計出CycleGAN網(wǎng)絡的風格遷移損失，包括內容損失和風格損失；使用訓練后的CycleGAN網(wǎng)絡實現(xiàn)斑馬與馬的風格轉換。23案例分析案例分析上節(jié)已經了解到，CycleGAN是由兩個生成器和兩個判別器組成。如圖6-7-6，X表示X域的圖像，Y表示Y域的圖像。X域的圖像經過生成器G生成Y域的圖像，再經過生成器F重構回X域輸入的原圖像；Y域的圖像經過生成器F生成X域圖像，再經過生成器G重構回Y域輸入的原圖像。判別器D_x和D_y起到判別作用，確保圖像的風格遷移。對于X域轉化為Y域的生成器G和判別器D_y建立損失函數(shù)如下所示：3案例分析對于重構回Y域的圖像，建立循環(huán)一致性損失函數(shù)如下所示：CycleGAN的訓練的總體損失函數(shù)以下所示：總而言之，CycleGAN想要達到的目的是，完成兩個域之間的風格轉換，在風格轉換的同時，又要確保圖中物體的幾何形狀和空間關系不發(fā)生變化。34案例實施4案例實施 1.導庫安裝

tensorflow_examples

包，以導入生成器和判別器。pipinstallgit導入程序運行所需要庫，其中pix2pix是基于GAN實現(xiàn)圖像翻譯，更準確地講是基于cGAN（conditionalGAN，也叫條件GAN）。因為cGAN可以通過添加條件信息來指導圖像生成，因此在圖像翻譯中就可以將輸入圖像作為條件，學習從輸入圖像到輸出圖像之間的映射，從而得到指定的輸出圖像。而其它基于GAN來做圖像翻譯的，因為GAN算法的生成器是基于一個隨機噪聲生成圖像，難以控制輸出。因此基本上都是通過其他約束條件來指導圖像生成，而不是利用cGAN，這是pix2pix和其他基于GAN做圖像翻譯的差異。4案例實施2.數(shù)據(jù)預處理加載數(shù)據(jù)庫中訓練和測試圖片。dataset,metadata=tfds.load('cycle_gan/horse2zebra',with_info=True,as_supervised=True)train_horses,train_zebras=dataset['trainA'],dataset['trainB']test_horses,test_zebras=dataset['testA'],dataset['testB']隨機裁剪圖片至同一尺寸。cropped_image=tf.image.random_crop(image,size=[IMG_HEIGHT,IMG_WIDTH,3])4案例實施將圖片進行標準化處理。image=(image/127.5)–1返回隨機抖動的圖片。image=tf.image.resize(image,[286,286],method=tf.image.ResizeMethod.NEAREST_NEIGHBOR)3.構建網(wǎng)絡模型通過安裝的

tensorflow_examples

包導入

Pix2Pix

中的生成器和判別器。這里訓練了兩個生成器（G和F）以及兩個判別器（X和Y）。生成器

G

學習將圖片

X

轉換為

Y。生成器

F

學習將圖片

Y

轉換為

X。判別器

D_X

學習區(qū)分圖片

X

與生成的圖片

X

(F(Y))。判別器

D_Y

學習區(qū)分圖片

Y

與生成的圖片

Y

(G(X))。4案例實施generator_g=pix2pix.unet_generator(OUTPUT_CHANNELS,norm_type='instancenorm')generator_f=pix2pix.unet_generator(OUTPUT_CHANNELS,norm_type='instancenorm')discriminator_x=pix2pix.discriminator(norm_type='instancenorm',target=False)discriminator_y=pix2pix.discriminator(norm_type='instancenorm',target=False)在CycleGAN中，沒有可訓練的成對數(shù)據(jù)，因此無法保證輸入

x

和目標

y

數(shù)據(jù)對在訓練期間是有意義的。所以為了強制網(wǎng)絡學習正確的映射，提出了循環(huán)一致?lián)p失。defdiscriminator_loss(real,generated):real_loss=loss_obj(tf.ones_like(real),real)generated_loss=loss_obj(tf.zeros_like(generated),generated)total_disc_loss=real_loss+generated_lossreturntotal_disc_loss*0.5defgenerator_loss(generated):returnloss_obj(tf.ones_like(generated),generated)4案例實施循環(huán)一致意味著結果應接近原始輸出。例如，將一句英文譯為法文，隨后再從法文翻譯回英文，最終的結果句應與原始句輸入相同。在循環(huán)一致?lián)p失中，圖片

X

通過生成器

G

傳遞，該生成器生成圖片

。生成的圖片

通過生成器

F

傳遞，循環(huán)生成圖片

。在

X

和

之間計算平均絕對誤差。defcalc_cycle_loss(real_image,cycled_image):loss1=tf.reduce_mean(tf.abs(real_image-cycled_image))returnLAMBDA*loss14案例實施生成器

G

負責將圖片

X

轉換為

Y。一致性損失表明，如果您將圖片

Y

饋送給生成器

G，它應當生成真實圖片

Y

或接近于

Y

的圖片。defidentity_loss(real_image,same_image):loss=tf.reduce_mean(tf.abs(real_image-same_imag