[AI Tech] 6주차 28-2차시 Generative Models 2

28-2. Generative Models 2

1. Latent Variable Models

[ D. Kingma, "Variational Inference and Deep Learning: A New Synthesis," Ph. D. Thesis ]

Autoencoder는 생성모델인가? 사실 그렇지 않다.

 

2. Variational Auto-encoder

Variational Inference (VI)

The goal of VI is to optimize the variational distribution that best matches the posterior distribution.

- Posterior distribution: q_(\phi)(z|x)

In particular, we want to find the variational distribution that minimizes the KL divergence between the true posterior.

Variational Inference VI

문제는 posterior가 뭔지 모르는 데 posterior distribution을 구해야 한다.

ELBO

Importantly, ELBO is a tractable quantity.

ELBO can further be decomposed into

결국은 Z라는 것을 찾고 싶은 것이다.

Key limitation:

- It is an intractable model (hard to evaluate likelihood).

- The prior fitting term must be differentiable, hence it is hard to use diverse latent prior distributions.

- In most cases, we use an isotropic Gaussian.

 

3. Adversarial Auto-encoder

It allows us to use any arbitrary latent distributions that we can sample.

 

4. Generative Adversarial Network (GAN)

 

5. GAN v.s VAE

GAN vs. VAE

GAN은 True가 나오도록 D를 계속 학습한다.

 

6. GAN Objective

A two-player minimax game between generator and discriminator.

For discriminator:

where the optimal discriminator is

optimal discriminator

For generator:

Plugging in the optimal discriminator, we get

 

7. DCGAN

Image Domain을 사용했다.

 

8. Info-GAN

GAN이 특정 모드에 집중할 수 있도록 한다.

 

9. Text2Image

Text2Image

 

10. Puzzle-GAN

이미지 안에 sub-patch가 있다.

Puzzle-GAN

 

11. CycleGAN

사진의 Domain을 바꿀 수 있다.

Cycle-consistency loss

장점: 두 다른 domain 사이에서, 객체만 바꿔주도록 한다.

 

12. Star-GAN

11과 같지만, 이미지를 컨트롤할 수 있도록 해준다.

 

13. Progressive-GAN

고차원의 이미지 GAN이다.

저→고로 올라가며 train을 한다.

and WAY MORE

 

 

 

 

©️NAVER Connect Foundation. All Rights Reserved.