7. Generative Model.

What Generative Model do?

- we want to learn a probability distribution p(x)

 

28 x 28 image 생성 시 

- 각 pixel이 서로 연관이 있기 때문에 경우의 수는 2**28, 이때 필요한 파라미터는 2**28 -1 개

- p(x)를 알기 위해서는 2**28-1개만 알면 나머지 하나는 총 확률 합=1 에 의해 자동적으로 알게 되므로.

 

Independence

- 각 pixel이 독립이라고 가정한다면? 경우의수는 2**28, 하지만 필요한 파라미터는 n개.

- 서로 독립시행이기 때문에 파라미터 개수를 엄청나게 줄일 수 있다.

- 하지만 그만큼 표현력이 줄어드는 것도 사실. 그리고 28x28 image에서 각 pixel은 연관성이 있는것도 사실.

 

 Conditional Independence

- Chain rule

- Bayes' rule

- Conditional independence

- p(x1,x2, ..., xn) = p(x1)p(x2|x1)p(x3|x2)...p(xn|xn-1)

즉 필요한 파라미터 개수는 2n-1 개(1 + 2 + 3 + ... + n-1개) 

 

Summary of Autoregressive Models

- Easy to sample

- Easy to compute probability

- Easy to be extended to continuous variables.

 

Maximum Likelihood learning

- 개를 생성한다고 했을 때, 개를 표현하는 일련의 분포가 있다고 가정.

- 분포 사이의 similarity를 이야기할때 보통 KL-divergence를 이야기한다.(KL distance로 인해 두 분포가 비슷하냐라고 이야기 관심있으면 더 찾아보자)

- 데이터로부터 생성된 truth 분포가 있어야하는데 사실상 쉽지 않아서 under-fitting되는 경우가 많았다.