32. Batch Norm at Test time

test time에서는 지수 이동 평균을 이용하여 최근 n개의 평균값으로 batch의 평균, 분산을 구한다.

test time시에는 mini-batch가 아닌 모든 테스트 예제를 한번에 계산해야할 수도 있다. 

- train시에 mini-batch에서 얻었던 평균, 분산을 이용하여 테스트 예제의 평균,분산을 계산하고, noramlize에 사용한다.

 

그냥 테스트 예제의 평균,분산을 구해서 사용하면 안되나? 왜 훈련 예제로 부터 추정을 해야하지?

- 기본적으로 테스트란 모델을 구축 후 input을 주고 output을 받는구조이다.

- 예를 들어 갈색 고양이 사진을 넣었다고 하자. 그렇다면 test시에 이미지 1개가 들어가고 Output으로는 고양이 인지아닌지(0 or 1)이 나와야한다.

- 1개의 예제에 대해서 평균과 분산을 구한다? 말도 안된다. 따라서 train에서 추정을 해오는 것.