32. Batch Norm at Test time
2023. 9. 12. 14:20ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
test time시에는 mini-batch가 아닌 모든 테스트 예제를 한번에 계산해야할 수도 있다.
- train시에 mini-batch에서 얻었던 평균, 분산을 이용하여 테스트 예제의 평균,분산을 계산하고, noramlize에 사용한다.
그냥 테스트 예제의 평균,분산을 구해서 사용하면 안되나? 왜 훈련 예제로 부터 추정을 해야하지?
- 기본적으로 테스트란 모델을 구축 후 input을 주고 output을 받는구조이다.
- 예를 들어 갈색 고양이 사진을 넣었다고 하자. 그렇다면 test시에 이미지 1개가 들어가고 Output으로는 고양이 인지아닌지(0 or 1)이 나와야한다.
- 1개의 예제에 대해서 평균과 분산을 구한다? 말도 안된다. 따라서 train에서 추정을 해오는 것.
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 34. Training a Softmax Classifier (0) | 2023.09.12 |
|---|---|
| 33. Softmax Regression (0) | 2023.09.12 |
| 31. Why does Batch Norm Work? (0) | 2023.09.12 |
| 30. Fitting Batch Norm into a Neural Network (0) | 2023.09.12 |
| 29. Normalizing Activations in a Network (0) | 2023.09.12 |