5. Why Regularization Reduces Overfitting

2023. 9. 10. 16:41Google ML Bootcamp/2. Improving Deep Neural Networks

람다를 크게 설정할 수록 W는 0에 가까워지고, 몇몇 unit의 영향을 없애는 결과를 가져온다.

적절한 크기의 람다를 통해 hig variance에서 just right으로 분류기를 만들 수 있도록 한다.

- 람다가 커지고 몇몇 unit의 영향을 없애는 효과를 가져온다면, 실제로 더 단순한 네트워크를 만드는 효과를 가져오기도 한다.

- 이는 과적합 가능성이 낮은 단순한 네트워크로 변환하는 과정을 통해 과적합을 방지할 수 있게 된다.

 

람다가 커지면 W는 작아지게 되고, Z또한 작아지게 된다. 이는 기울기가 선형임을 확인할 수 있다.

선형 그래프에서는 과적합이 일어나는 꼬불꼬불한 복잡한 차원의 분류기를 생성할 수 없으므로 과적합을 방지할 수 있다!

 

정규화 기법을 추가함으로써 iteration이 진행될수록 점진적으로 감소하는 그래프는 볼 수 없을 것이다. 과제에서 확인!

 

'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글

7. Understanding Dropout  (0) 2023.09.10
6. Dropout Regularization  (0) 2023.09.10
4. Regularization  (0) 2023.09.10
3. Basic recipe for machine learning  (0) 2023.09.10
2. Bias / Variance  (0) 2023.09.10