13. Gradient Checking
2023. 9. 10. 18:45ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
기울기 검사. 이전 강의에서 two-sided difference가 어떻게 사용되는지 중점적으로 관찰해보자.
현재 gradient가 정확하다면 엡실론 크기만큼 변화를 주었을 때 생성되는 approximate gradient와 기존의 gradient의 차이 또한 엡실론과 비슷해야한다.
크게 차이난다면 현재 gradient 계산. 즉 미분이 잘못 진행되고 있는 것이다.
- 아직은 잘 모르겠지만 이후 버그를 찾는데 도움이 되지 않을까
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 16. Mini-batch Gradient Descent (0) | 2023.09.11 |
|---|---|
| 15. Gradient Checking Implementation Notes (0) | 2023.09.10 |
| 12. Numerical Approximation of Gradients (0) | 2023.09.10 |
| 11. Weight Initialization for Deep Networks (0) | 2023.09.10 |
| 10. Vanishing / Exploding Gradients (0) | 2023.09.10 |