15. Gradient Checking Implementation Notes
2023. 9. 10. 18:52ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
Gradient Checking은 계산비용이 크므로 훈련시에 사용하지말고 디버깅시에만 사용할것.
if gradient fail, look at components to try to identify bug.
- dW[l] 와 dW(approximate)[l]의 차이가 클 것이다. 이때 l을 찾는 것이 목적.
- 따라서 문제인 layer를 찾으러 가야하고 거기서 버그를 해결해야 한다.
기울기 검사를 할 때 정규화를 수행하는지 여부를 항상 확인할 것!
- 이 중 dropout은 수행하지 말것
- L2의 정규 Cost function에 들어가는 정규화 항을 반영해야 한다.
**중요 : Dropout -> Keep_prob=1 로 설정하고 Gradient Checking. 이후 올바르게 알고리즘이 동작되는 것이 확인되고 나서 Keep_prob=p로 설정**
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 17. Understanding Mini-batch Gradient Descent (0) | 2023.09.11 |
|---|---|
| 16. Mini-batch Gradient Descent (0) | 2023.09.11 |
| 13. Gradient Checking (0) | 2023.09.10 |
| 12. Numerical Approximation of Gradients (0) | 2023.09.10 |
| 11. Weight Initialization for Deep Networks (0) | 2023.09.10 |