23. Adam Optimization Algorithm
2023. 9. 11. 14:42ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
Adam(Adaptive moment estimation) : Momentum + RMSprop
- Momentum의 V(dW)와 같은 지수 평균 이동 기법
- RMSprop의 Gradient에 따른 변수 별 update 변화량 할당
두 가지 모두를 적용한 기법
Hyperparameter
1. learning rate : need to be turn
2. 베타1 (momentum) : 0.9 (dW)
3. 베타2 (RMSprop) : 0.999 (dW**2)
4. 엡실론 : 1e-8(성능에 영향을 거의 안미침. 그냥 사용해도 됨)
베타 1,2 또한 실무자들 사이에서 튜닝이 이루어지지 않음. 그냥 사용하도록
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 25. The Problem of Local Optima (0) | 2023.09.11 |
|---|---|
| 24. Learning Rate Decay (0) | 2023.09.11 |
| 22. RMSprop (0) | 2023.09.11 |
| 21. Gradient Descent with Momentum (0) | 2023.09.11 |
| 20. Bias Correction in Exponentially Weighted Averages (0) | 2023.09.11 |