23. Adam Optimization Algorithm

 Adam(Adaptive moment estimation)  : Momentum + RMSprop

- Momentum의 V(dW)와 같은 지수 평균 이동 기법

- RMSprop의 Gradient에 따른 변수 별 update 변화량 할당

 

두 가지 모두를 적용한 기법

엡실론은 0으로 나누는 경우를 방지하기 위한 상수.

 

Hyperparameter

1. learning rate : need to be turn

2. 베타1 (momentum) : 0.9 (dW)

3. 베타2 (RMSprop) : 0.999 (dW**2)

4. 엡실론 : 1e-8(성능에 영향을 거의 안미침. 그냥 사용해도 됨)

 

베타 1,2 또한 실무자들 사이에서 튜닝이 이루어지지 않음. 그냥 사용하도록