Google ML Bootcamp/2. Improving Deep Neural Networks
18. Exponentially Weighted Averages
코딩소비
2023. 9. 11. 12:39
V(t) = a * V(t-1) + (1-a) * v(t)
- V(t) : current output
- V(t-1) : prev output
- v(t) : current input
즉 현재 output을 결정할 때 prev의 영향력 a, current input의 영향력 1-a.
- 이를 결국 가중치 이동 평균 (weight moving averages)라고 부르는데 a가 커질수록 V(t-1)의 영향력이 커지므로 그래프가 smooth해지는 경향이 있다.
근데 이걸 왜하나? 다음 동영상에서 알아보자.