18. Exponentially Weighted Averages
2023. 9. 11. 12:39ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
V(t) = a * V(t-1) + (1-a) * v(t)
- V(t) : current output
- V(t-1) : prev output
- v(t) : current input
즉 현재 output을 결정할 때 prev의 영향력 a, current input의 영향력 1-a.
- 이를 결국 가중치 이동 평균 (weight moving averages)라고 부르는데 a가 커질수록 V(t-1)의 영향력이 커지므로 그래프가 smooth해지는 경향이 있다.
근데 이걸 왜하나? 다음 동영상에서 알아보자.
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 20. Bias Correction in Exponentially Weighted Averages (0) | 2023.09.11 |
|---|---|
| 19. Understanding Exponentially Weighted Averages (0) | 2023.09.11 |
| 17. Understanding Mini-batch Gradient Descent (0) | 2023.09.11 |
| 16. Mini-batch Gradient Descent (0) | 2023.09.11 |
| 15. Gradient Checking Implementation Notes (0) | 2023.09.10 |