19. Understanding Exponentially Weighted Averages
2023. 9. 11. 12:53ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
V100에 대해 수식을 전개해보자.
1/e(자연 e) 가 될때까지 a(베타)를 몇번 곱해야되나 따져보면 a값에 따라 지수가 달라진다.
- 1/e와 비슷한 수준이 될때까지의 평균을 의미하며, a=0.9일때는 number of averages = 10, a=0.98일때는 50이다.
- 이는 a=0.9일 때, number of average가 10개 이상여야 평균값의 변화가 감소한다(=smooth 효과가 발생한다)는걸 의미한다.
구현과정 : V(a) = 0초기화 후 update(덮어쓰기)
- 메모리 측면에서 굉장히 장점이지만 정확성에 있어서 좋은 방법은 아니다.
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
21. Gradient Descent with Momentum (0) | 2023.09.11 |
---|---|
20. Bias Correction in Exponentially Weighted Averages (0) | 2023.09.11 |
18. Exponentially Weighted Averages (0) | 2023.09.11 |
17. Understanding Mini-batch Gradient Descent (0) | 2023.09.11 |
16. Mini-batch Gradient Descent (0) | 2023.09.11 |