20. Bias Correction in Exponentially Weighted Averages
2023. 9. 11. 12:59ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
실제로 베타에 따른 분포도를 그려본다면 초록색 그래프보다는 보라색 그래프를 얻을 수 있다.
왼쪽 수식 전개를 살펴봄과 같이 V(0) = 0 으로 초기화하기 때문에 초반부 input v(1)=베타(1)에 대한 영향력이 매우 작은채로 그래프 상에서 실제보다 낮게 표시된다.
따라서 오른쪽 수식전개와 같은 항을 추가함으로써 초반부에 대한 bias를 수정할 수 있다
- 이때 t가 커짐에 따라 분모는 1에 근사해지므로 days가 증가할수록 기존의 그래프와 동일해진다
- 따라서 초반부에 발생하는 bias만 해결할 수 있게된다.
여전히 weight moving average이 무엇인지, 어떻게 구현하는지도 알아보았지만 어디에 어떻게 왜 사용되는지는 명확하지 않은 것 같다.
다음 비디오에서 알아보자.
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
22. RMSprop (0) | 2023.09.11 |
---|---|
21. Gradient Descent with Momentum (0) | 2023.09.11 |
19. Understanding Exponentially Weighted Averages (0) | 2023.09.11 |
18. Exponentially Weighted Averages (0) | 2023.09.11 |
17. Understanding Mini-batch Gradient Descent (0) | 2023.09.11 |