20. Bias Correction in Exponentially Weighted Averages

2023. 9. 11. 12:59Google ML Bootcamp/2. Improving Deep Neural Networks

실제로 베타에 따른 분포도를 그려본다면 초록색 그래프보다는 보라색 그래프를 얻을 수 있다.

 

왼쪽 수식 전개를 살펴봄과 같이 V(0) = 0 으로 초기화하기 때문에 초반부 input v(1)=베타(1)에 대한 영향력이 매우 작은채로 그래프 상에서 실제보다 낮게 표시된다.

 

따라서 오른쪽 수식전개와 같은 항을 추가함으로써 초반부에 대한 bias를 수정할 수 있다

- 이때 t가 커짐에 따라 분모는 1에 근사해지므로 days가 증가할수록 기존의 그래프와 동일해진다

- 따라서 초반부에 발생하는 bias만 해결할 수 있게된다.

 

여전히 weight moving average이 무엇인지, 어떻게 구현하는지도 알아보았지만 어디에 어떻게 왜 사용되는지는 명확하지 않은 것 같다.

다음 비디오에서 알아보자.