19. Understanding Exponentially Weighted Averages

2023. 9. 11. 12:53Google ML Bootcamp/2. Improving Deep Neural Networks

위쪽 weighted moving average 수식 중요.

 

V100에 대해 수식을 전개해보자.

1/e(자연 e) 가 될때까지 a(베타)를 몇번 곱해야되나 따져보면 a값에 따라 지수가 달라진다.

- 1/e와 비슷한 수준이 될때까지의 평균을 의미하며, a=0.9일때는 number of averages = 10, a=0.98일때는 50이다.

- 이는 a=0.9일 때, number of average가 10개 이상여야 평균값의 변화가 감소한다(=smooth 효과가 발생한다)는걸 의미한다.

 

구현과정 : V(a) = 0초기화 후 update(덮어쓰기)

- 메모리 측면에서 굉장히 장점이지만 정확성에 있어서 좋은 방법은 아니다.