24. Learning Rate Decay

Learning rate 감소가 필요한 이유

epoch이 진행될수록 optimal point에 근접하게 되는데, learning rate를 낮추어 천천히 진행할수록 optimal point를 지나쳐 더 멀이지는걸 방지할 수 있다.

 

learing rate = (1 / (1+decay rate * epoch_num)) * learning rate

- epoch이 진행됨에 따라 learning rate의 계수는 1보다 점점 작아지게 되고 따라서 learnin rate 또한 점점 작아지게 된다.

 

정리 : Learning rate reducing이 필요한 이유 + 어떻게 하는지