27. Using an Appropriate Scale to pick Hyper parameters

learning rate가 가지는 scale에 대해 random sampling을 진행할 경우 발생하는 문제점.

[0.0001, 1] 사이를 random sampling할 경우 대부분의 값은 [0.1,1]사이에 위치하게 된다. (왜?)

- x축으로 선형으로 그려보자. 그리고 0.0001, 0.001, 0.01, 0.1, 1을 위치로 찍어보자.

전체 범위에서 N개를 뽑으면 당연히 [0.1,1]사이에 대부분 위치하게 됨을 직감할 수 있다.

이는 타당하지 않을 수 있으므로 log 변환을 해주는게 적절해보인다.

- 파이썬으로 구현 시 정수 범위 내에서 random sampling후 지수로 설정하면 된다.

 

beta : 이전 n개의 결과의 영향력을 유지.

- if 0.999의 경우 이전 1000개, 0.9995의 경우 2000개.

- if 0.9의 경우 이전 10개, 0.9005 경우 20개

- 즉 0.0005정도의 같은 값이 변화하더라도 0.9에서 변할때와 0.999에서 변할때의 영향력의 차이는 매우 크다. 따라서 스케일링이 필요