28. Why do you need Non-Linear Activation Functions?

Linear Activation Function을 사용할 수 있는 곳은 output layer.

- 단, 선형회귀 문제의 경우에만 가능.

- 주택 값을 예측하는 등 output의 범위가 (-무한대, 무한대)일 경우에만 사용.

- 비선형 함수의 경우 최대,최소값의 범위가 있으므로 부적절함.

 

hidden layer에서 활성화함수를 사용하지 않는 이유?

깊은 레이어를 통과해봤자 결국 나오는건 직선이므로 아무리 깊게 쌓아도 의미가 없다.

x앞에 존재하는 w1,w2의 상수 값이 미세하게 바뀔뿐

 

증명은 여기서 진행하지 않지만 선형 활성화 함수의 경우 layer 자체가 필요없이 머신러닝 분야에서만 사용하도록 한다.