33. Softmax Regression

Softmax : multi class Regression

Sigmoid : binary class Regression

 

Y hat 이전 layer의 각 unit은 각 class에 속할 확률을 의미하게 된다.

L layer : Softmax Activation function.

- t = e**(Z[l]) 

- g(x) = e**(Zi[l]) / sum(Zi[l](i)) 과 같이 softmax 함수의 수식일뿐. (i는 unit번호)

- a는 각 class에 속할 확률이니, 모든 class에 대해 합을 구하면 1이 나와야한다.

 

hidden layer가 없는 linear function의 경우 softmax를 사용했을 때.

multi class에 대해 분류기를 나타낸 것이다. 각 경계선이 모두 선형임을 확인할 수 있는데, 이와 같이 multi class에 대해 분류를 수행할 수 있음을 나타내는 것을 확인할 수 있다.