34. Training a Softmax Classifier

why softmax?

- In hard max : 가장 큰 값을 가지는 것을 1, 나머지는 0으로 치환

- In softmax : 확률을 모두 나타내므로 soft방식

 

If class=2, sigmoid = softmax(증명은 생략.)

- softmax는 sigmoid에 대해 일반화를 한 것(n개의 class가 있다고 가정)

 

softmax 함수에서의 loss function 확인.

loss를 줄이기 위해서는 y hat을 증가시켜야하는 것을 확인할 수 있다.

 

loss를 구하는 방법을 알았으니 이제 forward_propagation, backward_propagation을 올바르게 구축만 한다면 모델을 학습시킬 수 있다.