6. Logistic Regression Cost Function

 Loss function (L) : define to measure how good our output(predicted y) is when the truth label y.

 

if 정답이 1 일 경우 -> loss를 작게 만들기 위해서는 predict y 또한 가능한 커져야한다. 이때 predict y는 sigmoid 값이므로 1을 넘을 수 없다. 따라서 1에 가까워지도록 학습.

 

if 정답이 0 인 경우 -> loss를 작게 만들기 위해서는 predict y가 작아저야한다. 이때 predict y는 sigmoid 값으므로 0보다 작아질 수 없다. 따라서 0에 가까워지도록 학습.

 

Loss function : 단일 훈련 예제. 즉 한가지의 training example에 대해서 수행.

Cost function : 모든 훈련 예제. 즉 모든 training examples에 대한 평균값으로 정의.