12. Logistic Regression Gradient Descent

Logistic Regression 복기

목적 : L 을 줄이기 위해 w, b를 조정하는 것.

 

input은 두 개의 훈련 예제. x1, x2만 있다고 가정.

즉 w1, w2, b가 L에 얼마나 영향을 미치는지 도함수(기울기) 구하기가 핵심. 목표는 Loss를 줄이는 방향으로 w1,w2,b를 조정하는 것.

 

1. dw1, dw2, db를 구하기.(역전파, 연쇄법칙을 통해)

2. w1 <- w1 - a * dw1 이렇게 update.

- dw1(기울기)가 양수라면 Gradient Descent에 의해 w1이 작아지는 방향으로 업데이트

- dw1(기울기)가 음수라면 Gradient Descent에 의해 w1이 커지는 방향으로 업데이트.

이런 방식으로 w2, b 또한 업데이트.

 

실제 훈련세트의 예시와 도함수에 대한 직관적인 예시가 정말 도움 잘되는 듯 하다.