7. Gradient Descent

J : Cost function (average of loss function)

Cost(J)를 최소화 하기 위해 Global optimal point 인 빨간점을 찾는게 목적.

- Logistic Regression 의 경우 convex function(볼록함수)임이 알려져 있으므로 W의 초기화 방법에 대해서는 고민하지 않아도 된다. 

- 어느지점에서 출발하든 결국 전역해에 도달할꺼기 때문.

 

x축 W, y축 J(W)

w에 따른 Cost function(J) 모양을 도식화. Logisitc Regression의 경우 예시와 같은 Convex function.