7. Gradient Descent

2023. 9. 8. 14:11Google ML Bootcamp/1. Neural Networks and Deep Learning

J : Cost function (average of loss function)

Cost(J)를 최소화 하기 위해 Global optimal point 인 빨간점을 찾는게 목적.

- Logistic Regression 의 경우 convex function(볼록함수)임이 알려져 있으므로 W의 초기화 방법에 대해서는 고민하지 않아도 된다. 

- 어느지점에서 출발하든 결국 전역해에 도달할꺼기 때문.

 

x축 W, y축 J(W)

w에 따른 Cost function(J) 모양을 도식화. Logisitc Regression의 경우 예시와 같은 Convex function.

'Google ML Bootcamp > 1. Neural Networks and Deep Learning' 카테고리의 다른 글

9. More Derivative Examples  (0) 2023.09.08
8. Derivatives  (0) 2023.09.08
6. Logistic Regression Cost Function  (0) 2023.09.08
5. Logistic Regression  (0) 2023.09.08
4. Binary Classification  (0) 2023.09.08