Deep Learning 계산과정 - 순방향(순전파) - 역방향(역전파)

지수함수, 로그함수에서 도함수(미분) 구하는법 복귀하는 정도면 충분합니다.

도함수 = 기울기라고 생각하면 편안함. 미적분학의 기초설명이므로 간단하게 넘어갔습니다. 도함수 = 기울기

Cost(J)를 최소화 하기 위해 Global optimal point 인 빨간점을 찾는게 목적. - Logistic Regression 의 경우 convex function(볼록함수)임이 알려져 있으므로 W의 초기화 방법에 대해서는 고민하지 않아도 된다. - 어느지점에서 출발하든 결국 전역해에 도달할꺼기 때문. w에 따른 Cost function(J) 모양을 도식화. Logisitc Regression의 경우 예시와 같은 Convex function.

Loss function (L) : define to measure how good our output(predicted y) is when the truth label y. if 정답이 1 일 경우 -> loss를 작게 만들기 위해서는 predict y 또한 가능한 커져야한다. 이때 predict y는 sigmoid 값이므로 1을 넘을 수 없다. 따라서 1에 가까워지도록 학습. if 정답이 0 인 경우 -> loss를 작게 만들기 위해서는 predict y가 작아저야한다. 이때 predict y는 sigmoid 값으므로 0보다 작아질 수 없다. 따라서 0에 가까워지도록 학습. Loss function : 단일 훈련 예제. 즉 한가지의 training example에 대해서 수행. Cost functio..

Binary Classification 문제에서 사용하는 기법. - output is 0 or 1 (yes or no) Why? input X, weight W(=function X map to Y), output Y, bias b XW+b = Y 하도록 학습 시 선형회귀의 경우 이대로 적용. 하지만 0