30. Gradient Descent for Neural Networks

Gradient Descent

-input : x.shape (nx,1) = n[0], n[1], n[2] -> input layer, hidden layer, output layer존재.

-params : w[1], b[1], w[2], b[2]

-cost function : J(w[1], b[1], w[2], b[2]) = 1/m * np.sum(y-y*)

 

1. y* 계산

2. dw, db 계산.

3. w[1], b[1], w[2], b[2] update

4. 1-3 과정 반복. 

 

 

dw[2]의 경우 input이 A[1]이므로 1/m * np.dot(dz[2], A[1].T)

- 도함수이므로 의미? 해당 변수 dw[2]가 변했을 때 y*(A[2])에 영향을 미치는 정도 at A[1] = A[1]에서의 기울기