31. Backpropagation Intuition (Optional)

**시간이 된다면 Logistic Regression : sigmoid 함수를 예시로 dz를 직접 구해보기**

L : Logisitic Regression 라고 가정.

da 란 dL/da , da/dz = g'(z)

dz = dL / dz = dL/da * da/dz

- da/dz = g'(z), dL/da = da

- 따라서 dz = da * g'(z)

- 수식을 정리하면 dz = a-y. (증명은 생략)

수식 정리한것일뿐.

 

dw = 1/m * np.dot(dz, x)

db = 1/m * np.sum(dz)

 

다음과 같은 두 개의 layer가 있을때는?

dz[2] = a[2]-y (미분 연쇄법칙에 의해. 증명은 생략)

dw[2] = 1/m * np.dot(dz[2], a[1].T)

- 단일 layer에 비해 x대신 a[1].T가 쓰였을 뿐. 왜? 두번째 layer의 input은 x가 아닌 첫번째 layer의 결과물인 a[1]이기 때문.

db[2] = 1/m * np.sum(dz[2])

dz를 구하는 방식에 있어서 증명과정을 생략했지만 Logistic Regression을 미분하여 연쇄법칙을 적용해보면 증명할 수 있음.