13. Gradient Descent on m Examples

이전에는 단일 훈련 예제에 대하여 L을 최소화 하기 위한 w1,w2,b를 update 하는 과정을 살펴봤다. 

이번에는 여러 훈련 예제에 대하여 J를 최소화 하기 위한 과정을 살펴보자.

 

L : Loss function

J : Cost function

 

전체 훈련 세트 : m examples에 대해 loop 반복

dw1,dw2,db는 결국 각 훈련 세트에서 구한 기울기들의 평균으로 구해짐.

J는 L의 평균으로 구해짐.

 

아직 w1,w2,db는 update 안함.

전체 훈련 세트에 대해 dw1,dw2,db를 통한 w1,w2,b를 update

이를 Epoch수 만큼 반복.(이때 W는 update 되었으므로 다시 기울기 하강 수행)

 

 

딥러닝 알고리즘 구현 중 for문이 등장하는 것은 바람직하지 않음. 효율성이 매우 떨어짐.

따라서 이보다는 벡터화로 구현을 하면 for문을 명시적으로 사용하지 않을 수 있는데 이것이 매우 중요.