16. Mini-batch Gradient Descent
2023. 9. 11. 12:18ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
m개의 훈련 예제를 벡터화를 통해 for문 없이 한번에 수행할 수 있게 되었다. = 더 빠른 학습이 가능하다.
- but, 모든 훈련 예제에 대해 기울기(gradient)를 계산하기 전에 일부 데이터에 대해서 gradient descent를 수행하는 것이 더 빠른 학습이 가능함이 밝혀졌다.
Notation
x(i) : 소괄호는 i 번째 훈련 예제.
a[l] : 대괄호는 l 번째 layer.
x{t} : 중괄호는 t번째 batch set.
- x(i).shape : (nx,m)
- x{t}.shape : (nx,batch_size )
Mini-batch Gradient Descent != Batch Gradient Descent
- 하지만 미니 배치를 주로 사용한다. 무엇이 다른지는 다음 동영상에서 알아보자.
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 18. Exponentially Weighted Averages (0) | 2023.09.11 |
|---|---|
| 17. Understanding Mini-batch Gradient Descent (0) | 2023.09.11 |
| 15. Gradient Checking Implementation Notes (0) | 2023.09.10 |
| 13. Gradient Checking (0) | 2023.09.10 |
| 12. Numerical Approximation of Gradients (0) | 2023.09.10 |