11. Weight Initialization for Deep Networks
2023. 9. 10. 18:06ㆍGoogle ML Bootcamp/2. Improving Deep Neural Networks
Vanishing or Exploding 문제를 해결할 수 있는 방법(완벽히 해결하는 것은 아니지만 굉장한 효과가 있음)
- Weight Initialization randomly * np.sqrt(1/n[l-1])
- activation function이 relu인 경우 np.sqrt(2/n[l-1]) 이 더 잘 작동함.
가중치 초기 설정에 분산을 설정하는 방법인데 이가 hyperparameter 순위에 있어서 아래쪽에 속하지만 Vanishing , Exploding 문제를 해결함에 있어서는 좋은 방법이 되었다.
'Google ML Bootcamp > 2. Improving Deep Neural Networks' 카테고리의 다른 글
| 13. Gradient Checking (0) | 2023.09.10 |
|---|---|
| 12. Numerical Approximation of Gradients (0) | 2023.09.10 |
| 10. Vanishing / Exploding Gradients (0) | 2023.09.10 |
| 9. Normalizaing Inputs (0) | 2023.09.10 |
| 8. Other Regularization Methods (0) | 2023.09.10 |