8. Vanishing Gradients with RNNs

2023. 9. 25. 18:02Google ML Bootcamp/5. Sequence Models

Long Dependecy 문제라고 하지만 Vanishing Gradient 문제는 언어 모델에서 치명적이다. was/were

 

Vanishing Gradients 문제 말고도 Exploding Gradeints 문제도 다루어야하는데 이는 Nan 값과 같이 파라미터 값들이 폭발하는걸로 발견하기 쉽다.

'Google ML Bootcamp > 5. Sequence Models' 카테고리의 다른 글

10. Long Short Term Memory  (0) 2023.09.26
9. Gate Recurrent Unit(GRU)  (0) 2023.09.26
7. Sampling Novel Sequences  (0) 2023.09.25
6. Language Model and Sequence Generation  (0) 2023.09.25
5. Different Types of RNNs  (0) 2023.09.25