8. Vanishing Gradients with RNNs

Long Dependecy 문제라고 하지만 Vanishing Gradient 문제는 언어 모델에서 치명적이다. was/were

 

Vanishing Gradients 문제 말고도 Exploding Gradeints 문제도 다루어야하는데 이는 Nan 값과 같이 파라미터 값들이 폭발하는걸로 발견하기 쉽다.