7. Understanding Dropout

 keep_prob에 대한 이해

- [0,1]

- 즉 해당 layer에서 unit을 유지할 비율을 의미

- 1이면 dropout이 없다는 의미

 

**중요 : Dropout은 정규화 기법. 정규화 기법은 과적합 방지**

- 즉 과적합이 일어나지 않는다면 굳이 할 필요가 없는 기법이기도 하다.

- dropout은 랜덤으로 발생하기 때문에 cost function이 잘 정의되지 않는다. 매 순간 달라지기 때문

- 따라서 loss 수렴을 확인하기 위해서는 keep_prob=1로 설정하고 수행할 것.