8. Other Regularization Methods

**중요 : 정규화 왜함? 과적합을 피하기 위해**

- 과적합을 피하는 방법으로는 Data Augumentation도 있다.

- 이미지의 경우 rotation, crop등을 통해 train set을 늘릴 수도 있다.

 

과적합을 피하기 위한 방법 

1. Dropout

2. Data Augumentation

3. Early stopping

valid set error가 증가하는 시점에서 epoch을 중지하는 것이 좋다. 이후는 과적합이 진행되기 때문.

Early stop의 단점

- optimize cost function, not overfit 문제를 단독으로 풀 수 없다.

- 두 가지의 문제가 존재할 때 각각 해결하여 성능을 더 높일 수 있는데 학습을 이른 시점에 종료한다면 두 가지를 단독으로 해결할 수는 없다.