18. Transfer Learning

마지막 layer weight만 초기화 후 학습 or 전체 layer wieght 모두 학습(마지막 layer 외 초기화 x) 선택 가능.

if data가 적을 경우, 마지막 layer만 학습시키면 된다.

- 이전 layer는 다른 작업에서 학습된 모델의 파라미터를 가져오는데 이를 pretrained model을 가져온다고 하고, transfer learning 기법이라고 한다.

- 그리고 마지막 layer weight는 초기화 후 다시 학습시키는 것을 fine-tuning이라고 한다.

 

Transfer Learning. 언제 써야할까?

- 낮은 수준의 데이터는 많고 높은 수준의 데이터는 적을 때 사용

- 테두리 인식 등 낮은 수준의 데이터는 학습 가능하나, X-ray 구분과 같은 높은 수준의 데이터는 적은 경우를 의미.

- 이때 전이되는 지식을 A, 새로운 task B라고 했을 때 Tasb A,B have the same input x.

 

if 높은 수준의 데이터가 충분할 때는 Transfer Learning 굳이. 그냥 모든 파라미터를 초기화하고 다시 학습시키면 된다.