18. Transfer Learning
2023. 9. 15. 00:30ㆍGoogle ML Bootcamp/3. Structuring Machine Learning Projects
if data가 적을 경우, 마지막 layer만 학습시키면 된다.
- 이전 layer는 다른 작업에서 학습된 모델의 파라미터를 가져오는데 이를 pretrained model을 가져온다고 하고, transfer learning 기법이라고 한다.
- 그리고 마지막 layer weight는 초기화 후 다시 학습시키는 것을 fine-tuning이라고 한다.
Transfer Learning. 언제 써야할까?
- 낮은 수준의 데이터는 많고 높은 수준의 데이터는 적을 때 사용
- 테두리 인식 등 낮은 수준의 데이터는 학습 가능하나, X-ray 구분과 같은 높은 수준의 데이터는 적은 경우를 의미.
- 이때 전이되는 지식을 A, 새로운 task B라고 했을 때 Tasb A,B have the same input x.
if 높은 수준의 데이터가 충분할 때는 Transfer Learning 굳이. 그냥 모든 파라미터를 초기화하고 다시 학습시키면 된다.
'Google ML Bootcamp > 3. Structuring Machine Learning Projects' 카테고리의 다른 글
20. What is End-to-end Deep Learning (0) | 2023.09.15 |
---|---|
19. Multi-task Learning (0) | 2023.09.15 |
17. Addressing Data Mismatch (0) | 2023.09.15 |
16. Bias and Variance with Mismatched Data Distributions (0) | 2023.09.15 |
15. Training and Testing on Different Distributions (0) | 2023.09.14 |