12. Error Analysis

개를 더 잘 식별하도록 할 것인가? 

- 이런 과정을 거친 후 모델을 업그레이드 했음에도 결과가 크게 상승하지 않을 수 있다 = 시간낭비

 

시간낭비 하지 않으려면 우리가 할 시도가 얼마나 가치있는지 어떻게 평가하나?

1. Dev set에서 mislabeled example을 살펴본다.

- 결과적으로 모델 예측을 관찰해보았을 때, 에러 100개 중 강아지 사진이 5개일 때 , 강아지를 더 잘맞추게 업그레이드 해봤자 최대 성능향상은 5개이다.

- 전체 사진은 1000개 이므로 100개가 잘못된 상황이다. 따라서 5개를 모두 맞추도록 모델을 업그레이드 하더라도 전체 에러에서는 0.5%만 향상된다. = 시간낭비

 

이를 머신러닝 문제에서는 Ceiling이라고 부른다.

- 성능개선의 상한선 = 시간투자할만한 가치의 기준선이 될 수 있다. 

 

Blurry 문제와 Great Cats에 대해 오류를 범하는 경우가 많았으므로 이 부분을 해결하는 것이 우선일 수 있다.