6. When to Change Dev/Test sets and Metrics?

실제 어플리케이션 단계에서는 B알고리즘이 선호될 수 있는 상황.

A는 포르노 사진을 고양이라고 말하기도 하는 치명적인 오류를 가진 알고리즘 but 고양이 분류에 있어서 정확도 자체는 좋다.

B는 포르노 사진을 고양이라고 말할리는 없는 알고리즘 but 고양이 분류에 있어서 정확도 자체는 A에 비해 좋지 않다.

 

이때 Metric가 분류 error를 가지고 있으므로 input이 고양이일 때, 포르노 사진일 때 틀려도 동등한 error를 가지므로 일어나는 일.

다음과 같이 포르노 사진을 맞추지 못할 경우 error에 가중치를 주어 더 큰 Loss를 가지도록 한다.ㅜ

 

중요한건 평가지표(Metric)가 알고리즘에 도움되는 순서대로 선호도를 알려주지 않는다면(고양이를 잘맞추는 것 보다 포르노를 못맞추는게 더 안좋다), 새로운 평가 지표를 도입해야 한다. 

 

+ if 고품질 사진으로 학습했는데 어플리케이션 단계에서는 저품질 사진이 Input으로 주어진다면, 평가지표와 Dev set을 바꿔야한다. 

- 중요한건 real world에 잘 적용되는 것.