Google ML Bootcamp/3. Structuring Machine Learning Projects(21)
-
9. Understanding Human-level Performance
상황마다 다르지만 d로 설정하는것이 바람직하며, 기계의 성능은 bayes error를 통해 d까지 향상시킬 수 있다. 하지만 어플리케이션 도입 관점에서는 b와 같은 수준만 달성하더라도 굉장히 유용할 수 있다. Human-level error는 proxy for bayes error를 통해 구할 수 있다.
2023.09.14 -
8. Avoidable Bias
Bayes Error = Avoid bias(error) - 즉 성능 상항선이라고 생각하면 쉬움.(=인간 성능 - 학습 성능) Train performance - Dev performance = variance
2023.09.14 -
7. Why Human-level Performance?
인간을 모방하는 것을 목적으로 만들어지기 때문에 당연하게도 느껴진다. - 알고리즘이 잘 작동하지 않을 때, 해당 분야 전문가에게 물어보면서 인사이트를 얻고 알고리즘을 발전시키기도 하기 때문.
2023.09.14 -
6. When to Change Dev/Test sets and Metrics?
A는 포르노 사진을 고양이라고 말하기도 하는 치명적인 오류를 가진 알고리즘 but 고양이 분류에 있어서 정확도 자체는 좋다. B는 포르노 사진을 고양이라고 말할리는 없는 알고리즘 but 고양이 분류에 있어서 정확도 자체는 A에 비해 좋지 않다. 이때 Metric가 분류 error를 가지고 있으므로 input이 고양이일 때, 포르노 사진일 때 틀려도 동등한 error를 가지므로 일어나는 일. 중요한건 평가지표(Metric)가 알고리즘에 도움되는 순서대로 선호도를 알려주지 않는다면(고양이를 잘맞추는 것 보다 포르노를 못맞추는게 더 안좋다), 새로운 평가 지표를 도입해야 한다. + if 고품질 사진으로 학습했는데 어플리케이션 단계에서는 저품질 사진이 Input으로 주어진다면, 평가지표와 Dev set을 바꿔야..
2023.09.14 -
5. Size of the Dev and Test sets
Train / test : 7/3 Train / Valid / Test : 6/2/2 if dataset >= 1,000,000 - 98/1/1 - 1% = 10,000 example. enough! No test set might be okay.. - if your dev set size is too big - else, overfitting to dev - 일반적으로 추천하진 않는다.
2023.09.14 -
4. Train/Dev/Test Distributions
**중요 : Train/Dev/Test는 비슷한 분포를 가지도록 설정되어야 한다.**
2023.09.14