if Train / Dev set distribution are similar, variance problem if Train / Dev set distribution are not similar (means come from another dataset), can't decide to variance problem. In left case, Train-dev error 9% - variance problem exist. cauze Train-dev set distribution is similar with Train set. In right case, Train-dev error 1.5%, Dev error 10% - data mismatch problem. not variance problem. In..

장점 : train/dev/test 모두 같은 분포를 가지게 한다. 단점 : 학습 시 new data의 비율이 상당히 낮기 때문에 거의 무시되고 original data의 분포를 잘 맞추는 경향으로 모델이 학습된다. 문제는 실제 어플리케이션에서는 new data와 같은 blurry이미지가 대부분 주어지기 때문에 저걸 더 잘 맞춰야한다는 점이다. 근데... train과 dev/test 분포가 다른데 학습이 잘 되고 성능이 괜찮을까? - 다음 강의에 설명하도록 한다. - dev test에 대해 loss가 학습 과정에서 train과 다르게는 어떻게 작용하는지 단계별로 알아봐야할 것 같다.

1. 일단 Dev, Test set과 평가지표를 결정 2. 단순 모델을 만들어 일단 돌려. 결과확인 3. 결과 분석(bias, variance)을 통해 조금 더 구체적이고 복잡한 모델을 만들어 4. 오류 분석을 통해 어떤 문제를 우선순위로 해결해야하는지 관찰 5. 이런 과정을 반복하는 것이 가장 빠른 길.

만약 training set에서 X,Y 매핑이 잘못 되어 있다면? 이를 검증하고 고치는 것이 유용할까?? - 해당 오류 비율이 전체 데이터셋에 비해 크지 않다면 상관이 없긴 하다. - 또한 랜덤성으로 주어진 오류라고하면 상관없다(예를 들면, 인위적으로 하얀 강아지는 모두 고양이라고 잘못 표기했을 경우 제외) 분석 : 1. 이전 슬라이드에서 배웠던 오류 분석을 진행(Incorrectly Labeled라는 column추가) 2. 잘못 표기된 라벨로 인한 오류가 어디에 얼마나 영향을 미치는지 분석 분석해보면 incorrect label을 해결하는 것 보다 Great Cat문제 혹은 Blurry 문제를 해결하는게 시급하다. **중요 : 성능을 향상시키기 위한 고민으로 오류 분석을 직접적으로 해본적은 없다. AI..

개를 더 잘 식별하도록 할 것인가? - 이런 과정을 거친 후 모델을 업그레이드 했음에도 결과가 크게 상승하지 않을 수 있다 = 시간낭비 시간낭비 하지 않으려면 우리가 할 시도가 얼마나 가치있는지 어떻게 평가하나? 1. Dev set에서 mislabeled example을 살펴본다. - 결과적으로 모델 예측을 관찰해보았을 때, 에러 100개 중 강아지 사진이 5개일 때 , 강아지를 더 잘맞추게 업그레이드 해봤자 최대 성능향상은 5개이다. - 전체 사진은 1000개 이므로 100개가 잘못된 상황이다. 따라서 5개를 모두 맞추도록 모델을 업그레이드 하더라도 전체 에러에서는 0.5%만 향상된다. = 시간낭비 이를 머신러닝 문제에서는 Ceiling이라고 부른다. - 성능개선의 상한선 = 시간투자할만한 가치의 기준..

supervised learning 1. fit training set (=avoidable bias) - train bigger model(number of units, layers, etc...) - train longer - train with beteer optimization algorithm(momentum, RMSprop, Adam etc...) - change NN architecture(RNN to CNN etx...) - hyperparameter search 2. generalize to the dev/test set(=down variance) - More data - Reularization(L2, Dropout, data augumentation) - change NN archi..