왜 Multi task? 여러개의 작업을 한번에 하는 모델을 만드니까! - 해당 모델은 보행자가 있는지 없는지, 다른차가 있는지 없는지, 표지판이 있는지 없는지, 신호등이 있는지 없는지를 한번에 알려준다. - 여러가지 일을 한번에 하니까 multi task learning. - 이때 주어지는 Input은 사진 한장. 언제 Multi-task learning을 해야할까? - tasks share lower-level features. - amount of data you have for each task is quite similar.(not always) - big enough neural network.

if data가 적을 경우, 마지막 layer만 학습시키면 된다. - 이전 layer는 다른 작업에서 학습된 모델의 파라미터를 가져오는데 이를 pretrained model을 가져온다고 하고, transfer learning 기법이라고 한다. - 그리고 마지막 layer weight는 초기화 후 다시 학습시키는 것을 fine-tuning이라고 한다. Transfer Learning. 언제 써야할까? - 낮은 수준의 데이터는 많고 높은 수준의 데이터는 적을 때 사용 - 테두리 인식 등 낮은 수준의 데이터는 학습 가능하나, X-ray 구분과 같은 높은 수준의 데이터는 적은 경우를 의미. - 이때 전이되는 지식을 A, 새로운 task B라고 했을 때 Tasb A,B have the same input x. i..

1. try to understand difference between training and dev/test sets 2. make training data more similar or collect more data similar to dev/test sets. - 녹음된 목소리 + 차 소음 = 합성된 데이터 similar to real data(dev, test sets) 따라서 Data Mismatch를 해결할 방법은 인공 데이터 합성. make training data more similar to dev/test sets.

if Train / Dev set distribution are similar, variance problem if Train / Dev set distribution are not similar (means come from another dataset), can't decide to variance problem. In left case, Train-dev error 9% - variance problem exist. cauze Train-dev set distribution is similar with Train set. In right case, Train-dev error 1.5%, Dev error 10% - data mismatch problem. not variance problem. In..

장점 : train/dev/test 모두 같은 분포를 가지게 한다. 단점 : 학습 시 new data의 비율이 상당히 낮기 때문에 거의 무시되고 original data의 분포를 잘 맞추는 경향으로 모델이 학습된다. 문제는 실제 어플리케이션에서는 new data와 같은 blurry이미지가 대부분 주어지기 때문에 저걸 더 잘 맞춰야한다는 점이다. 근데... train과 dev/test 분포가 다른데 학습이 잘 되고 성능이 괜찮을까? - 다음 강의에 설명하도록 한다. - dev test에 대해 loss가 학습 과정에서 train과 다르게는 어떻게 작용하는지 단계별로 알아봐야할 것 같다.

1. 일단 Dev, Test set과 평가지표를 결정 2. 단순 모델을 만들어 일단 돌려. 결과확인 3. 결과 분석(bias, variance)을 통해 조금 더 구체적이고 복잡한 모델을 만들어 4. 오류 분석을 통해 어떤 문제를 우선순위로 해결해야하는지 관찰 5. 이런 과정을 반복하는 것이 가장 빠른 길.