자율주행 등에 쓰이는 컴퓨터 비전에 대해 소개. 문제점 : input이 너무 크다. - 1000 * 1000 크기의 사진이 input인 경우 RGB 채널로 인해 3백만개가 input. - 이때 첫번째 layer의 weight.shape : (W[2], 3,000,000) - 두번째 layer units이 1000개라면 자그마치 첫번째 layer weight는 자기마치 3억개가 된다...

End-to-End 장점 - 충분한 데이터가 있다면 오히려 인간의 선입견이 담긴 중간과정들을 제외할 수 있다. (Let the data speak) - 중간 파이프라인을 더 정확하게 하기위한 노력을 기울이지 않아도 된다. (Less hand-designing of components needed) 단점 - 많은 양의 데이터가 필요하다. - 중간 파이프라인(hand-designed)에서 오는 이점들을 막아버릴 수도 있다.

End-to-End learning so well in large dataset. 전통적인 파이프라인을 모두 이용하기 보다 어느 수준에서 End-to-End을 사용하여 파이프라인을 줄일 수 있는지 고민.

왜 Multi task? 여러개의 작업을 한번에 하는 모델을 만드니까! - 해당 모델은 보행자가 있는지 없는지, 다른차가 있는지 없는지, 표지판이 있는지 없는지, 신호등이 있는지 없는지를 한번에 알려준다. - 여러가지 일을 한번에 하니까 multi task learning. - 이때 주어지는 Input은 사진 한장. 언제 Multi-task learning을 해야할까? - tasks share lower-level features. - amount of data you have for each task is quite similar.(not always) - big enough neural network.

if data가 적을 경우, 마지막 layer만 학습시키면 된다. - 이전 layer는 다른 작업에서 학습된 모델의 파라미터를 가져오는데 이를 pretrained model을 가져온다고 하고, transfer learning 기법이라고 한다. - 그리고 마지막 layer weight는 초기화 후 다시 학습시키는 것을 fine-tuning이라고 한다. Transfer Learning. 언제 써야할까? - 낮은 수준의 데이터는 많고 높은 수준의 데이터는 적을 때 사용 - 테두리 인식 등 낮은 수준의 데이터는 학습 가능하나, X-ray 구분과 같은 높은 수준의 데이터는 적은 경우를 의미. - 이때 전이되는 지식을 A, 새로운 task B라고 했을 때 Tasb A,B have the same input x. i..

1. try to understand difference between training and dev/test sets 2. make training data more similar or collect more data similar to dev/test sets. - 녹음된 목소리 + 차 소음 = 합성된 데이터 similar to real data(dev, test sets) 따라서 Data Mismatch를 해결할 방법은 인공 데이터 합성. make training data more similar to dev/test sets.