Hand engineering - 모델 아키텍처 구축도 포함된다. - 현재까지 모델의 파라미터 개수에 비해 데이터 수는 턱없이 부족한 상황이다(빅데이터 시대라고 하더라도) - 따라서 모델 구조에 대한 많은 논문(=hand engineering)이 나오는 중이다. 데이터가 적을 때는 transfer learning이 도움되기도 하며, computer vision에서 거의 default 값이다. Tips: 1. Ensembling : pretrained 모델에서 몇개의 layer weight만 초기화한채로 학습시켜보아라. - 적은 수의 데이터로 하고자 하는 task에 대해 좋은 성능을 보일 수 있다. 2. Multi-crop at test time - 테스트 image에 대하여 10-crop 이미지를 생성해..

github에서 코드 뿐만 아니라 모델의 파라미터까지도 다운받을 수 있다. - pretrained model 이라고 한다. 이후 모델의 Output layer를 수정하거나 출력을 위한 layer를 추가하여 재학습 시킨다 - 이때는 다운받은 모델의 파라미터를 학습시킬지, 학습시키지 않을지 정할 수 있다. - 마지막 Layer만 학습시킨다고 생각하면 편하다. - 단, 새로운 task를 위한 data가 적을 때. if 새로운 task를 위한 data가 많을때는 가능한 많은 모델의 파라미터를 학습시키는것이 좋다.

Github를 사용하라~ - 여기서 다양한 모델을 다운받아서 사용해보는걸 첫 접근법으로 사용하는 것이 좋다.

네트워크를 확장, 축소하는 경우 1. 고해상도 이미지를 활용하는 경우 2. Network depth 증가 3. Layer units증가(width증가) 이때 output에 따라 이미지 해상도, depth, width를 얼만큼 늘려야하나? - Network를 확장, 축소하여 컴퓨팅 예산 내에서 최상의 성능을 얻기위한 조합을 찾아준다 = EfficientNet

expansion 부분이 있는데 차원을 크게 함으로써 다양한 계산을 수행한다 = 더 많은 정보 계산이 가능 그리고 마지막 부분에 pointwise를 통해 차원을 다시 줄임으로써 메모리 사용량을 가능한 낮게 유지한다 = Mobile에서도 사용가능