Github를 사용하라~ - 여기서 다양한 모델을 다운받아서 사용해보는걸 첫 접근법으로 사용하는 것이 좋다.

네트워크를 확장, 축소하는 경우 1. 고해상도 이미지를 활용하는 경우 2. Network depth 증가 3. Layer units증가(width증가) 이때 output에 따라 이미지 해상도, depth, width를 얼만큼 늘려야하나? - Network를 확장, 축소하여 컴퓨팅 예산 내에서 최상의 성능을 얻기위한 조합을 찾아준다 = EfficientNet

expansion 부분이 있는데 차원을 크게 함으로써 다양한 계산을 수행한다 = 더 많은 정보 계산이 가능 그리고 마지막 부분에 pointwise를 통해 차원을 다시 줄임으로써 메모리 사용량을 가능한 낮게 유지한다 = Mobile에서도 사용가능

if normal convolution : 3*3*3 연산이 n(output)*n(output)*filter수만큼 반복. if depthwise separable convolution : 3*3연산이 filter수만큼 반복 + n(output)*n(output)*filter수만큼 반복 - 모두 곱하기로 된 normal에 비해 더하기 연산으로 묶음으로써 depthwise separable convolution은 10배가량 계산비용이 절감되었다.

1x1 convolution layer를 통해 기존의 Inception Network의 문제점이였던 계산비용을 해결하였고, 따라서 이젠 쓸 수 있다! Inception Network = GoogLenet. - 영화 인셉션에서 영감을 받았음. - 결국 네트워크가 반복적으로 이루어지는 구조(중간중간 결과값을 도출하기 때문)

문제는 operation cost. output pixel 하나 당 5*5*number of channels[l-1] 연산을 수행해야한다. - filter의 number of channels는 이전 layer와 동일하다고 가정. - 따라서 5x5 filter size의 경우 한 pixel 당 (5,5,192)의 연산후 sum을 적용하는 것. 그래서 1x1 convolution 을 왜 사용하는지는 알았는데 Inception Network는 왜 사용하는건데..?