if normal convolution : 3*3*3 연산이 n(output)*n(output)*filter수만큼 반복. if depthwise separable convolution : 3*3연산이 filter수만큼 반복 + n(output)*n(output)*filter수만큼 반복 - 모두 곱하기로 된 normal에 비해 더하기 연산으로 묶음으로써 depthwise separable convolution은 10배가량 계산비용이 절감되었다.

1x1 convolution layer를 통해 기존의 Inception Network의 문제점이였던 계산비용을 해결하였고, 따라서 이젠 쓸 수 있다! Inception Network = GoogLenet. - 영화 인셉션에서 영감을 받았음. - 결국 네트워크가 반복적으로 이루어지는 구조(중간중간 결과값을 도출하기 때문)

문제는 operation cost. output pixel 하나 당 5*5*number of channels[l-1] 연산을 수행해야한다. - filter의 number of channels는 이전 layer와 동일하다고 가정. - 따라서 5x5 filter size의 경우 한 pixel 당 (5,5,192)의 연산후 sum을 적용하는 것. 그래서 1x1 convolution 을 왜 사용하는지는 알았는데 Inception Network는 왜 사용하는건데..?

3D image * fully connected layer라고도 볼 수 있다. 32개를 element-wise 곱을 취한 후 합을 구하고, ReLU를 통과시켜 그 다음 값을 가지도록 하는 구조. - Network in Network 라고도 부른다. pooling은 height, width만 줄였지만, 1x1 convolution은 number of channels를 조절할 수 있다.

activation function : ReLU라고 가정했을 때 모든 A >= 0 이다. if L2와 같은 Regularization을 통하면 W[l+2]가 감소하는 경향이 있다. - W[l+2] = 0 까지 감소했다고 한다면 A[l+2] = A[l] 임을 볼 수 있다. - 만약 residual block이 없었다면 해당 값은 0으로 전해지고, ReLU를 통해 계속 0으로 전달되므로 사실 이후의 깊이에서는 하는게 없는거나 다름없다. 오히려 나쁘게 만들 수도 있다. - residual block이 존재함으로써 0이 아닌 값이 전달될 수 있고, 따라서 학습에 도움이 된다. - 적어도 항등함수임을 학습하는 parameter를 쉽게 정할 수 있도록 도와준다. residual block은 모델의 중간이나 끝, 어..

파란색 식을 따라가는 것이 일반적인 Neural Network 흐름도 - 이떄 보라색 줄을 통해 a[l+2]를 계산시 a[l+1]을 비롯해 a[l] 또한 고려하게 만드는 기법.