16. Networks in Networks and 1x1 Convolutions.

2D로 보면 단순히 matrix * 상수 같겠지만 3D로 본다면 이야기가 달라진다.

 

3D image * fully connected layer라고도 볼 수 있다. 32개를 element-wise 곱을 취한 후 합을 구하고, ReLU를 통과시켜 그 다음 값을 가지도록 하는 구조.

- Network in Network 라고도 부른다.

 

1 x 1 convolution layer의 filter 수를 통해 number of channels를 줄일 수도 있다.

pooling은 height, width만 줄였지만, 1x1 convolution은 number of channels를 조절할 수 있다.