46. What are deep ConvNets learning?

Visualizing and Understanding Convolutional Networks, 2013, Zeiler and Fergus.

- 각 convolution 단계에서 unit이 무엇을 학습하는지, 설명하는걸 되게 시각적으로 잘 표현함. 시간되면 읽어봐도 좋을 논문.

 

Layer가 깊어질수록 더 복잡하고 정교한 패턴을 detect하는 것을 볼 수 있다.

 

이때 9개의 Image patch라고 부르는 것이 filters인지는 모르겠다. 뉴런이라고 표현하는데 unit일지..

하지만 각 layer에 존재하는 neuron이라고 한다면 unit일 것 같고,각 unit 마다 어느 한 종류의 패턴을 중점적으로 나타내려는 것으로 보인다. 그렇다면 unit=9인 에시를 드는건가?

- 아니. layer에서 unit 하나를 pick

- 이후 9가지의 image patch를 input으로 하여 해당 unit's activation을 최대로 만드는 image patch가 무엇인지 테스트.

- 즉 해당 unit은 어떤 이미지에 반응하는지를 보려는 것.

 

첫번째 layer 특정 unit을 최대로 활성화시키는 image patch 9개를 고른다면 다음과 같다.