3D image * fully connected layer라고도 볼 수 있다. 32개를 element-wise 곱을 취한 후 합을 구하고, ReLU를 통과시켜 그 다음 값을 가지도록 하는 구조. - Network in Network 라고도 부른다. pooling은 height, width만 줄였지만, 1x1 convolution은 number of channels를 조절할 수 있다.

activation function : ReLU라고 가정했을 때 모든 A >= 0 이다. if L2와 같은 Regularization을 통하면 W[l+2]가 감소하는 경향이 있다. - W[l+2] = 0 까지 감소했다고 한다면 A[l+2] = A[l] 임을 볼 수 있다. - 만약 residual block이 없었다면 해당 값은 0으로 전해지고, ReLU를 통해 계속 0으로 전달되므로 사실 이후의 깊이에서는 하는게 없는거나 다름없다. 오히려 나쁘게 만들 수도 있다. - residual block이 존재함으로써 0이 아닌 값이 전달될 수 있고, 따라서 학습에 도움이 된다. - 적어도 항등함수임을 학습하는 parameter를 쉽게 정할 수 있도록 도와준다. residual block은 모델의 중간이나 끝, 어..

파란색 식을 따라가는 것이 일반적인 Neural Network 흐름도 - 이떄 보라색 줄을 통해 a[l+2]를 계산시 a[l+1]을 비롯해 a[l] 또한 고려하게 만드는 기법.

네트워크가 깊어질수록 height와 width는 줄어드는 것을 볼 수 있다. 반대로 number of channels는 증가한다. Conv -> pool -> Conv -> pool -> F.C -> F.C -> softmax - 꽤 일반적인 CNN 구조. LeNet 논문을 읽게 된다면 오히려 요즘에는 쓰지 않아도 되는(컴퓨팅 파워가 증가) 기법들로 구현이 되어 조금 더 읽기 어려움을 주의. height, width가 2배 감소하는동안 number of channels는 2배 증가. - 상당히 매력적인 구조. 안정적이잖아!

코드를 처음 배울 때 다른사람의 코드를 배고 배웠던 것 처럼 다른 사람의 연구, 혹은 비슷한 분야의 예시들을 읽어보는 것은 매우 도움된다.

if convolution operation을 사용할 경우, filter에 속한 weight만 학습하면 되는데 - filter.shape(5,5)라고 했을 때 25 * number of filters가 한 layer의 parameter 개수가 된다. 입력 image 크기에 상관없이! 그렇다면 적은 수의 parameter로 학습시키는건데.. 어떻게 잘 작동할 수 있는걸까? 1. parameter sharing - filter : detect feature. 즉 edge detection을 수행하는 filter의 경우, fully connected된 선형 구조 보다는 convolution 과정을 거치면서 weight를 공유해도 괜찮다. 이미지의 전체 위치에서 edge detection을 수행하는 과정은 동일..