2. Neural Network 개념 및 코드

Neural Network

- function that stack affine transformations followed by non-linear transformers.

- 즉 비선형 함수를 stacking한 함수를 Neural Network라고 부른다. 이렇게 표현하는게 조금 더 수학적인 표현이다.

- affine transformer(=linear transformers) : 점,직선,평면을 보존하는 선형 매핑 방법. 즉 matrix multiply.

- affine transformer(아핀 변환) 라는건 m차원의 input을 n차원의 output으로 변환

 

Multi-Layer Perceptron(=N-layer Neural Network)

- 다양한 loss function 존재.

 

model = MultiLayerPerceptronClass(name='mlp',xdim=784,hdim=256,ydim=10).to(device)

loss = nn.CrossEntropyLoss()

optimizer = optim.Adam(M.parameters(),lr=1e-3)

optimizer.zero_grad()

loss.backward()

optimizer.step()