4. AutoGrad & Optimizer

딥러닝 모델 구축 시 정의해야하는 4가지

1. input

2. forward

3. output

4. backward

 

~~~

criterion = torch.nn.MSELoss()

optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)

 

optimzer.zero_grad() # 이전 가중치 초기화

output = model(input)

loss = criterion(outputs, labels)

loss.backward() # backpropagation 진행. 모든 gradient 구하기

optimizer.step() # optimizer를 사용하여 gradient기반으로 weight update.

~~~