4. Transformer Fine Tuning

Hyperopt, Ray 등 라이브러리를 활용해서 hyperparameter tuning을 진행해보자.

 

Transformer의 hyperparameter

1. layer 수

2. head 수

3. embedding dim

4. sequence length

 

Training 시 hyperparameter

1. learning rate

2. batch size

3. epochs