NAVER AI Tech/Pytorch
8. multi-GPU
코딩소비
2023. 11. 17. 13:27
모델을 나누거나 데이터를 나눠서 병렬처리.
- 한번도 해본적은 없는 것 같다..
일부 layer는 GPU:0에서, 일부 layer는 GPU:1로 보내는 방식인데........ 쉽지 않아보인다.
데이터를 나눠서 일부는 GPU:0을 사용하고, 일부는 GPU:1을 사용해서 병렬적으로 수행
- DataParallel, DistributedDataParallel 사용.
- DataParallel : GPU 사용 불균형 문제 발생, Batch size 감소(병목 현상 발생) 등 문제점이 존재하긴함.
- DistributedDataParallel : 각 CPU 별 process 생성. -> 개별 GPU 할당