8. multi-GPU
2023. 11. 17. 13:27ㆍNAVER AI Tech/Pytorch
모델을 나누거나 데이터를 나눠서 병렬처리.
- 한번도 해본적은 없는 것 같다..
일부 layer는 GPU:0에서, 일부 layer는 GPU:1로 보내는 방식인데........ 쉽지 않아보인다.
데이터를 나눠서 일부는 GPU:0을 사용하고, 일부는 GPU:1을 사용해서 병렬적으로 수행
- DataParallel, DistributedDataParallel 사용.
- DataParallel : GPU 사용 불균형 문제 발생, Batch size 감소(병목 현상 발생) 등 문제점이 존재하긴함.
- DistributedDataParallel : 각 CPU 별 process 생성. -> 개별 GPU 할당
'NAVER AI Tech > Pytorch' 카테고리의 다른 글
| 10. GPU OOM(Out Of Memory) 해결방법 (0) | 2023.11.17 |
|---|---|
| 9. Hyper-parameter tuning (0) | 2023.11.17 |
| 7. pytorch monitoring tools (0) | 2023.11.17 |
| 6. 모델 저장, 불러오기 (0) | 2023.11.17 |
| 5. pytorch dataset (0) | 2023.11.16 |