GPU 사용 테스트

VPC 환경에서 이용 가능합니다.

CLOVA NSML에서 사용할 GPU들이 정상 동작하는지 테스트하는 방법을 소개합니다.

GPU 테스트 방법

1. GPU 테스트를 진행하기 위해 아래 이미지를 선택해서 NSML 노드를 생성해 주십시오.
   nvcr.io/nvidia/pytorch:21.11-py3
2. NSML 노드의 상태가 실행중(Running) 일 때, SSH로 접속해 주십시오.
3. 아래 코드를 복사해서 main.py로 저장해 주십시오.

import os
import torch
import torch.nn.functional as F
from torchvision.models import resnet50

gpu_idx = int(os.environ['GPU_IDX'])

model = resnet50().half().to(gpu_idx)
optim = torch.optim.SGD(model.parameters(), lr=0.1)

batch_size = 64
input = torch.rand(batch_size, 3, 224, 224, device=gpu_idx, dtype=torch.float16)
target = torch.randint(1000, (batch_size,), device=gpu_idx, dtype=torch.int64)

while True:
    start = torch.cuda.Event(enable_timing=True)
    end = torch.cuda.Event(enable_timing=True)
   
   start.record()
    
    output = model(input)
    loss = F.cross_entropy(output, target)
    loss.backward()
    optim.step()
    optim.zero_grad()

    end.record()

    torch.cuda.synchronize()
    # print('Samples/Sec: ', len(input)/(start.elapsed_time(end)/1000))

4. NSML 노드에 SSH로 접속한 후 또 다른 창을 띄워 테스트를 준비해 주십시오.

• 한 터미널에는 watch -n 1 nvidia-smi을 실행해 주십시오.
• 다른 터미널에는 아래 명령어를 실행해 주십시오.

GPU_IDX=0 python main.py &
GPU_IDX=1 python main.py &
GPU_IDX=2 python main.py &
GPU_IDX=3 python main.py &

5. nvidia-smi를 실행해둔 터미널의 GPU util이 올라가는지 확인해 주십시오. 0%에서 계속 올라간다면 GPU 사용가능한 상태임을 확인할 수 있습니다.
   

6. GPU 사용 테스트가 완료되었다면 프로세스를 종료해 주십시오.

pkill python