[꿀팁] 파이썬 코드를 실행할 때 사용할 GPU를 설정하는 방법(리눅스)

nvidia-smi명령어 화면

CUDA 등의 GPU 이용 환경은 이미 설치가 되어있다는 가정하에 설명합니다. (만약 CUDA 환경자체가 설정되지 않은것이라면... 약간은 고생할 생각을 해야된다... 리눅스에서 CUDA 설치는... 최악의 난이도...)

1. nvidia-smi명령어를 통해 내 시스템에 설치되어있는 GPU 상태를 확인한다.

2. [1번 빨간 동그라미 친 부분] 현재 서버에 설치된 GPU들의 number를 확인할 수 있고,

3. [2번 밑줄 부분] 각각의 GPU들의VRAM이 얼마만큼 사용중에 있는지를 확인할 수 있다. 여기서 내가 사용할 모델의 용량과 남아있는 GPU 메모리를 살펴보고 몇번 GPU를 사용할지 결정한다. 

4. [3번 박스] 몇번 GPU에서 어떤 process가 돌아가고 있는지를 상세히 확인할 수 있다. 

5. 내가 사용할 GPU 넘버를 결정한다, 여기서는 0번 GPU는 이미 많은 memory를 사용중이므로 1번 GPU를 사용하여 python파일을 실행시켜보려 한다.

CUDA_VISIBLE_DEVICES=number

 

6. 다음과 같이 파이썬 실행 커맨드 앞에 CUDA_VISIBLE_DEVICES=사용할 GPU number 명령어를 추가하여 실행한다.

1번 GPU에 방금실행한 process만큼의 메모리가 추가되었다.

 

이상 내가 원하는 GPU만을 골라서 파이썬 코드를 실행하는 방법을 알아보았다.

 

↓ 내용이 혹시나 도움되셨다면 눌러주세요 꾸준한 포스팅에 큰 원동력이 됩니다 🥰