Search
Duplicate
⚙️

ML/AI 모델 학습을 위한 리눅스 및 콘다 환경 설정

vast.ai 등의 GPU 렌탈 서비스를 사용하는 데 있어서 매번 학습 환경 구성을 새로 해 주는 것은 귀찮은 일이다.
인공지능 모델 학습을 위해서 주로 사용되는 conda 환경을 정리해 두고, 새로운 서버를 빌릴 때마다 복사 - 붙여넣기 해서 쓰자.
PyTorch 1.13.1, CUDA 11.8 기반.
추후에는 더 발전시켜서, 개인적으로 사용하는 Docker image를 올려 두고, 해당 이미지를 받아서 서버가 생성될 수 있도록 하면 좋을 것 같다.

Commands

# 기본 서버 설정, sudo apt update && sudo apt install build-essential -y && sudo apt install vim -y # PyTorch부터 설치 conda install -c pytorch -c nvidia pytorch torchvision torchaudio pytorch-cuda=11.8 # 기본 ML 라이브러리 설치 conda install -c conda-forge -c anaconda numpy scipy scikit-learn wandb pytorch-lightning
Bash
복사

어디서나 접근 가능하게 Cloud에 올려두고 바로바로 사용하기

내 클라우드 root directory 아래에 이렇게 자주 사용하는 script들과 dotfile들을 모아두면 좋겠다는 생각을 해서, 위의 스크립트를 mlenv.sh 파일로 저장해서 클라우드 서버에 올려 두었다.
아래와 같이 바로 받아서 shell에서 실행 가능하다.
curl https://dohlee-bioinfo.sgp1.digitaloceanspaces.com/mlenv.sh | sh
Bash
복사