AMD 그래픽카드로 AI 사용하기 — ROCm 설치 방법 (라데온 / 윈도우·리눅스)

AMD 그래픽카드와 ROCm를 이용해 리눅스와 윈도우 모두에서 AI를 내 컴퓨터에 구동하는 방법을 정리했습니다.

AI를 자신의 로컬 컴퓨터에 설치하려면 무조건 엔비디아 GPU가 필요하다고 알고 계신 분들이 많습니다. 실제로 엔비디아의 AI CUDA(쿠다) 기반 생태계가 워낙 강력하다 보니, AMD 그래픽카드로 AI를 사용하려는 시도 자체를 포기하는 경우도 많죠.

하지만 AMD가 ROCm(록컴)이라는 오픈소스 플랫폼을 통해 PyTorch, Ollama 같은 주요 AI 도구에서 AMD GPU를 정식으로 지원하고 있어요. 특히 중고 시장에서 저렴하게 구할 수 있는 AMD 그래픽카드는 가성비 AI 서버용 GPU로 큰 인기를 얻고 있습니다.

오늘은 AI를 리눅스 환경부터 윈도우 사용하는 방법과 저렴한 AMD 그래픽카드(MI50) 설치 방법과 가장 안정적인 ROCm 6.2 버전 세팅 방법을 알아봅니다.

1단계: AMD 그래픽카드로 AI이 활용시 필요한 ROCm

ROCm = AMD 버전의 CUDA

쉽게 말해서, AI 하면 엔비디아에 CUDA가 있다면 AMD에는 ROCm이 있습니다.

그래픽카드는 원래 게임 화면을 그리는 용도로 설계되었습니다. AI 연산은 이와 완전히 다른 종류의 수학 계산 — 행렬 곱셈, 텐서 연산 등 — 을 엄청난 규모로 처리해야 합니다. ROCm은 AMD GPU의 자원을 게임이 아닌 AI/딥러닝 연산에 집중하도록 명령을 내리는 소프트웨어 엔진입니다.

엔비디아가 AI 시장을 장악한 이유는 하드웨어가 아니라 소프트웨어 생태계 때문입니다. 2000년대 후반부터 거의 모든 AI 연구 논문과 라이브러리가 CUDA를 기준으로 작성되었고, 자연스럽게 표준으로 굳어졌습니다. AMD 카드를 쓰려면 코드를 처음부터 다시 짜야 하는 상황이었죠.

이 문제를 해결한 것이 ROCm에 포함된 HIP(Hip) 기술입니다.

HIP(Heterogeneous-compute Interface for Portability): 엔비디아 전용 CUDA 코드를 AMD 환경에서 작동하도록 실시간으로 변환해주는 도구입니다. 덕분에 Ollama나 PyTorch가 AMD 카드를 자동으로 인식하고 연산을 수행할 수 있게 되었습니다.

ROCm의 구조 — 층층이 쌓인 세트 메뉴

ROCm은 단일 프로그램이 아닙니다. 여러 계층이 합쳐진 플랫폼입니다.

그리고 CUDA와의 결정적 차이: ROCm은 오픈소스입니다. 누구나 코드를 열람하고 수정할 수 있어 커뮤니티 주도의 발전이 계속되고 있습니다.

2단계: 리눅스(Ubuntu)에 AMD AI 환경 구축하기 — ROCm 6.2 설치

“리눅스에 ROCm 설치” 방법입니다.

Step 1: 시스템 업데이트 및 필수 패키지 설치

터미널을 열고 아래 명령어를 순서대로 실행합니다.

# 시스템 최신 상태로 업데이트
sudo apt update && sudo apt upgrade -y

# 필수 도구 설치
sudo apt install -y wget gnupg2 python3-setuptools python3-wheel

Ubuntu 24.04 사용자: 이 단계에서 별도 변경은 없습니다. 이후 저장소 주소에서 jammy 대신 noble로 교체하면 됩니다.

Step 2: AMD 공식 저장소 등록

AMD 공식 서버에서 설치 파일을 내려받으려면 GPG 키(신뢰 인증서)와 저장소 주소를 시스템에 등록해야 합니다.

# GPG 키 등록
sudo mkdir --parents /etc/apt/keyrings
wget -qO - https://repo.radeon.com/rocm/rocm.gpg.key | \
 sudo gpg --dearmor | \
 sudo tee /etc/apt/keyrings/rocm.gpg /dev/null

# 저장소 추가 — Ubuntu 22.04 (Jammy) 기준
# Ubuntu 24.04라면 jammy → noble 로 변경
echo "deb arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] \
 https://repo.radeon.com/rocm/apt/6.2 jammy main" | \
 sudo tee /etc/apt/sources.list.d/rocm.list

echo "deb arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] \
 https://repo.radeon.com/graphics/6.2/ubuntu jammy main" | \
 sudo tee -a /etc/apt/sources.list.d/rocm.list

sudo apt update

Step 3: 커널 드라이버 및 ROCm 설치

이제 본체를 설치합니다. amdgpu-install 툴이 드라이버부터 AI 라이브러리까지 한 번에 처리해 줍니다.

# amdgpu-install 툴 다운로드
wget https://repo.radeon.com/amdgpu-install/6.2/ubuntu/jammy/amdgpu-install_6.2.60200-1_all.deb

# 설치
sudo apt install ./amdgpu-install_6.2.60200-1_all.deb

# MI50을 위한 ROCm + HIP + 그래픽 라이브러리 설치
sudo amdgpu-install -y --usecase=rocm,hiplibsdk,graphics

--usecase 옵션 설명:

• rocm — AI/딥러닝 연산 핵심 라이브러리
• hiplibsdk — PyTorch, Ollama 등 AI 도구 호환을 위한 HIP SDK
• graphics — 화면 출력 및 OpenGL 드라이버 (서브 GPU 병행 사용 시 필요)

Step 4: 사용자 권한 설정 (반드시 해야 함)

이 단계를 빠뜨리면 Permission denied 오류가 발생합니다. 현재 로그인 계정이 GPU에 접근할 수 있도록 권한 그룹에 추가합니다.

sudo usermod -a -G video,render $USER

# 변경 사항 적용을 위해 재부팅
sudo reboot

Step 5: 설치 확인 — 성공 여부 체크

재부팅 후 터미널에서 아래 두 명령어를 실행합니다.

rocm-smi # GPU 온도, 전력, VRAM 사용량 표시
rocminfo # GPU 상세 정보 (아키텍처 코드명 확인)

성공 기준:

• rocm-smi → 카드 온도·전력·VRAM 사용량이 표로 출력되면 드라이버 정상 작동
• rocminfo → 하단에 Name: gfx906 (MI50의 코드명)이 보이면 AI 연산 준비 완료

트러블슈팅 — “지원하지 않는 하드웨어” 오류 발생 시

MI50처럼 구형으로 분류된 Vega 아키텍처 카드는 최신 ROCm 버전에서 “미지원 하드웨어”로 감지되어 오류가 날 수 있습니다. 이럴 때는 아래 환경 변수 한 줄로 해결합니다.

export HSA_OVERRIDE_GFX_VERSION=9.0.6

매번 입력하기 번거롭다면 ~/.bashrc 또는 ~/.profile 파일 맨 끝에 위 줄을 추가하면 부팅 시 자동 적용됩니다.

echo 'export HSA_OVERRIDE_GFX_VERSION=9.0.6' ~/.bashrc
source ~/.bashrc

3단계: 윈도우에서 AMD AI 설치 — HIP SDK 하나로 끝내기

“AMD 그래픽카드 AI 환경 윈도우 설치 방법”, 윈도우에서는 리눅스처럼 저장소를 수동으로 추가할 필요가 없습니다. HIP SDK 인스톨러 하나가 드라이버와 AI 라이브러리를 통합 설치해줍니다.

윈도우 설치 3단계 요약

MI50 적용시 윈도우 권장 버전 — ROCm 6.2.4 (HIP SDK)

윈도우용 HIP SDK 버전이 여러 개 있어 혼란스러울 수 있습니다. MI50(Vega/gfx906 아키텍처)에는 6.2.4 버전을 강력 권장합니다.

⚠ 왜 최신 버전을 피해야 하나? MI50은 Vega 아키텍처 기반으로, ROCm 최신 버전으로 갈수록 공식 지원에서 점차 제외되고 있습니다. 7.x 버전에서는 설정이 꼬이거나 카드를 아예 인식하지 못하는 경우가 보고되고 있습니다. 6.2.4가 현재 MI50 사용자에게 가장 안정적인 버전입니다.

공식 다운로드: AMD ROCm 문서 사이트에서 버전별 HIP SDK 인스톨러를 받을 수 있습니다.

설치 방법

Full Install 진행

인스톨러를 실행하면 설치 옵션 메뉴가 나타납니다. ‘Full Install’을 선택하면 아래 항목이 한 번에 설치됩니다.

• AMD Radeon Software PRO 드라이버 (아드레날린 프로 포함)
• HIP 런타임 및 컴파일러
• rocBLAS, MIOpen 등 AI 연산 수학 라이브러리
• PyTorch, Ollama 호환에 필요한 HIP SDK 전체

MI50 윈도우 핵심 설정 — 환경 변수 추가

재부팅 후, 윈도우가 MI50을 AI 연산 카드로 인식하게 하려면 환경 변수를 수동 추가해야 합니다. 이 작업을 빠뜨리면 Ollama나 PyTorch가 GPU를 인식하지 못합니다.

1. Windows + S → “환경 변수” 검색 → “시스템 환경 변수 편집” 클릭
2. 하단 “환경 변수(N)…” 클릭
3. “시스템 변수” 섹션에서 “새로 만들기” 클릭
4. 아래 내용 입력 후 확인

변수 이름: HSA_OVERRIDE_GFX_VERSION
변수 값: 9.0.6

5. 확인 → 확인 → PC 재부팅

재부팅 후 PowerShell이나 명령 프롬프트에서 hipinfo 또는 rocminfo를 실행했을 때 gfx906이 보이면 완료입니다.

윈도우 사용의 장단점 — 리눅스와 비교

4단계: Ollama로 로컬 LLM 바로 실행하기

ROCm 설치가 완료되었다면, 실제로 AI 모델을 구동해 볼 차례입니다. “MI50에서 Ollama 실행”, “AMD GPU 로컬 LLM 구동” 에 대한 가장 빠른 방법입니다.

리눅스에서 Ollama 설치 및 실행

# Ollama 설치 (공식 설치 스크립트)
curl -fsSL https://ollama.com/install.sh | sh

# GPU 인식 확인 후 Llama 3 실행
HSA_OVERRIDE_GFX_VERSION=9.0.6 ollama run llama3

~/.bashrc에 환경 변수를 미리 추가해두었다면 HSA_OVERRIDE_GFX_VERSION=9.0.6 접두어 없이 바로 ollama run llama3로 실행 가능합니다.

윈도우에서 Ollama 설치 및 실행

1. ollama.com에서 Windows 설치 파일 다운로드
2. 설치 완료 후 환경 변수 HSA_OVERRIDE_GFX_VERSION=9.0.6 확인 (3단계에서 추가했다면 이미 적용)
3. 명령 프롬프트 또는 PowerShell에서 실행:

ollama run llama3

처음 실행 시 모델 파일(약 4~5GB)을 자동 다운로드합니다. 이후 대화가 시작되면 MI50의 HBM2 메모리 대역폭 덕분에 토큰 생성 속도가 체감상 매우 빠르게 느껴지실 겁니다.

FAQ — AMD GPU AI 설치 자주 묻는 질문

참고 자료 — AMD ROCm 공식 링크 모음