AMD 라데온 GPU로 로컬 LLM을 돌리면 안 되나요?

돌릴 수 있습니다. 핵심은 "구매 전에 무엇을 검증해야 하느냐"입니다. AMD 라데온은 VRAM 대비 가격이 매력적이고, AMD의 AI 소프트웨어 플랫폼인 ROCm 지원도 계속 넓어지고 있습니다. vLLM 문서에는 ROCm 지원과 일부 라데온 모델이 올라와 있고, bitsandbytes도 ROCm 설치 방법을 안내합니다.

확인해야 할 것

• 지원 조합 — ROCm은 GPU 모델·운영체제·ROCm 버전 조합을 맞춰야 합니다. 쓰려는 카드가 현재 지원표에 있는지 먼저 봅니다.
• 쓰려는 도구의 지원 범위 — 같은 라이브러리라도 ROCm에서 지원하는 기능·버전이 CUDA와 다를 수 있습니다. 모델, 추론 엔진, 양자화 형식을 정한 뒤 그 조합을 확인합니다.
• 실제 설치·추론 검증 — 문서상 지원과 실제 동작은 다를 수 있으므로, 구매 전에 같은 조합으로 한 번 돌려 보는 것이 안전합니다.

저희가 NVIDIA를 기본으로 제안하는 이유

AMD가 안 된다는 뜻이 아닙니다. 위 검증을 직접 할 엔지니어가 없는 팀이라면, 저희가 표준으로 검증해 둔 CUDA 구성이 시행착오를 줄인다는 판단입니다. 리눅스와 드라이버 문제를 다룰 수 있는 엔지니어가 있다면 라데온도 좋은 선택지가 될 수 있습니다.

참고: vLLM 지원 하드웨어