로컬 AI는 꼭 NVIDIA(CUDA) GPU여야 하나요?

필수는 아니지만, 개발자가 없거나 적은 팀이라면 NVIDIA를 권합니다. 이유는 하드웨어 성능보다 소프트웨어 생태계, 즉 CUDA에 있습니다.

NVIDIA를 권하는 이유

• CUDA용 예제와 도구가 널리 제공됩니다. 주요 오픈모델의 예제 코드와 추론 도구 상당수가 CUDA 실행을 지원합니다. 다른 플랫폼은 지원 시점과 범위를 따로 확인해야 하는 경우가 있습니다.
• 주요 도구가 CUDA 실행을 지원합니다. PyTorch, vLLM, llama.cpp, Ollama, FlashAttention, bitsandbytes, Unsloth, ComfyUI, Whisper 등입니다. (llama.cpp처럼 Apple Silicon 등 다른 플랫폼도 주요 대상으로 지원하는 도구도 있습니다.) 다만 도구마다 지원 OS·GPU·버전이 다르므로, 저희는 표준 구성(Ubuntu 24.04 + RTX 3090)에서 설치를 확인한 뒤 출고합니다.
• 해결 사례를 찾기 쉬운 편입니다. 사용자가 많아 같은 오류를 겪은 사례가 공개되어 있을 가능성이 높습니다.

옮겨 가기 쉽습니다

같은 CUDA 생태계 안이라 3090에서 만든 코드와 설정을 4090, 5090, 데이터센터 GPU로 옮기기 쉽습니다. 다만 세대별로 드라이버와 지원 정밀도(예: FP8)가 다르므로, 옮길 때 해당 작업을 다시 확인합니다.

다른 선택지의 조건은 AMD 라데온과 Apple Silicon 글에서 따로 정리했습니다.