RTX 3090 한 장(24GB)으로 어떤 AI 모델을 돌릴 수 있나요?
32B급 언어 모델(4비트, 조건부), 이미지 생성, 음성 인식까지 한 장으로 검토할 수 있습니다. 모델 파일 크기 외에 대화 문맥(KV 캐시)과 추론 엔진이 쓰는 공간을 남겨야 하므로, 아래는 출발점이며 실제 사용 조건으로 확인해야 합니다.
검토할 만한 모델
| 용도 | 모델 | 조건 |
|---|---|---|
| 한국어 범용 업무 비서 | Qwen3 32B (4비트) | 짧은~중간 문맥에서 조건부 |
| 사내 챗봇 | Qwen3 30B-A3B (4비트) | 활성 파라미터가 적어 응답이 빠른 편. 메모리는 전체 가중치 기준으로 계산하며, 지원 엔진에서는 일부를 시스템 RAM으로 오프로드 가능 |
| 추론·코딩 보조 | gpt-oss-20b | llama.cpp·Ollama(GGUF) 또는 Transformers·vLLM의 Ampere용 MXFP4 실행 경로를 검토. 엔진·커널·버전 조합 확인 필요 |
| 긴 문서 질의 | Qwen3 14B | 문맥 공간 확보에 유리 |
| 상품·광고 이미지 | FLUX, SDXL (ComfyUI) | 해상도·배치에 따라 다름 |
| 회의록 음성→텍스트 | Whisper large | |
| 자체 데이터 학습 | 7~14B QLoRA | 작은 설정부터, 데이터·시퀀스 길이에 따라 실측 |
VRAM 계산 감 잡기
- 16비트(FP16): 파라미터 10억 개당 약 2GB
- 4비트 양자화: 파라미터 10억 개당 약 0.55GB (양자화 형식에 따라 다름)
- 예) 32B 4비트 ≈ 18~20GB → 24GB에 들어가지만 문맥 여유가 4~6GB 정도
재현 가능한 추천을 위해
저희는 추천 시 양자화 파일, 추론 엔진과 버전, 문맥 길이, 동시 사용자 수를 함께 적어 드립니다. 같은 모델 이름이라도 이 조건이 바뀌면 결과가 달라지기 때문입니다.
한 장으로 여러 모델 쓰기
LLM과 이미지 모델을 동시에 띄우기는 어렵지만, 필요할 때 모델을 내리고 올리는 순차 교체로 번갈아 운영할 수 있습니다. 둘을 상시로 띄우려면 두 장 구성을 권합니다.
이 글의 수치는 작성일 기준 공개 자료와 프로젝트 보고를 바탕으로 하며, 장비·모델·설정에 따라 달라질 수 있습니다. 저희 장비에서 측정한 값은 측정 환경과 함께 별도로 안내합니다.