70B 모델을 로컬에서 돌리려면 GPU가 몇 장 필요한가요?

4비트 양자화라면 RTX 3090 두 장(48GB)에서 조건부로 구동할 수 있습니다. 필요한 VRAM은 가중치 크기만이 아니라 양자화 형식, KV 캐시(문맥 길이), 추론 엔진의 메모리 오버헤드를 함께 봐야 합니다.

정밀도별 가중치 크기 (70B 기준, 대략)

4비트 2장 구성은 문맥 길이를 제한하고 분할 추론 설정을 맞춘 경우에 성립합니다. 긴 문맥이나 많은 동시 사용자가 필요하면 여유가 부족할 수 있습니다.

2장 구성 (VRAM 총 48GB)

Llama 3.3 70B, Qwen2.5 72B 같은 모델을 4비트로 올려 vLLM 텐서 병렬 2로 서비스하는 구성입니다. 모델·드라이버·카드 간 연결 경로에 따라 동작이 달라 납품 전에 실제로 검증합니다.

3장 구성 (VRAM 총 72GB): "2 + 1"을 권하는 이유

vLLM의 텐서 병렬은 모델 구조상 2장·4장처럼 나누어 떨어지는 수가 기본이라, 3장을 하나로 묶기 어려운 경우가 많습니다. 그래서:

• GPU 2장 → 메인 LLM (70B 4비트 조건부, 또는 32B 고정밀)
• GPU 1장 → 임베딩(문서 검색), Whisper, 이미지 생성 상시 대기

로 나누는 편이 운영이 단순합니다. 초대형 모델을 꼭 올려야 한다면 llama.cpp로 3장에 분할하고 일부를 CPU 메모리로 넘기는 방법도 있지만, 속도는 크게 떨어질 수 있습니다.