RTX 3090 두 장이면 48GB 한 장처럼 쓸 수 있나요?

자동으로 합쳐지지는 않습니다. 24GB 두 장은 운영체제와 프로그램 입장에서 여전히 "24GB GPU 두 개"입니다. 2장이면 48GB는 물리적 VRAM 총량이고, 큰 모델을 나눠 올리려면 분산 설정이 필요합니다.

두 장을 함께 쓰는 방법

• 텐서 병렬 (vLLM 등) — 모델의 각 층을 두 장에 쪼개 동시에 계산합니다. 70B급 4비트 모델을 여러 사용자에게 서비스할 때 씁니다. 모델·드라이버·카드 간 연결 경로에 따라 동작과 성능이 달라 실제 검증이 필요합니다.
• 레이어 분할 (llama.cpp, Ollama) — 앞쪽 층은 1번, 뒤쪽 층은 2번 카드에 올립니다. 설정이 비교적 쉽고, 동시 사용자 처리량은 배칭 설정·업무량·GPU 연결 속도에 따라 달라 실측이 필요합니다.
• 역할 분리 — 1번 카드는 LLM, 2번 카드는 이미지 생성처럼 각자 다른 모델을 상시 띄웁니다. 가장 단순하고 안정적입니다.

NVLink는 필요한가요?

RTX 3090은 NVLink 브리지로 두 장을 직접 연결할 수 있습니다. 카드 간 통신이 많은 학습이나 텐서 병렬에서 이점이 있을 수 있지만, 프레임워크가 NVLink를 실제로 쓰는지와 차이의 크기는 메인보드·브리지·PCIe 구성에 따라 다릅니다. NVLink를 연결해도 48GB 단일 GPU가 되는 것은 아닙니다. 추론 위주라면 없이도 충분한 경우가 많습니다.

저희는 납품 전에 분산 설정을 끝내 두고, 고객 작업으로 측정한 수치를 측정 환경과 함께 안내합니다.