구매 전 체크리스트

1. VRAM 메모리 온도 — 3090은 뒷면 메모리가 뜨거워지기 쉬운 편입니다. 부하 상태에서 메모리 온도를 확인합니다.
2. VRAM 오류 — 모델과 설정에 따라 VRAM 사용량이 커질 수 있으므로, 메모리 테스트 도구로 오류가 없는지 확인합니다.
3. 팬 소음·회전 — 베어링 소음, 특정 팬 미회전 여부.
4. 장시간 부하 — 최소 30분 이상 풀로드에서 꺼지거나 화면이 깨지지 않는지.
5. 외관·커넥터 — 전원 커넥터 그을림, 기판 휨, 분해 흔적.
6. 사용 이력·보증 — 채굴 사용 여부, 남은 보증 기간, 구매 영수증.

가격과 예비비

중고 시세는 시점과 매물 상태에 따라 크게 다릅니다. 게시판의 호가는 실제 거래가가 아니므로 여러 매물과 최근 거래가를 비교하세요. 수리·교체를 대비한 예비비를 예산에 넣어 두는 것이 좋습니다. 저희 내부 계획에서는 대당 20만 원 정도를 예시로 잡지만, 이는 관측 통계가 아닌 계획 예시입니다.

점검이 부담된다면 출고 전 부하 테스트와 점검 기록을 제공하는 곳에서 구매하거나 렌탈하는 방법도 있습니다.

맥의 장점

• 통합 메모리 덕분에 큰 모델을 한 대에 올릴 수 있습니다.
• 조용하고 전력 소모가 적습니다.
• Apple의 MLX는 추론·학습·파인튜닝과 여러 맥을 묶는 분산 실행을 지원합니다.

미리 따져 볼 점

• 별도 소프트웨어 경로 — CUDA가 없어 MLX·Metal 중심으로 구성해야 합니다. CUDA용 패키지를 그대로 쓸 수 없는 경우가 있어, 기존 리눅스·NVIDIA 환경과 섞거나 옮길 때 도구별 호환성을 확인해야 합니다.
• 서빙 엔진 지원 — vLLM은 커뮤니티 Metal 플러그인 등으로 지원이 늘고 있지만, CUDA 환경과 기능·성숙도가 같은지는 쓰려는 기능별로 확인이 필요합니다.
• 증설 방식 — 내장 GPU와 메모리는 교체·추가할 수 없어 한 대 안에서는 구매 시점 사양이 상한입니다. 확장은 여러 대를 묶는 방식이 됩니다.
• 성능 비교 — 긴 문서 처리, 학습 속도, 동시 사용자 처리량은 모델·가격대·업무량에 따라 달라서, 같은 작업으로 직접 비교해 보는 것이 정확합니다.

정리

참고: Apple MLX (WWDC25), vLLM 지원 하드웨어

NVIDIA를 권하는 이유

• CUDA용 예제와 도구가 널리 제공됩니다. 주요 오픈모델의 예제 코드와 추론 도구 상당수가 CUDA 실행을 지원합니다. 다른 플랫폼은 지원 시점과 범위를 따로 확인해야 하는 경우가 있습니다.
• 주요 도구가 CUDA 실행을 지원합니다. PyTorch, vLLM, llama.cpp, Ollama, FlashAttention, bitsandbytes, Unsloth, ComfyUI, Whisper 등입니다. (llama.cpp처럼 Apple Silicon 등 다른 플랫폼도 주요 대상으로 지원하는 도구도 있습니다.) 다만 도구마다 지원 OS·GPU·버전이 다르므로, 저희는 표준 구성(Ubuntu 24.04 + RTX 3090)에서 설치를 확인한 뒤 출고합니다.
• 해결 사례를 찾기 쉬운 편입니다. 사용자가 많아 같은 오류를 겪은 사례가 공개되어 있을 가능성이 높습니다.

옮겨 가기 쉽습니다

같은 CUDA 생태계 안이라 3090에서 만든 코드와 설정을 4090, 5090, 데이터센터 GPU로 옮기기 쉽습니다. 다만 세대별로 드라이버와 지원 정밀도(예: FP8)가 다르므로, 옮길 때 해당 작업을 다시 확인합니다.

다른 선택지의 조건은 AMD 라데온과 Apple Silicon 글에서 따로 정리했습니다.

RTX 3090을 추천하는 이유

1. 24GB VRAM — 32B급 모델을 4비트 양자화로 올릴 수 있는 용량입니다(짧은~중간 문맥 기준, 조건부). 16GB 카드는 같은 조건에서 더 작은 모델이나 더 짧은 문맥으로 타협해야 하는 경우가 많습니다. 정확한 한계는 정밀도·양자화·문맥 길이에 따라 달라집니다.
2. 참고 사례가 많은 생태계 — 출시 후 오랫동안 PyTorch, vLLM, llama.cpp, Ollama, ComfyUI에서 널리 쓰여 와서 설치·문제 해결 사례를 찾기 쉽습니다.
3. 여러 장으로 확장 — 2장이면 VRAM 총 48GB, 3장이면 72GB입니다. 자동으로 합쳐지지 않아 분산 설정이 필요하며, 분할 추론을 지원하는 모델·엔진에서는 32GB 카드 한 장보다 큰 모델을 올릴 수 있습니다. → 두 장이면 48GB 한 장처럼 쓸 수 있나요?

2026년의 변화: GPU 언락

오픈소스 gpu-unlock 프로젝트가 일부 지포스 카드의 텐서 연산 경로를 조정하는 리눅스 커널 모듈을 공개했고, 프로젝트가 보고한 RTX 3090 BF16 행렬곱 측정치는 75 → 125 TFLOPS(+65%)입니다. 특정 벤치마크 결과이며 모든 작업이 같은 비율로 빨라지지는 않습니다. → RTX 3090 GPU 언락이 뭔가요?

주의할 점

• NVIDIA 공식 사양 기준 카드 전력은 350W입니다. 순간 전력 피크를 고려해 파워 서플라이에 여유를 둡니다. (공식 사양)
• 대부분 중고로 구매하므로 VRAM 검사와 장시간 부하 테스트가 필요합니다. → 중고 RTX 3090 체크리스트

개발자 없이 운영하는 과정

1. 예산 상담 — 용도, 사용 인원, 월 예산을 듣고 넘치지 않는 구성을 정합니다.
2. 세팅 후 출고 — 운영체제, 드라이버, 모델, 채팅 화면과 API까지 설치하고 장시간 부하 테스트를 거칩니다.
3. 꽂으면 끝 — 전원과 랜선을 연결하면 사내 주소로 챗봇과 API가 열립니다.
4. 원격 관리 — 원격 KVM과 스마트 전원 장치로 BIOS 진입, 강제 재부팅까지 원격으로 대응합니다.

직원이 하는 일

• 브라우저에서 사내 챗봇 주소에 접속해 질문하기
• 문서를 올려 요약·검색하기
• 이미지 생성 화면에서 소재 만들기

클라우드 대신 사내 서버를 쓸 때의 조건

• 데이터 — 업무 데이터를 사내에서 처리·저장하도록 구성합니다. 외부 전송 여부는 모델 API뿐 아니라 임베딩·검색·도구 연동, 로그·백업, 원격 관리 시 화면·파일 접근까지 포함해 계약 전에 함께 확인합니다.
• 비용 — 렌탈료는 사용량과 관계없이 고정입니다. 사내 반입형은 전기·회선 비용이 별도입니다.
• 모델 선택 — 어떤 모델과 버전을 쓸지 회사가 정할 수 있습니다.

우리 팀에 맞는 구성이 궁금하다면 추천 구성을 먼저 보시고 상담을 요청해 주세요.

검토할 만한 모델

VRAM 계산 감 잡기

• 16비트(FP16): 파라미터 10억 개당 약 2GB
• 4비트 양자화: 파라미터 10억 개당 약 0.55GB (양자화 형식에 따라 다름)
• 예) 32B 4비트 ≈ 18~20GB → 24GB에 들어가지만 문맥 여유가 4~6GB 정도

재현 가능한 추천을 위해

저희는 추천 시 양자화 파일, 추론 엔진과 버전, 문맥 길이, 동시 사용자 수를 함께 적어 드립니다. 같은 모델 이름이라도 이 조건이 바뀌면 결과가 달라지기 때문입니다.

한 장으로 여러 모델 쓰기

LLM과 이미지 모델을 동시에 띄우기는 어렵지만, 필요할 때 모델을 내리고 올리는 순차 교체로 번갈아 운영할 수 있습니다. 둘을 상시로 띄우려면 두 장 구성을 권합니다.

참고: OpenAI gpt-oss 소개

두 장을 함께 쓰는 방법

• 텐서 병렬 (vLLM 등) — 모델의 각 층을 두 장에 쪼개 동시에 계산합니다. 70B급 4비트 모델을 여러 사용자에게 서비스할 때 씁니다. 모델·드라이버·카드 간 연결 경로에 따라 동작과 성능이 달라 실제 검증이 필요합니다.
• 레이어 분할 (llama.cpp, Ollama) — 앞쪽 층은 1번, 뒤쪽 층은 2번 카드에 올립니다. 설정이 비교적 쉽고, 동시 사용자 처리량은 배칭 설정·업무량·GPU 연결 속도에 따라 달라 실측이 필요합니다.
• 역할 분리 — 1번 카드는 LLM, 2번 카드는 이미지 생성처럼 각자 다른 모델을 상시 띄웁니다. 가장 단순하고 안정적입니다.

NVLink는 필요한가요?

RTX 3090은 NVLink 브리지로 두 장을 직접 연결할 수 있습니다. 카드 간 통신이 많은 학습이나 텐서 병렬에서 이점이 있을 수 있지만, 프레임워크가 NVLink를 실제로 쓰는지와 차이의 크기는 메인보드·브리지·PCIe 구성에 따라 다릅니다. NVLink를 연결해도 48GB 단일 GPU가 되는 것은 아닙니다. 추론 위주라면 없이도 충분한 경우가 많습니다.

저희는 납품 전에 분산 설정을 끝내 두고, 고객 작업으로 측정한 수치를 측정 환경과 함께 안내합니다.

프로젝트 측정치 (BF16 행렬곱, FP32 누산)

특정 행렬곱 벤치마크의 결과입니다. 실제 작업에서는 이보다 작거나 효과가 없는 경우가 많습니다.

어떻게 동작하나요?

• 드라이버를 패치하거나 VBIOS를 바꾸지 않습니다. NVIDIA 드라이버가 올라오기 전에 커널 모듈이 설정을 바꿉니다.
• 프로젝트 설명에 따르면 계산 결과는 비트 단위로 같고 속도만 달라집니다.
• 드라이버를 업데이트해도 다시 적용할 필요가 없도록 설계되어 있습니다.

실제 작업에서는?

연산량이 많은 단계(프롬프트 처리, 파인튜닝, 이미지 생성)에서 이점이 보고되고, 메모리 대역폭이 한계인 단계(토큰 생성)는 이점이 작거나 없습니다. → GPU 언락하면 LLM 답변 속도도 빨라지나요?

리눅스 전용이며, 지원 상태와 위험은 윈도우 지원·고장 위험 글을 참고하세요.

예시 사양

일반 데스크톱 플랫폼과의 차이

일부 소비자용 플랫폼은 CPU에 직결된 PCIe 레인 수와 슬롯 배치가 제한되어, 여러 장을 꽂으면 슬롯 속도가 나뉘거나 일부 슬롯이 칩셋을 거칩니다. 카드 간 통신이 많은 작업에서는 이 차이가 성능에 영향을 줄 수 있으므로, 3장 이상은 레인이 넉넉한 워크스테이션 플랫폼을 우선 검토합니다.

전력 제한

GPU 전력 제한을 낮추면 발열·소음·전기료를 줄일 수 있지만, 성능이 얼마나 줄어드는지는 작업마다 다릅니다. 저희는 고객 작업으로 전력별 처리량을 측정한 뒤 설정값을 정합니다.

3장을 어떻게 나눠 쓰는지는 70B 모델을 돌리려면 GPU가 몇 장 필요한가요?를 참고하세요.

두 단계의 차이

• 프롬프트 처리(prefill) — 질문과 문서를 한꺼번에 읽는 단계. 연산량이 많아 언락 이점이 보고됩니다.
• 토큰 생성(decode) — 답변을 한 토큰씩 만드는 단계. 일반적으로 메모리 대역폭이 한계라서, 이점이 작거나 관찰되지 않는 경우가 많습니다.

프로젝트 사용자 보고 범위

아래는 gpu-unlock 프로젝트가 모은 사용자 보고입니다. 장비·모델·정밀도·추론 엔진·문맥 길이가 제각각이라 보장값이 아니며, 환경별 차이가 큽니다.

우리 팀에 의미가 있는 경우

• 긴 사내 문서를 넣고 질문하는 챗봇 → 문서를 읽는 단계가 빨라져 첫 응답이 당겨질 수 있습니다. 문서를 찾는 검색 단계는 별개입니다.
• 파인튜닝을 자주 돌리는 팀 → 학습 시간이 줄어들 수 있습니다.
• FP16/BF16 이미지 생성 → 같은 시간에 더 많이 만들 수 있습니다.

Ollama로 4비트 모델만 쓰는 단순 챗봇이라면 체감 차이는 작을 가능성이 높습니다. 저희는 구매 전 귀사 작업으로 적용 전·후를 실측해 안내합니다.

세대별 지원 상태 (프로젝트 기준)

위험과 주의사항

• 발열 증가 — 같은 시간에 더 많이 계산하므로 더 뜨거워질 수 있습니다. 카드의 기본 온도 보호(스로틀링)는 그대로 동작하지만, 이것이 손상 위험이 없다는 뜻은 아닙니다.
• 실험적 소프트웨어 — 비공식 오픈소스 도구이며 제조사 지원 대상이 아닙니다.
• 노트북 — 대기 중 GPU 전원을 완전히 끄는 노트북은 언락이 조용히 풀릴 수 있습니다.
• 최대 절전(하이버네이트) 후에는 다시 적용되지 않습니다. 일반 절전은 자동으로 다시 적용됩니다.
• 화면 출력용 카드는 적용 순간 화면이 잠깐 꺼집니다.

저희의 적용 방식과 범위

저희는 우분투 서버에 언락을 적용한 뒤 출고 전 장시간 부하 테스트와 온도 점검을 합니다. 이 점검은 GPU 손상이나 장기 안정성을 보장하는 것이 아니며, 언락 적용 여부는 고객과 협의해 결정합니다. 윈도우 환경이 필요한 팀에는 언락 없이 세팅하거나, 리눅스 서버를 윈도우 PC에서 원격으로 쓰는 구성을 제안합니다.

확인해야 할 것

• 지원 조합 — ROCm은 GPU 모델·운영체제·ROCm 버전 조합을 맞춰야 합니다. 쓰려는 카드가 현재 지원표에 있는지 먼저 봅니다.
• 쓰려는 도구의 지원 범위 — 같은 라이브러리라도 ROCm에서 지원하는 기능·버전이 CUDA와 다를 수 있습니다. 모델, 추론 엔진, 양자화 형식을 정한 뒤 그 조합을 확인합니다.
• 실제 설치·추론 검증 — 문서상 지원과 실제 동작은 다를 수 있으므로, 구매 전에 같은 조합으로 한 번 돌려 보는 것이 안전합니다.

저희가 NVIDIA를 기본으로 제안하는 이유

AMD가 안 된다는 뜻이 아닙니다. 위 검증을 직접 할 엔지니어가 없는 팀이라면, 저희가 표준으로 검증해 둔 CUDA 구성이 시행착오를 줄인다는 판단입니다. 리눅스와 드라이버 문제를 다룰 수 있는 엔지니어가 있다면 라데온도 좋은 선택지가 될 수 있습니다.

참고: vLLM 지원 하드웨어

정밀도별 가중치 크기 (70B 기준, 대략)

4비트 2장 구성은 문맥 길이를 제한하고 분할 추론 설정을 맞춘 경우에 성립합니다. 긴 문맥이나 많은 동시 사용자가 필요하면 여유가 부족할 수 있습니다.

2장 구성 (VRAM 총 48GB)

Llama 3.3 70B, Qwen2.5 72B 같은 모델을 4비트로 올려 vLLM 텐서 병렬 2로 서비스하는 구성입니다. 모델·드라이버·카드 간 연결 경로에 따라 동작이 달라 납품 전에 실제로 검증합니다.

3장 구성 (VRAM 총 72GB): "2 + 1"을 권하는 이유

vLLM의 텐서 병렬은 모델 구조상 2장·4장처럼 나누어 떨어지는 수가 기본이라, 3장을 하나로 묶기 어려운 경우가 많습니다. 그래서:

• GPU 2장 → 메인 LLM (70B 4비트 조건부, 또는 32B 고정밀)
• GPU 1장 → 임베딩(문서 검색), Whisper, 이미지 생성 상시 대기

로 나누는 편이 운영이 단순합니다. 초대형 모델을 꼭 올려야 한다면 llama.cpp로 3장에 분할하고 일부를 CPU 메모리로 넘기는 방법도 있지만, 속도는 크게 떨어질 수 있습니다.