NVIDIA GB300 성능 “35배 절감” —
그 숫자를 믿으면 안 되는 이유
내일(3/16) 젠슨 황이 GTC 2026 키노트에 오릅니다. 모든 언론이 “50배 향상, 35배 절감”을 외치는 지금, 정작 공식 발표문 어디에 숨어 있는 비교 기준을 제대로 읽은 사람은 드뭅니다. 이 글은 그 기준을 해부합니다.
vs Hopper 기준
공식 스펙 기준
가정집 60~80배
(전력·냉각 포함)
“35배 절감”이 사실인 이유 — 그리고 사실이 아닌 이유
NVIDIA GB300 NVL72의 핵심 마케팅 문구는 “Hopper 플랫폼 대비 토큰당 비용 35배 절감”입니다. 이 수치는 공식 NVIDIA 블로그(2026년 2월 16일 공개, SemiAnalysis InferenceX 데이터 인용)에 명시된 사실입니다. 거짓이 아닙니다. 그런데 문제는 비교 기준에 있습니다.
“Hopper”는 H100/H200 시리즈로 대표되는 2022~2024년 세대입니다. 많은 블로그가 “Blackwell Ultra가 현재 최신 대비 35배 싸다”처럼 묘사하지만, 현재 클라우드 추론 인프라의 주력은 이미 GB200 NVL72(Blackwell 1세대)로 전환 중입니다. 공식 스펙에 따르면 GB300 vs GB200은 AI 성능 1.5배 차이에 불과합니다. (출처: NVIDIA GB300 NVL72 공식 제품 페이지)
다시 말해, 당신이 지금 사용 중인 서비스가 이미 Blackwell 기반이라면 GB300으로 업그레이드해도 토큰 비용은 1.5배 절감되는 것이지, 35배가 아닙니다. 이것이 독자 여러분이 이 숫자를 그대로 받아들이면 안 되는 핵심 이유입니다.
GB300 NVL72 공식 스펙 완전 해석
NVIDIA GB300 NVL72는 하나의 랙에 72개의 Blackwell Ultra GPU와 36개의 Arm 기반 Grace CPU를 액체 냉각 방식으로 통합한 시스템입니다. 공식 제품 페이지 기준으로 핵심 수치를 정리합니다.
| 항목 | GB300 NVL72 | GB200 NVL72 | H100 (Hopper) |
|---|---|---|---|
| GPU 메모리 | 288GB HBM3e | 192GB HBM3 | 80GB HBM3 |
| FP4 Tensor 코어 | 1,440 PFLOPS | 약 960 PFLOPS | 해당 없음 |
| NVLink 대역폭 | 130TB/s | 约 100TB/s | — |
| 피크 전력 | ~120.8kW/랙 | ~100kW/랙 | 700W/GPU |
| Hopper 대비 성능 | 50배 (AI 팩토리 출력) | 약 30배 | 기준 |
| 전세대 대비 성능 | GB200 대비 1.5배 | Hopper 대비 ~30배 | 기준 |
(출처: NVIDIA GB300 NVL72 공식 제품 페이지, NVIDIA 공식 블로그 2026.02.16, Introl 기술 블로그 2025.06)
이 표에서 독자가 주목해야 할 것은 마지막 행입니다. “GB200 대비 1.5배”라는 수치는 NVIDIA 공식 제품 페이지에 명기되어 있습니다. 2025년 하반기부터 AWS·Google Cloud·Azure 등이 이미 Blackwell(GB200) 기반 인스턴스를 제공 중이므로, 지금 클라우드를 쓰는 사람 입장에서 GB300의 실질적인 가성비 개선은 35배가 아닌 1.5배입니다.
잠깐, 이게 사실입니다 — “50배 향상”의 정확한 조건
“50배 향상”이 허위 과장은 아닙니다. 다만 이 수치는 세 가지 조건이 동시에 충족될 때만 성립합니다. 공식 NVIDIA 블로그(2026.02.16)가 명시한 조건입니다.
- 비교 기준이 Hopper(H100/H200) 플랫폼일 것 — GB200이 아닌 2022년 출시 세대와의 비교
- 저지연(low-latency) 환경에서 측정할 것 — 에이전틱 AI처럼 밀리초 단위 응답이 연속되는 시나리오. 배치(batch) 학습 워크로드에서는 이 수치가 달라집니다.
- NVIDIA Dynamo + TensorRT-LLM 최적화 소프트웨어 스택을 동시 적용했을 것 — 하드웨어만 교체해서는 절반도 달성하기 어렵습니다.
NVIDIA는 공식 블로그에서 TensorRT-LLM 라이브러리 업데이트만으로 “4개월 전 대비 GB200에서 저지연 성능이 최대 5배 향상”됐다고 밝혔습니다. 이는 하드웨어가 아닌 소프트웨어 업데이트만으로 5배가 올랐다는 의미입니다. 즉, GB300의 50배 성능 중 상당 부분은 하드웨어가 아닌 소프트웨어 스택 덕분입니다. GB300 GPU를 구매해도 NVIDIA의 소프트웨어 생태계 외부에서 운영하면 이 수치에 근접조차 못합니다. (출처: NVIDIA 공식 블로그, 2026.02.16)
이것이 독자 여러분에게 의미하는 것은 단순합니다. GB300 도입을 검토한다면 하드웨어 비용뿐 아니라 NVIDIA AI Enterprise 라이선스 비용까지 TCO에 포함해야 한다는 것입니다.
120kW의 현실 — 실제로 써보면 당황하는 이유
GB300 NVL72 랙 1개의 피크 전력 소비는 120.8kW입니다. 이 수치는 HPE 공식 제품 페이지와 Introl 기술 블로그 모두에서 동일하게 확인됩니다. 국내 일반 가정의 계약 전력이 보통 3~5kVA(약 3~5kW) 수준임을 감안하면, 랙 하나가 가정집 24~40가구의 전력을 동시에 소비하는 수준입니다.
- 듀얼 415V 3상 전원 공급 + 각 160A 전용 회로 (208V보다 I²R 손실 75% 감소)
- Direct-to-Chip 액체 냉각: 15°C 공급 냉각수, 최소 30L/min 유량
- 바닥 하중 강화: 랙 1개 무게 약 1.36t — 21kN/m² 이상 구조 인증 필요
- 8랙 초과 배포 시 전용 변압기 + 12-pulse 정류기 필수 (IEEE 519 규정)
- 냉각수 pH 8.5~9.5, 전도도 2.5μS/cm 이하 유지 관리
(출처: Introl 기술 블로그 배포 가이드, 2025.06 / HPE 공식 제품 페이지)
한국 기업 기준으로 위 조건을 갖춘 데이터센터는 대형 클라우드 사업자 시설과 일부 초대형 IDC를 제외하면 매우 드뭅니다. “GB300을 도입한다”는 것은 GPU 구매가 아니라 데이터센터 신축 또는 전면 리노베이션을 수반하는 프로젝트라는 뜻입니다.
GTC 2026 이후 무엇이 달라지나 — Rubin과의 로드맵
GB300 이후 차세대: Vera Rubin 플랫폼
CES 2026 (2026년 1월)에서 젠슨 황은 차세대 플랫폼 Vera Rubin이 본격 양산에 들어갔다고 발표했습니다. Rubin GPU는 50 페타플롭의 NVFP4 추론을 지원하며, 토큰 생성 비용을 Blackwell 대비 약 1/10로 낮춘다는 목표를 제시했습니다. (출처: NVIDIA 공식 블로그, CES 2026 발표, 2026.01.05)
Blackwell (GB200 NVL72) → 2025년 출하 시작, 현재 클라우드 주력
Blackwell Ultra (GB300 NVL72) → 2025년 하반기 출하, GTC 2026 핵심 주제
Vera Rubin → 2026년 양산 진입, Blackwell 대비 1/10 토큰 비용 목표
GB300 도입을 서두르면 안 되는 이유
Rubin 양산이 2026년에 진행 중이라는 사실은 지금 GB300 온프레미스 구축에 수십억 원을 투자하면 1~2년 내 세대 교체에 직면한다는 것을 의미합니다. 클라우드 인스턴스를 쓰는 기업이라면 NVIDIA가 세대를 교체해도 비용만 내면 됩니다. 온프레미스 구축 기업은 다음 세대가 출시될 때마다 수백억 원 규모의 재투자 의사결정을 반복해야 합니다.
직접 계산해보는 36개월 TCO
아래 수치는 Introl 기술 블로그(2025.06)의 실제 배포 재무 모델을 기반으로 하며, 한국 전기요금(산업용 약 0.08달러/kWh 기준)을 적용했습니다. 독자 여러분이 직접 검증할 수 있도록 계산 과정을 공개합니다.
──────────────────────────────
전력 비용:
120kW × 24h × 365일 × 3년 × 85% 사용률
× $0.08/kWh = 약 $268K
(국내 환경 적용 시 약 3.6억 원)
──────────────────────────────
냉각 인프라 구축: $180K
운영 인력(0.25FTE): $240K
──────────────────────────────
총 TCO: 약 $4.43M ~ $4.73M
(출처: Introl 기술 블로그 배포 재무 모델, 2025.06 / Lambda Labs 클라우드 B200 가격 비교)
이것이 독자에게 의미하는 것: Introl의 분석에 따르면 클라우드(B200 기준, Lambda Labs $2.99/GPU시간)와 비교했을 때 67% 평균 사용률을 유지할 경우 18개월에 손익분기가 발생합니다. 단, 이는 사용률 67% 이상이 지속된다는 전제입니다. AI 모델 개발이 불규칙하거나 워크로드가 분산된 스타트업이나 중견기업은 이 조건을 충족하기 어렵습니다.
알고 보면 반대입니다 — 중소기업에겐 클라우드가 더 싸다
성능 수치보다 “수익 수치”로 봐야 합니다
NVIDIA는 공식 블로그에서 GB300 NVL72로 구축된 AI 팩토리가 Hopper 기반 팩토리 대비 “수익 기회 50배 증가”를 달성한다고 표현했습니다. 이 표현이 중요합니다. “성능 50배”가 아닌 “수익 기회 50배”라는 것은, 이 시스템이 대규모 추론 서비스를 외부에 판매하는 클라우드 사업자에게 최적화된 수익 모델이라는 것을 공식적으로 인정한 표현입니다.
GB300 NVL72의 최초 구매 가능 채널은 AWS, Google Cloud, Microsoft Azure, Oracle Cloud 등 하이퍼스케일러 클라우드와 CoreWeave, Lambda 같은 GPU 클라우드 전문 사업자입니다. (출처: NVIDIA Blackwell Ultra 공식 발표문, 2025.03.18) 즉, 일반 기업은 이 장비를 직접 구매하는 것이 아니라 이 장비를 탑재한 클라우드 인스턴스를 시간당 비용으로 빌리는 구조가 현실적입니다.
실제 이용자에게 GB300이 중요한 이유
GB300 구매 여부와 무관하게, 이 장비가 중요한 이유는 하나입니다. AWS·Google Cloud가 GB300 기반 인스턴스를 제공하기 시작하면 기존 Hopper 기반 인스턴스의 토큰당 비용이 대폭 하락합니다. 실제로 Blackwell(GB200) 도입 이후 주요 추론 API 서비스들의 가격이 이미 10배까지 낮아졌습니다. (출처: NVIDIA 공식 블로그, 2026.02.16) 개발자와 기업 실무자 입장에서 GB300의 진짜 혜택은 직접 구매가 아닌 클라우드 API 비용 하락으로 돌아옵니다.
Q&A
Q1. GB300 NVL72와 GB200 NVL72의 실질적인 성능 차이는 얼마나 되나요?
공식 스펙 기준으로 AI 컴퓨팅 성능은 1.5배 향상되었습니다. GPU당 메모리는 192GB(GB200)에서 288GB(GB300)로 50% 증가했으며, 장문맥(128K 입력 + 8K 출력) 처리 비용은 GB200 대비 1.5배 절감됩니다. 흔히 언급되는 35배 절감은 2022년 출시 Hopper(H100) 대비 수치입니다. (출처: NVIDIA 공식 제품 페이지 / NVIDIA 공식 블로그 2026.02.16)
Q2. GTC 2026에서 어떤 내용이 추가 발표될 가능성이 있나요?
젠슨 황 키노트는 한국 시간 3월 17일 오전 3시에 시작됩니다. CES 2026(1월)에서 발표된 Vera Rubin의 상세 스펙 공개, Blackwell Ultra 소프트웨어 최적화 업데이트, 그리고 피지컬 AI(로보틱스)와의 연계 발표가 유력합니다. Rubin의 50 페타플롭 NVFP4 추론 구체 수치와 양산 일정이 나올 것으로 예상됩니다. (출처: NVIDIA GTC 2026 공식 키노트 페이지)
Q3. 국내 기업이 GB300 기반 AI 서비스를 이용하려면 어떻게 하나요?
직접 구매보다는 AWS·Google Cloud·Azure의 GB300 기반 인스턴스가 출시되면 API 형태로 접근하는 것이 현실적입니다. 현재(2026.03.15 기준)는 GB200 기반 인스턴스가 제공 중이며, GB300 기반은 순차 공개 예정입니다. DGX Cloud(NVIDIA 직영 클라우드)도 GB300 NVL72 기반 인스턴스를 제공할 예정입니다.
Q4. Blackwell Ultra가 DeepSeek R1 같은 오픈소스 모델에도 유리한가요?
네, 특히 장문맥 워크로드에서 강점이 있습니다. Introl 기술 블로그에 따르면 DeepSeek R1-671B 모델 기준으로 GB300 NVL72 1랙에서 최대 1,000토큰/초 지속 처리량이 보고되었습니다. 다만 이는 최적화 소프트웨어 스택 적용 시 수치이며, MoE(Mixture of Experts) 아키텍처를 가진 모델에서 특히 효과적입니다.
Q5. GB300을 지금 온프레미스로 도입하는 것이 합리적인 타이밍인가요?
대형 AI 서비스 사업자라면 검토할 수 있지만, 일반 기업 기준으로는 시기상조일 수 있습니다. Vera Rubin이 2026년 양산 진입 중이고, 토큰 비용을 Blackwell 대비 1/10로 낮추는 것이 목표입니다. 온프레미스 투자 회수를 위한 손익분기가 18개월인데, 그 시점에 Rubin 기반 인스턴스가 클라우드에서 더 낮은 비용으로 제공된다면 전략적 판단이 달라질 수 있습니다.
마치며
NVIDIA GB300 NVL72는 지금까지 등장한 AI 추론 인프라 중 가장 강력한 하드웨어입니다. 이 사실 자체를 부정할 이유는 없습니다. 그러나 “35배 절감”이라는 숫자 뒤에는 4년 전 세대와의 비교라는 전제가 붙어 있고, “50배 향상”은 세 가지 조건이 동시에 충족될 때만 달성되는 수치입니다.
내일(3월 16일) 젠슨 황의 키노트가 끝나면 수많은 “GB300 완벽 정리” 글이 쏟아질 것입니다. 그 글들 대부분은 NVIDIA가 발표한 수치를 그대로 나열할 것입니다. 이 글이 그 숫자들 사이에 숨어 있는 비교 기준과 조건을 먼저 이해하는 데 도움이 됐길 바랍니다.
개인적인 시각으로는, GB300의 가장 큰 혜택은 이 장비를 직접 구매하는 사람이 아니라 클라우드 API 가격 하락의 수혜를 받는 수백만 명의 개발자와 기업에게 돌아갈 것이라고 봅니다. AI 인프라 군비경쟁의 실질적인 수혜자는 언제나 경쟁 결과로 낮아진 비용을 누리는 최종 사용자였습니다.
- NVIDIA 공식 블로그(한국) — Blackwell Ultra 에이전틱 AI 성능 데이터
https://blogs.nvidia.co.kr/blog/data-blackwell-ultra-performance-lower-cost-agentic-ai/ - NVIDIA 공식 블로그(한국) — Blackwell Ultra AI 팩토리 플랫폼 공식 발표
https://blogs.nvidia.co.kr/blog/nvidia-blackwell-ultra-ai-factory-platform-paves-way-for-age-of-ai-reasoning/ - NVIDIA 공식 제품 페이지 — GB300 NVL72 공식 스펙
https://www.nvidia.com/ko-kr/data-center/gb300-nvl72/ - NVIDIA Developer 블로그 — GB300 NVL72 전력 안정화 기술 상세
https://developer.nvidia.com/ko-kr/blog/how-new-gb300-nvl72-features-provide-steady-power-for-ai/ - NVIDIA 공식 블로그(한국) — CES 2026 Rubin 플랫폼 발표
https://blogs.nvidia.co.kr/blog/2026-ces-special-presentation/ - Introl 기술 블로그 — GB300 NVL72 배포 가이드 및 TCO 분석
https://introl.com/ko/blog/why-nvidia-gb300-nvl72-blackwell-ultra-matters
⚠️ 본 포스팅은 2026년 3월 15일 공개된 공식 자료를 기반으로 작성되었습니다. GTC 2026 키노트(3월 16~19일) 이후 추가 발표에 따라 수치와 내용이 변경될 수 있습니다. NVIDIA의 서비스 정책·스펙·출시 일정은 공식 발표 이후 변경될 수 있으므로, 최신 정보는 NVIDIA 공식 사이트에서 확인하시기 바랍니다.
댓글 남기기