오픈소스
GTC 2026 발표
NVIDIA Dynamo 1.0, 7배 향상인데 조건이 있습니다
2026년 3월 16일, GTC 2026에서 NVIDIA가 AI 추론 서빙의 ‘운영체제’를 자처하는 NVIDIA Dynamo 1.0을 공식 출시했습니다. 발표된 수치는 Blackwell GPU 추론 성능 최대 7배 향상. 그런데 이 숫자에는 충족해야 할 조건이 딱 붙어 있습니다.
Dynamo 1.0이 뭔지 한 줄로 정리하면
결론부터 말씀드리면, NVIDIA Dynamo 1.0은 대규모 AI 추론 워크로드를 데이터센터 전체에 걸쳐 조율하는 오픈소스 소프트웨어입니다. 2026년 3월 16일 GTC 2026에서 프로덕션 버전으로 공식 출시됐고, 이전까지 각자 따로 돌아가던 LLM 서빙 도구들을 하나의 통합 스택으로 묶어줍니다.
NVIDIA는 이걸 “AI 팩토리의 운영체제(OS)”라고 부릅니다. 컴퓨터 OS가 CPU와 메모리를 조율하듯, Dynamo는 수천 개 GPU와 메모리 리소스를 유기적으로 배분해 AI 추론 요청을 처리합니다. 전신은 2018년부터 사용해온 NVIDIA Triton Inference Server로, Dynamo가 그 공식 후속 버전입니다. (출처: NVIDIA 공식 블로그, 2026.03.16)
GitHub 주소(ai-dynamo/dynamo)에서 코드를 바로 받을 수 있고, 상업적 활용도 가능한 MIT 라이선스로 배포됩니다. 다만 엔터프라이즈 지원과 NVIDIA NIM 통합은 NVIDIA AI Enterprise 구독을 통해 별도 제공됩니다.
7배 향상이 가능한 기술 구조 — 분리 서빙
Dynamo의 핵심 기술은 분리 서빙(Disaggregated Serving)입니다. LLM 추론은 두 단계로 나뉩니다. 사용자 입력 전체를 한 번에 처리하는 프리필(prefill) 단계와, 토큰을 하나씩 순차로 뽑아내는 디코드(decode) 단계입니다.
기존 방식은 두 단계를 같은 GPU에서 처리했습니다. 문제는 두 작업의 성격이 완전히 다르다는 점입니다. 프리필은 연산 집약적이어서 병렬화가 잘 되고, 디코드는 메모리 대역폭에 의존하며 순차적입니다. 한 GPU에 몰아넣으면 한쪽이 놀거나 다른 쪽이 밀리는 비효율이 생겼습니다.
Dynamo는 프리필 전용 GPU 풀과 디코드 전용 GPU 풀을 분리 배치합니다. GPU Planner가 실시간으로 양쪽 부하를 모니터링하면서 SLO(서비스 수준 목표)에 맞게 워커를 동적으로 재배치합니다. NVIDIA 공식 발표 기준, GB200 NVL72 시스템에서 DeepSeek-R1 671B 모델의 처리량이 Hopper 기반 대비 최대 30배 향상됐습니다. (출처: developer.nvidia.com, 2025.05.14)
NVIDIA가 “최대 7배”라고 발표한 수치는 Blackwell GPU 기준입니다. GB300 NVL72처럼 72개 GPU가 NVLink로 연결된 고밀도 랙 구성에서는 MoE 모델 처리량이 Hopper 대비 최대 50배까지 올라갑니다. (출처: NVIDIA Dynamo 공식 페이지, developer.nvidia.com/dynamo) 같은 Dynamo라도 어떤 하드웨어에 올리느냐에 따라 수치가 크게 달라집니다.
KV 캐시를 계층으로 옮기는 전략
추론 서빙에서 가장 까다로운 자원이 KV 캐시(Key-Value Cache)입니다. LLM이 이전 대화 맥락을 기억하기 위해 GPU 메모리에 쌓아두는 중간 연산 결과물인데, 대화가 길어지거나 에이전트가 여러 도구를 연달아 호출하면 GPU 메모리를 빠르게 잡아먹습니다.
기존에는 GPU 메모리가 부족해지면 요청을 거부하거나 캐시를 버리고 처음부터 다시 계산했습니다. Dynamo는 이 캐시를 GPU 메모리 → CPU RAM → 로컬 SSD → 네트워크 스토리지 순으로 계층적으로 오프로드합니다. GPU 메모리는 비싸고 한정적이지만, CPU 메모리나 SSD는 상대적으로 저렴하고 확장 가능합니다.
여기에 Smart Router(LLM-Aware Router)가 결합됩니다. 일반 로드 밸런서는 GPU 사용률만 보고 요청을 분배하지만, Dynamo의 라우터는 각 GPU에 어떤 KV 캐시가 올라가 있는지를 파악합니다. 비슷한 문맥의 요청이 들어오면 해당 캐시가 이미 있는 GPU로 보내 재계산을 피합니다. 코드 생성이나 긴 문서 분석처럼 반복 맥락이 오가는 작업에서 효과가 상당합니다.
| 구성 요소 | 역할 | 효과 |
|---|---|---|
| GPU Planner | SLO 기반 GPU 워커 동적 재배치 | TTFT·ITL 지연 최소화 |
| Smart Router | KV 캐시 인식 기반 요청 라우팅 | 재계산 제거, 처리량 향상 |
| KV Block Manager | GPU→CPU→SSD 계층 오프로드 | GPU 메모리 확장, 비용 절감 |
| NIXL | GPU 간 KV 캐시 고속 이전 | 분리 서빙 지연 최소화 |
| Grove | Kubernetes 분산 스케줄링 | 멀티노드 배포 자동화 |
비용 절감 실제 사례 — 수치로 확인
NVIDIA가 2026년 2월 공개한 실제 배포 데이터를 보면, 비용 절감 폭이 워크로드 성격에 따라 크게 달라집니다. 게임 AI 플랫폼 Latitude의 사례가 가장 명확합니다.
(출처: VentureBeat, 2026.02.12 — NVIDIA 공식 배포 데이터)
4배 절감인데, 하드웨어 업그레이드만으로는 2배밖에 안 됩니다. 나머지 2배는 NVFP4라는 저정밀 포맷 전환이 만들어냈습니다. 즉, Dynamo와 Blackwell을 도입했다고 해서 자동으로 4배가 되지 않습니다.
가장 극단적인 사례는 의료 AI 기업 Sully.ai입니다. Baseten의 Blackwell 기반 플랫폼에서 NVFP4와 TensorRT-LLM, Dynamo를 통합 적용해 추론 비용을 90% 절감(10배)했고, 응답 속도는 65% 개선됐습니다. 의사들에게 3,000만 분이 넘는 시간을 돌려줬다고 NVIDIA가 밝혔습니다. 10배 절감은 극단적 조건의 결과입니다. 고토큰 생성, MoE 모델 구조, Dynamo+TensorRT-LLM 통합 스택이 동시에 맞아떨어진 경우입니다.
쿠팡도 이미 쓰고 있는 이유
NVIDIA Dynamo 1.0 공식 발표문에 나열된 글로벌 엔터프라이즈 파트너 목록에 쿠팡(Coupang)이 포함돼 있습니다. (출처: blogs.nvidia.co.kr, 2026.03.26) 아마존, 블랙록, 바이트댄스, 페이팔, 소프트뱅크와 함께 이름이 올라간 것으로, 국내 대형 이커머스가 이미 Dynamo를 실제 추론 인프라에 활용하고 있다는 뜻입니다.
쿠팡이 Dynamo를 왜 선택했는지 공식 이유는 아직 공개되지 않았습니다. 다만 쿠팡의 AI 활용 패턴을 감안하면 추론이 가능합니다. 이커머스 추천 시스템과 고객 응대 챗봇은 짧고 빠른 응답이 핵심인데, 디코드 단계 최적화가 특히 중요한 구조입니다. Dynamo의 Smart Router가 KV 캐시를 재활용해 비슷한 쿼리 패턴에서 재계산을 줄이는 방식이 이커머스 쿼리 패턴과 잘 맞습니다.
Perplexity AI도 공식 파트너로 등재됐습니다. Perplexity는 월 수억 건의 검색 요청을 처리하는 서비스인데, NVIDIA Triton 시절부터 엔진을 적용해왔고 Dynamo로 전환했습니다. 대용량 쿼리 트래픽에서 KV 캐시 재활용 효율이 직접적인 운영 비용과 직결됩니다.
오픈소스인데 결국 NVIDIA GPU를 사야 하는 구조
여기서 짚어볼 부분이 있습니다. Dynamo는 MIT 라이선스 오픈소스이고, AMD GPU나 다른 하드웨어에서도 기술적으로 실행할 수 있습니다. 그런데 공식 문서에서 성능 수치가 나오는 조건은 항상 NVIDIA Blackwell + NVLink입니다.
분리 서빙에서 프리필과 디코드 GPU 사이를 오가는 KV 캐시 이전 속도, MoE 모델에서 전문가(expert) 간 통신 속도 모두 NVLink 대역폭에 크게 의존합니다. GB300 NVL72가 7.2TB/s NVLink 대역폭을 제공한다는 점을 감안하면, 다른 하드웨어에서는 동일한 수치를 기대하기 어렵습니다.
VentureBeat 분석(2026.02.12)은 이 지점을 정확히 짚습니다. “추론 비용을 줄이려면 고성능 인프라에 투자해야 한다”는 게 Nvidia 관계자의 직접 발언입니다. 처리량이 높아질수록 토큰당 비용이 내려가는 구조이기 때문입니다. 즉 Dynamo가 무료라도, Dynamo의 진짜 성능을 내려면 Blackwell GPU가 필요합니다. 소프트웨어를 무료로 풀고 하드웨어 판매로 회수하는 구조입니다.
이건 CUDA 전략의 반복입니다. CUDA는 오픈 API처럼 보이지만 NVIDIA GPU에서만 네이티브로 돌아갑니다. Dynamo는 CUDA가 GPU 컴퓨팅 생태계를 장악한 것처럼, AI 추론 서빙 표준을 선점하려는 시도입니다. 오픈소스로 생태계 진입 장벽을 낮추고, 그 생태계의 중심에 자사 하드웨어를 위치시키는 방식입니다.
vLLM, SGLang과의 관계 — 경쟁이 아닙니다
Dynamo를 처음 접하면 vLLM이나 SGLang을 대체하는 것으로 오해하기 쉽습니다. 직접 확인해봤습니다. Dynamo 공식 문서에는 vLLM, SGLang, TensorRT-LLM, PyTorch 모두를 백엔드로 지원한다고 명시돼 있습니다.
vLLM, SGLang은 단일 노드 또는 소수 GPU에서의 LLM 추론 최적화가 강점입니다. Dynamo는 이 엔진들 위에 올라가는 분산 오케스트레이션 레이어입니다. 수십~수천 개 GPU 클러스터에서 복수의 모델을 동시에 서빙할 때, 라우팅과 스케일링과 캐시 관리를 통합 조율하는 역할입니다.
다만 성능 차이는 있습니다. VentureBeat 분석에 따르면, Dynamo+TensorRT-LLM 통합 스택을 쓰는 경우와 vLLM만 쓰는 경우 사이에 유의미한 성능 차이가 존재합니다. NVIDIA가 자사 스택에 맞게 최적화했기 때문에 당연한 결과이기도 합니다. 독립 추론 서빙에는 vLLM, 대규모 분산 프로덕션 환경에는 Dynamo+TensorRT-LLM이 자연스러운 선택지가 됩니다.
자주 묻는 질문
마치며 — 소프트웨어는 공짜인데 진짜 비용은 다른 데 있습니다
NVIDIA Dynamo 1.0은 AI 추론 인프라를 운영하는 팀에게 실질적인 도구입니다. 분리 서빙, KV 캐시 계층 관리, SLO 기반 스케줄링이 하나의 통합 스택으로 동작한다는 점은 기존에 이 도구들을 각자 조합해야 했던 엔지니어링 부담을 줄여줍니다.
다만 솔직하게 말씀드리면, 7배 또는 50배라는 수치는 Blackwell 기반 고밀도 구성에서 나온 수치입니다. 기존 Hopper 서버나 소규모 GPU 환경이라면 그 수치를 그대로 기대하기 어렵습니다. Dynamo가 무료이고 오픈소스라는 점이 장점이지만, 최대 성능을 내려면 하드웨어 투자가 선행돼야 합니다.
CUDA가 GPU 생태계 표준을 만들었듯, Dynamo가 AI 추론 서빙의 표준이 될 가능성이 있습니다. 쿠팡, Perplexity, PayPal이 이미 프로덕션에서 쓰고 있다는 사실이 이 방향을 가리키고 있습니다.
본 포스팅 참고 자료
※ 본 포스팅 작성 이후 서비스 정책·UI·기능이 변경될 수 있습니다. 본문 내 수치와 기능은 2026년 3월 30일 기준 공개 자료에 근거하며, NVIDIA의 공식 발표 또는 업데이트에 따라 달라질 수 있습니다. 투자 또는 인프라 결정 전 최신 공식 문서를 반드시 확인하시기 바랍니다.
댓글 남기기