Nemotron 3 Super 완전정복
GPT급 추론 5배 빠르다,
지금 무료 안 쓰면 손해
2026년 3월 10일 NVIDIA가 GTC 2026 직전 공개한 오픈소스 에이전틱 AI의 판도 교체자.
120B 파라미터에 활성 12B의 하이브리드 MoE 구조로 GPT-OSS-120B보다 2.2배,
Qwen3.5-122B보다 7.5배 빠른 추론 속도를 무료로 쓸 수 있습니다.
🔓 완전 오픈소스
120B 파라미터 · 활성 12B
1M 토큰 컨텍스트
Blackwell 최적화
🚀 Nemotron 3 Super가 지금 중요한 진짜 이유
Nemotron 3 Super는 단순히 “NVIDIA가 만든 오픈소스 LLM” 수준을 훌쩍 넘어섭니다.
2026년 3월 10일, GTC 2026 개막(3월 16일) 6일 전 전격 공개된 이 모델은
오픈소스 에이전틱 AI 생태계의 무게추를 Meta·Alibaba에서 NVIDIA로 옮겨놓을 수 있는
역대급 카드로 평가받고 있습니다.
그동안 오픈소스 진영의 고질적인 약점은 “성능은 되는데 속도가 문제”였습니다.
Qwen3.5-122B나 GPT-OSS-120B 같은 동급 모델들은 실시간 에이전트 워크플로우에
투입하기에 지연 시간이 너무 길었죠. Nemotron 3 Super는 추론 시 120B 중 12B만 활성화하는
Sparse MoE 구조로 이 딜레마를 정면 돌파합니다. 동급 대비 최대 7.5배 빠른 처리량을
내면서도 정확도는 유사 수준을 유지한다는 벤치마크는 실로 놀랍습니다.
한국은 NVIDIA의 소버린 AI(Sovereign AI) 전략의 핵심 파트너국입니다.
NVIDIA는 공식 발표에서 한국을 명시적으로 언급하며 자국 데이터·규제에 맞는
독립적 AI 시스템 구축을 지원하겠다고 밝혔습니다.
Nemotron 3 Super는 곧 국내 금융·의료·공공 섹터의 온프레미스 에이전트 AI
인프라의 핵심 모델이 될 가능성이 높습니다.
더 중요한 포인트는 완전한 투명성입니다. 가중치·사전훈련 데이터·사후훈련 데이터·
훈련 레시피까지 GitHub와 HuggingFace에 전부 공개됩니다. 이는 ChatGPT나 Gemini 같은
클로즈드 모델에선 절대 불가능한 수준의 투명성으로, 규제 환경이 엄격한 산업군에서는
Nemotron 3 Super가 사실상 유일한 선택지가 될 수도 있습니다.
⚡ 핵심 스펙 한 번에 비교: 120B인데 왜 12B처럼 빠를까
Nemotron 3 Super의 전체 파라미터는 120B(1,200억 개)이지만,
실제 추론 과정에서는 활성 파라미터가 12B(120억 개)에 불과합니다.
쉽게 말해 120명의 전문가를 두고 각 질문마다 가장 적합한 전문가 12명만 불러
일을 시키는 방식입니다. 나머지 108B는 대기 상태이므로 연산 부하는 12B급이 됩니다.
| 모델 | 전체 파라미터 | 활성 파라미터 | 컨텍스트 | 상태 | 주 용도 |
|---|---|---|---|---|---|
| Nano | 30B | ~3B | 1M 토큰 | ✅ 출시 (2025.12) | 디버깅·요약·어시스턴트 |
| Super | 120B | 12B | 1M 토큰 | ✅ 출시 (2026.03.10) | 멀티 에이전트·복잡 추론 |
| Ultra | ~500B | ~50B | 미공개 | 🔜 2026 상반기 | 전략 계획·심층 연구 |
경쟁 모델 대비 처리량 비교
공식 기술 보고서에 따르면 8K 입력 / 16K 출력 설정 기준으로 Nemotron 3 Super는
GPT-OSS-120B 대비 2.2배, Qwen3.5-122B 대비 7.5배의 높은 추론 처리량을 달성합니다.
정확도 면에서는 두 모델에 필적하거나 일부 벤치마크에서는 상회합니다.
특히 1M 토큰 컨텍스트 장문 처리(RULER 벤치마크)에서 두 경쟁 모델을 모두 앞선다는
결과는 장기 리서치·문서 분석 시나리오에서 게임체인저가 될 신호입니다.
Nemotron 3 Super는 NVIDIA Blackwell 아키텍처를 위해 NVFP4(4비트 정밀도)로
사전 훈련된 세계 첫 번째 모델입니다. 이를 통해 메모리 요구량을 대폭 낮추면서도
고정밀 포맷 대비 정확도 손실을 최소화했습니다.
MTP(Multi-Token Prediction) 레이어를 통한 네이티브 추측적 디코딩(Speculative Decoding)도
처음으로 탑재돼 실제 서비스 환경의 레이턴시가 한층 더 감소합니다.
🧬 하이브리드 MoE 아키텍처: Mamba + Transformer의 비밀
Nemotron 3 Super의 핵심 기술은 하이브리드 Mamba-Transformer Mixture-of-Experts(MoE)
구조입니다. 여기에 더해 Nemotron 3 Super만의 독자 기술인 LatentMoE가 처음 적용됩니다.
Mamba-2 레이어: 장문맥을 선형 비용으로
기존 Transformer의 셀프 어텐션(Self-Attention)은 입력 길이가 n배 늘어나면
계산 비용이 n² 배로 증가하는 이차 복잡도 문제가 있습니다.
Mamba-2는 상태 공간 모델(SSM) 기반의 선형 시간 복잡도 레이어로, 100만 토큰급
장문맥을 훨씬 낮은 비용으로 처리합니다. Nemotron 3 Super는 전체 레이어 중 다수를
Mamba-2 레이어로 구성해 기본적인 시퀀스 처리를 빠르게 수행합니다.
Transformer Attention 레이어: 정밀 추론 담당
단순 패턴 처리는 Mamba-2가 담당하고, 세밀한 맥락 이해와 논리적 추론이 필요한
구간에서는 Transformer 어텐션 레이어가 개입합니다. 이 조합 덕분에
속도는 Mamba-2로, 정확도는 Transformer로 각각의 강점만 취하는 구조가 만들어집니다.
LatentMoE: Super만의 정확도 부스터
LatentMoE는 NVIDIA 연구소가 Nemotron 3 Super에 처음 도입한 기법으로,
잠재 공간(Latent Space)에서의 전문가 라우팅을 통해 기존 MoE 대비 정확도를
추가로 높입니다. 쉽게 설명하면 전문가를 선택할 때 입력의 표면적 특징이 아닌
더 깊은 의미적 표현을 기반으로 판단하기 때문에, 유사해 보이는 두 질문이라도
의도가 다르면 다른 전문가 조합이 활성화됩니다.
이것이 Qwen3.5와 GPT-OSS가 따라잡기 힘든 Super만의 차별점입니다.
LatentMoE와 MTP 조합은 오픈소스 모델의 고질적 문제인 “높은 처리량과 복잡 추론 정확도의 트레이드오프”를
원칙적으로 해결한 첫 시도라고 생각합니다. 향후 Llama, Qwen 시리즈도 유사한 기법을
차용할 가능성이 높으며, NVIDIA가 아키텍처 표준화에서도 주도권을 쥐려는
의도가 분명히 보입니다.
🛠️ 무료로 바로 쓰는 법: HuggingFace·OpenRouter·API 3가지 루트
Nemotron 3 Super는 완전 오픈소스로 공개돼 있습니다.
체크포인트는 4가지 형태로 HuggingFace에서 다운로드할 수 있으며,
로컬 설치 없이도 다양한 API 서비스를 통해 즉시 활용이 가능합니다.
루트 1 — HuggingFace 직접 다운로드 (완전 로컬)
| 체크포인트 | 포맷 | 권장 환경 |
|---|---|---|
| Super 120B-A12B NVFP4 | NVFP4 | Blackwell GPU (H100/H200/B200) |
| Super 120B-A12B FP8 | FP8 | H100 · A100 (권장) |
| Super 120B-A12B BF16 | BF16 | A100 · RTX 4090 멀티GPU |
| Super 120B-A12B Base BF16 | BF16 | 파인튜닝용 베이스 모델 |
huggingface-cli download nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8
# vLLM으로 서빙 (단일 H100 80GB x2 권장)
python -m vllm.entrypoints.openai.api_server \
–model nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8 \
–tensor-parallel-size 2 \
–max-model-len 131072
루트 2 — OpenRouter 무료 API (설치 불필요)
로컬 GPU가 없다면 OpenRouter를 통해 API Key만으로 Nemotron 3 Super를
바로 호출할 수 있습니다. OpenRouter는 다양한 모델을 단일 OpenAI 호환 엔드포인트로
제공하며, 일부 무료 크레딧도 지원합니다.
모델 ID는 nvidia/nemotron-3-super-120b를 사용하면 됩니다.
루트 3 — NVIDIA NIM 마이크로서비스 (엔터프라이즈)
NVIDIA NIM은 온프레미스 또는 프라이빗 클라우드에 Nemotron 3 Super를
컨테이너 형태로 배포할 수 있는 엔터프라이즈 전용 서비스입니다.
2026년 상반기 중 AWS Amazon Bedrock, Google Cloud, Microsoft Foundry에서도
순차적으로 지원될 예정입니다.
민감한 데이터를 다루는 금융·의료·공공기관은 이 루트가 가장 안전합니다.
💼 실전 활용 시나리오: 어떤 작업에 써야 ROI가 높을까
Nemotron 3 Super는 “모든 상황에서 최고”를 목표로 설계된 모델이 아닙니다.
오히려 NVIDIA는 명시적으로 프론티어 모델(GPT-5, Gemini 2.5)과의 하이브리드 라우팅을
권장합니다. 다음은 ROI가 가장 높은 활용 시나리오입니다.
수십 개의 서브 에이전트가 병렬로 정보를 수집하고 합산하는 RAG 파이프라인에서
Nemotron 3 Super는 낮은 레이턴시로 많은 에이전트를 동시에 구동할 수 있어
재무제표, 법률 계약서, 특허 문서처럼 수백 페이지 분량의 문서를
단 한 번의 컨텍스트로 분석하는 작업에 적합합니다.
RULER 벤치마크에서 Qwen3.5·GPT-OSS를 상회하는 성능은 이 용도에서 특히 빛납니다.
Cursor는 이미 Nemotron 3 Super를 코드 에이전트 백엔드로 통합 중입니다.
반복적인 코드 리뷰, 단위 테스트 생성처럼 GPT-5를 쓰기엔 비용이 과하고
Nano로는 부족한 중간 난이도 코딩 작업에 최적입니다.
데이터를 외부 API로 전송할 수 없는 금융·의료·국방 기관은 완전 로컬 배포를 통해
Nemotron 3 Super를 GPT-5급 성능의 내부 AI 시스템으로 운영할 수 있습니다.
모든 가중치와 훈련 데이터가 공개돼 있으므로 규제 감사에도 대응이 용이합니다.
공개된 사후훈련·강화학습 데이터셋과 NeMo RL 라이브러리를 사용해
의료·법률·금융 등 특정 도메인에 최적화된 에이전트를 직접 만들 수 있습니다.
이는 상용 모델로는 불가능한 완전한 맞춤화입니다.
🔧 오픈소스 훈련 도구 완전 해부: NeMo Gym · NeMo RL · NeMo Evaluator
NVIDIA가 Nemotron 3 Super와 함께 공개한 오픈소스 도구 삼총사는
단순히 “모델을 받아서 쓰는” 수준을 넘어 직접 훈련하고 검증하고 개선할 수
있는 완전한 파이프라인을 제공합니다.
① NeMo Gym — 강화학습 환경 인프라
NeMo Gym은 다양한 RL 환경을 표준화된 인터페이스로 제공하는 라이브러리입니다.
개발자는 처음부터 RL 환경을 구축할 필요 없이 즉시 사용 가능한 환경에서
실험을 시작할 수 있습니다. Prime Intellect와 Unsloth가 이미 자사 파이프라인에
NeMo Gym을 통합해 활용 중입니다.
GitHub: github.com/NVIDIA-NeMo/Gym
② NeMo RL — 고성능 강화학습 훈련
NeMo RL은 FP8 혼합 정밀도 훈련과 비동기 RL(Asynchronous RL)을 지원하는
고성능 훈련 라이브러리입니다. DeepSpeed, Megatron-LM과 연동되며
GRPO·PPO 등 최신 RL 알고리즘을 모두 지원합니다.
Nemotron 3 Super의 RLHF 학습에 실제 사용된 Qwen3-Nemotron-235B GenRM 모델도
함께 공개돼 있어 보상 모델 연구에도 활용 가능합니다.
③ NeMo Evaluator — 안전성·성능 검증
NeMo Evaluator는 모델의 정확도와 안전성을 체계적으로 검증하는 도구입니다.
Nemotron Agentic Safety Dataset을 활용해 복잡한 에이전트 시스템이
예상치 못한 행동을 하지 않는지 실제 원격 측정 데이터 기반으로 테스트합니다.
이는 규제 당국에 AI 시스템의 안전성을 증명해야 하는 기업에게 매우 유용합니다.
로컬 GPU가 없어도 Google Colab Pro(A100) 또는 Kaggle 무료 GPU에서
Nemotron 3 Nano(30B)로 NeMo Gym·RL의 사용법을 익힌 후
Super 파인튜닝으로 확장하는 경로가 현실적입니다.
3조 토큰 훈련 데이터도 HuggingFace에서 무료 다운로드가 가능합니다.
⚖️ GPT · Gemini · Qwen3.5와 직접 비교: 냉정한 포지셔닝
Nemotron 3 Super가 모든 면에서 최고는 아닙니다.
냉정한 비교를 통해 언제 쓰고 언제 쓰지 말아야 하는지 명확히 짚겠습니다.
| 모델 | 오픈소스 | 추론 속도 | 장문맥 | 에이전트 | 비용 |
|---|---|---|---|---|---|
| Nemotron 3 Super | ✅ 완전 | ⭐⭐⭐⭐⭐ | 1M 토큰 | ⭐⭐⭐⭐⭐ | 무료(자체 배포) |
| Qwen3.5-122B | ✅ 오픈 | ⭐⭐ | 128K | ⭐⭐⭐ | 무료(자체 배포) |
| GPT-OSS-120B | ✅ 오픈 | ⭐⭐⭐ | 128K | ⭐⭐⭐⭐ | 무료(자체 배포) |
| GPT-5 (OpenAI) | ❌ 클로즈드 | ⭐⭐⭐⭐ | 1M 토큰 | ⭐⭐⭐⭐⭐ | 토큰당 과금 |
| Gemini 2.5 Pro | ❌ 클로즈드 | ⭐⭐⭐⭐ | 1M 토큰 | ⭐⭐⭐⭐ | 토큰당 과금 |
Nemotron 3 Super를 써야 할 때
데이터 프라이버시가 중요한 온프레미스 환경이나, 대규모 멀티 에이전트 시스템에서
API 비용이 부담스러운 경우, 또는 도메인 특화 파인튜닝이 필요한 경우라면
Nemotron 3 Super가 현존하는 최선의 선택입니다.
Nemotron 3 Super를 쓰지 말아야 할 때
단순한 챗봇이나 간단한 단일 쿼리 작업은 Nemotron 3 Nano가 더 저렴하고 빠릅니다.
초고난도 창의적 글쓰기나 감성적 공감이 필요한 응답은 GPT-5나 Claude 계열이
여전히 강점을 갖고 있습니다. Super는 에이전트 워크플로우 최적화 모델임을
항상 기억해야 합니다.
퍼플렉시티·Cursor·ServiceNow·Zoom 같은 실제 B2B 서비스들이 이미 Nemotron을
핵심 모델로 통합하고 있다는 사실이 가장 강력한 증거입니다.
이들은 벤치마크 숫자가 아닌 실제 서비스 비용과 성능으로 모델을 선택하기 때문입니다.
2026년 하반기 Ultra 출시까지 감안하면 Nemotron 시리즈는 오픈소스 에이전트 AI의
사실상 표준(de facto standard)이 될 가능성이 매우 높다고 봅니다.
❓ Q&A 5선: Nemotron 3 Super 궁금증 총정리
Nemotron 3 Super는 무료로 쓸 수 있나요?
다운로드할 수 있습니다. 자체 GPU 인프라가 없다면 OpenRouter나 DeepInfra 같은
제3자 추론 서비스를 통해 API로 사용하거나, Perplexity Labs에서 데모 형태로
체험할 수 있습니다. NVIDIA Open Model License 하에 상업적 활용도 허용됩니다.
일반 PC나 맥에서 로컬로 실행할 수 있나요?
필요합니다. 일반 PC나 맥에서는 직접 실행이 어렵습니다. 다만 LM Studio에서
양자화(GGUF) 버전을 지원할 경우 M4 Max·RTX 4090 수준에서 제한적으로 실행될
가능성이 있습니다. 현실적으로는 OpenRouter API 방식을 권장합니다.
Nemotron 3 Nano와 Super 중 어느 것을 써야 하나요?
Super는 멀티 에이전트 협업, 100K 토큰 이상의 장문 문서 분석, 복잡한 다단계
추론이 필요할 때 쓰는 것이 ROI가 높습니다. NVIDIA가 권장하는 방식은 두 모델을
에이전트 라우터로 연결해 작업 난이도에 따라 동적으로 전환하는 하이브리드 전략입니다.
한국어 성능은 어떤가요?
다만 Nemotron 3 시리즈의 사전훈련 데이터에 다국어가 포함돼 있으며,
NVIDIA가 한국을 소버린 AI 파트너국으로 명시했다는 점에서 한국어 품질이
의도적으로 높게 설계됐을 가능성이 큽니다. 실제 활용 전 한국어 도메인에 특화된
SFT 파인튜닝을 거치면 성능을 크게 향상시킬 수 있습니다.
Nemotron 3 Ultra는 언제 나오나요?
규모로 심층 전략 계획, 복잡한 멀티단계 연구 작업을 타깃으로 합니다.
GTC 2026 기조연설(3월 16일)에서 추가 세부 정보가 공개될 것으로 예상됩니다.
Ultra는 현존 오픈소스 모델 중 가장 강력한 추론 엔진을 목표로 개발 중입니다.
📝 마치며: Nemotron 3 Super, 지금 당장 주목해야 하는 이유
Nemotron 3 Super의 출시는 단순한 모델 공개가 아닙니다.
NVIDIA가 “GPU를 파는 회사”에서 “오픈 AI 생태계를 설계하는 회사”로
전환한다는 선언입니다. Qwen3.5-122B보다 7.5배 빠른 추론 속도와
1M 토큰 컨텍스트, 그리고 완전 오픈소스라는 삼박자는 어떤 경쟁 모델도
동시에 달성하지 못한 조합입니다.
특히 한국 시장에서의 시사점은 큽니다. 금융 당국의 AI 규제 강화, 의료 데이터
국외 반출 금지 등 온프레미스 AI 수요가 폭발적으로 증가하는 환경에서
Nemotron 3 Super는 사실상 가장 현실적인 솔루션입니다.
무료로 모든 것이 공개돼 있고, 훈련 레시피까지 따라할 수 있다는 점은
이 모델이 단순히 “쓰는” 것을 넘어 “국산화”의 베이스 모델로 활용될 수 있음을 의미합니다.
3월 16일 GTC 2026 기조연설에서 젠슨 황이 Nemotron Ultra와 추론 전용 칩에 대해
어떤 발표를 내놓을지 지금보다 더 중요해질 수 있습니다.
지금이 Nemotron 생태계를 가장 먼저 이해하고 선점할 수 있는 골든 타임입니다.
본 포스팅은 공개된 NVIDIA 공식 발표 자료와 HuggingFace 기술 보고서를 기반으로 작성된 정보성 콘텐츠입니다.
모델 성능 수치는 공식 벤치마크 기준이며 실제 환경에 따라 차이가 있을 수 있습니다.
작성 기준일: 2026년 3월 14일
댓글 남기기