Mistral Small 4, “하나면 충분”이라는 말이 맞을까요?

2026년 3월 17일, Mistral AI가 Mistral Small 4를 공개했습니다. 이 모델이 주목받는 이유는 딱 하나입니다. 추론 전용 Magistral, 이미지 분석 전용 Pixtral, 코딩 에이전트 전용 Devstral, 이 세 가지를 하나의 모델로 통합했다는 점입니다. 그런데 “하나면 된다”는 말이 항상 맞진 않죠. 공식 발표문과 실제 배포 조건을 같이 놓고 보니 놓치기 쉬운 조건들이 보였습니다.

119B라고 했는데 실제 연산은 6.5B — MoE 구조 이해

결론부터 말씀드리면, Mistral Small 4의 119B 파라미터는 실제로 동시에 돌아가지 않습니다. 토큰 하나를 처리할 때 128개의 전문 모듈(Expert) 중 4개만 활성화됩니다. 그 결과 실제 연산에 사용되는 파라미터는 6.5B 수준입니다. (출처: Hugging Face 공식 모델 카드, 2026.03.16)

이 구조를 MoE(Mixture of Experts)라고 부릅니다. 마치 128명의 전문가 집단에서 매번 가장 적합한 4명만 호출하는 방식입니다. 전체 지식 풀은 119B 규모지만 한 번에 쓰는 비용은 6.5B 수준입니다. 덕분에 Small 3 대비 초당 처리 요청량이 3배로 늘었고, 응답 지연 시간은 40% 줄었습니다. (출처: Mistral AI 공식 발표, 2026.03.17)

그런데 여기서 놓치기 쉬운 부분이 있습니다. 총 파라미터 119B를 메모리에 적재하는 것은 변함이 없습니다. 연산이 6.5B라는 것이지, 모델 자체를 올리는 데 필요한 VRAM은 여전히 119B 기준입니다. BF16 기준 전체를 올리려면 약 240GB VRAM이 필요합니다. 이 부분은 뒤에서 자세히 다룹니다.

▲ 목차로 돌아가기

모델 3개가 1개로 — 통합이 실제로 의미하는 것

Mistral Small 4 이전에 Mistral 에코시스템을 제대로 활용하려면 세 가지 모델을 따로 관리해야 했습니다. 복잡한 수학 추론에는 Magistral, 이미지·문서 분석에는 Pixtral, 코드 에이전트 작업에는 Devstral을 써야 했죠. 이제 이 세 가지가 하나의 엔드포인트로 통합됩니다.

핵심은 reasoning_effort 파라미터입니다. API 요청 하나에 이 값을 어떻게 설정하느냐에 따라 모델의 동작 방식이 바뀝니다.

기업 입장에서 실질적인 의미는 이렇습니다. 챗봇이 들어오는 질문의 90%는 reasoning_effort="none"으로 빠르게 처리하고, 나머지 복잡한 10%만 high로 전환할 수 있습니다. 모델 전환 없이 하나의 엔드포인트에서. (출처: Mistral AI 공식 발표, 2026.03.17)

▲ 목차로 돌아가기

벤치마크 수치, 직접 읽는 법

Mistral AI가 공개한 벤치마크에서 눈에 띄는 부분이 있습니다. 점수 자체보다 출력 길이 차이입니다. 많은 분들이 “점수가 높으면 좋은 모델”로 읽는데, 실제 운영 비용은 점수가 아니라 토큰 수로 결정됩니다.

AA LCR 테스트 기준으로, Mistral Small 4는 0.72점을 기록하면서 평균 출력 길이가 1,600자입니다. 같은 테스트에서 Qwen 3.5-122B는 비슷한 점수를 내지만 출력이 5,800~6,100자입니다. 차이가 3.5~4배입니다. (출처: Mistral AI 공식 발표, 2026.03.17)

LiveCodeBench에서는 GPT-OSS 120B보다 높은 점수를 기록하면서 출력 길이는 20% 짧습니다. 출력 토큰 수가 줄어드는 것은 실제로 두 가지를 동시에 의미합니다. 응답이 더 빨리 돌아오고, API 비용도 직접적으로 줄어듭니다.

▲ 목차로 돌아가기

경쟁 모델과 비교 — 어떤 조건에서 유리한가

Mistral Small 4는 모든 상황에서 최선의 선택이 아닙니다. 어떤 조건에서 강하고, 어떤 조건에서 불리한지를 나눠서 보는 게 맞습니다.

개인 개발자나 소규모 팀이 단일 GPU에서 돌리려 한다면 Phi-4(14B)나 Mistral Small 3 시리즈가 현실적입니다. Mistral Small 4의 강점은 규모 있는 서버 환경에서 여러 모델을 하나로 줄이면서 성능도 유지할 때 나타납니다.

▲ 목차로 돌아가기

“무료 오픈소스”지만 집에서 못 돌리는 이유

Apache 2.0 라이선스라 누구나 무료로 받을 수 있는 건 사실입니다. 그런데 집에서 돌리기 위한 하드웨어 요건이 생각보다 훨씬 높습니다. 이 부분을 흘려듣다가 나중에 막히는 경우가 많습니다.

RTX 4090(24GB VRAM) 같은 소비자용 GPU로는 BF16 전체 가중치를 올릴 수 없습니다. 가능한 방법은 NVFP4 체크포인트를 써서 양자화하는 것인데, 이 경우에도 최소 H100 환경이 권장됩니다. llama.cpp와 Ollama 지원은 출시 당시 완전히 통합된 상태가 아니었습니다. Hugging Face 공식 모델 카드(2026.03.16)에는 Unsloth의 GGUF 파일이 제공된다고 나와 있지만, 정식 PR은 vLLM에서 1~2주 내 병합 예정이라고 명시돼 있었습니다.

그래서 현실적인 접근은 이렇습니다. 개인 테스트나 작은 규모의 실험이라면 Mistral API나 NVIDIA build.nvidia.com의 무료 프로토타이핑을 활용하는 게 훨씬 빠릅니다. 자체 서버에서 온프레미스로 돌릴 계획이 있고, 멀티 H100 환경이 있다면 그때 vLLM을 적용해볼 수 있습니다.

▲ 목차로 돌아가기

API로 쓸 때 알아야 할 실제 조건

Mistral API에서는 mistral-small-latest로 접근 가능합니다. 그런데 가격이 출시 시점인 2026년 3월 17일 기준으로 아직 공식 발표가 되지 않은 상태입니다. (출처: emelia.io 분석, 2026.03.17; Mistral AI 가격 페이지에서 별도 공지 예정)

현재 확인 가능한 참고 수치는 LLM-Stats 데이터베이스에 등록된 값입니다. Mistral Small 4 기준 입력 $0.15/1M 토큰, 출력도 비슷한 수준으로 등록돼 있습니다. (출처: llm-stats.com, 2026.03 기준) 다만 이 수치는 서드파티 수집 데이터이며, Mistral 공식 확정 전 변동 가능성이 있습니다.

실제로 쓸 때 중요한 변수가 있습니다. reasoning_effort="high"를 켜면 출력 토큰 수가 크게 늘어납니다. 공식 발표에서는 이 모드를 복잡한 문제에만 선택적으로 적용하라고 권고하고 있습니다. (출처: Mistral AI 공식 발표, 2026.03.17) 모든 요청에 기본으로 켜두면 비용과 지연이 예상보다 높아집니다.

솔직히 말하면, 지금 당장 프로덕션 예산을 잡기보다는 NVIDIA NIM 무료 환경에서 실제 쓰임새를 먼저 검증하고, 공식 가격이 나오면 그때 비용 계산을 하는 순서가 맞습니다.

▲ 목차로 돌아가기

자주 묻는 질문 5가지

▲ 목차로 돌아가기

마치며 — 무엇을 사용할 사람에게 맞는 모델인가

Mistral Small 4는 세 가지 조건이 맞을 때 강합니다. 멀티모달·추론·코딩을 한꺼번에 써야 할 때, 데이터 주권이나 GDPR 같은 이유로 온프레미스가 필요할 때, 그리고 멀티 H100 이상의 서버 인프라가 이미 있을 때입니다.

반대로 개인 프로젝트, 단일 GPU 환경, 또는 단순 텍스트 작업만 있다면 굳이 Small 4를 선택할 이유가 없습니다. Apache 2.0이라 무료인 건 맞지만, 하드웨어 비용을 포함하면 그냥 API를 쓰는 게 훨씬 저렴합니다.

개인적으로 가장 흥미롭게 본 부분은 reasoning_effort 파라미터입니다. 한 모델 안에서 요청 단위로 추론 깊이를 조절한다는 설계가 실제 운영 비용에 직접 영향을 줍니다. 아직 가격이 공식 발표되지 않았으니 지금은 NVIDIA NIM에서 먼저 써보면서 판단하는 게 맞습니다.

📎 본 포스팅 참고 자료

1. Mistral AI 공식 발표 — Introducing Mistral Small 4
   https://mistral.ai/news/mistral-small-4
2. Hugging Face 공식 모델 카드 — mistralai/Mistral-Small-4-119B-2603 (2026.03.16)
   https://huggingface.co/mistralai/Mistral-Small-4-119B-2603
3. NVIDIA NIM — mistral-small-4-119b-2603 Model Card (2026.03.16)
   https://build.nvidia.com/mistralai/mistral-small-4-119b-2603
4. emelia.io — Mistral Small 4 Complete Guide Benchmarks (2026.03.17)
   https://emelia.io/hub/mistral-small-4-complete-guide-benchmarks
5. LLM-Stats — Mistral AI 모델 가격 데이터베이스
   https://llm-stats.com/providers/mistral