119B인데 왜 “Small”이라고 부를까?

Mistral Small 4를 처음 들으면 가벼운 경량 모델이라고 생각하기 쉽습니다. 이름에 “Small”이 들어가 있으니까요. 막상 공식 발표를 열어보면 전혀 다릅니다. 총 파라미터 119B, 128개 전문가(expert)로 구성된 MoE(Mixture of Experts) 아키텍처, 풀 프리시전(FP8) 가중치 기준 242GB — 이건 절대로 작은 모델이 아닙니다. (출처: Mistral AI 공식 블로그, 2026.03.17)

Mistral이 말하는 “Small”의 기준은 토큰당 활성 파라미터 수입니다. 128개 전문가 중 매 토큰마다 4개만 깨어나 6.5B 파라미터를 사용합니다. 실제 연산량 기준으로는 24B 규모의 밀집 모델과 비슷한 수준이라는 게 Mistral의 주장입니다. 연산량 기준 “Small”이지, 모델 크기 기준 Small이 아닙니다.

이 차이를 모르고 로컬 배포를 시도했다가 H100 요구사항에 충격받는 사례가 이미 Reddit에 여럿 올라왔습니다. 이름이 주는 기대치 관리부터 필요한 모델입니다.

세 모델을 하나로 — 실제로 뭐가 달라졌나

Mistral Small 4의 핵심 셀링 포인트는 통합입니다. 기존에는 목적에 따라 다른 모델을 써야 했습니다. 일반 대화에는 Mistral Small 3, 수학·추론에는 Magistral, 코딩 에이전트에는 Devstral — 세 가지를 상황에 따라 골라 쓰는 게 보통이었습니다. Small 4는 이 세 가지를 단일 모델에 넣었습니다. (출처: Mistral AI 공식 블로그, 2026.03.17)

실제 작동 방식을 보면 reasoning_effort 파라미터 하나로 모드를 전환합니다. "none"으로 설정하면 빠른 채팅 모드, "high"로 설정하면 단계별 추론 모드입니다. 비전은 기본으로 켜져 있어 텍스트와 이미지를 같이 넣으면 됩니다. (출처: Hugging Face 모델 카드, mistralai/Mistral-Small-4-119B-2603, 2026.03.17)

멀티모달도 별도 어댑터 없이 기본 지원합니다. 텍스트와 이미지를 함께 입력하면 그냥 됩니다. 다만 비전 품질이 기대치와 다르다는 게 함정인데, 이건 섹션 4에서 따로 다룹니다.

로컬에서 돌리기 전에 봐야 할 숫자

Mistral Small 4는 Apache 2.0 라이선스 오픈소스이기 때문에 로컬 배포가 가능합니다. 그런데 공식 문서를 보면 최소 요구 사항이 현실적이지 않습니다.

풀 프리시전(FP8) 모델 가중치만 약 242GB입니다. NVFP4 퀀타이즈 체크포인트로 줄여도 약 60GB 수준이고, 이마저도 KV 캐시와 활성화 메모리를 더하면 소비자용 GPU 한 장으로는 구동이 불가능합니다. DGX Spark를 가진 일부 사용자가 NVFP4 버전으로 시도 중이라는 Reddit 댓글이 있지만, 일반 개발 환경과는 거리가 멀어요.

KV 캐시 구조는 주목할 만합니다. Mistral Small 4는 MLA(Multi-head Latent Attention) 아키텍처를 써서 KV 캐시 크기를 크게 줄였습니다. 256k 컨텍스트 전체를 BF16으로 채워도 KV 캐시가 5.49GB에 불과합니다. 같은 파라미터 규모의 Qwen3.5-122B보다 약 6% 가볍고, 순수 컨텍스트 효율로는 좋은 편입니다. (출처: The Kaitchup 뉴스레터, 2026.03.20)

그럼에도 불구하고 로컬 배포는 진입 장벽이 높습니다. Mistral AI도 공식 문서에서 “로컬 성능이 만족스럽지 않다면 Mistral AI API 사용을 권장한다”고 직접 적어뒀습니다. API로 쓰는 게 현실적인 선택지입니다.

비전 성능, 9B한테 지는 구조적 이유

솔직히 말하면, 가장 놀라운 부분이 여기입니다. 119B짜리 모델이 9B 모델한테 비전 벤치마크에서 진다는 게 직관적으로 납득이 안 됩니다. 그런데 이게 실제입니다.

문서 이해 벤치마크를 전문으로 측정하는 IDP 리더보드(idp-leaderboard.org)에서 Mistral Small 4와 Qwen3.5-9B를 직접 비교했을 때 결과는 이렇습니다: 14개 세부 항목 중 Qwen3.5-9B 10승, Mistral Small 4 2승, 2무. 종합 점수는 Qwen이 77.0점, Mistral이 71.5점입니다. 9B 밀집 모델이 119B MoE를 이겼습니다. (출처: idp-leaderboard.org 비교 결과, 2026.03.20)

파라미터 수가 비전 성능을 보장하지 않는다는 뜻입니다. MoE는 전문가를 분산해 효율적인 언어 처리를 하도록 설계됐는데, 비전 인코더는 이 구조의 수혜를 덜 받습니다.

Mistral AI는 이에 대한 공식 답변을 내놓지 않은 상태입니다. 일부 개발자는 모델이 너무 최근에 나왔기 때문에 추론 라이브러리의 비전 파싱 구현에 버그가 있을 가능성을 열어두고 있지만, 공식 API에서도 동일한 문제가 나온다는 점에서 단순한 구현 버그는 아닐 수 있습니다. 이미지 분석이 중요한 워크플로라면 지금 당장 쓰기에는 위험 부담이 있습니다.

reasoning_effort가 2단계뿐인 의미

Mistral Small 4는 추론 깊이를 reasoning_effort 파라미터로 조절합니다. 지원 값은 "none"과 "high" 두 가지뿐입니다. 중간 단계가 없습니다. (출처: Hugging Face 모델 카드, 2026.03.17)

실제 벤치마크에서도 이 영향이 보입니다. Mistral Small 4는 “high” 모드로 AA LCR 벤치마크에서 0.72점을 기록하면서 출력 길이는 1.6K 글자였습니다. 반면 Qwen 모델들은 비슷한 점수를 내기 위해 5.8~6.1K 글자를 출력했습니다. Mistral가 효율적이라는 공식 주장은 이 수치에서는 맞습니다. (출처: Mistral AI 공식 블로그, 2026.03.17)

문제는 “none” 모드입니다. 추론 없이 답하는 instruct 모드의 성능은 Mistral Small 3.2 수준과 비슷하다고 공식 문서에 직접 나옵니다. 119B 모델을 추론 없이 쓰면, 비용 대비 효율이 24B였던 Small 3.2를 API로 쓰는 것과 큰 차이가 없을 수 있습니다.

코딩·에이전트·추론 — 실제로 쓸 수 있는 시나리오

비전 쪽이 실망스럽다고 해도 Mistral Small 4가 쓸모없다는 뜻은 아닙니다. 코딩과 에이전트 쪽은 이야기가 다릅니다.

LiveCodeBench 기준으로 Mistral Small 4(reasoning “high”)는 GPT-OSS 120B보다 높은 점수를 내면서 출력 길이는 20% 짧습니다. 짧은 출력은 곧 낮은 레이턴시와 낮은 API 비용을 의미합니다. 대규모 코딩 에이전트 파이프라인을 API로 운영할 때 이 차이는 실제 비용으로 이어집니다. (출처: Mistral AI 공식 블로그, 2026.03.17)

처리 속도도 인상적입니다. Mistral Small 3 대비 레이턴시 최적화 설정에서 완료 시간이 40% 줄었고, 처리량 최적화 설정에서는 초당 요청 수가 3배 늘었습니다. 이건 API를 고볼륨으로 쓰는 팀에게 실질적 차이입니다. (출처: Mistral AI 공식 블로그, 2026.03.17)

파인튜닝 지원도 빠르게 붙었습니다. Axolotl 프레임워크에서 파인튜닝 예제 코드가 이미 올라와 있고, vLLM 공식 PR 병합도 1~2주 내에 예정되어 있습니다(2026.03.17 기준). 기업 환경에서 특정 도메인으로 커스터마이징하려는 팀에게는 접근성이 좋은 편입니다.

Q&A

마치며

Mistral Small 4의 방향성은 분명 맞습니다. 추론·코딩·비전 세 가지를 하나로 합쳐 모델 전환 부담을 없애는 것, 오픈소스로 풀어 파인튜닝 자유도를 주는 것, MoE로 연산 효율을 높이는 것 — 이 아이디어는 좋습니다.

문제는 실행입니다. 이름이 “Small”인데 로컬 진입 장벽이 H100 4장이고, 비전 성능은 9B 경쟁 모델에 밀리며, reasoning_effort는 2단계만 지원합니다. API로 코딩 에이전트나 복잡한 추론 작업을 돌리는 팀에게는 쓸 만한 선택지가 맞습니다. 비전 처리나 문서 OCR이 핵심이라면 지금 당장은 검증이 더 필요합니다.

개인적으로는 vLLM PR 병합과 추가 커뮤니티 테스트 결과를 2주 정도 더 지켜본 다음 판단하는 게 나을 것 같습니다. 오픈소스 모델 특성상 커뮤니티 피드백을 반영한 패치가 빠르게 붙는 편이기 때문입니다.

📚 본 포스팅 참고 자료

1. Mistral AI 공식 블로그 — Introducing Mistral Small 4 (mistral.ai/news/mistral-small-4)
2. Hugging Face 모델 카드 — mistralai/Mistral-Small-4-119B-2603 (huggingface.co/mistralai/Mistral-Small-4-119B-2603)
3. Reddit r/LocalLLaMA — “Mistral Small 4 is kind of awful with images” (2026.03.17)
4. Reddit r/LocalLLaMA — “Mistral Small 4 vs Qwen3.5-9B on document understanding benchmarks” (2026.03.20)
5. The Kaitchup 뉴스레터 — “Mistral Small 4: A Good Alternative to Qwen3.5 122B and Nemotron 3 Super?” (2026.03.20) (kaitchup.substack.com)