397B가 1T보다 빠른 이유, 구조에 있었습니다

Qwen3.5의 핵심은 MoE(Mixture-of-Experts, 전문가 혼합) 구조입니다. 총 397B 파라미터 중 실제 추론 시 활성화되는 건 17B뿐입니다. 나머지 380B는 대기 중인 전문가들이고, 입력마다 512개의 전문가 풀에서 10개만 골라서 씁니다. 결국 연산 부담은 17B짜리 밀집 모델과 비슷한 수준으로 유지됩니다.

여기에 Gated DeltaNet 선형 어텐션과 표준 Gated Attention을 15:1 비율로 혼합하는 하이브리드 어텐션이 더해집니다. 선형 어텐션은 긴 컨텍스트에서 기존 트랜스포머가 겪는 메모리 압박을 크게 줄여줍니다. 그 결과, 256K 컨텍스트 기준 디코딩 처리량이 전작 Qwen3-Max 대비 19배, Qwen3-235B-A22B 대비 7.2배 빠릅니다. (출처: Alibaba Qwen 공식 블로그, 2026.02.15)

학습 인프라도 바뀌었습니다. 멀티토큰 예측(MTP) 기법으로 사전학습 수렴 속도를 높였고, FP8 훈련 파이프라인을 적용해 활성화 메모리를 약 50% 줄이면서 속도는 10% 이상 빨라졌습니다. (출처: Qwen 공식 블로그, 2026.02.15)

▲ 목차로 돌아가기

벤치마크 수치, 공식 문서와 직접 비교해봤습니다

Qwen3.5-397B-A17B의 공식 벤치마크를 GPT-5.2, Claude Opus 4.5, Gemini-3 Pro와 나란히 놓고 봤습니다. 전반적인 지식 평가(MMLU-Pro)에서 87.8점, 지시어 추종(IFBench)에서 76.5점을 기록했는데, IFBench 수치는 비교 모델 중 가장 높습니다. (출처: Qwen 공식 HuggingFace 모델카드, 2026.03.09 기준)

IFBench 76.5점은 단순히 “지시를 잘 따른다”는 게 아니라, 복잡한 다단계 지시를 처리하는 능력을 측정합니다. 이 수치가 GPT-5.2(75.4)보다 높다는 건 에이전트 작업에서 실질적인 차이로 이어질 수 있습니다. 반면 VITA-Bench(에이전트 종합)에서는 Claude Opus 4.5(56.3)에 뒤집니다. 에이전트 성능이 벤치마크마다 다르게 나오는 이유를 그냥 지나치면 안 됩니다.

▲ 목차로 돌아가기

멀티모달, 이번엔 진짜 통합입니다

기존 알리바바 AI 모델은 텍스트 모델(Qwen3)과 비전-언어 모델(Qwen3-VL)이 별개로 분리돼 있었습니다. Qwen3.5는 이 구분을 없앴습니다. 텍스트, 이미지, 비디오를 처음부터 함께 학습시키는 얼리 퓨전(early fusion) 방식을 채택해서, 시각 정보가 언어 모델 위에 얹혀진 형태가 아닌 모델의 핵심 표현에 녹아들어 있습니다.

멀티모달 수학 벤치마크인 MathVista(mini)에서 90.3점을 기록했는데, 이는 GPT-5.2(83.1), Gemini-3 Pro(87.9), Claude Opus 4.5(80.0)를 모두 앞서는 수치입니다. (출처: Qwen 공식 HuggingFace 모델카드, 2026.03.09) 수학 문제를 시각적으로 이해하는 능력이 비전 어댑터를 붙인 방식보다 얼리 퓨전에서 더 잘 나온다는 증거입니다.

또 하나: 컨텍스트 최대 길이는 기본 262,144 토큰이고, 호스팅 버전인 Qwen3.5-Plus에서는 100만 토큰까지 지원합니다. 오픈웨이트 버전에서 1M 컨텍스트를 쓰려면 YaRN 스케일링 기법을 별도로 설정해야 합니다.

▲ 목차로 돌아가기

로컬에서 실제로 돌리려면 이게 필요합니다

MoE 구조라서 로컬 실행이 쉬울 거라고 생각하면 여기서 걸립니다. 활성화 파라미터가 17B이지만, 모든 전문가 가중치를 메모리에 올려둬야 하기 때문에 전체 파라미터 크기만큼의 저장 공간이 필요합니다. FP16 기준 전체 모델 용량은 약 917GB입니다. (출처: apxml.com, 2026.03.11)

KTransformers를 사용하면 RTX 4090(24GB VRAM) 1장에 시스템 RAM 192~256GB 구성으로도 Q4 모델을 돌릴 수 있습니다. 이 구성에서 실측된 속도는 약 25 토큰/초 수준으로, 이는 실시간 대화가 가능한 속도입니다. (출처: Unsloth 공식 문서, 2026.03.20 기준) 다만 RTX 4090 1장으로 구현하려면 MoE 레이어를 CPU-GPU 간에 분산 배치하는 오프로딩 설정이 필수입니다.

▲ 목차로 돌아가기

할루시네이션 수치, 개선됐다는 말이 반만 맞습니다

Qwen3.5의 공식 보도자료는 이전 모델보다 할루시네이션이 개선됐다고 강조합니다. 그런데 독립 분석 기관인 Artificial Analysis의 수치를 직접 확인하면 이야기가 달라집니다.

이게 실무에서 어떤 의미인지 한 줄로 해석하면 이렇습니다: 모른다는 걸 잘 말하게 됐지만, 안다고 생각하고 틀리는 경우는 전작과 비슷한 빈도로 여전히 발생합니다. 중요한 사실 확인 작업이나 법률·의학 문서에 직접 사용하기 전에 반드시 검증 절차를 거쳐야 하는 이유가 여기 있습니다.

또 한 가지 주목할 변화: Qwen3에서는 프롬프트에 /think나 /nothink를 넣으면 추론 모드를 바꿀 수 있었는데, Qwen3.5에서는 이 소프트 스위치가 공식 지원에서 제외됐습니다. 기본값이 항상 thinking 모드이고, 비추론 모드를 원하면 API 파라미터 enable_thinking: false를 별도로 설정해야 합니다. (출처: Qwen 공식 HuggingFace 모델카드) 간단한 프롬프트에서도 추론 토큰이 먼저 소비되기 때문에, 빠른 응답이 필요한 실시간 애플리케이션에서는 API 파라미터 조정이 필수입니다.

▲ 목차로 돌아가기

공식 API vs 로컬 vs 무료 채팅, 어떻게 다를까요

지금 Qwen3.5를 쓸 수 있는 경로는 크게 세 가지입니다. 어떤 걸 선택하느냐에 따라 컨텍스트 길이와 비용이 크게 달라집니다.

API 가격에서 주목할 점이 하나 있습니다. VentureBeat 분석에 따르면 Qwen3.5는 Google Gemini 3 Pro 대비 약 1/18 수준의 추론 비용입니다. (출처: VentureBeat, 2026.02.18) 단순 가격 비교가 아니라, 같은 예산으로 18배 많은 토큰을 처리할 수 있다는 의미로 대규모 배치 처리나 내부 시스템 구축 시 고려할 만한 수치입니다.

오픈웨이트 모델은 Apache 2.0 라이선스로 공개됐습니다. 상업적 사용, 수정, 재배포 모두 허용되며 로열티가 없습니다. 사내 데이터를 외부 API에 보내는 것에 규제가 있는 금융·의료 환경에서 내부 배포 옵션으로 검토할 수 있습니다.

▲ 목차로 돌아가기

자주 나오는 질문 5가지

▲ 목차로 돌아가기

마치며

Qwen3.5-397B-A17B는 파라미터 숫자로 상대를 판단하던 방식이 더 이상 유효하지 않다는 걸 보여준 모델입니다. 397B가 1조 파라미터 모델보다 빠르고, 같은 오픈웨이트 1T 모델보다 성능이 높게 나오는 현상은 순전히 구조의 차이에서 비롯됩니다. 이 부분은 공식 수치로 충분히 확인됩니다.

그러나 할루시네이션 발생률이 88%에 머물러 있다는 점, 로컬 실행에 현실적으로 192GB 이상의 RAM이 필요하다는 점, 비디오 처리에서 기본 설정이 보수적으로 되어 있다는 점은 실제 도입 전에 반드시 확인해야 합니다. 특히 코드 생성 작업에서는 Q5 이상 양자화 수준을 지키지 않으면 벤치마크 수치와 실사용 체감이 크게 벌어질 수 있습니다.

Apache 2.0 라이선스로 상업적 사용이 자유로운 오픈웨이트 모델 중 현재 벤치마크 기준 최상위 그룹에 속하는 건 사실입니다. 비용이 민감한 대규모 배치 작업이나, 외부 API를 쓰기 어려운 보안 환경에서 가장 먼저 검토할 만한 모델입니다.

▲ 목차로 돌아가기

본 포스팅 참고 자료

1. Alibaba Qwen 공식 블로그 — “Qwen3.5: Towards Native Multimodal Agents” (qwen.ai/blog?id=qwen3.5)
2. Qwen/Qwen3.5-397B-A17B 공식 HuggingFace 모델카드 (huggingface.co/Qwen/Qwen3.5-397B-A17B)
3. Artificial Analysis — “Qwen3.5-397B-A17B: Everything you need to know” (artificialanalysis.ai)
4. VentureBeat — “Alibaba’s Qwen 3.5 397B-A17 beats its larger trillion-parameter model” (venturebeat.com)
5. Unsloth 공식 문서 — Qwen3.5 로컬 실행 가이드 (unsloth.ai/docs/models/qwen3.5)