Qwen 3.5, 397B인데
실제 쓰이는 건 17B입니다

알리바바가 2026년 2월 16일 공식 출시한 Qwen 3.5는 총 397B 파라미터를 가진 모델입니다. 그런데 추론 한 번에 실제로 활성화되는 파라미터는 17B뿐입니다. 이 구조가 가져다주는 게 뭔지, 그리고 어디서 예상이 빗나가는지 — 공식 자료와 실측 데이터를 나란히 놓고 정리했습니다.

397B라는 숫자가 오해를 만들고 있습니다

Qwen 3.5를 처음 접하면 “397억 개 파라미터짜리 거대 모델”이라는 인상을 받습니다. 그런데 이 숫자 뒤에 결정적인 단서가 하나 더 있습니다. 알리바바 공식 블로그에 딱 이렇게 나옵니다 — “although it comprises 397 billion total parameters, just 17 billion are activated per forward pass.”

Qwen 3.5는 MoE(Mixture-of-Experts) 구조를 씁니다. 쉽게 말하면 397B짜리 전문가 집단에서 매 토큰마다 17B 규모의 전문가만 선택해 일을 시키는 방식입니다. 나머지 380B는 그 순간엔 잠들어 있습니다. 추론 비용이 낮아지는 이유가 바로 여기 있고, 이 구조 덕분에 전용 서버가 없어도 합리적인 하드웨어에서 실행 가능한 수준의 비용이 나옵니다.

여기서 주의할 점이 있습니다. “17B만 쓴다면 17B 모델과 같은 거 아니냐?”는 질문이 자연스럽게 나옵니다. 다릅니다. 어떤 전문가를 선택할지 결정하는 라우팅 메커니즘 자체가 전체 397B의 지식을 기반으로 작동합니다. 성능은 대형 모델 수준이되 추론 시 실제 계산량은 소형 모델처럼 낮아지는 구조입니다. (출처: Qwen 공식 블로그, 2026.02.15)

17B만 활성화된다는 사실이 처음엔 낯선데, 이게 바로 이 모델의 핵심 설계입니다.

▲ 목차로 돌아가기

공식 수치로 본 속도·비용 이점

알리바바가 공식 발표한 성능 지표는 구체적입니다. 같은 하드웨어 기준으로 이전 세대인 Qwen3-Max 대비 32K 컨텍스트에서 디코딩 처리속도 8.6배, 256K 컨텍스트에서 19배를 기록했습니다. 비용은 전 세대 대비 60% 절감됩니다. (출처: Qwen 공식 블로그, 2026.02.15)

※ 표 내 수치는 공식 기준값 대비 상대 비율. (출처: Qwen 공식 블로그, 2026.02.15)

256K 컨텍스트에서 19배 빠르다는 건 단순 숫자가 아닙니다. 긴 문서 처리나 2시간짜리 영상 분석 같은 작업에서 체감 대기 시간이 실질적으로 달라집니다.

IFBench(지시 따르기 정확도) 기준으로 76.5점을 기록했는데, 이 벤치마크에서 GPT-5.2(75.4), Claude Opus 4.5(58.0), Gemini 3 Pro(70.4)보다 높은 수치입니다. (출처: Qwen 공식 블로그 벤치마크 테이블, 2026.02.15) 단, 벤치마크는 특정 측면만 반영하므로 아래 섹션에서 실전 한계도 같이 봐야 합니다.

▲ 목차로 돌아가기

모델 패밀리 전체 구성 — 크기별 선택 기준

Qwen 3.5는 단일 모델이 아닙니다. 2026년 3월 2일 기준, 아래와 같은 크기로 공개되어 있습니다. (출처: GitHub Qwen3.5 공식 리포, 2026.03.02)

MoE 계열과 Dense 계열은 성격이 다릅니다. 35B-A3B는 전체 파라미터가 35B인데 실제 활성은 3B뿐입니다. 이게 좋기만 한 것은 아닌데, 다음 섹션에서 실제 코딩 작업 결과를 보면 왜 그런지 드러납니다.

▲ 목차로 돌아가기

실제 코딩 작업에서 벌어지는 일

APEX Testing이라는 독립 벤치마크는 70개 실제 GitHub 리포지토리를 대상으로 버그 수정·리팩터·신규 구현 등을 테스트했습니다. 결과를 보면 생각과 다른 부분이 있습니다.

397B 모델이 마스터 레벨 태스크에서 급락한 이유는 멀티파일 연계 작업입니다. 여러 파일에 걸쳐 수십 스텝을 이어가야 하는 상황에서 맥락을 잃어버리는 경향이 있다고 테스트 운영자가 직접 밝혔습니다. (출처: r/LocalLLaMA APEX Testing 게시물, 2026.02.25)

더 눈에 띄는 건 35B-A3B입니다. 전체 파라미터는 35B로 더 크지만, 실제 활성이 3B에 불과해 멀티스텝 에이전트 작업에서 27B Dense 모델에 밀립니다. 크기 숫자만 보고 선택하면 손해를 볼 수 있는 지점입니다.

반면 단순한 “버그 수정”이나 “엔드포인트 추가” 수준의 작업에서는 27B도 충분하다는 평가가 나옵니다. 복잡도에 따라 모델 선택 전략이 달라져야 하는 이유입니다.

▲ 목차로 돌아가기

로컬에서 돌릴 때 실제로 막히는 지점

InfoWorld이 RTX 5060(VRAM 8GB), 32GB RAM 시스템에서 Qwen 3.5 소형 모델들을 실측 테스트했습니다. 9B, 4B 모델을 LM Studio + VS Code Continue 플러그인 조합으로 실제 코드베이스에 붙여봤는데, 이 과정에서 드러난 패턴이 있습니다. (출처: InfoWorld, 2026.03.18)

이 문제는 모델 자체의 능력보다 로컬 하드웨어의 메모리 제약에서 기인하는 경우가 많습니다. 클라우드 버전은 이론상 262,144 토큰 컨텍스트를 전부 쓸 수 있지만, 소비자용 GPU에서는 VRAM과 컨텍스트 길이를 맞바꿔야 합니다.

실측 결과, 9B@q5_1(6.33GB)는 28레이어만 GPU에 올리면 너무 느리고, 레이어를 줄여서 모두 올리면 컨텍스트 길이가 짧아집니다. 9B 클로드 증류 버전(4.97GB)이 컨텍스트 16,000 토큰·32레이어 풀 오프로드가 가능해 실용적인 조합으로 평가됐습니다. 그래도 “고수준 조언을 받아 직접 구현”하는 방식이 현 시점 가장 현실적인 로컬 사용법입니다.

▲ 목차로 돌아가기

벤치마크가 말하지 않는 실전 한계

공식 벤치마크에서 Qwen 3.5는 IFBench 76.5, MathVision 88.6, OmniDocBench1.5 90.8 등 인상적인 수치를 보입니다. 그런데 Artificial Analysis Intelligence Index 기준으로 오픈 웨이트 모델 중 3위(GLM-5, Kimi K2.5에 이어)에 위치합니다.

APEX Testing 커뮤니티에서 지적된 구체적인 한계가 두 가지 있습니다. 첫째, Qwen 3.5-27B는 마스터 태스크 테스트 중 테스트 스위트만 실행해보고 “이미 구현됨”으로 선언한 뒤 종료하는 꼼수를 시도했습니다. 25개 이상 모델 중 이걸 시도한 건 이 모델뿐이었고, 테스트 설계를 수정해야 했습니다. (출처: r/LocalLLaMA APEX Testing, 2026.02.25)

둘째, 벤치마크 프레임워크 민감도 문제입니다. 같은 모델이라도 Claude Code, OpenCode, Droid 같은 에이전트 프레임워크 차이로 점수가 두 배 이상 달라지는 사례가 실측으로 확인됩니다. 단일 벤치마크 점수를 전체 능력의 척도로 보기 어려운 이유가 여기 있습니다.

컨텍스트 윈도우도 짚어야 합니다. Claude Sonnet 4.6은 1M 토큰(약 1,500 A4 페이지)인 반면 Qwen 3.5는 262K(약 393 A4 페이지)입니다. (출처: Artificial Analysis, 2026.03 기준) 초장문 처리가 핵심인 작업이라면 이 차이가 실제로 제약이 됩니다.

▲ 목차로 돌아가기

자주 나오는 질문 5가지

▲ 목차로 돌아가기

마치며

Qwen 3.5를 처음 봤을 때 “397B짜리 모델을 공짜로 쓸 수 있다”는 것만 눈에 들어왔습니다. 그런데 직접 자료를 뜯어보니 중요한 건 397B가 아니라 17B였습니다. 추론 한 번에 활성화되는 파라미터가 17B라는 게 이 모델의 비용 구조를 결정하고, 동시에 특정 복잡도 이상에서 한계가 생기는 원인이기도 합니다.

공식 벤치마크가 인상적인 건 사실입니다. IFBench 76.5, 디코딩 속도 8.6배, 비용 60% 절감 — 수치만 보면 합리적인 선택입니다. 그런데 마스터 레벨 멀티파일 코딩 작업에서 ELO가 1,194로 내려가고, 로컬에서 도구 사용 시 반복 실패가 생기는 현실도 있습니다. 두 가지를 같이 알고 쓰는 게 낫습니다.

결론적으로 — API로 쓸 거라면 397B-A17B가 현재 오픈소스 진영에서 가장 가성비 좋은 선택지 중 하나입니다. 로컬 실행이 목적이고 단일 GPU 환경이라면 27B Dense가 더 현실적입니다. 숫자보다 실제 활성 파라미터와 태스크 복잡도를 기준으로 선택하는 게 맞습니다.

📚 본 포스팅 참고 자료

1. Qwen 공식 블로그 — Qwen3.5: Towards Native Multimodal Agents (2026.02.15)
2. GitHub QwenLM/Qwen3.5 공식 리포지토리 (2026.03.02 업데이트)
3. eWeek — Alibaba Launches Qwen3.5 AI Model With 60% Lower Costs, 8x Throughput (2026.02.17)
4. InfoWorld — I ran Qwen3.5 locally instead of Claude Code (2026.03.18)
5. Artificial Analysis — Claude Sonnet 4.6 vs Qwen3.5 397B A17B 비교 (2026.03)