Qwen3.5-9B가 뭐길래 세계가 놀랐나

Qwen3.5-9B는 알리바바 클라우드 Qwen 팀이 2026년 2월 말~3월 초에 걸쳐 공개한 소형 네이티브 멀티모달 언어 모델입니다.
핵심 시리즈는 0.8B·2B·4B·9B 네 가지로 구성되며, 그 중 9B 모델이 이번 주 글로벌 AI 커뮤니티에서 가장 뜨거운 화제를 몰고 있습니다.

이 모델이 이례적인 이유는 단순히 “성능이 좋다”는 수준을 넘어서기 때문입니다.
공식 허깅페이스 페이지와 VentureBeat 보도에 따르면, Qwen3.5-9B는 파라미터 수 기준으로 자신보다 13.5배 큰 OpenAI의 오픈소스 모델 gpt-oss-120B를
대학원 수준 추론 벤치마크인 GPQA Diamond(81.7 vs 80.1)와 멀티언어 지식 평가(MMMLU 81.2 vs 78.2)에서 앞질렀습니다.
AI 교육자 Paul Couvert는 “이게 어떻게 가능한 거냐(How is this even possible?!)”며 X(구 트위터)에서 충격을 표했습니다.

무엇보다 실용적인 강점은 접근성입니다. 허깅페이스와 ModelScope에 가중치가 공개됐고, Apache 2.0 라이선스라 기업·개인 모두 로열티 없이 상업적으로 쓸 수 있습니다.
M1 맥북 에어 같은 일반 노트북에서도 로컬 실행이 가능하다는 점이 개발자 커뮤니티에서 입소문을 타고 있습니다.

▲ 목차로 돌아가기

하이브리드 아키텍처: 왜 9B가 120B를 이겼나

Qwen3.5-9B의 성능 비결은 효율적 하이브리드 아키텍처(Efficient Hybrid Architecture)에 있습니다.
기존 트랜스포머 구조에서 벗어나, 두 가지 핵심 기술을 결합했습니다. 첫째는 Gated Delta Networks(선형 어텐션의 일종)이고,
둘째는 희소 MoE(Mixture-of-Experts)입니다.

Gated Delta Networks — 메모리 장벽을 깬 핵심

일반적인 트랜스포머는 입력 길이가 길어질수록 메모리 사용량이 기하급수적으로 늘어나는 “메모리 장벽” 문제가 있습니다.
Gated Delta Networks는 이 문제를 선형 연산으로 해결해 추론 속도를 크게 높이고, 긴 컨텍스트에서도 지연이 최소화됩니다.
덕분에 기본 컨텍스트 창이 262,144 토큰(약 26만 토큰), YaRN 스케일링 적용 시 최대 1,010,000 토큰(약 100만 토큰)까지 확장됩니다.
A4 용지 약 2,000페이지 분량의 문서를 한 번에 처리할 수 있는 셈입니다.

네이티브 멀티모달 — 나중에 붙인 게 아닙니다

기존 많은 모델들은 텍스트 모델에 비전 인코더를 “나중에 추가(bolted-on)”하는 방식을 썼습니다.
Qwen3.5-9B는 처음부터 이미지·텍스트·비디오 토큰을 동시에 학습하는 얼리 퓨전(Early Fusion) 방식으로 설계됐습니다.
이 덕분에 화면 UI 요소 읽기, 영상 속 객체 카운팅 같은 작업을 기존 동급 모델 대비 월등히 잘 수행합니다.

RL 기반 에이전트 훈련 — 백만 개 환경에서 단련됐습니다

단순 지도학습을 넘어, 백만 개(million-agent) 규모의 에이전트 환경에서 강화학습(RL)을 수행했습니다.
이를 통해 모델은 점점 복잡해지는 멀티스텝 목표를 달성하는 “인간 수준의 판단력”을 갖추게 됩니다.
현실 세계에서의 적응성이 단순 벤치마크 점수보다 더 중요한 이유가 여기 있습니다.

▲ 목차로 돌아가기

벤치마크 성적표 완전 해부

숫자가 모든 것을 말하지는 않지만, Qwen3.5-9B의 벤치마크 성적은 단순히 좋은 수준을 넘어 “이게 어떻게 가능하지?” 하는 반응을 이끌어냈습니다.
XDA Developers는 “26개 벤치마크 중 Qwen3.5-9B가 10개 분야에서 1위를 차지했고, 전반적으로 GPT-OSS-120B보다 우위”라고 보도했습니다.

다만 공정하게 짚어야 할 부분이 있습니다. “Towards Deep Learning” 분석에 따르면,
Qwen3.5-9B는 MoE 아키텍처 덕분에 총 파라미터는 9B이지만 실제 추론 시 활성화되는 파라미터는 더 많습니다.
즉, “13배 작다”는 표현은 총 파라미터 기준이며, 실제 연산 비용 차이는 13배보다 훨씬 줄어듭니다.
그럼에도 불구하고 노트북 수준의 하드웨어로 실행할 수 있다는 실용적 가치는 부정할 수 없습니다.

▲ 목차로 돌아가기

로컬 설치 완전 가이드 (Ollama·vLLM)

Qwen3.5-9B는 클라우드 API 없이도 내 컴퓨터에서 직접 실행할 수 있습니다.
가장 쉬운 방법은 Ollama, 고성능 서빙이 필요하다면 vLLM을 추천합니다.

방법 1: Ollama (가장 쉬운 방법 — 입문자 추천)

Ollama는 터미널 명령어 두 줄로 LLM을 로컬에서 실행할 수 있는 오픈소스 도구입니다.
Windows·macOS·Linux 모두 지원하며, 설치 후 아래 명령어를 실행하면 자동으로 모델을 다운로드하고 실행합니다.

# 1. Ollama 공식 사이트(https://ollama.com)에서 설치 후
# 2. 터미널에서 실행
ollama run qwen3.5:9b
# 멀티모달(이미지 처리) 사용 시
ollama run qwen3.5:9b-instruct

RAM 6GB 이상이면 기본 실행이 가능하며, GPU가 있으면 자동으로 가속됩니다.
M1/M2/M3 맥북 에어에서도 원활하게 돌아간다는 커뮤니티 보고가 다수입니다.

방법 2: vLLM (고성능 서빙 — 개발자·기업 추천)

API 서버 형태로 Qwen3.5-9B를 배포하고 싶다면 vLLM을 사용하세요.
OpenAI 호환 API를 제공해서 기존에 ChatGPT API를 사용하던 코드를 거의 수정 없이 전환할 수 있습니다.

# vLLM 나이틀리 버전 설치
pip install vllm --torch-backend=auto \
--extra-index-url https://wheels.vllm.ai/nightly
# API 서버 실행 (컨텍스트 262,144 토큰 기준)
vllm serve Qwen/Qwen3.5-9B \
--port 8000 \
--tensor-parallel-size 1 \
--max-model-len 262144 \
--reasoning-parser qwen3
# 멀티모달(이미지·비디오) 지원 시
# 위 명령어에 아래 옵션 추가:
# --media-io-kwargs '{"video": {"num_frames": -1}}'

▲ 목차로 돌아가기

실전 활용법 5가지: 직장인·개발자·크리에이터

Qwen3.5-9B가 일반 한국어 사용자에게 실질적으로 어떤 가치를 줄 수 있는지 구체적으로 정리했습니다.

▲ 목차로 돌아가기

주의사항과 솔직한 한계

Qwen3.5-9B는 분명히 뛰어난 모델이지만, 맹신하면 곤란합니다. VentureBeat과 커뮤니티 분석을 종합한 솔직한 주의사항을 정리했습니다.

① 에이전트 워크플로우의 ‘오류 연쇄’ 위험

멀티스텝 에이전트 작업에서 초반 추론 오류가 누적되면 완전히 엉뚱한 방향으로 흘러가는 “오류 연쇄(Hallucination Cascade)” 현상이 발생할 수 있습니다.
중요한 결정이 포함된 자동화 작업에는 반드시 중간 검증 단계를 삽입하는 것이 좋습니다.

② 레거시 코드 디버깅보다 신규 코드 작성에 강함

OJBench(복잡한 프로그래밍 문제) 점수는 29.2점으로 GPT-OSS-120B(41.5점)에 비해 낮습니다.
이미 존재하는 복잡한 레거시 코드를 수정하거나 디버깅하는 용도보다는, 새로운 기능을 처음부터 작성하는 “그린필드 코딩”에 더 적합합니다.

③ 중국 기업 제품 — 데이터 거주 이슈

알리바바 클라우드 API를 사용할 경우 데이터가 중국 서버를 경유합니다. 금융·의료·국방 분야의 민감 데이터 처리 시에는
반드시 Apache 2.0 오픈 가중치를 자체 서버에 직접 설치하는 온프레미스 방식을 선택해야 합니다.

④ VRAM 요구량 — “소형”이지만 만만치 않습니다

9B 파라미터라도 풀 정밀도 실행에는 약 18GB VRAM이 필요합니다. 가정용 RTX 3080(10GB)에서는 양자화 버전만 실행 가능합니다.
최고 성능을 내려면 RTX 4090(24GB) 이상이 권장됩니다.

▲ 목차로 돌아가기