이 모델이 왜 지금 나왔을까요

Phi-4-reasoning-vision-15B는 2026년 3월 4일 Microsoft Foundry와 HuggingFace에 동시 공개된 오픈웨이트 멀티모달 추론 모델입니다. (출처: Microsoft Azure AI Foundry 공식 블로그, 2026.03.04) 15억 개도 아니고 150억 개 파라미터, 즉 15B짜리 모델인데도 “추론 능력”을 품고 있다는 게 핵심입니다.

배경을 보면 이해가 됩니다. 지금 AI 업계의 VLM(시각-언어 모델) 트렌드는 파라미터와 학습 데이터 규모를 키우는 방향으로 달려왔습니다. Qwen 3 VL, Gemma3, Kimi-VL 같은 경쟁 모델들은 모두 1조 토큰 이상을 학습에 씁니다. 반면 MS는 여기에 정반대 베팅을 했습니다. 데이터 양보다 데이터 품질에 집중하면 1/5 규모로도 비슷한 성능을 낼 수 있다는 것입니다.

기업 입장에서 이 모델이 흥미로운 이유가 여기 있습니다. 클라우드 GPU 비용이 실시간으로 청구되는 현실에서, 추론 속도가 빠르고 자체 서버에 올릴 수 있는 15B 오픈웨이트 모델은 단순히 “작지만 똑똑한 모델”이 아니라 TCO(총소유비용) 문제에 대한 현실적인 답이 됩니다. MIT 라이선스이기 때문에 상업적 사용에도 제약이 없습니다.

▲ 목차로 돌아가기

경쟁사보다 데이터 5배 적은데 성능이 비슷한 이유

MS 공식 기술보고서(arXiv 2603.03975, 2026.03.04)에 따르면 Phi-4-reasoning-vision-15B의 멀티모달 학습 토큰 수는 약 200B(2천억 개)입니다. 반면 Qwen 3 VL, Kimi-VL, Gemma3의 멀티모달 학습 토큰은 모두 1T(1조 개) 이상입니다. 단순 계산으로도 최소 5배 차이납니다. 이 수치가 의미하는 건 컴퓨팅 비용이 그만큼 덜 들어갔다는 것이고, 현재 성능이 경쟁력 있다면 MS의 데이터 중심 접근법이 실제로 효과가 있다는 뜻입니다.

이 방법이 새롭다기보다는, 실제로 이 정도 규모로 실행했다는 점이 다릅니다. 오픈소스 데이터를 그냥 쏟아 넣는 게 아니라 사람이 직접 검토하고 틀린 답을 최신 모델로 다시 만들었다는 건 데이터 파이프라인에 적지 않은 비용이 들어갔다는 의미이기도 합니다. 결국 “데이터 양 절약”이 곧 “데이터 정제 비용”으로 일부 전환된 구조입니다.

▲ 목차로 돌아가기

추론 모드를 켜면 AI2D 점수가 떨어집니다

이게 이 모델에서 가장 눈에 띄는 부분입니다. “추론 모델이니 추론 켜면 무조건 더 잘하겠지”라고 생각하기 쉽지만, 공식 벤치마크 수치는 다릅니다. MS가 직접 공개한 표를 보면 이렇습니다.

(출처: Phi-4-reasoning-vision-15B Technical Report, Microsoft Research, 2026.03.04)

AI2D(과학 도표 이해) 기준으로 기본 혼합 모드 84.8 → 강제 think 79.7로 5.1포인트 하락합니다. ScreenSpot v2(GUI 조작)는 강제 nothink(추론 끔) 상태에서 오히려 88.3으로 가장 높게 나옵니다. 이 수치가 말하는 건, GUI 화면을 보고 버튼을 찾는 작업은 깊이 생각할수록 오히려 느려지고 부정확해진다는 것입니다.

개발자 관점에서 실용적인 의미는 이렇습니다. 프롬프트에 <think> 토큰을 무조건 붙이는 방식으로 쓰면 이미지 캡셔닝이나 GUI 작업에서 응답이 느려지고 정확도도 낮아집니다. 과제 성격에 따라 think/nothink를 구분해서 써야 이 모델의 실제 성능을 끌어낼 수 있습니다.

▲ 목차로 돌아가기

수학 데이터 늘렸더니 컴퓨터 조작 성능도 올랐습니다

MS 연구팀이 5B 프록시 모델로 실험한 결과가 기술보고서에 공개돼 있는데, 여기서 예상 밖의 발견이 나옵니다. 수학·과학 데이터 양을 3배로 늘렸더니(150K → 450K) 수학 성능만 오른 게 아니라 컴퓨터 사용(CUA) 벤치마크도 같이 올랐습니다. (출처: arXiv 2603.03975, Table 4)

(출처: Phi-4-reasoning-vision-15B Technical Report, arXiv 2603.03975, Table 4)

수학 데이터를 3배 늘린 상태에서 CUA 데이터를 추가로 늘리니 ScreenSpot-V2(GUI 조작) 점수가 48.2에서 63.1로 14.9포인트 뛰었습니다. 이게 의미하는 건 수학적 추론 능력이 GUI 화면을 ‘분석적으로 읽는’ 능력과 연결된다는 것입니다. 단순히 버튼 위치를 찾는 게 아니라 화면의 구조를 논리적으로 파악하는 데 수학 데이터가 기반 역할을 한다는 실증 결과입니다.

이 결과는 AI 모델 학습 데이터를 구성할 때 도메인 칸막이를 없애야 한다는 시사점을 줍니다. 수학 데이터는 수학 성능에만 쓰인다는 통념이 이 실험에서 깨집니다. MS 팀 자체도 이 발견에 대해 “CUA와 수학 추론을 하나의 모델에서 동시에 우수하게 달성하는 게 가능하다는 걸 보여줬다”고 직접 언급합니다.

▲ 목차로 돌아가기

실제로 어디에 쓰면 괜찮고 어디서 걸리나요

공식 모델 카드(HuggingFace, 2026.03.04)에 명시된 사용 제한 조건을 먼저 짚고 가는 게 맞습니다. 이 모델은 기본적으로 영어 데이터로 학습됐습니다. 영어 외 언어에서는 성능이 저하됩니다. 한국어 문서나 한국어 인터페이스 스크린샷을 다루는 작업에는 성능 보장이 없습니다. 공식 문서에 “영어 이외 언어에서 열화된 성능이 나올 수 있으며, 다국어 사용이 지원 대상이 아니다”라고 명시돼 있습니다. (출처: Phi-4-reasoning-vision-15B Model Card, HuggingFace, 2026.03.04)

반대로 이 모델이 실제로 강한 영역은 정해져 있습니다. GUI 화면에서 버튼·메뉴·텍스트 필드 같은 인터랙티브 요소를 찾아내는 ScreenSpot-v2에서 88.2점을 기록했고, 이건 3.5B 파라미터짜리 Kimi-VL-A3B(89.8)와 거의 동급입니다. 15배 무거운 Qwen3-VL-32B(93.7)와 5.5포인트 차이밖에 안 납니다. 추론 비용 대비 성능이 실질적으로 경쟁력이 있는 구간입니다.

MathVista 기준으로는 75.2점으로, 동급 크기 경쟁 모델인 Gemma-3-12b(57.4)보다 17.8포인트, 이전 세대 자사 모델 Phi-4-mm-instruct(50.5)보다는 무려 24.7포인트 높습니다. 시각적 수학 문제 풀이 용도라면 현재 15B 이하 모델 중 가장 실용적인 선택지 중 하나입니다.

▲ 목차로 돌아가기

Qwen3-VL-32B와 수치로 직접 비교해봤습니다

공식 벤치마크 수치를 그대로 옮겨 격차를 확인해봅니다. Qwen3-VL-32B(32K 컨텍스트, nothink 모드 기준)와 Phi-4-reasoning-vision-15B(기본 혼합 모드) 비교입니다. 파라미터 기준으로 32B vs 15B, 약 2배 차이가 납니다. (출처: Phi-4-reasoning-vision-15B Technical Report, 2026.03.04)

(출처: Phi-4-reasoning-vision-15B Technical Report, Microsoft Research, 2026.03.04 / MS 내부 평가 기준)

AI2D와 ChartQA에서는 파라미터 2배 차이 모델과 격차가 1포인트 이내입니다. 도표·차트 이해 용도라면 15B 모델로도 충분히 경쟁이 됩니다. 반면 MMMU(멀티분야 종합 이해)는 54.3 대 70.6으로 16.3포인트 격차가 벌어집니다. 여러 분야를 넘나드는 복합 이해 능력에서는 파라미터 차이가 실제로 드러납니다.

포브스 분석(Forbes, 2026.03.06)에서는 이를 두고 “기업이 특정 워크로드 요구사항에 모델 능력을 맞추는 전략이 필요하다”고 지적합니다. 만능 모델을 찾기보다 용도를 먼저 정한 다음 모델을 고르라는 현실적인 조언입니다. 이 모델이 MMMU에서 약한 이유는 단일 이미지 기반 복합 추론보다 지식의 너비가 요구되는 과제이기 때문이고, 이건 데이터 양이 아니라 구성에서 오는 한계입니다.

▲ 목차로 돌아가기

자주 물어보는 것들

▲ 목차로 돌아가기

마치며

Phi-4-reasoning-vision-15B를 정리하면, 잘하는 것과 못하는 것이 명확하게 구분되는 모델입니다. GUI 조작·차트·도표 이해에서는 자기 무게급을 훌쩍 넘는 성능을 보이지만, 다국어와 넓은 분야 종합 이해(MMMU)에서는 32B 모델과 격차가 현실적으로 존재합니다.

가장 실용적인 포인트는 추론 제어입니다. think를 무조건 켜는 게 아니라 과제에 따라 모드를 선택해야 실제 성능이 나옵니다. 공식 수치가 이걸 증명합니다. AI2D에서 강제 추론이 오히려 5포인트를 깎아먹는다는 건 단순한 에러가 아니라 설계 의도가 있는 결과입니다.

MIT 라이선스 오픈웨이트라는 점도 무시하기 어렵습니다. 자체 GPU 서버를 운영하거나 엣지 디바이스에 멀티모달 추론 기능을 올려야 하는 시나리오에서, 이 모델은 현재 시점 가장 진지하게 고려할 수 있는 선택지입니다. 한국어 지원 부재는 명확한 한계이고, 이 부분은 사용 전에 반드시 검증이 필요합니다.

▲ 목차로 돌아가기

본 포스팅 참고 자료

1. Microsoft Azure AI Foundry 공식 블로그 — Introducing Phi-4-Reasoning-Vision to Microsoft Foundry (2026.03.04)
2. Microsoft Research 공식 블로그 — Phi-4-reasoning-vision and the lessons of training a multimodal reasoning model (2026.03.04)
3. Phi-4-reasoning-vision-15B 공식 기술보고서 — arXiv 2603.03975 (2026.03.04)
4. HuggingFace 공식 모델 카드 — microsoft/Phi-4-reasoning-vision-15B
5. Forbes — Microsoft Builds A Compact AI Model That Decides When To Think (2026.03.06)