Phi-4-reasoning-vision,
생각할 때만 생각합니다

결론부터 말씀드리면, 이 모델의 핵심은 크기가 아닙니다. 15B 파라미터짜리 모델이 1조 토큰으로 훈련된 경쟁작들과 나란히 서는 이유는 딱 하나, 무엇을 학습시키느냐의 문제입니다. 그리고 그 선택의 결과가 생각보다 훨씬 날카롭게 나왔습니다.

경쟁 모델의 1/5 데이터로 어떻게 비슷한 성능이 나올까요?

Phi-4-reasoning-vision-15B는 2026년 3월 4일 마이크로소프트 리서치가 공식 발표한 오픈 웨이트 멀티모달 추론 모델입니다. 15B 파라미터에 MIT 라이선스, 그리고 HuggingFace·GitHub·Azure AI Foundry를 통해 무료로 배포됩니다. (출처: Microsoft Research 공식 블로그, 2026.03.04)

학습 데이터 양이 이 모델에서 가장 자주 거론되는 숫자입니다. 200B(2,000억) 토큰. Alibaba Qwen 3 VL, Google Gemma3, Moonshot AI Kimi-VL은 모두 1조 토큰(1T) 이상을 사용했습니다. 단순 비율로 계산하면 Phi-4가 경쟁작의 약 20%에 해당하는 데이터만 쓴 셈입니다. (출처: Microsoft Research 기술 보고서 arXiv:2603.03975, 2026.03.04)

실제로 연구팀은 각 오픈소스 데이터셋을 직접 수작업으로 검토했습니다. 데이터셋당 5~10분이면 품질을 분류할 수 있었다고 밝혔는데, 그 과정에서 “널리 쓰이는 오픈소스 데이터셋 전반에서 놀라울 정도로 많은 포맷·논리 오류를 발견했다”고 명시했습니다. (출처: arXiv:2603.03975, Section 3.1) 이 수치가 실생활에서 의미하는 것은 하나입니다. 지금 수많은 AI 모델이 품질 검증 없이 수집된 데이터를 그대로 학습하고 있을 가능성이 높다는 점입니다.

▲ 목차로 돌아가기

수학 데이터를 늘렸더니 화면 인식 성능도 올라갔습니다

이 부분이 기술 보고서에서 가장 흥미로운 실험 결과입니다. 마이크로소프트 팀은 5B 파라미터 프록시 모델로 수학/과학 데이터 비율과 컴퓨터 사용(CUA) 데이터 비율을 달리하며 성능을 측정했습니다. 상식적으로는 서로 다른 도메인의 데이터니까 한쪽을 늘리면 다른 쪽에 영향이 없어야 할 것 같습니다.

CUA 데이터를 유지한 상태에서 수학 데이터를 3배로 늘렸더니 ScreenSpot-V2(화면 UI 인식)가 48.2에서 63.1로 15%p 급등했습니다. 이 수치가 의미하는 것은, 수학적 추론 능력과 시각적 공간 인식은 별개의 능력이 아니라 깊은 층에서 공유되는 구조적 표현을 통해 함께 향상된다는 것입니다. 단순히 더 많은 스크린샷 데이터를 넣어야 화면 인식이 좋아진다고 생각했다면, 이 결과는 그 직관에 정면으로 어긋납니다. (출처: arXiv:2603.03975, Section 3.2)

▲ 목차로 돌아가기

20%만 생각하고, 나머지 80%는 바로 답합니다

현재 AI 업계의 주류 흐름은 “항상 생각하게 하자”입니다. 추론 모드(Thinking Mode)를 켜면 응답 품질이 올라간다는 경험칙 때문입니다. 그런데 마이크로소프트는 여기서 다른 선택을 했습니다.

Phi-4-reasoning-vision-15B는 훈련 데이터의 약 20%에만 <think>...</think> 추론 토큰이 포함되어 있습니다. 수학·과학처럼 단계적 추론이 유용한 도메인이 여기에 해당합니다. 나머지 80%는 <nothink> 태그로 처리해 이미지 캡션 생성, OCR, 간단한 VQA 같은 인식 중심 작업에서는 즉시 응답합니다. (출처: HuggingFace 모델 카드, microsoft/Phi-4-reasoning-vision-15B)

생각할지 말지를 모델이 자동으로 판단하게 하되, 사용자가 명시적으로 <think> 또는 <nothink> 토큰을 프롬프트 끝에 붙이면 동작 방식을 강제로 바꿀 수 있습니다. 다만 연구팀은 “어느 상황에서 어떤 모드가 더 낫냐는 아직 열린 질문”이라고 밝혔습니다. 완벽하게 정해진 규칙은 없다는 뜻입니다.

▲ 목차로 돌아가기

공식 벤치마크에서 이 부분이 걸립니다

성능이 좋다는 말은 맞지만, “어떤 기준에서 좋다”는 말을 정확히 해야 합니다. 마이크로소프트는 자체 평가를 직접 수행하고, 리더보드 숫자를 그대로 인용하지 않았다고 명시했습니다. (출처: HuggingFace 모델 카드) 이 투명성은 오히려 실제 수치의 신뢰도를 높여줍니다.

숫자를 보면 차트 이해와 UI 인식에서는 동급 8B 모델과 사실상 같은 수준입니다. 그런데 심화 수학(MathVerse)에서는 차이가 벌어집니다. Qwen3-VL-8B가 57.4, Qwen3-VL-32B는 64.2인데 Phi-4는 44.9입니다. 이 부분이 솔직히 좀 아쉬웠습니다. 사용자가 복잡한 다단계 수학 문제 풀이를 주요 목적으로 삼는다면, 파라미터 크기 차이를 데이터 효율성만으로 완전히 메우기는 아직 어렵습니다.

또한 공식 모델 카드에는 “영어 중심 학습 데이터로 훈련되었으므로 영어 이외 언어에서 성능이 저하될 수 있다”고 명시되어 있습니다. (출처: HuggingFace 모델 카드) 한국어·다국어 환경에서의 성능 격차는 현 시점에서 확인 필요 상태입니다.

▲ 목차로 돌아가기

실제로 어디에 쓸 수 있고, 어디서 멈추나요?

공식 기술 보고서에서 명시한 주요 사용 사례는 크게 두 가지입니다. 첫째는 화면 기반 에이전트(Computer-Using Agent, CUA)이고, 둘째는 수학·과학 시각 추론입니다. UI 인식 ScreenSpot v2 기준 88.2%는 데스크톱·웹·모바일 화면에서 버튼, 메뉴, 텍스트 필드를 찾아내는 성능을 측정한 결과입니다. (출처: arXiv:2603.03975)

이런 상황에서 강점이 나왔습니다

영수증·문서 텍스트 읽기(OCR), 차트에서 수치 추출, 손으로 쓴 수학 문제 풀기, 여러 이미지를 연속으로 보며 변화 파악하기, 고해상도 스크린샷에서 클릭할 UI 요소 정확히 짚어내기가 여기 해당합니다. 특히 720p(3,600 토큰) 수준의 고해상도 인코딩 덕분에 작은 버튼이나 밀집된 화면에서도 성능 저하가 제한적입니다.

막상 써보면 이 단계에서 멈춥니다

컨텍스트 길이가 16,384 토큰으로 제한되어 있습니다. 긴 문서 전체를 한 번에 처리하거나 매우 긴 대화를 유지하는 용도에는 적합하지 않습니다. 한국어를 포함한 비영어권 언어, 의료·법률·금융 전문 영역, 고위험 의사결정 시나리오에서는 추가적인 검증이 반드시 필요합니다. (출처: HuggingFace 모델 카드, ‘2.2 Out-of-Scope Use Cases’) 모델이 자신 있게 말하더라도 그 내용을 맹신하면 곤란한 상황이 생길 수 있습니다.

▲ 목차로 돌아가기

한국어 사용 환경에서 먼저 확인해야 할 것

이 부분은 기존 영어권 리뷰에서 거의 다루지 않는 시각입니다. Phi-4-reasoning-vision-15B의 훈련 데이터와 안전 평가 기준은 영어 중심으로 설계되어 있습니다. 모델 카드에는 “영어 이외 언어는 성능 저하가 예상되며, 이 모델은 다국어 사용을 지원하도록 설계되지 않았다”는 문장이 명시되어 있습니다. (출처: HuggingFace 모델 카드, Section 2.6)

실행 환경도 확인해야 합니다. HuggingFace 모델 카드에 따르면 Phi-4-reasoning-vision-15B는 NVIDIA A6000, A100, H100, B200 GPU에서 테스트됐습니다. torch >= 2.7.1, transformers >= 4.57.1이 요구됩니다. bf16 정밀도로 vLLM 서버를 통해 구동하는 방식을 공식 권장합니다. 소비자용 GPU에서의 동작은 확인 필요 상태입니다. (출처: HuggingFace 모델 카드, Section 2.5)

MIT 라이선스이므로 상업적 활용이 가능하고, 파인튜닝 코드와 벤치마크 평가 로그도 함께 공개됩니다. 한국어 특화 파인튜닝을 직접 진행하는 팀이라면 이 투명성이 큰 이점입니다. 다만 파인튜닝 없이 한국어로 바로 프로덕션에 쓰기는 어려울 수 있습니다.

▲ 목차로 돌아가기

자주 나오는 질문들

마치며 — 이게 핵심입니다

Phi-4-reasoning-vision-15B가 흥미로운 이유는 단지 “작은데 잘한다”는 말 때문이 아닙니다. 데이터 1/5로 비슷한 결과를 낸 배경에는 수작업 품질 검토, 오답 재생성, 이미지 재활용이라는 구체적인 방법론이 있습니다. 그리고 수학 데이터를 늘렸더니 화면 인식 성능까지 올라간 실험 결과는 AI 학습에 관한 통념을 실제 수치로 흔든 사례입니다.

다만 심화 수학 추론에서의 격차, 16K 컨텍스트 제한, 한국어·다국어 지원의 한계는 사용 전에 반드시 고려해야 합니다. 특히 한국어 화면이나 한국어 문서를 주로 다루는 환경이라면 직접 테스트 없이 바로 프로덕션에 투입하기는 이른 시점입니다.

MIT 라이선스와 공개된 파인튜닝 코드를 활용해 한국어 특화 버전을 만드는 것은 충분히 현실적인 선택지입니다. 이 부분이 향후 커뮤니티에서 어떻게 발전하는지 지켜볼 만합니다.

📚 본 포스팅 참고 자료

1. Microsoft Research 공식 블로그 — Phi-4-reasoning-vision (2026.03.04)
2. arXiv 기술 보고서 — arXiv:2603.03975 (2026.03.04)
3. HuggingFace 모델 카드 — microsoft/Phi-4-reasoning-vision-15B
4. VentureBeat — Microsoft built Phi-4-reasoning-vision-15B to know when to think (2026.03.04)
5. Forbes — Microsoft Builds A Compact AI Model That Decides When To Think (2026.03.06)