5분의 1 데이터로 같은 성능? 수치로 확인한 핵심 이유

Phi-4-reasoning-vision-15B는 총 200억(200B) 토큰의 멀티모달 데이터로 학습됐습니다. 반면 Qwen3-VL, Kimi-VL, Gemma3는 각각 1조(1T) 토큰 이상을 사용했습니다. (출처: Microsoft Research 공식 블로그, 2026.03.04)

숫자만 보면 “당연히 성능도 낮겠지”라는 생각이 드는데, 직접 확인해보면 이게 그렇지 않습니다. 비결은 양이 아니라 데이터 처리 방식에 있었습니다. 연구팀은 오픈소스 데이터셋을 그대로 쓰지 않고, 각 데이터셋마다 5~10분씩 수작업으로 검수해 오답이 달린 문항은 GPT-4o와 o4-mini로 재생성하고, 이미지 자체가 불량한 데이터는 통째로 제외했습니다. (출처: arXiv 2603.03975, 2026.03.04)

실제로 이 팀이 “놀라울 정도로 많은 수의 서식·논리 오류”를 수정했다고 보고서에 적시했습니다. 업계에서 표준 학습 자료로 통용되는 오픈소스 데이터셋에 그만큼 오류가 많다는 의미이기도 합니다.

▲ 목차로 돌아가기

생각을 켜면 오히려 점수가 떨어지는 구간이 있습니다

이 부분이 가장 흥미로운 포인트입니다. AI 모델이 “천천히 생각하면 더 정확하다”는 게 최근 추론 모델의 공식처럼 굳어 있는데, Phi-4-reasoning-vision은 그 공식이 항상 성립하지 않는다는 걸 공식 수치로 보여줍니다.

기본 모드(혼합 추론)에서 ChartQA 점수는 83.3점입니다. 그런데 추론 모드를 강제로 켜면 82.9점으로 소폭 내려갑니다. ScreenSpot-v2에서는 기본 88.2점인데 thinking 강제 시 88.1점으로 역시 약간 낮아집니다. 반면 MathVerse에서는 기본 44.9점에서 추론 강제 시 53.1점으로 올라갑니다. (출처: HuggingFace 모델카드, microsoft/Phi-4-reasoning-vision-15B, 2026.03.04)

공식 기술보고서에는 추론 데이터 비율이 전체의 약 20%라고 명시돼 있습니다. “이 20/80 비율이 모든 태스크에서 최적임을 보장하지는 않는다”고 팀 스스로 한계를 인정했습니다. 솔직히 좋은 태도라고 봅니다.

▲ 목차로 돌아가기

수학 데이터를 늘렸더니 화면 인식 점수도 올랐습니다

공식 기술보고서에 들어간 내부 실험 결과가 꽤 뜻밖입니다. 수학 데이터를 150K에서 450K로 3배 늘리면서 컴퓨터 사용(CUA) 데이터는 450K로 고정했더니, MathVista 점수가 37.4→38.9로 오를 뿐 아니라 ScreenSpot-V2 점수가 48.2→63.1까지 뛰었습니다. (출처: arXiv 2603.03975 Table 4, 2026.03.04)

수학 공부를 더 시켰는데 화면을 더 잘 읽게 됐다는 셈입니다. 연구팀의 해석은 이렇습니다. 수학적 추론 데이터가 쌓이면 세밀한 시각 요소를 단계별로 분석하는 능력 자체가 올라가기 때문에, 도메인이 다른 태스크에도 긍정적인 영향을 준다는 것입니다.

▲ 목차로 돌아가기

경쟁 모델과 점수를 직접 비교한 표

아래 수치는 팀이 직접 재현 평가한 결과입니다. 모든 평가를 temperature=0.0, greedy decoding, 최대 4,096 토큰 출력 기준으로 진행했고, 리더보드 인용이 아니라 직접 측정값임을 공식 발표에서 명시했습니다. (출처: HuggingFace 모델카드, 2026.03.04)

OCR 점수(76.0)는 Qwen3-VL-8B(89.2) 대비 상당히 낮습니다. 정밀 문자 인식이 핵심인 서비스라면 이 부분을 실사용 전에 직접 테스트해보는 게 맞습니다.

▲ 목차로 돌아가기

이 모델이 확실히 안 되는 조건 3가지

공식 모델카드(HuggingFace)에 명시된 한계입니다. 좋은 점만 보다 보면 나중에 당황하는 경우가 생기기 때문에 짚고 넘어갑니다.

▲ 목차로 돌아가기

개발자라면 실제 사용 전 알아야 할 설정

공식 모델카드 기준으로 확인한 실행 환경과 주의사항입니다. 막상 쓰려고 보면 이 부분에서 막히는 경우가 많습니다.

필수 소프트웨어 버전: torch ≥ 2.7.1 / transformers ≥ 4.57.1 / vllm ≥ 0.15.2(vLLM 사용 시). 현재 시점 기준으로 꽤 최신 버전이 필요하기 때문에, 기존 환경이 구버전이라면 충돌이 날 수 있습니다.

GPU 환경: NVIDIA A6000, A100, H100, B200에서 테스트됐으며, bf16 정밀도로 vLLM 서버에서 운영하는 것을 공식 권장합니다. 학습 당시 GPU는 NVIDIA B200 240대, 기간은 4일이었습니다. (출처: HuggingFace 모델카드, 2026.03.04)

추론 모드 수동 제어: 모델이 추론 여부를 자동으로 판단하지만, 필요할 경우 응답 앞에 <think> 또는 <nothink> 토큰을 붙여 강제할 수 있습니다. 단, 앞서 설명했듯 강제 thinking이 항상 유리하지는 않습니다.

HuggingFace, GitHub, Azure AI Foundry 세 채널 모두에서 받을 수 있고, 라이선스는 MIT입니다. 상업적 사용이 가능하지만 Microsoft의 Responsible AI 지침을 따르는 것이 권장됩니다.

▲ 목차로 돌아가기

❓ Q&A 5가지

▲ 목차로 돌아가기

마치며 — 총평

Phi-4-reasoning-vision-15B를 공식 자료를 기준으로 뜯어보니, 결국 핵심 메시지는 하나입니다. “데이터의 규모보다 데이터의 품질이 먼저다.” 1조 토큰 이상을 쓴 경쟁 모델과 200B 토큰으로 어깨를 나란히 했다는 사실 자체가, 지금까지 AI 업계가 당연하게 여겼던 “스케일 우선” 접근에 실질적인 반례를 제시합니다.

물론 한계도 명확합니다. OCR은 Qwen3-VL-8B에 비해 확실히 약하고, 한국어 지원은 공식적으로 보장되지 않습니다. AI 에이전트로 화면을 조작하거나 수식이 포함된 이미지를 처리하는 개발자라면 실사용 테스트 가치가 충분히 있습니다. 단순 텍스트 OCR이나 비영어권 문서 분석이 주 목적이라면 다른 선택지를 먼저 살펴보는 게 더 현실적입니다.

MIT 라이선스로 무료 공개된 모델이고, 평가 로그까지 전부 공개하겠다고 약속했습니다. 숫자를 직접 돌려볼 수 있는 환경이 있다면, 벤치마크 재현부터 해보는 것도 재미있을 것입니다.

▲ 목차로 돌아가기

📚 본 포스팅 참고 자료

1. Microsoft Research 공식 블로그 — Phi-4-reasoning-vision 발표 (2026.03.04)
2. arXiv 2603.03975 — Phi-4-reasoning-vision-15B Technical Report (2026.03.04)
3. HuggingFace 모델카드 — microsoft/Phi-4-reasoning-vision-15B
4. VentureBeat — Microsoft built Phi-4-reasoning-vision-15B to know when to think (2026.03.04)
5. Microsoft Azure — Phi 모델 공식 페이지