🧠 NPU란 무엇인가? — CPU·GPU와 결정적으로 다른 점

NPU AI PC를 이해하려면 먼저 NPU(Neural Processing Unit, 신경망 처리 장치)가 CPU·GPU와 어떻게 다른지부터 짚어야 합니다. CPU는 순차적 고정밀 연산에 강하고, GPU는 FP32 기반의 대규모 병렬 연산에 최적화되어 있습니다. 반면 NPU는 INT8(정수 8비트) 저정밀 연산에 특화된 전용 칩으로, AI 추론 작업에서 CPU 대비 압도적인 전력 효율을 발휘합니다.

쉽게 말하면 이렇습니다. GPU는 스포츠카처럼 강력하지만 기름을 엄청나게 태웁니다. 반면 NPU는 하이브리드 전기차처럼 AI 연산만큼은 조용하고 경제적으로 처리합니다. 특히 얇고 가벼운 씬앤라이트 노트북에서는 발열과 배터리 한계가 명확하기 때문에, GPU 대신 NPU로 AI 연산을 ‘오프로딩(분산)’하는 방식이 2026년 AI PC의 핵심 설계 철학이 됐습니다.

▲ 목차로 돌아가기

✅ 코파일럿+ PC의 조건 — 40 TOPS 기준이 생긴 이유

제조사마다 “AI PC”를 제각기 정의하며 혼란이 커지자, 마이크로소프트가 직접 코파일럿+ PC(Copilot+ PC)라는 공식 인증 기준을 만들었습니다. 기준은 세 가지입니다. 첫째, NPU 성능 40 TOPS 이상. 둘째, 메모리 16GB 이상. 셋째, 저장 공간 256GB 이상. 이 세 조건을 모두 충족해야만 리콜·라이브 캡션·실시간 번역·이미지 생성 등 코파일럿+ 전용 기능을 온전히 사용할 수 있습니다.

이 조건을 충족하는 현행 프로세서는 AMD 라이젠 AI 300/400 시리즈, 인텔 코어 울트라 시리즈 2·3, 퀄컴 스냅드래곤 X 엘리트·X 플러스입니다. 노트북 기능키에 코파일럿 아이콘이 있다면 코파일럿+ PC 인증 제품입니다. 2026년 현재 IDC는 전체 PC 출하량의 약 53%가 AI PC(NPU 탑재)로 구성될 것으로 전망하고 있으며, 소형 경량 노트북에는 향후 NPU가 사실상 필수 탑재 방향으로 진화할 것으로 보입니다.

▲ 목차로 돌아가기

🔬 실증 데이터: 전력 절반·속도 2배는 진짜인가

2026년 3월 11일, AMD코리아는 서울 삼성동 아셈타워에서 ‘AI PC 부트 캠프’ 행사를 열고 NPU의 실질적 성능을 직접 데모로 증명했습니다. 시연 기기는 라이젠 AI 7 350 프로세서 + 24GB 메모리를 탑재한 HP 엘리트북 6 G1a로, 특별히 비싼 워크스테이션이 아닌 일반 비즈니스 노트북을 선택한 점이 인상적입니다.

LLM 추론 테스트 — CPU 대비 NPU의 실제 수치

오픈소스 로컬 LLM 구동 소프트웨어 ‘레모네이드’로 딥시크 R1 8B 모델을 구동한 결과, CPU 단독 사용 시 전력 소모 33.20W에 초당 3.8토큰을 생성했습니다. 반면 NPU를 활용하자 전력 소모는 16.59W(절반 수준)로 줄었고, 생성 속도는 초당 6.7토큰(약 1.76배)으로 향상됐습니다. CPU+NPU+GPU 하이브리드 모드에서는 초당 7.8토큰이 나왔습니다.

이미지 생성 테스트 — GPU보다 NPU가 더 빠른 역설

스테이블 디퓨전 3.0으로 2048×2048 화소 이미지를 생성할 때, GPU 단독 사용은 296.8초가 걸렸습니다. 온도가 60도를 넘자 스로틀링(throttling, 과열 방지 성능 제한)이 발동했기 때문입니다. NPU로 작업하자 온도는 50도 내외를 유지했고, 소요 시간은 127.5초로 GPU 대비 무려 2.5배 단축됐습니다.

▲ 목차로 돌아가기

⚠️ TOPS 숫자 마케팅의 함정 — 진짜 선택 기준

AMD, 인텔, 퀄컴 모두 자사 NPU의 TOPS 수치를 경쟁적으로 올리고 있습니다. 그런데 AMD 코리아 김홍필 이사가 직접 “50 TOPS와 60 TOPS 간에 사용자가 체감할 극적인 차이는 없다”고 선을 그었습니다. 그 이유는 제조사가 발표하는 TOPS 수치가 행렬 곱셈 연산(MAC) 기준의 이론적 최대치이기 때문입니다. 실제 소프트웨어가 NPU를 얼마나 잘 활용하도록 최적화돼 있느냐가 훨씬 더 결정적입니다.

코파일럿+ PC의 40 TOPS 기준은 하한선입니다. 이 기준을 충족하면 마이크로소프트가 지원하는 모든 NPU 기반 기능을 사용할 수 있습니다. 물론 60 TOPS급은 동시 멀티태스킹 환경에서 부하 여유가 있어 유리하지만, 40~50 TOPS 제품도 현재 제공되는 코파일럿+ 기능에서는 거의 차이가 없습니다. 오히려 같은 가격대라면 메모리 용량(16GB→32GB)을 높이는 것이 AI PC 실사용에서 훨씬 체감 개선 효과가 큽니다.

▲ 목차로 돌아가기

🚀 지금 NPU로 실제로 할 수 있는 것들

“NPU가 있는 노트북을 샀는데 뭘 써야 하는지 모르겠다”는 분들이 많습니다. 솔직히 말씀드리면, 2024년에는 NPU 기반 서비스가 손에 꼽을 정도였습니다. 그러나 2026년 현재는 실생활에서 체감 가능한 기능들이 빠르게 늘어나고 있습니다. 아래가 지금 당장 NPU를 통해 작동하는 주요 기능들입니다.

• 1
  윈도우 리콜(Recall): 내가 언제 어떤 화면을 봤는지 타임라인으로 저장·검색하는 기능. 민감한 개인 데이터를 서버로 보내지 않고 NPU가 로컬에서 처리해 보안성을 확보합니다.
• 2
  라이브 캡션 + 실시간 번역: 유튜브·화상회의 음성을 실시간으로 자막 변환. 한국어→영어 실시간 번역 자막 처리도 NPU가 전담해 CPU 부하 없이 끊김 없이 작동합니다.
• 3
  윈도우 스튜디오 효과: 화상회의 배경 흐림, 자동 프레이밍, 눈 맞춤 보정 등 카메라 AI 기능을 NPU가 전담 처리해 줌·팀즈 사용 시 CPU 점유율이 크게 낮아집니다.
• 4
  코파일럿 음성인식: 마이크 입력 음성을 텍스트로 변환하는 STT(음성→텍스트) 처리를 NPU가 맡아 빠르고 배터리 소모도 적습니다.
• 5
  어도비·사이버링크 등 콘텐츠 앱: 영상 편집 시 인물 누끼 따기, 사진 AI 보정, 해상도 업스케일링 등 반복적인 AI 연산 작업을 GPU 대신 NPU가 처리해 전력 효율을 높입니다.
• 6
  로컬 LLM 구동(레모네이드 등): 인터넷 없이 PC에서 직접 딥시크 R1·라마 8B급 모델을 구동할 수 있습니다. CPU+NPU 하이브리드 모드에서 초당 7~8토큰 수준이라 실용적인 텍스트 생성이 가능합니다.

▲ 목차로 돌아가기

🔮 BitNet 1.58비트: NPU AI PC의 미래를 바꿀 게임체인저

2026년 3월 12일, 마이크로소프트는 1.58비트 양자화 기술 BitNet을 오픈소스로 공개했습니다. 이것이 왜 NPU AI PC 역사의 분기점인지 설명하겠습니다. 일반적인 AI 모델은 16비트 또는 8비트로 가중치를 저장합니다. BitNet은 이를 사실상 1~1.58비트 수준으로 압축합니다. 결과적으로 GPT-3.5급인 100B(1000억 파라미터) 규모 모델의 저장 공간이 158GB에서 20GB 수준으로 줄어들고, 시스템 메모리 요구량도 32~64GB에서 8GB 수준까지 내려갑니다.

실측 벤치마크에서도 ARM CPU 기준 기존 대비 1.37~5.07배 속도 향상과 에너지 소비 55~70% 절감이 확인됐습니다. x86 CPU에서는 2.37~6.17배 속도 향상에 에너지 71~82% 절감이라는 수치가 나왔습니다. 현재 CPU·GPU 지원이 완료됐으며 NPU 지원은 2026년 내 추가 예정입니다. NPU 최적화가 완료되면 저전력 노트북에서도 GPT 급 모델을 완전 오프라인으로 구동하는 시대가 열립니다.

▲ 목차로 돌아가기

🛒 NPU AI PC 구매 가이드 — 2026년 현실적인 선택법

지금 노트북을 새로 산다면 무조건 NPU 탑재 여부를 확인해야 합니다. IDC 전망에 따르면 2026년 전체 PC 출하량의 53% 이상이 AI PC(NPU 탑재)로 구성됩니다. 1~2년 내 구매를 고려한다면 아래 체크리스트를 기준으로 삼으시기 바랍니다.

• ①
  코파일럿+ PC 인증 여부 먼저 확인: 노트북 스펙에서 NPU 40 TOPS 이상, 메모리 16GB 이상, 저장 256GB 이상 세 조건을 동시에 만족하는지 체크합니다. 마이크로소프트 공식 코파일럿+ PC 목록에서 확인할 수 있습니다.
• ②
  TOPS 수치보다 소프트웨어 최적화 확인: 내가 주로 사용하는 앱(어도비, 줌, 팀즈, 다빈치 리졸브 등)이 해당 칩셋 NPU에 최적화되어 있는지 AMD/인텔/퀄컴 파트너사 목록에서 교차 확인합니다.
• ③
  메모리 32GB 우선: 동일 예산에서 60 TOPS NPU와 16GB 메모리 조합보다 50 TOPS NPU와 32GB 메모리 조합이 로컬 LLM 구동 시 체감 성능이 훨씬 좋습니다. 현재 로컬 AI 모델은 메모리 병목이 큰 구조입니다.
• ④
  AMD vs 인텔 vs 퀄컴: 퀄컴 스냅드래곤 X는 Arm 기반으로 기존 x86 앱 일부의 호환 문제가 있으나 배터리가 압도적입니다. AMD/인텔은 x86 호환성이 완벽하며 AMD 라이젠 AI 400이 현재 NPU 성능 최상위 x86 노트북 칩입니다.
• ⑤
  BitNet 향후 지원 감안한 미래 대비: 2026년 내 BitNet NPU 지원이 추가되면 현재 코파일럿+ 기준을 충족하는 노트북이 로컬 AI 활용도 면에서 대폭 향상됩니다. 코파일럿+ PC 기준 충족 제품을 선택하면 향후 업데이트 효과를 그대로 받을 수 있습니다.

▲ 목차로 돌아가기