1. GPU 단독 시대의 종말 — 추론 병목의 구조적 한계

지금까지 엔비디아 AI 추론의 기본 구조는 GPU 코어와 HBM(고대역폭 메모리)이 인터포저로 연결된 형태였습니다. 두 칩은 물리적으로 분리되어 있어서, 연산이 이루어질 때마다 데이터가 GPU와 HBM 사이를 끊임없이 왕복해야 합니다. 이 과정에서 에너지가 소모되고 지연시간(레이턴시)이 누적됩니다.

문제는 이 레이턴시가 일정하지 않다는 것입니다. 어떤 작업은 금방 끝나고, 어떤 작업은 오래 걸리다 보니 다른 작업이 기다리느라 GPU가 그냥 쉬는 상황이 생깁니다. 실제로 AI 추론 워크로드에서 GPU 연산 활용률이 30~40% 수준에 그친다는 분석이 여러 기관에서 나온 상태입니다. 비싼 장비의 절반 이상이 멍때리고 있는 셈입니다.

에이전틱 AI 시대가 본격화되면서 이 문제는 임계점을 넘었습니다. 멀티에이전트 시스템은 쉬지 않고 토큰을 생성해야 하고, OpenAI 등 주요 모델 제공사들도 “기존 시스템이 너무 느리다”고 공개적으로 불만을 표출하기 시작했습니다. 젠슨 황은 바로 이 지점을 오래전부터 인식하고 있었고, 엔비디아 파인먼 아키텍처는 그 해답으로 설계된 플랫폼입니다.

▲ 목차로 돌아가기

2. 프리필 vs 디코드 — AI 추론이 두 가지 하드웨어를 필요로 하는 이유

AI 추론을 이해하려면 두 단계를 반드시 구분해야 합니다. 프리필(Prefill)은 입력 프롬프트 전체를 한 번에 읽어서 KV 캐시를 생성하는 단계입니다. 책을 처음부터 끝까지 쭉 읽는 것과 같습니다. 이 과정은 연산(컴퓨팅)이 병목이 되며, 엔비디아의 루빈 CPX가 이를 담당하도록 설계되어 있습니다.

반면 디코드(Decode)는 응답 토큰을 단어 하나씩 순서대로 생성하는 과정입니다. 트랜스포머의 자기회귀(autoregressive) 특성상 각 토큰은 직전 토큰에 의존하기 때문에 병렬 처리가 불가능합니다. 매번 토큰을 생성할 때마다 모델의 가중치 전체를 메모리에서 읽어야 하므로, 이 단계는 메모리 대역폭과 레이턴시가 병목이 됩니다. 엄청난 연산 성능을 갖춘 GPU도 이 지점에서는 대역폭 한계에 막혀버립니다.

이것이 하나의 GPU가 모든 추론을 처리하는 구조의 근본적 한계입니다. 요리로 비유하면, 재료를 한꺼번에 손질하는 일(프리필)과 접시에 한 요소씩 담아 서빙하는 일(디코드)은 전혀 다른 작업 특성을 가집니다. 같은 주방 도구로 둘 다 처리하다 보면 어느 한쪽에서 반드시 병목이 생깁니다.

▲ 목차로 돌아가기

3. GROQ 인수의 진짜 의미 — LPU와 SRAM이 가져오는 혁신

2025년 12월 24일, 크리스마스 이브에 엔비디아는 조용히 폭탄 같은 뉴스를 내놨습니다. GROQ를 약 200억 달러(약 28조 원)에 인수한다고 발표한 것입니다. 업계에서는 오랫동안 GROQ의 LPU(언어 처리 유닛) 접근 방식이 HBM 기반 GPU에 비해 근본적으로 다른 철학을 가지고 있다는 점을 알고 있었지만, 엔비디아가 직접 인수에 나설 것이라 예상한 사람은 많지 않았습니다.

GROQ LPU의 핵심 강점은 온칩 SRAM 230MB와 결정론적(deterministic) 스케줄링에 있습니다. 일반 GPU는 작업을 처리할 때마다 수천 가지 런타임 결정을 내립니다. 언제 메모리에서 데이터를 가져올지, 스레드를 어떻게 스케줄링할지, 연산이 언제 끝나는지를 실시간으로 판단합니다. 이 유연성은 범용 연산에는 장점이지만, 고정된 순서로 토큰을 생성하는 디코드 작업에는 오히려 과잉이자 낭비입니다.

LPU는 다릅니다. 컴파일러가 모든 작업의 처리 시간을 미리 계산해두고, 매 클록 사이클마다 ‘유닛 A는 이 곱셈, 유닛 B는 이 데이터를 저 위치로 이동, 네트워크 포트는 이 패킷을 14번 칩으로 전송’과 같은 초정밀 지시를 실행합니다. GROQ LPU의 내부 SRAM 대역폭은 80TB/s로, 이를 통해 HBM의 레이턴시 불확실성 없이 토큰을 쏟아낼 수 있습니다. 젠슨 황은 실적 발표 콘퍼런스에서 “GROQ가 엔비디아를 네트워킹 회사로 만든 멜라녹스처럼, 엔비디아를 추론 인프라 회사로 바꿀 것”이라고 직접 언급했습니다.

▲ 목차로 돌아가기

4. 엔비디아 파인먼 아키텍처 — 1.6nm 시대가 열리는 2028

파인먼이란 누구인가 — 이름에 담긴 철학

엔비디아는 GPU 아키텍처에 물리학자의 이름을 붙이는 전통이 있습니다. 블랙웰(천문학자), 루빈(천문학자)에 이어 파인먼(Richard Feynman)은 양자역학과 나노기술의 아버지로 불리는 이론물리학자입니다. “충분히 작게 만들면 근본적으로 다른 세계가 열린다”고 말한 파인먼의 철학은 1nm급 공정이라는 기술적 비전과 정확히 맞아떨어집니다. 이름 선택 자체가 엔비디아의 방향성을 암시합니다.

TSMC A16 — 세계 최초 1.6nm 칩의 등장

TrendForce의 2026년 3월 13일 최신 보고서에 따르면, 파인먼은 TSMC의 A16(1.6nm) 공정을 채택한 세계 최초의 상업용 AI 칩이 될 전망입니다. TSMC는 파인먼 수요를 충족하기 위해 A16 공정의 생산 능력을 2026년 하반기부터 본격 확대할 예정입니다. 블랙웰이 이미 1000W에 육박하는 전력을 소비하는 상황에서, 파인먼은 더욱 높은 컴퓨팅 밀도를 구현하면서 동시에 전력 효율도 함께 끌어올려야 하는 과제를 안고 있습니다.

LPX 트레이 — 파인먼의 추론 전용 모듈

현재 업계에서 가장 유력하게 거론되는 파인먼의 구조는 하이브리드 컴퓨트 트레이 방식입니다. 프리필은 기존 루빈 CPX(GDDR7 기반) 트레이가 담당하고, 디코드는 GROQ LPU 256개를 탑재한 별도의 LPX 트레이가 처리합니다. GPU 랙과 LPU 랙을 분리해 조합하는 이 구조는 기존 CUDA 생태계와의 호환성을 유지하면서 LPU를 빠르게 시장에 투입할 수 있는 현실적인 경로로 평가됩니다.

더 장기적인 시나리오는 GPU와 LPU, HBM을 하나의 패키지에 통합하는 칩렛(Chiplet) 아키텍처입니다. 이는 TSMC 고급 패키징 기술의 성숙을 전제로 하며, 파인먼 세대 이후에 본격화될 가능성이 높습니다. GTC 2026 키노트에서 얼마나 구체적인 그림이 공개될지가 핵심 관전 포인트입니다.

※ 루빈 이후 일정은 TrendForce·TradingKey 자료 기반 추정이며, GTC 2026 이후 공식 발표로 변동될 수 있습니다.

▲ 목차로 돌아가기

5. 공급망 지각변동 — TSMC·삼성·인텔이 모두 연관된 이유

TSMC — 파인먼의 핵심 생산 파트너

파인먼의 GPU 코어는 TSMC A16(1.6nm) 공정에서 생산될 전망입니다. TSMC는 이미 A16 양산 능력을 2026년 하반기부터 본격적으로 확대하고 있습니다. 파인먼 생산이 가져올 패키징·테스팅 수요 증가는 대만 OSAT(외주 반도체 조립·테스트) 기업들에게 직접적인 수혜로 이어질 것입니다. 이렇게 보면 파인먼은 단순한 AI 칩이 아니라 대만 반도체 생태계 전반을 흔드는 ‘공급망 이벤트’라고 할 수 있습니다.

삼성 — LPU 생산·HBM4·GDDR7의 트리플 수혜 시나리오

삼성과 GROQ는 오랜 협력 관계를 이어왔습니다. 2023년에 삼성 SF4X(4nm) 공정으로 차세대 LPU 생산 계약을 맺었고, 2025년 6월에는 삼성 4nm 기반 GROQ LPU가 실제 출시되기도 했습니다. SRAM 중심 설계는 TSMC 최첨단 공정이 필수가 아닌 구조입니다. SRAM은 공정 미세화의 이점을 상대적으로 적게 받기 때문에, 삼성 4nm 공정으로도 충분한 성능을 발휘할 수 있습니다. 여기에 루빈 GPU용 HBM4 공급과 루빈 CPX용 GDDR7 납품까지 더해지면, 삼성은 파운드리·HBM·GDDR 세 방향에서 동시에 수혜를 볼 수 있는 구도가 형성됩니다. 물론 아직 확정된 내용이 아니므로 GTC 2026 이후를 주목해야 합니다.

인텔 — 의외의 복병 등장

Wccftech 보도에 따르면, 엔비디아는 파인먼의 I/O 다이를 인텔 14A 또는 18A 공정과 EMIB 고급 패키징 방식으로 생산하는 방안을 검토 중입니다. GPU 코어 자체는 TSMC에 집중하되, 덜 복잡한 I/O 다이는 인텔에 분산함으로써 공급 리스크를 헤징하는 전략입니다. 이는 파운드리 경쟁에서 고전하던 인텔에게 뜻밖의 기회가 될 수 있으며, AI 칩 생태계가 단일 파운드리 의존에서 벗어나려는 신호로도 해석됩니다.

▲ 목차로 돌아가기

6. GTC 2026 이후의 판세 — 투자자·개발자·기업이 주목해야 할 포인트

① 투자자 관점 — 공급망 종목의 분기점

엔비디아의 GPU 세대 교체는 역사적으로 공급망 전반에 걸쳐 강력한 투자 촉매 역할을 해왔습니다. GTC 2024에서 블랙웰 발표 이후 HBM 관련 종목이 수개월간 상승 흐름을 보인 것이 대표적입니다. 파인먼은 아직 2028년 제품이지만, GTC 2026에서 아키텍처 윤곽이 공개되는 순간부터 TSMC 패키징 기업, HBM4 생산사, 냉각·전원 솔루션 업체들의 주문이 구체화되기 시작합니다. 발표 당일 공식 자료를 직접 확인하는 것이 가장 정확한 판단 근거입니다.

② 개발자 관점 — CUDA 생태계는 유지되는가

개발자들이 가장 우려하는 부분은 GROQ LPU의 컴파일러 복잡성입니다. GROQ의 VLIW 아키텍처는 컴파일러가 모든 작업을 미리 스케줄링해야 하기 때문에, 기존 CUDA 코드베이스와 호환성이 제한적입니다. 엔비디아는 이를 해결하기 위해 하이브리드 트레이 방식을 선택한 것으로 보입니다. 개발자 입장에서는 기존 CUDA 코드가 얼마나 투명하게 LPX 트레이를 활용하도록 자동화될지가 가장 중요한 질문이며, 이에 대한 답이 GTC 2026에서 나올 것입니다.

③ 기업 CTO 관점 — 인프라 업그레이드 시점 결정

현재 대규모 AI 인프라를 운영 중인 기업의 CTO라면 파인먼 발표 이후 중대한 결정을 내려야 합니다. 루빈(2026년 하반기)을 지금 당장 도입할지, 아니면 파인먼(2028년)까지 기다릴지의 선택입니다. 저의 관점으로는, 현재 추론 워크로드가 많은 기업은 루빈 도입을 서두르되, 추론 레이턴시가 비즈니스의 핵심 경쟁력인 기업은 파인먼 로드맵을 면밀히 추적해야 합니다. 2028년이 먼 것 같지만, AI 인프라 계획 주기는 이미 3~4년 단위로 돌아가고 있습니다.

▲ 목차로 돌아가기

Q&A — 자주 묻는 질문 5가지

▲ 목차로 돌아가기

마치며 — 총평

엔비디아 파인먼은 단순히 ‘더 빠른 GPU’가 아닙니다. AI 추론의 두 단계를 서로 다른 하드웨어로 분리하고, GROQ LPU의 결정론적 SRAM 아키텍처로 디코드 레이턴시 문제를 근본적으로 해결하려는 시도입니다. 이는 블랙웰에서 루빈으로의 세대 교체와는 차원이 다른 패러다임 전환입니다.

개인적으로, 이번 파인먼 발표가 가장 흥미로운 이유는 기술 자체보다도 젠슨 황이 어떤 프레이밍으로 스토리를 풀어낼 것인가에 있습니다. “멜라녹스가 엔비디아를 네트워킹 회사로 만들었다”는 비유처럼, 파인먼이 엔비디아를 단순한 GPU 회사에서 AI 추론 인프라 기업으로 탈바꿈시키는 서사의 첫 장이 될 것입니다. 2028년이 멀게 느껴질 수도 있지만, AI 시대에서 2년은 산업 구조 자체를 바꾸는 시간입니다. 지금 이 글을 읽은 여러분이 GTC 2026 키노트를 볼 때, 적어도 ‘파인먼이 왜 중요한지’를 아는 상태로 시청할 수 있기를 바랍니다.

▲ 목차로 돌아가기