AI 데이터센터의 불편한 진실: GPU가 남아돌아도 느린 이유

현재 전 세계 AI 데이터센터(AIDC)에서 가장 뜨거운 화두는 GPU 증설이 아니라 연결 구조의 비효율입니다. 대부분의 기업이 AI 모델 성능을 높이려면 GPU를 더 사야 한다고 생각하지만, 실제 현장에서는 GPU가 유휴 상태로 방치되는 시간이 전체의 30~40%에 달하는 경우도 있습니다.

그 이유는 간단합니다. 현재 AI 데이터센터의 서버 구조는 CPU·GPU·메모리가 서버 단위로 물리적으로 고정돼 있기 때문입니다. 한 서버에서 메모리가 부족하면 같은 랙(Rack) 안의 다른 서버에 여유 메모리가 있어도 공유가 불가능합니다. 결과적으로 메모리가 모자라면 메모리만 추가하는 것이 아니라, 불필요한 GPU까지 묶음으로 구매해야 하는 비효율이 반복됩니다.

이 구조적 한계는 AI 모델 규모가 커질수록 더욱 심각해집니다. 대규모 언어모델(LLM)이나 멀티모달 AI는 학습·추론 과정에서 수백 기가바이트에서 수 테라바이트에 달하는 메모리를 순간적으로 요구합니다. 이 수요를 서버 단위의 고정 구조로 감당하려면 천문학적 비용이 따라옵니다.

▲ 목차로 돌아가기

메모리 월(Memory Wall)이란 무엇인가?

‘메모리 월’은 CPU나 GPU가 아무리 빨라져도, 데이터를 공급하는 메모리의 속도와 용량이 따라오지 못해 전체 시스템 성능이 병목에 걸리는 현상을 말합니다. 이 개념은 1990년대부터 컴퓨터 과학계에서 논의됐지만, AI 시대에 들어서 그 심각성이 폭발적으로 커졌습니다.

왜 AI 시대에 더 심각해졌나?

기존 컴퓨팅 작업은 연산 자체가 주된 부담이었습니다. 하지만 AI 학습과 추론은 성격이 다릅니다. GPU는 초당 수천 조 번의 연산을 처리할 수 있지만, 그 연산을 위해 메모리에서 데이터를 불러오는 속도가 이를 받쳐주지 못하면 GPU는 그냥 대기 상태에 빠집니다. 쉽게 말해 엔진은 F1급인데 주유 파이프가 경유차 수준인 셈입니다.

특히 트랜스포머(Transformer) 기반 대형 AI 모델은 어텐션(Attention) 메커니즘 특성상 모델 파라미터 전체를 반복해서 메모리에서 읽어야 합니다. 70B(700억 파라미터) 모델 하나를 추론하는 데 필요한 메모리는 최소 140GB를 넘어서고, 이 데이터를 GPU가 기다리는 동안 연산 효율은 급격히 떨어집니다.

기존 해결책의 한계

지금까지 업계는 메모리 월 문제를 두 가지 방법으로 해결해왔습니다. 첫째는 HBM(High Bandwidth Memory)처럼 GPU 바로 옆에 초고속 메모리를 붙이는 방식이고, 둘째는 GPU를 NVLink 등으로 묶어 분산 처리하는 방식입니다. 하지만 HBM은 GPU당 탑재 가능한 용량에 물리적 한계가 있고, 분산 처리는 노드 간 통신 오버헤드가 발생합니다. 이 두 방법 모두 비용이 기하급수적으로 증가하는 문제를 해결하지 못했습니다.

▲ 목차로 돌아가기

CXL(Compute eXpress Link) 완전 해설

CXL(컴퓨트 익스프레스 링크)은 CPU·GPU·메모리·가속기 등 서로 다른 컴퓨팅 자원을 하나의 일관된 고속 통신 프로토콜로 연결하는 차세대 인터커넥트 표준입니다. 인텔이 2019년에 처음 제안했으며, 현재는 삼성전자, 엔비디아, AMD, 구글, 알리바바 등이 참여하는 CXL 컨소시엄이 표준을 관리하고 있습니다.

CXL의 핵심 개념: 서버 벽을 허물다

기존 서버는 CPU, GPU, 메모리가 하나의 서버 박스 안에 갇혀 있습니다. CXL을 적용하면 이 경계가 사라집니다. 랙(Rack) 단위에서 모든 CPU, GPU, 메모리를 하나의 자원 풀(Pool)로 묶고, 각 연산 작업이 필요한 만큼만 자원을 빌려 쓸 수 있습니다. 마치 클라우드의 가상화 개념을 물리적 하드웨어 레벨에서 구현한 것과 같습니다.

CXL 버전별 발전 과정

CXL이 메모리 월을 해결하는 방식

▲ 목차로 돌아가기

SKT × 파네시아 MOU: 구조를 바꾸면 무엇이 달라지나

2026년 3월 4일, MWC 2026이 열린 스페인 바르셀로나에서 SK텔레콤과 국내 스타트업 파네시아(Panmnesia)가 ‘CXL 기반 차세대 AI 데이터센터 구조’ 공동 개발을 위한 업무협약(MOU)을 체결했습니다. 이것이 단순한 기업 간 협약 이상의 의미를 갖는 이유는, CXL AI 데이터센터라는 개념이 글로벌 수준의 상용화 단계에 진입하고 있다는 신호이기 때문입니다.

파네시아는 어떤 회사인가?

파네시아는 CXL 관련 글로벌 최고 수준의 기술력을 보유한 국내 팹리스(반도체 설계 전문) 스타트업입니다. 핵심 제품은 두 가지입니다. 첫째, 패브릭 링크 스위치는 다수의 CPU·GPU·메모리를 중앙에서 연결하여 데이터 흐름을 통합 관리하는 장치입니다. 둘째, 링크 컨트롤러는 각 장치에 내장되어 CXL 프로토콜로 통신할 수 있게 만드는 반도체입니다. 파네시아는 2025년 11월 PCIe 6.4·CXL 3.2를 지원하는 패브릭 스위치 샘플까지 공개하면서 기술적 선도성을 입증했습니다.

SKT와 파네시아가 만들려는 AI DC의 구조

기존 AI 데이터센터에서 GPU 협업 연산은 이더넷 네트워크를 거쳐 이뤄졌습니다. 이 과정에서 데이터를 복사하고 소프트웨어가 개입하는 지연이 발생했습니다. 양사는 이 경로를 CXL 기반 패브릭 스위치로 대체합니다. 복잡한 소프트웨어 없이 메모리 접근 동작만으로 데이터를 고속 전송하는 구조입니다.

구체적인 로드맵은 다음과 같습니다. 2026년 하반기까지 실제 AI 모델을 구동하며 GPU·메모리 활용률, 지연시간, 처리량을 종합 검증합니다. 이후 연말에 차세대 AI DC 구조를 공식 발표하고, 2027년부터 대형 AI 데이터센터를 대상으로 상용화에 나설 계획입니다.

▲ 목차로 돌아가기

구글·엔비디아도 뛰어든 CXL 생태계 현황

CXL AI 데이터센터는 더 이상 연구소 수준의 개념이 아닙니다. 2026년 현재, 글로벌 빅테크들이 실전 배치에 나서면서 CXL은 AI 인프라의 핵심 표준으로 자리를 잡아가고 있습니다.

구글의 실전 배치

디인포메이션 보도에 따르면 구글은 자사 데이터센터에 CXL 컨트롤러를 실제 배치하기 시작했습니다. 서버 CPU와 대규모 외부 메모리 풀 간 트래픽을 CXL로 조정하는 방식입니다. 구글이 움직이기 시작했다는 사실은 업계 전반에 CXL 도입을 가속시키는 신호로 해석됩니다. 이미 비슷한 행보를 보이는 클라우드 업체들이 나타나고 있습니다.

엔비디아의 전략적 행보

엔비디아는 2026년 하반기 출시 예정인 차세대 CPU ‘베라(Vera)’에서 CXL 3.1을 공식 지원할 예정입니다. 엔비디아가 CXL을 자사 제품에 통합한다는 사실은, AI 가속기 시장의 절대 강자가 이 기술의 미래를 공식적으로 인정한 것과 같습니다. 업계 전문가들은 엔비디아의 베라 CPU가 CXL의 가장 큰 규모 실전 테스트가 될 것이라고 평가합니다.

삼성전자와 SK하이닉스의 대응

국내 메모리 반도체 양대 산맥도 CXL에 적극적으로 대응하고 있습니다. 삼성전자는 이미 레드햇이 인증한 CXL 인프라를 구축했으며, CXL 기반 메모리 모듈 개발에 박차를 가하고 있습니다. SK하이닉스는 CXL 2.0 기반 D램 솔루션인 CMM-DDR5 96GB 제품의 고객 인증을 완료했습니다. 한국이 메모리 반도체 강국이라는 점에서 CXL 생태계에서도 유리한 위치를 점할 가능성이 높습니다.

▲ 목차로 돌아가기

CXL vs HBM: 경쟁인가, 협력인가

CXL이 주목받으면서 “HBM이 대체되는 것 아니냐”는 질문이 많아졌습니다. 결론부터 말씀드리면, CXL과 HBM은 경쟁 기술이 아니라 상호 보완적인 기술입니다. 역할이 근본적으로 다릅니다.

HBM의 역할과 한계

HBM(High Bandwidth Memory)은 GPU 다이 바로 위에 적층되어 초고속 대역폭을 제공하는 메모리입니다. GPU의 연산 속도를 실시간으로 따라가야 하는 가장 ‘가까운’ 메모리로, 현재 엔비디아 H100/H200 등에 필수 탑재됩니다. 단점은 물리적 공간 한계로 인해 GPU당 탑재 가능한 용량이 제한적(현재 최대 288GB 수준)이라는 점입니다.

CXL이 채우는 공간

CXL은 HBM이 채우지 못하는 ‘더 넓은 메모리 공간’을 담당합니다. AI 모델이 작업하는 전체 데이터셋과 중간 결과물을 저장하는 대용량 메모리 계층에서 CXL은 서버 간 경계를 허물어 필요한 만큼 확장 가능하게 만듭니다. 이상적인 구조는 HBM이 초고속 연산을 처리하고, CXL로 연결된 대용량 메모리 풀이 데이터를 공급하는 계층형 메모리 아키텍처입니다.

▲ 목차로 돌아가기

2026년 CXL AI 데이터센터의 시사점과 전망

CXL AI 데이터센터의 등장은 단순히 하나의 기술 표준이 바뀌는 것이 아닙니다. AI 인프라 산업 전체의 경쟁 방식을 바꾸는 패러다임 전환입니다. 이 변화가 가져올 시사점을 몇 가지 관점에서 정리해보겠습니다.

① AI 인프라 비용 구조의 변화

현재 AI 데이터센터 구축 비용의 70% 이상을 GPU가 차지합니다. CXL 기반 구조가 확산되면 기존 GPU를 더 효율적으로 활용할 수 있어, 같은 성능을 더 낮은 비용으로 달성하는 것이 가능해집니다. GPU를 무작정 늘리는 ‘하드웨어 군비 경쟁’에서 ‘소프트웨어 + 인터커넥트 최적화’ 경쟁으로 전략의 축이 이동합니다.

② 한국 메모리 반도체 산업의 기회

CXL은 D램과 연산 장치를 연결하는 기술인 만큼, 메모리 강국인 한국에는 분명한 기회입니다. 삼성전자와 SK하이닉스가 CXL 지원 메모리 모듈을 적극적으로 개발하고 있고, 파네시아처럼 CXL 인터커넥트 반도체를 설계하는 국내 스타트업도 글로벌 주목을 받고 있습니다. SKT와 파네시아의 협약이 단순한 국내 통신사와 스타트업의 협력을 넘어 글로벌 AI DC 표준 경쟁에서 한국의 입지를 높이는 전략적 행보로 읽히는 이유입니다.

③ CXL 확산의 현실적 장벽

낙관적인 전망만 늘어놓는 것은 정직하지 않습니다. CXL은 여전히 몇 가지 현실적 장벽이 있습니다. 우선 기존 서버 인프라와의 호환성 문제가 있습니다. CPU, GPU, 메모리, 네트워크 장비가 모두 같은 CXL 버전을 지원해야 하는데, 이를 한꺼번에 교체하려면 상당한 투자가 필요합니다. 또한 CXL을 이더넷 대비 빠른 대역폭으로 구현하기 위한 지연(Latency) 문제도 아직 완전히 해결된 것은 아닙니다. 구글조차 완전히 안착시키지 못한 기술이라는 점을 감안하면, 2026~2027년은 본격 확산의 초입 단계로 보는 것이 현실적입니다.

▲ 목차로 돌아가기