AI HAT+ 2가 뭐길래 지금 주목받나

2024년 출시된 1세대 라즈베리파이 AI HAT+는 Hailo-8 기반의 컴퓨터 비전 가속기였습니다. 물체 감지·포즈 추정·장면 분류 같은 작업에는 탁월했지만, 정작 요즘 가장 핫한 LLM(대형 언어 모델)이나 VLM(비전-언어 모델)은 전혀 돌릴 수 없었습니다. 한마디로 “AI 가속기”라는 이름이 무색했죠.

그 갈증을 해결하기 위해 라즈베리파이 재단이 2026년 1월 15일 공개한 것이 바로 라즈베리파이 AI HAT+ 2입니다. 핵심은 두 가지입니다. 첫째, Hailo-10H라는 신형 NPU 탑재로 생성형 AI 추론을 직접 처리할 수 있게 됐습니다. 둘째, 8GB LPDDR4X RAM이 HAT 보드 위에 독립적으로 탑재되어 Pi 5의 메모리를 잡아먹지 않고도 1~7B 파라미터 규모의 LLM을 구동할 수 있습니다.

왜 지금 주목받는지 이해하려면 맥락을 봐야 합니다. ChatGPT API를 쓰면 한 달에 수십 달러가 나가고, 개인 데이터가 외부 서버로 전송됩니다. AI HAT+ 2는 인터넷 없이, 전력 3W 이하로, 내 데이터가 기기 밖을 나가지 않는 완전 로컬 AI를 $130(한화 약 19만원)에 구현합니다. 개인정보 보호와 비용 절감이라는 두 마리 토끼를 동시에 잡는 셈이죠.

▲ 목차로 돌아가기

핵심 사양 — Hailo-10H와 8GB RAM의 진짜 의미

Hailo-10H NPU 스펙 한눈에 보기

8GB 독립 RAM이 왜 중요한가

기존 AI HAT+는 전용 메모리가 없어서 Pi 5의 시스템 RAM을 공유해야 했습니다. LLM은 모델 가중치만 해도 수 GB이기 때문에, 공유 메모리 구조에서는 OS와 앱이 먹는 RAM까지 경쟁해야 해서 사실상 실행 불가능했습니다. AI HAT+ 2는 HAT 위에 8GB LPDDR4X RAM을 독립 탑재함으로써 Pi 5 CPU는 다른 작업을 자유롭게 수행하면서, NPU가 LLM 추론을 동시에 처리하는 구조가 됩니다.

LoRA(Low-Rank Adaptation) 기반 파인튜닝도 공식 지원됩니다. Hailo Dataflow Compiler를 사용하면 특정 도메인에 특화된 어댑터를 컴파일하고, AI HAT+ 2 위에서 커스터마이즈된 LLM을 실행할 수 있습니다. 단순히 남의 모델을 돌리는 걸 넘어, “내 데이터로 내 모델을 만드는” 단계까지 지원한다는 점이 인상적입니다.

▲ 목차로 돌아가기

초기 세팅 완전정복 — 설치부터 첫 LLM 실행까지

필요한 준비물

AI HAT+ 2를 실제로 쓰려면 라즈베리파이 5(4GB 이상, 권장 8GB)가 필수입니다. 공식 문서 기준으로 최신 Raspberry Pi OS가 설치되어 있어야 하며, PCIe Gen 3 모드 활성화와 HAT의 물리적 체결만 완료하면 OS가 Hailo-10H 모듈을 자동으로 감지합니다. 별도의 드라이버 수동 설치는 필요 없다는 점이 1세대 대비 가장 개선된 UX입니다.

hailo-ollama로 첫 LLM 실행하기

AI HAT+ 2에서 LLM을 실행하는 공식 백엔드는 hailo-ollama입니다. Hailo 개발자 존(Developer Zone)에서 내려받을 수 있으며, 프론트엔드는 브라우저 기반의 Open WebUI를 연결해 사용합니다. 설치 후 터미널에서 아래 순서를 따르면 됩니다.

# 1. OS 업데이트 및 하일로 패키지 설치
sudo apt update && sudo apt full-upgrade -y
sudo apt install hailo-all -y
# 2. PCIe Gen 3 활성화 (재부팅 필요)
sudo raspi-config  # Advanced → PCIe Speed → Gen 3
sudo reboot
# 3. Hailo-10H 인식 확인
hailortcli fw-control identify
# 4. hailo-ollama 설치 후 모델 다운로드
hailo-ollama pull qwen2:1.5b
hailo-ollama run qwen2:1.5b

출시 시점 기준으로 바로 사용할 수 있는 공식 LLM 모델은 Qwen2 (1.5B/7B), Qwen2.5-Coder (1.5B), 그리고 VLM인 Qwen2-VL (2B)입니다. 더 많은 모델이 이후 업데이트로 추가 예정이며, Hailo의 GitHub 리포지토리에서 최신 지원 모델 목록을 확인할 수 있습니다.