먼저 가를 기준
결론부터 말하면, 로컬 LLM에 PDF를 넣었을 때 느려지는 이유는 모델 성능보다 문서 분할, 임베딩, 검색 방식이 맞지 않아서인 경우가 많습니다. PDF 전체를 한 번에 먹이려는 방식은 속도와 정확도를 함께 떨어뜨립니다.
먼저 가를 기준
판단 기준은 PDF를 통째로 읽힐지, 필요한 부분을 검색해서 넣을지입니다. 페이지 수, 표·이미지 비중, OCR 상태, 청크 크기, 검색 결과 개수를 먼저 정해야 답변이 가벼워집니다.
| 상황 | 판정 | 이유 |
|---|---|---|
| 갈래가 여러 개인 경우 | 시간·위치·대상 중 하나를 먼저 고릅니다 | 기준이 없으면 화면을 따라가도 마지막에 다시 갈립니다 |
| 이름이 비슷한 절차가 있는 경우 | 목적에 맞는 항목을 고릅니다 | 이름이 비슷해도 쓰임새가 다르면 대체가 안 됩니다 |
| 결과가 예상과 다른 경우 | 처음 입력한 조건부터 되짚습니다 | 대부분의 오류는 첫 조건 선택에서 생깁니다 |
| 순서 | 볼 것 | 판단 |
|---|---|---|
| 먼저 닫을 것 | 내 상황을 가르는 기준 하나 | |
| 다음에 볼 것 | 공식 화면에서 요구하는 입력값 | |
| 마지막 판단 | 다시 돌아오지 않게 남길 기록 |
실제로 갈리는 부분
실제로 갈리는 부분은 모델을 더 큰 것으로 바꾸면 PDF 질의응답이 해결된다고 생각하는 경우입니다. 검색이 부정확하면 큰 모델도 엉뚱한 문단을 보고 답하고, 문서가 크면 대기 시간만 늘어납니다.
마치며
저는 PDF 작업은 모델 욕심보다 문서 정리가 먼저라고 봅니다. 필요한 부분만 잘라 넣는 구조를 닫아야 로컬 LLM이 느린 문서 뷰어가 아니라 실제 검색 도구가 됩니다.
함께 읽을 글
Read Next:
2의 “로컬 LLM에 PDF 넣었더니 느려지는 이유, 모델보다 검색 방식 문제였다”에 대한 답변
-
[…] 로컬 LLM에 PDF 넣었더니 느려지는 이유, 모델보다 검색 방식 문제였다 […]
-
[…] 로컬 LLM에 PDF 넣었더니 느려지는 이유, 모델보다 검색 방식 문제였다 […]
댓글 남기기