IT / 법률
AI 에이전트 법적 책임, 누가 지는 걸까요?
AI 에이전트가 계약을 잘못 체결하거나 환각(Hallucination)으로 잘못된 정보를 안내했을 때, 그 AI 에이전트 법적 책임은 개발사일까요, 도입 기업일까요, 아니면 사용자일까요? 결론부터 말씀드리면, 대부분의 실제 책임은 AI를 직접 도입한 기업에 집중됩니다. 에어캐나다 챗봇 판례가 이미 그것을 증명했고, 한국 AI기본법과 EU AI Act는 이 구조를 법제화하는 방향으로 움직이고 있습니다.
“AI는 우리 책임 아닙니다” — 에어캐나다가 법원에서 진 이유
2024년 2월, 캐나다 민사 해결 재판소는 에어캐나다에 손해배상을 명령했습니다. AI 고객 서비스 챗봇이 유가족 할인 정책을 잘못 안내했고, 고객 제이크 모팻은 그 안내를 믿고 항공권을 구매했습니다. 에어캐나다 측 항변은 이랬습니다. “챗봇은 별개의 독립적인 법적 주체이며, 웹사이트에 게시된 공식 약관이 우선한다.” (출처: 캐나다 민사 해결 재판소 판결, 2024.02.)
재판소는 이 주장을 전면 기각했습니다. 판결의 핵심은 이렇습니다. “챗봇은 기업 웹사이트의 일부이며, 기업은 챗봇이 제공하는 정보의 정확성에 전적인 책임이 있다.” 챗봇이 독자적으로 틀렸어도, 그것을 운영한 기업의 책임이라는 뜻입니다. AI를 별도 법인으로 주장할수록 법원은 더 강하게 도입 기업 책임을 인정하는 경향이 나왔습니다.
💡 공식 판결문과 기업의 실제 주장을 같이 놓고 보면 이런 구조가 보입니다 — AI 면책을 주장할수록 오히려 도입 기업 책임이 더 선명해집니다. (출처: 법무법인 로앤에이 AI 법적 완결성 분석, 2026)
AI가 계약을 체결하면 법적으로 유효한가요?
2026년 현재 법제 기준에서, AI 에이전트가 인간의 직접 개입 없이 체결한 계약은 원칙적으로 유효합니다. ‘전자적 대리인 이론’이 이미 여러 법제에 반영되어 있고, 법원은 AI의 오류를 시스템 도입 기업의 귀책사유로 보아 계약 이행이나 손해배상을 인정하는 방향으로 판단합니다. (출처: 법무법인 로앤에이 PDF, 2026.02.)
그렇다면 AI가 환각으로 틀린 정보를 바탕으로 계약을 체결했다면 어떻게 될까요? 민법상 ‘착오에 의한 취소’를 주장할 수 있을 것 같지만, 실제 법원 태도는 다릅니다. AI의 오류는 시스템 도입자의 기술적 실패로 봐서 착오 취소가 아닌 손해배상 책임으로 다루는 경향이 강합니다. 틀렸어도 계약은 유효하고, 손해만 물어줘야 하는 구조입니다.
| 상황 | 기업의 기대 | 실제 법원 판단 경향 |
|---|---|---|
| 챗봇이 잘못된 정보 안내 | AI 책임이므로 기업 면책 | 기업 전적 책임 (에어캐나다 판례) |
| AI 에이전트가 잘못된 계약 체결 | 착오로 취소 가능 | 계약 유효 + 손해배상 의무 |
| AI가 약관과 다른 안내 | 약관 우선 적용 주장 | AI 안내 기준 이행 의무 발생 |
표: 법무법인 로앤에이 분석 자료, Baker Donelson 2026 AI Legal Forecast 재구성
책임은 어떻게 쪼개지나 — 3단계 레이어 모델
AI 사고가 발생했을 때 책임은 세 단계로 분산됩니다. 법무법인 로앤에이의 분석(2026.02.)에 따르면 구조는 아래와 같습니다. 레벨1은 개발사(알고리즘 결함, 학습 데이터 편향, 보안 취약점), 레벨2는 도입 기업(에이전트 설정 오류, 관리·감독 소홀), 레벨3는 최종 사용자(비정상 프롬프트 입력, 안전 수칙 미준수)입니다.
핵심은 이겁니다. 에어캐나다 판례를 포함해 실제 대고객 책임의 대부분은 레벨2, 즉 AI를 도입해서 운영한 기업에서 발생합니다. 개발사의 알고리즘 결함이 있었더라도, 도입 기업이 감독·설정·검증을 제대로 하지 않았다면 도입 기업이 1차 피해자 대응 책임을 집니다. 그 뒤에 개발사에 구상권을 청구하는 구조입니다.
💡 기존 블로그들은 “개발사 vs 사용자” 구도로 설명하지만, 실제 법적 부담은 중간의 도입 기업에 가장 크게 쌓입니다. 이 부분을 모르고 AI를 도입하면 계약서 한 줄이 수천만 원 손해로 이어집니다. (출처: Baker Donelson, 2026 AI Legal Forecast, 2026.01.06.)
한국 AI기본법, 사람이 개입하면 면책된다는 조항의 함정
2026년 1월 22일 시행된 한국 AI기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)은 한국에서는 세계 두 번째로 만들어진 포괄적 AI 규제법입니다. (출처: 과학기술정보통신부 공식 보도, 2026.01.21.) 법 제33조에서 고영향 AI를 규정하는데, 대출 심사·채용·의료·범죄수사 등 개인의 삶에 중대한 영향을 미치는 영역에서 쓰이는 AI가 여기에 해당합니다.
그런데 시행령에 중요한 단서 조항이 있습니다. “최종 의사결정 과정에 사람이 개입하는 경우는 통제 가능한 것으로 판단해 고영향 AI 대상에서 제외된다.” (출처: 과기정통부 AI기본법 시행 보도, 2026.01.21.) 처음에는 기업 부담을 줄여주는 조항처럼 보입니다. 그러나 뒤집어보면 이렇습니다.
💡 시행령 텍스트와 실제 운영 흐름을 같이 놓고 보니 이런 역설이 보였습니다.
“사람 개입”을 면책 설계의 도구로 활용할 수 있습니다. 예를 들어 AI가 대출 심사 점수를 내도, 최종 버튼을 사람이 누르도록 UI를 설계하면 고영향 AI 규제 의무에서 벗어날 수 있습니다. 기업 입장에서는 운영 설계 전략이 되지만, 소비자 입장에서는 실질적 보호 공백이 됩니다.
이 조항은 계도 기간(최소 1년) 이후 정식 집행이 시작되는 시점에 다시 해석 논란이 불거질 가능성이 있습니다. 지금 AI를 도입 중이라면, 이 단서 조항에 의존한 설계가 나중에 법률 리스크로 돌아올 수 있다는 점을 염두에 두는 게 좋습니다.
EU AI Act가 기업에 실제로 요구하는 것
EU AI Act는 2026년 8월 2일부터 고위험 AI 시스템에 관한 모든 의무가 전면 적용됩니다. (출처: LegalNodes EU AI Act 2026 Updates, 2026.02.21.) 금융·채용·의료·교육 분야의 AI 에이전트는 고위험(High-risk) AI로 분류되어, 시장 출시 전 적합성 평가를 통과해야 하고 EU 데이터베이스에 등록해야 합니다.
위반 시 제재 수준이 GDPR을 초과합니다. 최대 과징금은 전 세계 연 매출의 7% 또는 3,500만 유로(약 525억 원) 중 높은 금액입니다. (출처: LegalNodes, 2026.02.21.) 이탈리아는 이미 2025년 10월 자체 AI법(Law No. 132/2025)으로 AI 생성 딥페이크 불법 배포 시 1~5년 징역까지 규정했습니다. 단순 과태료가 아닙니다.
여기서 많은 사람이 놓치는 부분이 있습니다
EU가 당초 추진하던 AI 책임 지침(AI Liability Directive)은 2026년 현재 공식 철회된 상태입니다. (출처: Bird & Bird, AI Liability in light of the new 2024 PLD, 2026.02.17.) 기업들은 “EU AI Act가 있으니 책임 프레임이 완성됐겠지”라고 생각하기 쉽습니다. 막상 확인해보면 AI가 비계약적 손해(non-contractual harm)를 일으켰을 때 적용되는 전용 책임 규정이 EU 수준에서는 아직 없습니다. 대신 개정된 제조물 책임 지침(PLD)이 소프트웨어를 제품으로 분류해 일부 보완하고 있지만, 자율형 에이전트의 복잡한 행동 전체를 다루기에는 한계가 있습니다.
💡 AI Act 과징금 수치는 많이 알려졌지만, AI 책임 지침 철회로 생긴 ‘보호 공백’ 문제는 거의 다뤄지지 않았습니다. EU에서 AI 에이전트 피해를 입은 피해자가 손해배상을 받으려면 기존 제조물 책임법 틀 안에서 AI 결함을 증명해야 하는데, 이게 기술적으로 매우 어렵습니다. (출처: Bird & Bird 분석, 2026.02.17.)
지금 AI 에이전트를 쓰고 있다면 바로 점검할 것들
법무법인 로앤에이 분석과 Baker Donelson의 2026 AI 법적 전망을 교차해서 보면, 실무적으로 지금 당장 해야 할 것들이 보입니다. 이 부분은 대부분의 블로그에서 “중요하다”고만 쓰고 넘어가는 부분인데, 실제 적용 방식까지 정리해봤습니다.
① 벤더 계약서에 “자율 행동 + 환각”에 대한 면책 조항이 있는지 확인하세요
Baker Donelson은 AI 에이전트 도입 시 공급사 계약서에 자율 행동과 환각(hallucination)으로 인한 재산 손실에 대한 면책 조항이 명시적으로 포함되어야 한다고 강조합니다. (출처: Baker Donelson 2026 AI Legal Forecast, 2026.01.06.) 일반적인 소프트웨어 SLA에는 이 조항이 빠져 있는 경우가 많습니다. 즉, 지금 AI 에이전트를 쓰고 있다면 계약서에 “자율적 에러”와 “환각”이 명시돼 있는지 확인이 필요합니다.
② 사용 중인 AI가 한국 AI기본법상 생성형 AI인지 확인하세요
ChatGPT API, Claude API, Gemini API 등을 제품·서비스에 붙여서 제공하는 기업은 AI 활용 사실을 사용자에게 사전 고지해야 합니다. 생성형 AI 결과물에는 워터마크 표시 의무도 있습니다. (출처: 과기정통부 AI기본법 공식 시행 보도, 2026.01.21.) 계도 기간(최소 1년)이 있지만, 이 기간 중에도 인명사고·인권 침해 등 중대한 사건이 발생하면 사실 조사를 합니다.
③ 킬 스위치를 설계 단계에서 만들어 두세요
AI기본법 시행령 점검 항목에는 “인간이 AI 작동을 즉시 중단할 수 있는 킬 스위치(Kill Switch) 구현”이 포함됩니다. 이게 없으면 고영향 AI 판단 기준에서 불리하게 작용할 수 있습니다. 기획 단계부터 반영하는 게 나중에 추가하는 것보다 비용이 훨씬 낮습니다. (출처: 법무법인 로앤에이 AI 도입 전 필수 점검 항목, 2026.02.)
Q&A
Q1. AI 에이전트가 계약을 잘못 체결했을 때 무조건 기업 책임인가요?
원칙적으로 그렇습니다. 전자적 대리인 이론에 따라 AI 에이전트가 체결한 계약은 도입 기업이 체결한 것으로 간주됩니다. AI의 환각이나 설정 오류는 도입 기업의 귀책사유로 판단되는 경향이 있으며, 에어캐나다 판례(2024.02.)가 대표적인 선례입니다. 다만 개발사의 알고리즘 결함이 명확히 입증되면 개발사에 구상권을 청구할 수 있습니다.
Q2. 한국 AI기본법에서 고영향 AI로 분류되면 어떤 의무가 생기나요?
AI 활용 사실을 사용자에게 사전 고지해야 하고, 사용자가 AI 판단 근거를 요청할 경우 설명해야 합니다. 생성형 AI 결과물에는 워터마크 표시도 의무입니다. (출처: 과기정통부 공식 보도, 2026.01.21.) 의료·채용·대출 심사 등 고영향 영역이라면 추가로 시행령 세부 기준을 확인해야 합니다. 계도 기간(최소 1년)이 있지만, 중대한 사회적 피해가 발생하면 예외 없이 사실 조사가 들어옵니다.
Q3. EU AI Act 과징금은 한국 기업에도 적용되나요?
EU 시장에 AI 제품·서비스를 제공하거나 EU 내에서 AI 출력물이 사용된다면 한국 기업도 적용 대상입니다. EU AI Act는 서비스 제공자가 EU 밖에 있어도 EU 내 이용자에게 영향을 미치면 적용됩니다. (출처: LegalNodes EU AI Act 2026 Updates, 2026.02.21.) 글로벌 SaaS나 B2B 서비스를 EU에 제공하는 기업은 2026년 8월 2일 전까지 적합성 평가를 완료해야 합니다.
Q4. “사람이 최종 결정을 누른다”고 설계하면 고영향 AI를 피할 수 있나요?
한국 AI기본법 시행령 기준으로는 최종 의사결정에 사람이 개입하면 고영향 AI 대상에서 제외될 수 있습니다. (출처: 과기정통부 AI기본법 공식 보도, 2026.01.21.) 그러나 이 접근은 법적으로 허용되더라도 실질적 책임을 완전히 없애지는 않습니다. AI가 추천한 결과를 사람이 검토 없이 승인하는 구조라면, 향후 해석 과정에서 “실질적 사람 개입”으로 인정받지 못할 수 있습니다. 이유는 아직 공개된 가이드라인에서 명확히 정의되지 않은 부분입니다.
Q5. AI 에이전트를 쓰다 사고가 나면 어떤 순서로 대응해야 하나요?
첫째, AI 에이전트의 행동 로그를 즉시 확보하고 보존해야 합니다. 로그가 없으면 사실 관계를 입증하기 어려워 불리해집니다. 둘째, 벤더 계약서의 면책 조항과 손해배상 범위를 확인합니다. 셋째, AI기본법 시행 이후에는 중대 사고 발생 시 관할 기관에 보고 의무가 생길 수 있으므로, 내부 사고 대응 프로토콜을 미리 만들어 두어야 합니다. (출처: Baker Donelson Recommended Actions, 2026.01.06.; 법무법인 로앤에이 실무 가이드, 2026.02.)
마치며
AI 에이전트 법적 책임 구조를 정리하고 보니, 핵심은 두 가지입니다. 첫째, 개발사가 아닌 도입 기업이 실제 1차 책임의 집중 지점입니다. 에어캐나다 판례도, 3단계 레이어 모델도 이 방향을 가리킵니다. 둘째, 법 조항의 표면적 읽기와 실제 운영 결과 사이에는 상당한 간극이 있습니다. 한국 AI기본법의 “사람 개입 시 면책” 조항이 대표적입니다.
지금 AI 에이전트를 도입 중이거나 검토 중이라면, 기술적 가능성보다 먼저 계약서의 면책 조항, 로그 보존 체계, 킬 스위치 설계를 챙기는 게 순서입니다. 이 세 가지가 없으면 나중에 손해는 가장 취약한 위치에 있는 기업이 오롯이 뒤집어쓰게 됩니다.
이 글의 판단 기준이 되는 규제 환경은 계속 변화 중입니다. EU AI Act 전면 적용(2026.08.02.)을 앞두고 각국 국내법 전환이 진행 중이며, 한국 AI기본법도 시행령 세부 가이드라인이 보완될 예정입니다.
📚 본 포스팅 참고 자료
- 과학기술정보통신부 공식 보도 — 인공지능기본법 2026.01.22 시행 (korea.kr)
- Baker Donelson — 2026 AI Legal Forecast: From Innovation to Compliance (bakerdonelson.com)
- LegalNodes — EU AI Act 2026 Updates: Compliance Requirements and Business Risks (legalnodes.com)
- 법무법인 로앤에이 — 인공지능 비즈니스의 법적 완결성: 자율형 에이전트와 글로벌 인증 전략 (lawandadvisors.com)
- Bird & Bird — AI Liability in light of the new 2024 PLD (twobirds.com)
- Jurisconsul — Agentic law in the European Union: Governing autonomous AI agents (jurisconsul.com)
본 포스팅은 공개된 공식 자료와 법률 분석 자료를 바탕으로 작성된 정보 제공용 콘텐츠입니다. 개별 사안에 대한 법률 자문이 아니며, 구체적인 법적 판단은 전문가와 별도로 확인하시기 바랍니다. 본 포스팅 작성 이후 서비스 정책·UI·기능이 변경될 수 있습니다. 한국 AI기본법 세부 가이드라인 및 EU AI Act 국내법 전환 내용은 계속 업데이트될 예정입니다.
댓글 남기기