AI가 지어낸 판례, 법정에서 쌓여 가는 벌금과 기각

변호사가 법원에 낸 준비서면에 판례 15건과 판결문 인용 8개가 적혀 있었다. 상대방 변호사가 찾아보니 그런 판례는 세상에 없었다. AI가 그럴듯하게 지어낸 것이었다. 이 일로 변호사들은 약 11만 달러의 벌금과 비용을 물었고, 의뢰인은 소송 자체를 잃었다. 2023년 처음 화제가 된 “AI 가짜 판례” 문제는 이제 하루에도 여러 건씩 법원에 등장하는 일상이 됐다.

무슨 일이 있었나

사건의 무대는 미국 오리건주 남부의 한 가족 포도원이다. 조앤 쿠브레트는 포도원 운영권을 두고 두 남동생을 상대로 1,200만 달러 규모의 소송을 냈다. ABA Journal 보도에 따르면 원고 측은 약식 판결 단계에서 낸 준비서면 세 건에 존재하지 않는 판례 15건과 지어낸 인용 8개를 넣었다.

더 큰 문제는 대응이었다. 상대방이 오류를 지적하자 원고 측 변호사는 가짜 내용을 슬쩍 지우고 서류를 다시 냈다. 판사는 이를 “은폐 시도”라고 봤다. 상대방은 AI로 서류 초안을 만든 사람이 의뢰인 본인일 가능성이 높다고 주장했고, 원고 측은 반박하지 않았다. 판사는 “여러 번의 해명 기회에도 침묵한 것이 많은 것을 말해 준다”고 썼다.

판사는 이 사건을 AI 오용 제재 사례 가운데 “정도와 규모 모두에서 악명 높은 예외”라고 표현했다. 소송은 다시 제기할 수 없는 방식으로 기각됐다. 의뢰인은 항소할 계획이라고 밝혔다.

왜 이런 일이 생겼나

AI가 판례를 지어내는 이유는 환각 현상과 같다. 언어 모델은 사실을 검색해 오는 것이 아니라 그럴듯한 다음 문장을 만들어 낸다. 판례 이름, 사건 번호, 판결문 문장은 형식이 정해져 있어서 모델이 특히 그럴듯하게 흉내 내기 쉽다. 진짜처럼 보이는 가짜가 나오기 가장 좋은 조건이다.

그래서 해법은 AI를 쓰지 않는 것이 아니라 확인하는 것이다. 이번 판결도 변호사들이 판례가 살아 있는지 확인하는 기본 도구조차 쓰지 않았다는 점을 지적했다.

사건은 얼마나 늘었나

법률 연구자 다미앵 샤를로탱이 만든 AI 환각 판례 데이터베이스는 법원이 AI 환각 자료 사용을 인정하거나 사실상 인정한 결정을 모은다.

이 수치는 데이터베이스를 인용한 외부 집계에서 가져온 것이다. 반년 사이 두 배 넘게 늘어난 셈이다. 미국 사례만 보면 변호사 없이 직접 소송하는 당사자가 약 60%, 변호사가 약 40%를 차지한다는 분석도 있다. 출발점으로 꼽히는 2023년 미국 Mata v. Avianca 사건의 벌금이 5,000달러였던 것과 비교하면, 제재 수위도 크게 높아졌다.

AI가 틀린 것을 만들어 낸 책임은 결국 그 결과물을 제출한 사람이 진다. 법원은 “AI가 그랬다”를 변명으로 받아 주지 않는다.

확인된 것과 아직 모르는 것

• 금액은 출처마다 조금 다르다. 11만 달러로 보도한 곳과 약 10만 9,700달러로 집계한 곳이 있다. 벌금과 상대방 변호사 비용을 합친 금액이다.
• 누가 AI를 썼는지는 확정되지 않았다. 의뢰인이 썼을 가능성이 제기됐지만 어떤 AI 도구였는지는 밝혀지지 않았다.
• 최종 결론은 아니다. 의뢰인이 항소 의사를 밝혀 상급심 판단이 남아 있다.
• 집계는 실제보다 적을 수 있다. 데이터베이스는 법원이 문제를 짚은 결정만 모은다. 걸러지지 않고 지나간 사례는 포함되지 않는다.

정리

AI가 지어낸 판례는 이제 드문 해프닝이 아니라 매일 법원에 나타나는 문제가 됐다. 오리건 포도원 사건은 확인을 건너뛰고 은폐까지 시도하면 벌금을 넘어 소송 자체를 잃을 수 있다는 점을 보여 줬다. 업무에 AI를 쓰는 조직이라면, 결과물을 누가 어떻게 확인하는지부터 정해 두는 것이 가장 현실적인 대비로 보인다.