AI 챗봇, 진실과 거짓 사이

구글의 인공지능 검색 응답 시스템 AI 오버뷰(Overview)가 허구의 문구를 실제 관용구처럼 해석하는 사례가 잇따르고 있다. AI 기술이 여전히 환각(hallucination) 문제에서 벗어나지 못하고 있다는 지적이 나온다.

한 사용자가 '너는 오소리를 두 번 핥을 수 없다(You can't lick a badger twice)'는 문장을 입력하자, AI 오버뷰는 이를 '한 번 속은 사람을 다시 속일 수 없다'는 의미라고 해석했다. 전혀 존재하지 않는 속담이지만 AI는 이를 진짜처럼 받아들여 그럴듯한 설명을 내놨다.

이 외에도 '물고기 없이 골프를 칠 수 없다(You can't golf without a fish)', '두 왼발로는 땅콩버터 병을 열 수 없다(You can't open a peanut butter jar with two left feet)'처럼 전혀 존재하지 않는 문장에 대해 AI는 각각 '필수 장비 없이 골프를 할 수 없다'거나 '손재주나 기술이 부족해 정교한 동작을 수행하기 어렵다'는 식으로 의미를 부여했다. 실제로 존재하지 않는 표현임에도 문맥상 가장 그럴듯한 해석을 자동으로 생성한 것이다.

이처럼 AI가 존재하지 않는 정보를 진짜처럼 만들어내는 현상은 '환각(hallucination)’이라 불리며, 생성형 AI 기술의 대표적인 한계로 지적된다.

실제 뉴스 콘텐츠를 활용한 실험에서도 환각 문제는 드러났다. 미국 하버드대 산하 언론 연구기관 니먼랩(Nieman Lab)은 2024년, 챗GPT에 주요 언론사의 단독 기사 링크를 요청하는 실험을 진행했다. 대상 언론은 AP통신(The Associated Press), 월스트리트저널(The Wall Street Journal), 파이낸셜타임스(Financial Times) 등 10곳이었다. 챗GPT는 이 요청에 존재하지 않는 URL을 제시했고, 모두 404 오류 페이지로 연결됐다. 기사 링크를 실제 검색해서 인용하는 것이 아니라, AI가 그럴듯한 주소를 추측해 만든 결과였다.

이런 환각 현상은 법조계에서도 문제가 됐다. 2023년, 미국 뉴욕에서는 변호사 스티븐 슈워츠(Steven Schwartz)와 피터 로두카(Peter LoDuca)가 챗GPT를 사용해 작성한 소송 문서에 허구의 판례를 인용해 벌금 5,000달러를 부과받았다. 챗GPT가 사실처럼 만들어낸 가짜 판례를 그대로 믿고 활용한 것이다.

AI 기술이 여전히 환각 문제에서 벗어나지 못하고 있다는 지적이 나오고 있다. 언스플래쉬

전문가들은 생성형 AI가 본질적으로 고급 자동완성 기능일 뿐이라며, 문장의 진위를 가리기보다는 가장 그럴듯한 단어를 이어붙이는 방식으로 작동한다고 지적한다. 즉, AI는 사용자의 질문을 이해하는 것이 아니라, 그에 어울릴 법한 답을 만들어내는 방식이다.

정보의 신뢰성이 중요한 분야에서는 생성형 AI에 대한 무비판적인 신뢰가 위험할 수 있다. AI가 제공하는 답이 그럴듯하게 보일지라도, 그것이 반드시 사실이라는 보장은 없기 때문이다. 따라서 사용자의 지속적인 검증과 주의가 여전히 필수적임을 명심해야 한다.