기술/연구

“AI한테 거짓말 가르치는 꼴” 오픈AI, 환각 현상의 진짜 원인 밝혔다

댓글 1 · 저장 0 · 편집: 이도윤 기자 발행: 2025.09.09 03:43

기사 3줄 요약

1 오픈AI, AI 환각 현상의 구조적 원인 최초 공개
2 AI, 정답 추측 장려하는 학습 방식이 거짓말 유발
3 오답에 감점 주는 새 평가 방식으로 문제 해결 제안

인공지능(AI)이 사실이 아닌 정보를 진짜처럼 말하는 ‘환각 현상’ 때문에 골머리를 앓는 사람이 많습니다. 최근 오픈AI가 이 문제의 근본적인 원인을 찾았다고 발표했습니다. AI가 똑똑하지 않아서가 아니라, 현재의 학습과 평가 방식 자체가 ‘거짓말’을 하도록 유도하고 있다는 것입니다.

AI는 왜 자꾸 거짓말을 할까?

오픈AI가 발표한 연구 논문에 따르면, AI는 정답을 맞히면 점수를 얻고 ‘모른다’고 답하면 0점을 받는 방식으로 학습됩니다. 이런 구조에서는 불확실한 상황에서도 어떻게든 답을 추측하는 것이 더 유리합니다. 이는 마치 시험에서 모르는 문제가 나왔을 때, 틀리면 감점되지만 찍어서 맞히면 점수를 얻는 것과 같습니다. AI는 방대한 데이터를 기반으로 다음 단어를 예측하도록 훈련받는데, 이 과정에서 정확한 정보가 없으면 가장 그럴듯한 내용으로 이야기를 지어내도록 길러진 셈입니다.

그럼 어떻게 해결해야 하는데?

오픈AI는 해결책으로 평가 방식의 전면 개편을 제안했습니다. 단순히 정답을 맞혔는지 보는 것을 넘어, 확신에 차서 말한 오답에는 큰 감점을 주는 방식입니다. 반대로 ‘모르겠다’는 정직한 답변에는 오히려 부분 점수를 줍니다. 실제로 이 방식을 적용했더니, AI가 모르는 질문에는 답하지 않는 ‘겸손함’을 보였습니다. 그 결과, 답변 정확도는 비슷하게 유지하면서도 오류, 즉 환각 현상은 눈에 띄게 줄어들었습니다. 오픈AI는 최신 모델인 GPT-5에 이 개념을 적용해 환각 비율을 크게 낮췄다고 밝혔습니다.

AI 거짓말, 우리가 알던 상식은 틀렸다?

이번 연구는 AI 환각에 대한 기존의 잘못된 생각들도 바로잡았습니다. 단순히 AI 모델의 정확도를 높이거나 크기를 키운다고 해서 환각이 저절로 사라지는 것이 아니라는 점을 분명히 한 것입니다. 환각은 단순한 시스템 오류가 아닙니다. ‘추측’을 장려하는 통계적 학습 방법과 평가 시스템에서 비롯된 구조적인 문제입니다. 결국 AI가 더 신뢰할 수 있는 도구가 되려면, 기술 발전뿐만 아니라 AI를 가르치고 평가하는 방식부터 근본적으로 바뀌어야 한다는 중요한 메시지를 던지고 있습니다. (사진 출처: 셔터스톡)