AI 답변, 짧게 요약해달랬더니 '가짜 정보'가 술술? 충격 연구!

AI 챗봇에게 간결한 답변을 요구하는 것이 오히려 ‘그럴듯한 가짜 정보’ 즉, ‘환각’ 현상을 늘릴 수 있다는 충격적인 분석이 나왔습니다. 이는 단순한 추측이 아니라, 인공지능(AI) 개발 분야에서 심각하게 받아들여야 할 도전 과제입니다. 프랑스의 AI 테스트 전문 회사인 Giskard AI의 연구 결과와 다른 전문가들의 의견을 종합해 이 문제를 자세히 살펴보겠습니다.

AI 안전을 지키는 프랑스 회사, Giskard AI는 뭐 하는 곳?

Giskard AI는 프랑스에 본사를 둔 인공지능 테스트 회사로, AI 시스템의 안전성, 신뢰성, 성능을 평가하고 테스트하는 데 특화되어 있습니다. 이들의 주요 목표는 AI 시스템의 투명성과 신뢰도를 높여, 다양한 산업 분야에서 AI 기술이 책임감 있게 사용되도록 돕는 것입니다. 마치 AI 세계의 ‘안전 문지기’ 같은 역할을 한다고 볼 수 있습니다. Giskard AI는 주로 ‘블랙박스 테스트’라는 독특한 방식을 사용합니다. 이는 AI 모델의 내부 구조를 모르는 상태에서 다양한 질문이나 명령을 입력하고, 모델이 내놓는 결과물을 관찰하며 그 행동을 분석하는 방법입니다. 또한, 개발자들이 AI 모델의 문제를 찾아내고 해결할 수 있도록 AI 테스트 플랫폼과 도구도 제공하며, AI 모델의 성능과 안전성을 종합적으로 평가하기 위해 노력합니다.

짧은 답변 요구했더니… AI가 '가짜 정보'를? Giskard AI의 발견

Giskard AI의 연구는 걱정스러운 현상을 밝혀냈습니다. AI 챗봇에게 짧고 간결한 답변을 요구했을 때, 사실과 다른 ‘환각’을 일으킬 가능성이 더 커진다는 것입니다. 이번 연구는 GPT-4o, 클로드 3.7 소네트, 미스트랄 라지 등 최신 AI 모델들을 대상으로 진행됐습니다. 그 결과, 간결한 답변을 요구받은 AI는 사실에 기반한 설명보다는, 잘못된 질문에 대해서도 오해를 살 만한 답변을 내놓는 경향을 보였습니다. 왜 이런 일이 생길까요? 짧은 답변 지시는 AI 모델이 충분한 배경 정보나 맥락을 제공할 능력을 제한하기 때문입니다. 동시에, 질문 자체에 오류가 있더라도 AI 모델이 이를 바로잡거나 반박하는 것을 막아, 결국 잘못된 전제 위에서 답변을 생성하게 만드는 것입니다.

짧은 답변이 '가짜 정보'를 만드는 3가지 이유

1. 정보 부족: 간결한 답변은 마치 이야기의 일부만 잘라 보여주는 것과 같습니다. AI 모델이 충분한 배경 정보나 맥락을 제공하기 어려워, 사용자가 답변을 잘못 이해하고 ‘환각’에 빠질 수 있습니다. 2. 잘못된 전제 수정 불가: 사용자의 질문 자체가 틀린 내용을 담고 있을 때, 간결한 답변 지시는 AI가 그 오류를 지적하거나 바로잡지 못하게 만듭니다. 결국 AI는 틀린 내용 위에서 답변을 만들어냅니다. 3. 사실 확인 제한: 짧고 빠른 답변을 만들기 위해, AI 모델이 중요한 사실 확인 단계를 건너뛸 수 있습니다. 이는 부정확하거나 거짓된 정보가 포함된, 모래성 같은 답변으로 이어질 수 있습니다.

AI 개발자들에게 보내는 경고, '간결함'과 '정확함' 사이의 균형 찾기

Giskard AI의 연구는 AI 개발자들에게 경종을 울립니다. AI 챗봇의 간결함과 효율성을 추구하는 동시에, ‘환각’ 위험에도 주의를 기울여야 한다는 것입니다. 개발자들은 간결함과 정확성 사이에서 섬세한 균형을 찾아야 합니다. 짧은 답변을 제공하면서도 정확하고 신뢰할 수 있는 정보를 전달하도록 보장해야 하며, 사용자 만족도를 높이려다 사실의 정확성을 희생해서는 안 됩니다.

'환각' 위험 줄이는 5가지 방법

1. 모델이 전제에 의문을 제기하도록 허용: 짧은 답변을 요구하더라도, AI 모델이 질문 속 오류에 의문을 제기하거나 반박할 권리를 줘야 합니다. AI가 옳고 그름을 판단할 수 있게 하는 것입니다. 2. 모델에게 사실 확인 명확히 지시: 시스템 명령어에 AI 모델이 답변 생성 전 사실 확인을 하도록 명시해야 합니다. AI가 내놓는 모든 말이 근거를 갖도록 하는 것입니다. 3. 더 포괄적인 데이터 세트로 훈련: 광범위하고 포괄적인 정보가 담긴 데이터 세트로 AI 모델을 훈련시켜야 합니다. 이는 모델이 문제의 맥락을 더 잘 이해하고 정확한 답변을 생성하는 데 도움을 줍니다. 4. 인간 피드백 기반 강화 학습 (RLHF): 사람의 평가와 지도를 활용해 AI 모델을 훈련시켜, 간결하면서도 정확한 답변을 생성하도록 만들어야 합니다. 5. 대비 학습 활용: AI 모델이 비슷한 답변과 다른 답변을 구분하도록 학습시켜, 질문의 의미를 더 잘 이해하고 정확한 답변을 생성하도록 돕습니다.

사용자도 책임감을 가져야… AI 맹신은 금물

AI 챗봇 사용자로서 우리도 일정 부분 책임이 있습니다. AI로부터 ‘환각’ 정보를 얻을 가능성을 줄이려면 다음 사항을 명심해야 합니다. * 명확하고 구체적인 질문: 모호하거나 여러 의미로 해석될 수 있는 표현은 피하고, AI가 우리의 의도를 정확히 이해하도록 해야 합니다. * 충분한 배경 정보 제공: AI 모델이 질문의 맥락을 이해하도록 도와, 엉뚱한 답변을 피해야 합니다. * AI 모델 답변 검증: AI 모델의 답변을 무조건 믿지 말고, 사실 확인을 거쳐 정보의 정확성을 확보해야 합니다.

결론, AI의 길, 여전히 신중하게 나아가야

Giskard AI의 연구는 AI 기술이 빠르게 발전하는 오늘날에도 우리가 신중함과 이성을 유지해야 함을 다시 한번 일깨워줍니다. AI 챗봇 설계는 간결함과 효율성뿐 아니라 정확성과 신뢰성에도 중점을 두어야 합니다. 개발자와 사용자 모두의 노력이 있어야만 ‘환각’ 위험을 최대한 줄이고, AI 기술이 인류를 오도하는 대신 진정으로 인류에게 봉사하도록 만들 수 있을 것입니다.