기술/연구

“AI가 거짓말하는 진짜 이유” 인터폴이 초청한 한국 기업

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2026.02.03 14:57

기사 3줄 요약

1 한국 기업 S2W, 인터폴 회의서 AI 취약점 발표
2 AI 거짓말 원인은 토큰화 결함임이 밝혀져
3 다크웹 범죄 예방 위한 글로벌 공조 강화

최근 챗GPT와 같은 인공지능을 사용하다 보면 엉뚱한 대답을 늘어놓는 경우를 종종 보게 됩니다. 분명 모르는 내용일 텐데도 마치 사실인 것처럼 천연덕스럽게 거짓말을 하는 현상을 ‘할루시네이션’이라고 합니다. 이러한 현상은 단순히 웃고 넘길 일이 아니라 잘못된 정보가 퍼지거나 보안에 구멍이 뚫릴 수 있는 심각한 문제입니다. 그런데 한국의 한 AI 기업이 이 문제의 원인을 밝혀내고 국제형사경찰기구인 인터폴의 초청까지 받았다는 소식이 전해졌습니다. 빅데이터 분석 AI 전문 기업인 에스투더블유(S2W)의 이야기입니다.

왜 AI는 뻔뻔하게 거짓말을 할까

S2W에 따르면 이번 홍콩에서 열린 인터폴 회의에서 AI가 거짓말을 하는 기술적인 원인을 상세하게 발표했다고 합니다. 핵심 원인으로 지목된 것은 바로 ‘토큰화’ 과정에서의 결함입니다. 토큰화란 AI가 인간의 언어를 이해하기 위해 문장을 아주 작은 단위인 ‘토큰’으로 쪼개는 과정을 말합니다. 쉽게 말해 우리가 ‘사과’라는 단어를 입력하면 AI는 이를 ‘사’와 ‘과’ 혹은 그보다 더 작은 데이터 단위로 분해해서 인식하는 식입니다. 문제는 이 과정에서 글자가 엉뚱하게 잘리거나 데이터가 불완전하게 입력되는 경우가 생긴다는 점입니다. 특히 영어가 아닌 한국어나 일본어 같은 언어에서 이런 오류가 자주 발생한다고 합니다. S2W 연구진에 따르면 글자를 바이트 단위로 분해하는 과정에서 중간이 잘린 ‘불완전 토큰’이 생성되면 AI는 문맥을 오해하게 됩니다. 결국 AI는 잘못된 조각을 가지고 억지로 문장을 완성하려다 보니 전혀 없는 사실을 지어내게 되는 것입니다. 이러한 구조적 결함을 찾아낸 것은 AI의 신뢰성을 높이는 데 아주 중요한 발견이라고 할 수 있습니다.

다크웹에서 거래되는 AI의 약점

이번 발표가 더욱 주목받은 이유는 단순히 기술적 결함만 지적한 것이 아니기 때문입니다. 해커들이 모여 있는 익명의 인터넷 공간인 ‘다크웹’에서 이 AI의 취약점이 어떻게 악용되고 있는지에 대한 분석도 함께 이루어졌습니다. S2W의 분석에 따르면 사이버 범죄자들은 이미 LLM의 약점을 파악하고 이를 이용해 보안 시스템을 뚫거나 사기를 치는 방법을 논의하고 있다고 합니다. AI가 똑똑해지는 만큼 이를 악용하려는 범죄 수법도 교묘해지고 있다는 뜻입니다. S2W는 인터폴과 7년째 협력하며 이러한 사이버 범죄를 막는 데 기여하고 있습니다. 과거에도 국제 랜섬웨어 조직을 검거하는 작전에 참여했을 만큼 기술력을 인정받고 있습니다. 이번 회의에서도 S2W는 자체 개발한 보안 솔루션을 통해 AI의 약점을 보완하고 범죄를 예방하는 방법을 제시하며 세계 각국 전문가들의 관심을 끌었습니다. 결국 AI 기술의 발전은 보안 기술과 함께 가야만 우리 삶에 안전하게 정착할 수 있을 것입니다.