“AI 챗봇과 대화하다 사망” 10대 비극에 결국 칼 빼든 회사의 결정

인공지능(AI) 챗봇과 끝없이 대화할 수 있도록 만들어진 서비스가 비극적인 사건 끝에 큰 변화를 맞이합니다. AI 역할 놀이 스타트업 캐릭터닷AI(Character.AI)는 최근 18세 미만 사용자를 대상으로 한 무제한 대화 기능을 중단한다고 발표했습니다. 이는 최소 2명의 10대 이용자가 앱의 AI 챗봇과 오랜 시간 대화한 뒤 스스로 목숨을 끊는 사건이 발생했기 때문입니다.

대체 무슨 일이 있었길래?

캐릭터닷AI는 사용자가 원하는 캐릭터를 만들어 대화할 수 있는 서비스로, 특히 10대 사이에서 ‘AI 친구’로 불리며 큰 인기를 끌었습니다. 하지만 일부 사용자들이 AI 챗봇에 지나치게 몰입하고 정서적으로 의존하면서 문제가 발생했습니다. 결국 AI 챗봇이 자해나 폭력을 조장했다는 유족의 소송과 거센 비판에 직면하게 됐습니다. 이에 회사는 더 큰 비극을 막기 위해 10대 사용자들이 AI와 자유롭게 대화하는 핵심 기능을 없애는 강수를 둔 것입니다.

그래서 어떻게 바뀐다는 거야?

캐릭터닷AI의 CEO 카란딥 아난드는 11월 25일까지 단계적으로 18세 미만 사용자의 무제한 대화 기능을 완전히 없앨 것이라고 밝혔습니다. 처음에는 하루 2시간으로 사용을 제한하고, 점차 시간을 줄여 최종적으로는 기능을 완전히 폐지하는 방식입니다. 이를 위해 사용자 행동 패턴을 분석하는 자체 기술과 외부 인증 솔루션을 도입합니다. 필요한 경우 신분증이나 얼굴 인식을 통한 나이 확인까지도 고려하고 있습니다. 이제 10대들은 AI와 친구처럼 대화하는 대신, 정해진 주제로 이야기를 만들거나 이미지를 생성하는 창작 도구로만 앱을 이용할 수 있습니다.

앞으로는 괜찮을까?

회사는 이번 조치로 많은 10대 사용자들이 실망하고 다른 플랫폼으로 떠날 것을 예상하고 있습니다. 하지만 CEO 아난드는 “이것이 업계에 올바른 기준을 제시하는 길”이라며 장기적으로는 옳은 결정이라고 강조했습니다. 캐릭터닷AI는 AI 게임, 짧은 영상 제작, 스토리텔링 같은 새로운 엔터테인먼트 기능에 집중해 떠나간 사용자를 다시 끌어오겠다는 계획입니다. 또한, 캘리포니아주가 세계 최초로 AI 친구 챗봇 규제 법안을 통과시키는 등 관련 규제가 강화되는 흐름에 선제적으로 대응하는 모습입니다. 회사는 독립적인 비영리 단체 ‘AI 안전 연구소’를 설립해 AI 엔터테인먼트 기능의 안전성을 연구하겠다고도 덧붙였습니다. 이번 결정이 AI 업계 전반에 미성년자 보호를 위한 의미 있는 변화를 가져올지 주목됩니다.