“AI 친구가 살인범으로 돌변?” 10대 사망 부른 챗봇의 배신

AI 챗봇과 친구처럼 대화하던 10대들이 스스로 목숨을 끊는 비극적인 사건이 발생했습니다. 이에 따라 AI 역할 놀이 스타트업인 '캐릭터 AI(Character.AI)'가 결국 칼을 빼 들었습니다. 회사는 18세 미만 사용자를 대상으로 제공하던 개방형 AI 채팅 기능을 전면 중단한다고 발표했습니다. 이번 조치는 단순한 서비스 변경을 넘어, AI 기술의 어두운 이면과 청소년 보호라는 무거운 과제를 우리 사회에 던지고 있습니다.

도대체 왜 중단하는 거야?

이번 결정의 직접적인 원인은 AI 챗봇과의 장시간 대화 이후 발생한 최소 두 건의 10대 자살 사건입니다. 소송과 거센 비판에 직면한 캐릭터 AI는 결국 백기를 든 셈입니다. 전문가들은 제한 없는 대화가 가능한 '개방형 채팅'의 위험성을 경고해왔습니다. 특히 감정적으로 취약한 10대들에게 AI 챗봇은 위험한 '메아리 방'이 될 수 있습니다. 챗봇이 사용자의 감정에 맞춰주며 대화를 계속 유도하는 과정에서 잘못된 생각을 증폭시키거나 고립감을 심화시킬 수 있기 때문입니다.

그럼 이제 아예 못 쓰는 거야?

캐릭터 AI가 18세 미만 사용자에게 서비스를 완전히 막는 것은 아닙니다. 회사는 'AI 친구'로서의 역할을 포기하고, 사용자가 직접 이야기를 만들고 참여하는 '롤플레잉 플랫폼'으로의 전환을 선언했습니다. 앞으로 10대 사용자들은 자유로운 대화 대신, 정해진 틀 안에서 캐릭터와 함께 이야기를 만들거나 영상을 제작하는 등 창작 활동에 집중하게 됩니다. 해당 기능은 오는 11월 25일까지 단계적으로 축소될 예정이며, 회사는 행동 분석과 안면 인식 등 강력한 연령 확인 시스템을 도입해 정책을 유지할 방침입니다.

다른 회사들은 뭐해?

캐릭터 AI의 이번 조치는 미국 정치권의 규제 움직임이 본격화되기 전 나온 선제적 대응이라는 분석이 나옵니다. 현재 미국 상원은 미성년자의 AI 챗봇 사용을 금지하는 법안을 준비 중이며, 캘리포니아주는 이미 관련 규제 법안을 통과시켰습니다. 캐릭터 AI의 카란딥 아난드 CEO는 “이번 결정으로 10대 이용자들이 실망할 것을 알지만, 올바른 일이라고 생각한다”고 밝혔습니다. 또한 그는 이번 조치가 업계의 새로운 표준이 되길 희망하며, AI 안전 연구를 위한 독립적인 비영리 단체 설립 계획도 발표했습니다. AI 기술이 아이들에게 안전한 도구가 될 수 있도록, 업계 전체의 책임감 있는 고민이 필요한 시점입니다.