정책/윤리

“AI 챗봇과 대화하다 사망?” 10대 채팅 금지령 내린 진짜 이유

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.11.27 00:34

기사 3줄 요약

1 AI 챗봇, 10대 정신 건강 문제 소송에 휘말려
2 18세 미만 이용자 대상 자유로운 채팅 기능 전면 금지
3 대안으로 선택형 이야기 모드인 '스토리' 기능 출시

AI 챗봇 서비스인 ‘캐릭터 AI’가 아주 큰 결정을 내렸습니다. 18세 미만 10대 이용자들이 AI 캐릭터와 자유롭게 대화하는 기능을 완전히 막기로 한 것입니다. 이는 캐릭터 AI가 10대들의 정신 건강에 나쁜 영향을 미친다는 여러 소송에 휘말렸기 때문입니다. 심지어 한 10대 청소년의 극단적 선택에 영향을 줬다는 혐의도 받고 있습니다.

소송까지 휘말렸다고? 대체 무슨 일이야?

최근 캐릭터 AI는 여러 건의 소송에 직면했습니다. 소송에 따르면, 일부 10대 이용자들이 AI 캐릭터와 무제한으로 대화를 나누다가 정신적으로 큰 상처를 입었다고 합니다. 특히 정해진 시나리오 없이 자유롭게 대화하는 기능이 문제였습니다. AI와의 대화가 때로는 예측할 수 없는 방향으로 흘러가면서, 감수성이 예민한 10대들에게 부정적인 영향을 미칠 수 있다는 우려가 현실이 된 셈입니다.

그럼 이제 10대들은 못 쓰는 거야?

캐릭터 AI는 자유로운 채팅 기능을 막는 대신, ‘스토리’라는 새로운 기능을 내놓았습니다. 이 기능은 모든 이용자가 사용할 수 있지만, 특히 10대들을 위한 안전한 대안으로 소개되었습니다. ‘스토리’는 이용자가 직접 이야기의 주인공이 되는 ‘선택형 어드벤처 게임’과 비슷합니다. 두세 개의 AI 캐릭터와 이야기 장르를 고르면, AI가 짜여진 줄거리를 만들어 줍니다. 이용자는 중간중간 나오는 선택지를 골라 이야기의 방향을 바꿀 수 있습니다.

앞으로는 어떻게 바뀔까?

캐릭터 AI는 여기서 멈추지 않을 계획입니다. 앞으로 나이를 확인할 수 있는 시스템을 만들어, 10대 이용자들은 자동으로 ‘더 보수적인’ AI와 대화하도록 만들 예정입니다. 이번 결정은 빠르게 발전하는 AI 기술이 사회와 어떻게 조화를 이뤄야 하는지 보여주는 중요한 사례입니다. 기술의 자유도 중요하지만, 청소년과 같은 취약한 이용자들을 보호하는 것이 더 중요하다는 사회적 책임감을 보여준 것입니다. 앞으로 AI 개발 회사들은 기술력뿐만 아니라 윤리적인 문제에 대해서도 더 깊이 고민하게 될 것으로 보입니다.