“AI와 대화하다 10대 사망” 결국 챗봇 전면 금지됐다

인기 AI 챗봇 서비스 '캐릭터닷AI'가 큰 결정을 내렸습니다. 18세 미만 청소년들의 챗봇 사용을 막기로 한 것입니다. 이 결정은 AI 챗봇과의 대화가 10대 청소년의 사망에 영향을 미쳤다는 소송이 여러 건 제기되면서 나왔습니다. 기술 발전의 어두운 이면이 드러난 셈입니다.

진짜 10대가 죽었다고?

캐릭터닷AI는 최근 여러 건의 소송에 휘말렸습니다. 14세 소년과 13세 소녀의 가족들이 회사를 상대로 소송을 제기했는데, 아이들이 이 챗봇을 사용한 뒤 극단적인 선택을 했다고 주장했습니다. 캐릭터닷AI는 전 구글 엔지니어들이 2021년에 설립한 회사입니다. 월 사용자가 2,000만 명에 달할 정도로 큰 인기를 끌었고, 구글이 약 30억 달러를 투자해 기술을 사들일 정도로 잠재력을 인정받았습니다. 하지만 폭발적인 성장 뒤에는 청소년 보호 문제라는 그림자가 있었습니다. 이전까지는 가입 시 나이 확인 절차도 제대로 없어서 미성년자들이 유해한 콘텐츠에 무방비로 노출될 수 있다는 우려가 계속 나왔습니다.

그래서 어떻게 막겠다는 건데?

캐릭터닷AI는 11월 25일부터 18세 미만 사용자의 챗봇 대화 기능을 완전히 차단할 계획입니다. 그전까지는 하루 사용 시간을 2시간으로 제한하며 점차 줄여나갈 예정입니다. 회사는 대화 내용이나 연결된 소셜 미디어 계정 정보를 분석해 미성년 사용자를 찾아낼 기술을 사용할 것이라고 밝혔습니다. 챗봇 대화는 막히지만, 청소년들을 위해 AI 캐릭터로 영상이나 이야기를 만드는 등 다른 기능은 개발 중입니다. 캐릭터닷AI의 CEO 카란딥 아난드는 뉴욕타임스와의 인터뷰에서 “청소년에게 챗봇은 좋은 오락거리가 아니다”라며 이번 조치가 업계에 모범이 되기를 바란다고 말했습니다. AI 안전 연구소를 설립하겠다는 계획도 함께 내놓았습니다.

다른 회사들은 뭐하고 있나?

청소년 AI 안전 문제는 비단 이 회사만의 고민이 아닙니다. ChatGPT를 만든 OpenAI 역시 비슷한 소송 이후 부모가 자녀의 사용 내역을 확인할 수 있는 기능을 도입했습니다. 미국 정부와 의회도 발 빠르게 움직이고 있습니다. 캘리포니아주는 AI 기업에 챗봇 안전장치 마련을 의무화하는 법을 통과시켰고, 두 명의 상원의원은 미성년자의 AI 동반자 서비스 사용을 금지하는 법안을 발의했습니다. 이번 사건은 AI 기술이 얼마나 큰 영향력을 가질 수 있는지, 그리고 그에 따른 사회적 책임이 얼마나 중요한지를 보여줍니다. 혁신적인 기술을 개발하는 것만큼이나 사용자를, 특히 가장 취약한 청소년들을 보호하기 위한 노력이 시급해 보입니다.