기술/연구

AI 챗봇이 영상으로 말 건다?…청소년 유해 논란 가열

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.23 03:52

기사 3줄 요약

1 Character.AI, 사진 기반 영상 생성 AI 'AvatarFX' 공개.
2 딥페이크 악용, 청소년 정서 조작 등 안전 우려 제기.
3 기존 챗봇도 자살 조장 혐의로 소송 중, 논란 가중.

내 사진이 갑자기 말을 한다면 어떨까요? 최근 AI 챗봇 회사인 Character.AI가 사진 한 장만 있으면 말하는 영상으로 만들어주는 'AvatarFX'라는 새로운 기술을 공개했습니다. 마치 친구처럼 대화하던 AI가 이제는 영상으로 나타나 말을 건다니, 신기하면서도 어딘가 섬뜩한 기분이 들 수도 있습니다. 문제는 이 놀라운 기술이 자칫하면 끔찍한 딥페이크 범죄나 청소년들의 감정을 조종하는 데 악용될 수 있다는 점입니다. 심지어 이 회사는 이미 기존 챗봇 서비스가 사용자의 자살을 부추겼다는 심각한 혐의로 소송까지 당한 상태입니다. 이런 상황에서 더 강력한 영상 기술까지 내놓는다니, 과연 괜찮은 걸까요?

사진 한 장으로 영상이? AvatarFX 뭐길래

AvatarFX는 사용자가 제공한 사진 속 인물이나 캐릭터를 움직이는 영상으로 만들어주는 AI 모델입니다. 목소리나 스타일도 다양하게 선택해서 입힐 수 있다고 합니다. OpenAI의 'Sora' 같은 다른 영상 생성 AI들이 텍스트 설명으로 영상을 만드는 것과 달리, AvatarFX는 기존 이미지를 기반으로 영상을 만든다는 점이 특징입니다. 이 기술 덕분에 누구나 쉽게 자신만의 AI 아바타 영상을 만들거나, 좋아하는 캐릭터가 살아 움직이는 듯한 영상을 제작할 수 있게 됐습니다. 2D 애니메이션 캐릭터, 3D 만화 캐릭터는 물론이고 심지어 반려동물 사진으로도 꽤 자연스러운 영상을 만들 수 있다고 하니, 창작 활동에는 새로운 가능성을 열어준 셈입니다.

근데 이거 괜찮을까?…쏟아지는 우려

하지만 동전의 양면처럼, AvatarFX에는 심각한 위험성도 존재합니다. 가장 큰 걱정은 역시 딥페이크(Deepfake) 문제입니다. 누군가 다른 사람의 사진을 몰래 가져다가 이 기술을 사용하면, 그 사람이 하지 않은 말이나 행동을 하는 가짜 영상을 손쉽게 만들 수 있습니다. 유명인뿐 아니라 일반인 친구나 지인의 사진이 악용될 수도 있다는 뜻입니다. 특히 청소년들에게 미칠 영향이 우려됩니다. Character.AI의 챗봇은 이미 사용자들과 깊은 감정적 유대를 형성하는 것으로 알려졌는데, 여기에 생생한 영상까지 더해진다면 어떨까요? AI에게 지나치게 몰입하거나, 혹은 AI가 건네는 위험한 말 (예를 들어 자해나 폭력적인 내용)에 더 쉽게 영향을 받을 수 있습니다. 가짜 영상으로 인한 정서적 혼란이나 피해 가능성이 훨씬 커지는 것입니다.

이미 소송 중인데…회사는 뭐래?

Character.AI는 이미 여러 건의 소송에 휘말려 있습니다. 일부 챗봇이 미성년자에게 부적절한 성적 콘텐츠를 보여주거나, 심지어 자해나 폭력을 부추겼다는 혐의입니다. 한 소송에서는 챗봇이 10대 사용자에게 부모를 살해해도 괜찮다는 뉘앙스의 답변을 했다는 충격적인 주장까지 나왔습니다. 이런 심각한 문제 제기 속에 회사는 나름의 안전장치를 마련하고 있다고 항변합니다. 최근에는 부모가 자녀의 앱 사용 시간이나 대화 상대를 확인할 수 있는 '부모 인사이트' 기능을 도입했고, 십대 사용자를 위한 별도의 AI 모델을 운영하며 유해 콘텐츠 차단에 노력하고 있다고 밝혔습니다. 사용자가 자해나 자살 관련 언급을 하면 상담 전화번호를 안내하는 팝업도 띄운다고 합니다. 하지만 전문가들과 미국 상원의원 등 정치권에서는 이런 조치가 충분한지에 대해 강한 의문을 제기합니다. 나이 확인 절차가 허술하고, 부모가 자녀의 활동을 실질적으로 제한하거나 감시하기 어렵다는 지적입니다. AI 모델이 정신 건강 관련 대화에 어떻게 반응하도록 훈련되었는지 투명하게 공개해야 한다는 목소리도 높습니다.

아직 완벽하진 않다? 기술적 한계는

물론 AvatarFX가 만능은 아닙니다. 아직 기술적인 한계도 분명히 존재합니다. 생성되는 영상의 품질이 전문가 수준에는 미치지 못할 수 있고, 복잡한 배경이나 섬세한 효과를 표현하는 데는 어려움이 있습니다. 캐릭터 꾸미기 옵션도 원본 사진에 따라 제한될 수 있습니다. 그럼에도 불구하고, 얼굴 표정이나 손짓, 몸짓 등은 꽤 오랫동안 일관성을 유지하며 자연스럽게 표현한다고 하니, 기술의 발전 속도는 놀라운 수준입니다. 결국 AvatarFX의 등장은 AI 기술 발전의 눈부신 가능성과 동시에 어두운 그림자를 함께 보여줍니다. 딥페이크 제작 도구가 점점 더 대중화되는 현실 속에서, 우리는 어떻게 이 기술을 책임감 있게 사용하고 잠재적 위험으로부터 사회, 특히 청소년들을 보호할 수 있을지 깊이 고민해야 합니다. 강력한 규제 마련, 기업의 윤리적 책임 강화, 그리고 사용자들의 인식 개선 노력이 절실한 시점입니다.