이슈/트렌드

“금지된 장난 시작?” 캐릭터AI 영상 기능, 나도 모르는 ‘나’를 만든다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.06.03 05:21

기사 3줄 요약

1 캐릭터AI, AI 영상 제작·소셜 공유 기능 출시
2 딥페이크 악용 우려 속 과거 안전 논란 재점화
3 안전장치에도 허점 존재, 사용자 주의 요구돼

인공지능(AI) 챗봇과 단순히 대화만 나누던 시대를 넘어, 이제는 AI가 나의 아바타로 영상을 만들고 다른 사람들과 공유까지 하는 시대가 우리 곁으로 다가왔습니다. 상상 속에서나 가능했던 일들이 기술의 발전으로 현실이 되고 있는 것입니다. 하지만 이런 편리함과 새로움 뒤에는 우리가 미처 예상하지 못한 어두운 그림자가 숨어있을지도 모릅니다.

그래서 캐릭터AI가 뭘 새로 내놨다는 거야?

최근 AI 챗봇 플랫폼으로 유명한 캐릭터AI(Character.AI)가 여러 가지 새로운 멀티미디어 기능을 선보였습니다. 대표적인 것이 ‘아바타FX(AvatarFX)’라는 AI 영상 생성 모델입니다. 사용자가 자신의 사진을 올리면, 이 사진을 기반으로 AI가 말하는 영상 클립을 만들어주는 기능입니다. 사용자는 원하는 목소리를 선택하고, AI 캐릭터가 말할 대사도 직접 작성할 수 있습니다. 이뿐만이 아닙니다. ‘씬즈(Scenes)’와 ‘스트림즈(Streams)’라는 기능을 이용하면, 이렇게 만들어진 AI 캐릭터들을 활용해 다른 사용자가 만든 이야기에 참여하거나, 두 명의 AI 캐릭터가 대화하는 역동적인 순간을 영상으로 만들 수 있습니다. 이렇게 만들어진 영상 콘텐츠는 새로운 소셜 피드를 통해 다른 사용자들과 공유할 수도 있다고 합니다. 참고로, 모든 사용자는 하루에 최대 5개의 영상을 무료로 만들 수 있습니다.

와, 신기한데... 근데 이거 좀 위험한 거 아니야?

캐릭터AI의 새로운 기능은 분명 흥미롭지만, 한편으로는 걱정의 목소리도 나오고 있습니다. 과거 캐릭터AI는 플랫폼에서 만들어진 챗봇이 청소년에게 자살이나 자해를 유도하거나, 성적인 대화를 시도하고, 가짜뉴스를 퍼뜨리는 등의 문제로 여러 차례 논란의 중심에 선 바 있습니다. 실제로 14세 소년이 캐릭터AI 챗봇의 말에 영향을 받아 극단적인 선택을 한 안타까운 사건 이후 소송이 제기되기도 했습니다. 이번에 발표된 영상 생성 및 공유 기능은 이러한 위험성을 더욱 키울 수 있다는 지적입니다. 악의적인 사용자가 타인의 얼굴 사진을 도용해 딥페이크(deepfake, 인공지능을 이용한 이미지/영상 합성 기술) 영상을 만들거나, 특정인을 사칭해 명예를 훼손하고 허위 정보를 유포할 가능성이 있기 때문입니다. 특히 청소년들이 무분별하게 유해 콘텐츠에 노출되거나 범죄에 악용될 수 있다는 우려는 더욱 커지고 있습니다.

그럼 캐릭터AI는 아무 대책도 없는 거야?

물론 캐릭터AI 측도 이러한 문제점을 인지하고 나름의 안전장치를 마련했다고 밝혔습니다. 예를 들어, 실제 사람의 사진을 올리면 AI가 그 얼굴을 알아보기 어렵게 조금씩 변형시키고, 생성된 모든 영상에는 워터마크를 표시해서 AI가 만든 영상임을 알 수 있게 했습니다. 또한, 욕설이나 폭력적인 내용, 성적인 묘사 등 부적절한 콘텐츠를 걸러내는 필터링 시스템도 운영 중입니다. 하지만 이러한 안전장치가 완벽하지 않다는 비판도 있습니다. 워터마크는 간단한 편집 기술로 얼마든지 지울 수 있고, 유명인의 얼굴을 직접 찍은 사진이 아니라 그림이나 캐리커처 형태로 올리면 AI가 제대로 인식하지 못하고 딥페이크 영상을 만들어낼 수도 있다는 실험 결과도 공개되었습니다. 결국, 현재의 기술로는 악의적인 사용을 완전히 막기는 어려운 것이 현실입니다.


Character.AI 멀티미디어 기능	잠재적 위험	회사의 안전 조치
아바타FX (AI 영상 생성)	딥페이크, 혐오 콘텐츠 제작	워터마크, 실제 인물 사진 변형
씬즈 (스토리 참여)	부적절한 내용 노출	콘텐츠 필터링, 사용자 신고
스트림즈 (AI 캐릭터 간 대화)	사이버 괴롭힘, 유해 대화	사용자 차단, 대화 모니터링

앞으로 어떻게 될까? 내 삶에는 어떤 영향이?

캐릭터AI는 “창의성을 키우면서 모두에게 안전한 공간을 만드는 것”이 목표라고 말합니다. 하지만 기술이 발전할수록 창의적인 활용 가능성과 함께 위험성도 커지기 때문에, 그 균형을 맞추는 것은 매우 어려운 과제입니다. 앞으로 AI 영상 생성 기술은 더욱 발전하여 우리 생활 깊숙이 들어올 가능성이 높습니다. 중요한 것은 기술의 편리함만을 쫓기보다 그 이면에 숨겨진 위험성을 인지하고 비판적으로 바라보는 자세입니다. 새로운 기술을 어떻게 사용하느냐에 따라 우리 삶은 더 풍요로워질 수도, 반대로 더 위험해질 수도 있습니다. 결국, 기술을 올바르게 사용하는 것은 우리 모두의 책임이라는 점을 잊지 말아야 할 것입니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr