기술/연구

“넷플릭스 더빙, 입 모양 왜 안 맞아?” 한국 AI가 드디어 해결했다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.11.17 15:41

기사 3줄 요약

1 이스트소프트, 세계 최고 학회서 AI 더빙 신기술 발표
2 원본 영상과 발화 시간 맞춰 어색함 획기적으로 개선
3 영상-음성 싱크 정확도 24% 향상시켜 시장 선도 예고

외국 영화나 드라마를 더빙판으로 볼 때 배우의 입 모양과 소리가 맞지 않아 어색했던 경험이 누구나 한 번쯤 있을 겁니다. 그런데 한국의 한 기업이 이 문제를 해결할 획기적인 인공지능(AI) 기술을 개발해 세계적인 주목을 받고 있습니다. AI 전문 기업 이스트소프트가 바로 그 주인공입니다. 이들의 새로운 AI 자동 더빙 기술 연구 논문이 세계 최고 권위의 자연어 처리 학회 ‘EMNLP 2025’에 채택되는 쾌거를 이뤘습니다.

기존 AI 더빙, 뭐가 문제였는데?

기존 AI 더빙 기술은 번역은 잘했지만, 결정적인 한계가 있었습니다. 바로 원본 영상 속 배우가 말하는 시간과 번역된 음성의 길이가 맞지 않는다는 점입니다. 이 때문에 입 모양과 소리가 따로 놀고, 말의 리듬이나 쉬어가는 타이밍이 어색해 몰입을 방해하는 경우가 많았습니다. 이는 시청자에게 불편함을 주는 것을 넘어, 콘텐츠의 감동과 재미를 반감시키는 요인이 됐습니다. 기술이 발전해도 어딘가 모르게 부자연스러웠던 이유가 바로 여기에 있었습니다.

한국 AI 기술, 어떻게 해결했지?

이스트소프트 연구진은 이 문제를 풀기 위해 대형언어모델(LLM)을 활용한 새로운 접근법을 제시했습니다. 단순히 글자를 번역하는 수준을 넘어, AI가 원본 음성의 ‘길이’와 ‘리듬’까지 똑같이 따라 하도록 만든 것입니다. 새로운 기술의 핵심은 두 가지입니다. 첫째, ‘발화 길이 조정 번역’ 기술입니다. AI가 원본 배우의 말하는 시간을 정확히 계산하고, 번역된 문장이 그 시간에 딱 맞게 끝나도록 단어 수를 조절합니다. 둘째, ‘발화 정지 정보 통합’ 기술입니다. 말 중간의 미세한 쉼이나 침묵까지 정확히 포착해 더빙에 그대로 반영합니다. 덕분에 마치 원래 그 언어로 연기한 것처럼 자연스러운 결과물이 탄생합니다.

그래서, 얼마나 좋아진 거야?

실험 결과는 놀라웠습니다. 이스트소프트가 개발한 AI 더빙 기술은 기존 상용화된 서비스들에 비해 영상과 음성의 일치 정확도가 24%나 향상됐습니다. 또한 여러 언어로 더빙된 결과물을 들은 사람들의 만족도 역시 12% 더 높게 나타났습니다. 이스트소프트는 이번 연구 성과를 자사의 ‘페르소 AI 더빙’ 서비스에 적용해 글로벌 경쟁력을 더욱 강화할 계획입니다. 이제 언어의 장벽 없이 전 세계의 다양한 영화와 드라마, 교육 콘텐츠를 훨씬 더 실감 나게 즐길 수 있는 시대가 성큼 다가온 셈입니다.