기술/연구

“말투·추임새까지 복붙?” 서울대, '진짜 사람 같은' AI 공개!

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.06.01 19:10

기사 3줄 요약

1 서울대, 사람 말투·추임새까지 모방하는 AI 개발
2 세계 최대 대화 행동 데이터셋 ‘Behavior-SD’ 구축
3 팟캐스트·상담 AI 등 인간다운 소통 필요 분야 활용 기대

“음… 그니까…” 우리가 대화할 때 무심코 내뱉는 말버릇이나 “아하!”, “진짜?” 같은 추임새까지 똑같이 따라 하는 인공지능(AI)이 등장했습니다. 서울대학교 공과대학 컴퓨터공학부 김건희 교수팀이 사람처럼 자연스럽게 대화하는 AI 음성 기술을 개발해 화제입니다. 이 기술의 핵심은 세계 최대 규모의 대화 행동 데이터셋인 ‘Behavior-SD’와 이를 기반으로 탄생한 AI 모델 ‘BeDLM’입니다.

AI, 왜 사람처럼 말해야 할까?

기존의 AI 대화 시스템은 정해진 답변을 하거나 다소 딱딱한 말투를 사용하는 경우가 많았습니다. 우리가 친구나 가족과 이야기할 때처럼 자연스러운 느낌을 받기 어려웠던 이유입니다. 연구팀은 사람들이 대화할 때 말의 내용뿐만 아니라 말버릇, 추임새, 심지어 상대방의 말을 적절히 끊고 들어가는 ‘끼어들기’ 같은 다양한 행동을 보인다는 점에 주목했습니다. 이러한 미묘한 대화 행동들이 반영되어야 진짜 사람처럼 느껴지는 대화가 가능하다고 본 것입니다.

서울대는 어떻게 이걸 가능하게 했을까?

김건희 교수팀은 실제 사람들의 대화 환경을 AI에게 학습시키기 위해 방대한 양의 데이터를 모았습니다. 약 10만 개의 대화 패턴과 총 2,000시간에 달하는 음성 대화를 수집해 ‘Behavior-SD(Spoken Dialogue)’라는 이름의 데이터셋을 구축했습니다. 이 데이터셋에는 단순한 대화 문장뿐만 아니라, 사람들이 대화 중에 보이는 다양한 행동들이 세밀하게 기록되어 있습니다. 예를 들어, 어떤 단어를 자주 반복하는지, 어떤 타이밍에 추임새를 넣는지 등이 모두 담겨 있는 것입니다.

그래서, ‘BeDLM’은 뭐가 특별한데?

이렇게 만들어진 Behavior-SD 데이터셋을 바탕으로 ‘BeDLM(대형 언어 모델을 활용한 행동 인식형 음성 대화 생성)’이라는 AI 모델이 개발됐습니다. BeDLM은 스스로 생각하고 배우는 똑똑한 인공지능 프로그램(LLM)에 기반해, 대화하는 상황과 사람들의 행동 패턴을 입력받으면 실제 사람 간의 대화처럼 자연스러운 음성 대화를 만들어냅니다. 특히 “음…”, “아…” 같은 말버릇이나 추임새를 넣는 타이밍, 상대방의 말을 끊는 습관까지 조절해 반영할 수 있다는 점이 기존 AI와 가장 큰 차이점입니다.

이 놀라운 기술, 우리 삶을 어떻게 바꿀까?

BeDLM 기술은 우리 생활 여러 분야에서 유용하게 쓰일 것으로 기대됩니다. 예를 들어, 팟캐스트 콘텐츠를 만들 때 더 자연스러운 대화 흐름을 연출하거나, 상담 AI가 사용자의 감정에 더 잘 공감하며 대화할 수 있게 돕습니다. 또한, 개인 맞춤형 음성 비서가 사용자의 말투까지 닮아 더욱 친근하게 느껴지거나, 어르신이나 아이들을 위한 돌봄 서비스에서 정서적인 교감을 나누는 데도 활용될 수 있습니다.

세계도 인정한 서울대의 기술력!

이번 연구 성과는 세계적으로도 큰 주목을 받았습니다. 북미 전산언어학회(NAACL) 2025에서 음성 처리 및 이해 분야 최고 논문상을 수상하며 그 기술력을 인정받았습니다. 김건희 교수는 “AI가 사람처럼 자연스럽게 대화하는 기술을 한 단계 발전시켰다”고 연구의 의미를 밝혔고, 제1저자인 이세훈 연구원은 “AI가 사람의 대화 행동을 이해하도록 하는 모델링 방법을 찾는 과정이 쉽지 않았다”고 소회를 전했습니다. Behavior-SD 데이터셋과 관련 코드는 모두 오픈소스로 공개되어, 누구나 이 기술을 활용하고 발전시킬 수 있게 되었습니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr