기술/연구

“말대꾸가 빛의 속도?” 세일즈포스 AI 검색 지연 316배 줄였다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2026.03.31 18:40

기사 3줄 요약

1 세일즈포스 음성 AI 지연 시간 316배 단축 성공
2 패스트와 슬로우 싱커 결합한 이중 구조 도입
3 실시간 통역 및 고객 상담 서비스 혁신 기대

세일즈포스가 인공지능과 대화할 때 발생하는 멈춤 현상을 해결했습니다. 보이스에이전트RAG라는 새로운 기술을 발표하며 대화 속도를 획기적으로 높였습니다. 인공지능이 사람처럼 자연스럽게 대답할 수 있는 길이 열린 셈입니다. 이번 기술은 음성 인공지능 분야의 가장 큰 숙제를 해결했다는 평가를 받습니다.

인공지능은 왜 대답이 늦을까

기존 음성 인공지능은 정보를 찾고 답변을 만드는 데 시간이 꽤 걸립니다. 보통 정보를 검색하는 데만 수백 밀리초의 시간이 필요합니다. 이 때문에 사람과 대화할 때 중간에 흐름이 끊기는 느낌을 주게 됩니다. 세일즈포스 연구팀에 따르면 자연스러운 대화를 위해서는 응답 시간이 매우 짧아야 합니다. 하지만 기존 방식으로는 이 기준을 맞추기가 매우 어려웠습니다. 이번 신기술은 정보를 미리 준비하는 방식으로 이 문제를 해결했습니다.

두 명의 인공지능이 함께 일하는 방식

이 기술은 패스트 싱커와 슬로우 싱커라는 두 가지 에이전트를 사용합니다. 패스트 싱커는 사용자와 대화하며 저장된 기억에서 즉시 답을 꺼냅니다. 덕분에 아주 짧은 시간 안에 사용자에게 대답을 돌려줄 수 있습니다. 슬로우 싱커는 배경에서 사용자가 다음에 무엇을 물어볼지 미리 예측합니다. 대화의 흐름을 분석해서 필요한 정보를 데이터베이스에서 미리 가져와 저장합니다. 질문이 들어오기 전에 미리 공부를 해두는 학생과 비슷한 원리입니다.

얼마나 빨라졌을까

실험 결과에 따르면 데이터 검색 속도가 최대 316배나 빨라졌습니다. 기존에 110밀리초가 걸리던 작업이 0.35밀리초 만에 끝납니다. 대화가 길어질수록 예측 정확도가 높아져 더 매끄러운 소통이 가능합니다. 세일즈포스의 발표에 따르면 이 시스템은 챗GPT나 제미나이와도 함께 쓸 수 있습니다. 콜센터나 음성 비서 서비스에 바로 적용할 수 있어 활용도가 높습니다. 인공지능이 우리 생활 속으로 더 깊숙이 들어오는 계기가 될 전망입니다.