기술/연구

AI 잠재우니 속도 5배↑ 비용 60%↓… 이게 가능하다고?

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.22 19:58

기사 3줄 요약

1 AI 유휴 시간 활용, '슬립 타임 컴퓨팅' 기술 등장.
2 사전 정보 처리로 응답 속도 높이고 비용 대폭 절감.
3 실험 결과 컴퓨팅 시간 5배↓, 비용 최대 60%↓.

AI가 느리고 비싸다는 편견, 이제 깨질지도 모릅니다. 잠자는 시간을 활용해 AI 성능을 5배 높이고 비용은 60%나 줄이는 혁신적인 기술이 등장했습니다. 대체 어떻게 가능했을까요? 미국 UC 버클리와 스타트업 레타(Letta) 연구진이 개발한 '슬립 타임 컴퓨팅(Sleep-time Computing)' 이야기입니다. 말 그대로 AI 시스템이 사용되지 않고 쉬는 시간, 즉 '잠자는 시간'을 활용해 미리 계산 작업을 해두는 방식입니다. 이 똑똑한 방법 덕분에 AI는 사용자의 질문에 훨씬 빠르게 답하고, 운영 비용까지 크게 줄일 수 있게 됐습니다.

AI가 밤새 일한다고? 이게 무슨 소리야?

슬립 타임 컴퓨팅의 핵심 원리는 간단합니다. AI에게 주어지는 질문이나 명령(프롬프트)을 두 부분으로 나누는 것입니다. 바로 '정적 컨텍스트(static context)'와 '동적 쿼리(dynamic query)'입니다. '정적 컨텍스트'는 잘 변하지 않는 배경 정보나 기반 지식을 의미합니다. 예를 들어 고객센터 AI라면 회사 제품 설명서나 내부 규정이 될 수 있고, 코딩 보조 AI라면 소프트웨어 코드 설명서 같은 것이죠. AI는 시스템이 한가한 밤 시간 등을 이용해 이 방대한 정적 컨텍스트를 미리 읽고 분석해서, 예상 질문에 대한 답변이나 필요한 정보를 미리 계산해 둡니다. 마치 시험 전날 밤새 벼락치기 공부를 하는 것과 비슷하다고 할 수 있습니다. '동적 쿼리'는 사용자가 실제로 하는 구체적인 질문입니다. "비밀번호 재설정 어떻게 해?" 라거나 "이 코드 기능 좀 설명해줘" 같은 것들이죠. 사용자가 이런 동적 쿼리를 입력하면, AI는 밤새 미리 공부해 둔 내용을 바탕으로 빠르고 효율적으로 답변을 찾아 제시합니다. 실시간으로 모든 계산을 처리할 필요가 없으니 훨씬 빨라지는 것입니다.

그래서 얼마나 좋아졌는데? 효과는 확실해?

이론만 그럴듯한 게 아닙니다. 연구진이 실제로 GPT-4o와 GPT-4o Mini 같은 최신 AI 모델로 실험해 본 결과, 슬립 타임 컴퓨팅의 효과는 놀라웠습니다. 우선, 컴퓨팅 시간이 무려 5배나 단축되었습니다. 기존 방식으로는 10분이 걸리던 작업을 단 2분 만에 끝낼 수 있게 된 것입니다. AI 응답 속도가 획기적으로 빨라진다는 의미입니다. 놀랍게도 어떤 경우에는 정확도까지 향상되었습니다. 복잡한 수학 문제 풀이 같은 작업에서는 정확도가 기존 75%에서 93%까지 18%나 높아지는 결과도 나왔습니다. 미리 깊이 생각할 시간을 가진 덕분일까요? 비용 절감 효과도 엄청납니다. 쿼리 한 건당 처리 비용이 최대 2.5배 줄어들어, AI 시스템 운영 비용을 최대 60%까지 절감할 수 있을 것으로 기대됩니다. AI를 많이 사용하는 기업들에게는 정말 반가운 소식입니다.

단점은 없어? 만능 기술은 아니겠지?

물론 슬립 타임 컴퓨팅도 만능은 아닙니다. 몇 가지 한계점도 가지고 있습니다. 가장 큰 한계는 사용자의 질문을 어느 정도 예측할 수 있어야 한다는 점입니다. AI가 미리 공부해 둔 '정적 컨텍스트'와 관련 없는, 예상치 못한 질문이 들어오면 미리 준비한 정보가 별 소용이 없을 수 있습니다. 예를 들어 제품 기능에 대해 학습한 고객센터 AI에게 갑자기 배송 정책을 물어보면 제대로 답하기 어려울 수 있습니다. 또한, 배경 정보인 '정적 컨텍스트'가 너무 자주 바뀌는 경우에도 효과가 떨어질 수 있습니다. 소프트웨어 코드처럼 내용이 수시로 업데이트된다면, 밤새 미리 공부해 둔 내용이 금방 쓸모없어질 수 있기 때문입니다. 결국 이 기술의 효과는 사용자의 질문이 얼마나 예측 가능한지에 따라 달라집니다. 연구에 따르면, 질문이 예측 가능할수록 슬립 타임 컴퓨팅의 효과는 더 커졌습니다. 반대로 너무 추상적이거나 예측 불가능한 질문에는 효과가 상대적으로 적었습니다.

이 기술, 어디에 어떻게 쓸 수 있을까?

이런 한계에도 불구하고 슬립 타임 컴퓨팅은 다양한 분야에서 유용하게 쓰일 잠재력이 큽니다. 고객 지원 분야에서는 제품 설명서나 FAQ를 미리 분석해 고객 문의에 더 빠르고 정확하게 응대할 수 있습니다. 소프트웨어 개발 분야에서는 방대한 코드 저장소를 미리 분석해 개발자들이 버그를 찾거나 새로운 기능을 구현하는 데 도움을 줄 수 있습니다. 연구 분야에서는 수많은 논문을 미리 요약하고 색인화하여 연구자들이 필요한 정보를 빠르게 찾는 데 활용될 수 있습니다. 연구진은 이 기술을 쉽게 활용할 수 있도록 '레타 데스크톱(Letta Desktop)'과 '레타 클라우드(Letta Cloud)'라는 플랫폼도 함께 공개했습니다.

기능	설명
Stateful Agent Framework	에이전트가 장기 기억을 유지하도록 지원
Memory Management	외부 데이터 로딩 및 관리 자동화
Cloud Deployment	대규모 에이전트 배포 및 관리 인프라 제공
Transparent Long-Term Memory	사전 처리된 정보에 쉽게 접근 가능
Task Decomposition	프롬프트를 정적 컨텍스트와 동적 쿼리로 분할 지원
Sleep-Time Compute Integration	유휴 시간을 활용해 컨텍스트 분석 및 쿼리 예측

슬립 타임 컴퓨팅은 AI가 단순히 질문에 답하는 것을 넘어, 장기적인 기억과 맥락을 이해하는 '상태 유지 AI(Stateful AI)' 시스템으로 발전하는 데 중요한 발걸음이 될 것입니다. AI가 쉬는 동안에도 끊임없이 생각하고 준비함으로써, 우리는 더 똑똑하고, 상황을 더 잘 이해하며, 사용자의 요구를 미리 예측하는 AI 시대를 맞이하게 될지도 모릅니다.