산업/비즈니스

“AI 서버 비용 10배 아낀다고?” 60억 투자받은 괴물 스타트업의 정체는?

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.10.24 01:52

기사 3줄 요약

1 AI 스타트업 텐서메시, 60억 원 투자 유치 성공
2 AI의 '기억력' 높여 서버 비용 최대 10배 절감하는 기술 개발
3 구글, 엔비디아도 주목, 고비용 AI 시대의 변화 예고

인공지능(AI)은 돈 먹는 하마라는 상식이 깨지고 있습니다. AI를 한번 돌릴 때마다 어마어마한 비용이 들어간다는 걱정을 덜어줄 기술이 등장했습니다. 최근 AI 스타트업 ‘텐서메시’가 약 60억 원(450만 달러)의 투자를 유치하며 화제의 중심에 섰습니다. 이 회사는 AI 구동에 들어가는 서버 비용을 최대 10배까지 줄일 수 있는 혁신적인 기술을 개발했습니다.

그래서, 비법이 뭔데?

비밀은 ‘KV 캐시’라는 기술에 있습니다. AI는 사용자의 질문에 답하기 위해 수많은 계산을 하는데, 기존 방식에서는 질문이 끝날 때마다 계산했던 내용을 전부 잊어버렸습니다. 이는 마치 똑똑한 분석가가 질문 하나에 답하고 나면 모든 지식을 까먹는 것과 같은 비효율적인 방식이었습니다. 텐서메시의 기술은 AI에게 ‘기억력’을 만들어줍니다. 한번 계산한 내용을 저장해두고, 비슷한 질문이 들어오면 다시 계산할 필요 없이 저장된 내용을 바로 꺼내 쓰는 것입니다. 이런 방식으로 불필요한 계산 과정을 생략해 시간과 비용을 획기적으로 줄입니다.

구글, 엔비디아도 쓰는 기술이라고?

이 기술의 잠재력은 이미 업계 거물들도 알아봤습니다. 텐서메시 기술의 바탕이 된 오픈소스 ‘LMCache’는 구글과 엔비디아 같은 대기업들이 자신들의 서비스에 도입했을 정도로 기술력을 인정받았습니다. 특히 대화가 길어지는 챗봇 서비스나 여러 단계에 걸쳐 목표를 수행하는 AI 에이전트 시스템에서 효과가 뛰어납니다. 대화의 맥락을 계속 기억해야 하는 상황에서 반복적인 계산을 막아주기 때문입니다. 사용자는 더 빠르고 막힘없는 AI 서비스를 경험할 수 있게 됩니다.

AI, 이제 아무나 쓸 수 있게 되나?

지금까지 이런 고효율 기술을 개발하려면 수십 명의 엔지니어가 몇 달 동안 매달려야 했습니다. 하지만 텐서메시는 이 기술을 누구나 쉽게 쓸 수 있는 제품으로 만들어 제공합니다. 이는 값비싼 GPU 자원 때문에 AI 도입을 망설였던 수많은 중소기업이나 스타트업에게 새로운 기회가 될 수 있습니다. 텐서메시의 공동 창업자 장준천은 “우리 제품을 사용하면 매우 효율적으로 시스템을 구축할 수 있다”며 자신감을 보였습니다. AI 기술의 문턱을 낮춰 산업 전반의 혁신을 앞당길 수 있을지 주목됩니다.