도구/제품

ChatGPT 떨고있나? 구글 제미나이, AI 비용 75% 대폭 인하

댓글 0 · 저장 0 2025.05.09 04:16

기사 3줄 요약

1 구글 제미나이 API, '암시적 캐싱' 도입
2 AI 모델 사용 비용 최대 75% 절감
3 개발자 부담 경감, AI 접근성 향상 기대

인공지능(AI) 한번 써보려는데 이용료가 너무 비싸서 망설였다면 주목할 소식입니다. 구글이 자사의 최신 AI 모델인 제미나이 API 사용 비용을 최대 75%까지 확 줄여주는 새로운 기술을 선보였습니다. ‘암시적 캐싱’이라는 이 기술은 개발자가 복잡한 설정을 하지 않아도 자동으로 반복되는 작업 비용을 아껴준다고 합니다. 이 때문에 전 세계 AI 개발자들이 뜨거운 관심을 보이고 있습니다. 잘만 하면 비싼 AI 이용료 부담이 크게 줄어들 것으로 기대됩니다. 최근 AI 모델을 사용하는 비용이 점점 비싸지는 추세 속에서 구글의 이번 발표는 개발자들에게 정말 반가운 소식입니다. 특히 AI 기술을 활용해 새로운 서비스를 만들려는 스타트업이나 개인 개발자들에게 큰 도움이 될 수 있습니다.

제미나이 API, 정말 75%나 싸진다고?

구글에 따르면, 이번에 도입된 ‘암시적 캐싱’ 기능은 제미나이 2.5 프로 및 플래시 모델에 자동으로 적용됩니다. 개발자들이 API를 요청할 때, 이전에 처리했던 내용과 겹치는 부분이 있으면 그 정보를 재활용해서 비용을 줄여주는 원리입니다. 구글은 이 기능을 잘 활용하면 AI 모델 사용 비용을 최대 75%까지 아낄 수 있다고 설명합니다. 마치 우리가 자주 쓰는 문구나 정보를 머릿속에 기억해뒀다가 필요할 때 바로 꺼내 쓰는 것과 비슷합니다. AI 모델도 한 번 처리했던 내용을 ‘캐시’라는 임시 저장 공간에 담아두고, 비슷한 요청이 오면 처음부터 모든 계산을 다시 하지 않고 저장된 내용을 활용하는 것입니다. 이렇게 하면 계산량이 줄어들고, 그만큼 비용도 절약되는 효과가 있습니다. 구글은 이 기능을 더 효과적으로 사용하기 위한 몇 가지 방법도 안내했습니다. 예를 들어, 여러 번 반복해서 사용될 내용(시스템 프롬프트 등)은 요청문의 앞부분에 두고, 매번 바뀌는 내용은 뒷부분에 두는 것이 유리하다고 합니다. 이렇게 하면 AI 모델이 겹치는 부분을 더 쉽게 찾아내 캐시를 활용할 확률이 높아집니다.

'자동 할인'의 비밀, 암시적 캐싱이 뭐길래?

‘암시적 캐싱’은 말 그대로 개발자가 특별히 신경 쓰지 않아도 ‘암묵적으로’ 캐싱이 이루어진다는 뜻입니다. API를 호출하면, 제미나이 모델이 알아서 이전에 비슷한 요청이 있었는지 확인하고, 있다면 캐시된 데이터를 활용해 응답을 더 빠르고 저렴하게 생성합니다. 이 모든 과정이 자동으로 진행되기 때문에 개발자는 복잡한 캐시 관리 작업에서 벗어날 수 있습니다. 자동차의 자동 변속기처럼, 운전자가 기어 변경에 신경 쓰지 않고 운전에만 집중할 수 있게 도와주는 것과 같습니다. 이러한 편리함 덕분에 개발자들은 AI 모델을 활용한 서비스 개발에 더욱 집중할 수 있게 됩니다.

기존 캐싱 방식이랑은 어떻게 달라?

구글은 이전에도 ‘명시적 캐싱’이라는 기능을 제공했습니다. 하지만 이는 개발자가 직접 캐시를 만들고 관리해야 하는 번거로움이 있었습니다. 이번 ‘암시적 캐싱’은 이러한 개발자들의 의견을 반영해 개선된 방식입니다. 두 방식의 주요 차이점은 아래 표와 같습니다.

구분	암시적 캐싱	명시적 캐싱
활성화	자동	수동
설정	필요 없음	필요함
비용 절감 보장	사용 패턴에 따라 다름	설정에 따라 보장 가능
개발자 작업	거의 없음	필요함
캐시 관리 주체	구글	개발자

명시적 캐싱은 개발자가 직접 캐시의 수명(TTL) 등을 설정하며 적극적으로 비용을 관리할 수 있는 장점이 있지만, 그만큼 신경 쓸 부분이 많았습니다. 반면 암시적 캐싱은 편리하지만, 캐시가 얼마나 잘 활용될지는 실제 사용 방식에 따라 달라질 수 있습니다.

그럼 단점은 하나도 없을까?

물론 암시적 캐싱도 만능은 아닙니다. 캐시가 의도치 않게 오래된 정보를 사용하거나, 현재 상황과 맞지 않는 내용을 보여줄 가능성도 있습니다. 특히 자주 내용이 바뀌는 데이터를 다루는 경우에는 캐시된 정보 때문에 문제가 생길 수도 있습니다. 또한, 개발자가 직접 캐시를 통제할 수 없기 때문에 데이터가 변경되었을 때 즉시 캐시를 삭제하거나 수정하기 어렵습니다. 따라서 매우 민감하거나 실시간으로 정확한 정보가 중요한 서비스에는 적합하지 않을 수 있다는 점도 고려해야 합니다.

그래서 진짜 효과는 써 봐야 알겠네?

구글의 이번 발표는 분명 AI 개발 분야에 긍정적인 영향을 줄 것으로 보입니다. 하지만 실제 비용 절감 효과가 얼마나 클지는 아직 사용자들의 실제 사용 후기를 통해 검증되어야 합니다. 제3자 검증이 아직 완료되지 않았기 때문입니다. 개발자들은 자신의 서비스에 암시적 캐싱을 적용해보고, 그 효과를 공유하면서 이 기능의 유용성을 함께 확인해나가는 과정이 필요합니다. 마치 새로운 약이 나왔을 때, 많은 임상 시험을 거쳐 그 효과와 안전성을 확인하는 것처럼 말입니다. 구글의 암시적 캐싱 기능이 AI 개발의 문턱을 낮추고 더 많은 혁신을 가져올 수 있을지, 앞으로의 발전이 기대됩니다.