산업/비즈니스

“공짜인 줄 알았는데 뒤통수?” 오픈소스 AI가 더 비싼 진짜 이유

댓글 1 · 저장 0 · 편집: 이도윤 기자 발행: 2025.08.18 18:45

기사 3줄 요약

1 오픈소스 AI, 폐쇄형보다 토큰 훨씬 많이 사용
2 저렴해 보이지만 실제 비용은 더 높을 수 있다는 지적
3 AI 스타트업 누스 리서치, 19개 모델 분석 결과 발표

최근 ‘오픈소스 인공지능(AI) 모델이 공짜나 다름없어 저렴하다’는 인식이 완전히 뒤집히는 연구 결과가 나왔습니다. 오히려 오픈소스 AI가 특정 작업을 할 때 훨씬 더 많은 자원을 사용해 실제 비용은 더 비쌀 수 있다는 분석입니다. AI 스타트업 누스 리서치에 따르면 오픈소스 AI 모델은 질문에 답하는 추론 과정에서 폐쇄형 모델보다 최대 10배나 많은 ‘토큰’을 사용하는 것으로 나타났습니다. 토큰이란 AI가 정보를 처리하는 기본 단위를 말합니다.

진짜 공짜가 아니라고?

자동차로 비유하면 이해가 쉽습니다. 기름값이 싼 차라도 연비가 나쁘면 결국 유지비가 더 많이 드는 것과 같습니다. 누스 리서치는 이 문제를 ‘토큰 효율성’ 문제라고 지적했습니다. 연구진은 총 19개의 AI 모델을 대상으로 지식 질문, 수학 문제 풀이 등 세 가지 과제를 실험했습니다. 그 결과, 오픈AI나 앤트로픽 같은 폐쇄형 모델들은 토큰을 매우 효율적으로 사용했습니다. 반면 일부 오픈소스 모델들은 아주 간단한 질문에도 수천 개의 토큰을 낭비하는 모습을 보였습니다.

왜 이런 일이 벌어진 걸까?

이런 비효율은 오픈소스 모델들이 성능을 높이기 위해 복잡한 문제 풀이 방식인 ‘사고 사슬(CoT)’을 도입하면서 나타났습니다. 이 기술은 어려운 문제를 단계별로 생각하게 해 정답률을 높이지만, 간단한 문제에는 불필요한 계산을 유발합니다. “호주의 수도가 어디야?” 같은 단순한 질문에도 과도한 생각의 과정을 거치며 자원을 낭비하는 셈입니다. 실제로 미스트랄, 딥시크 같은 유명 오픈소스 모델들조차 버전이 새로워질수록 오히려 토큰 사용량이 늘어나는 경향을 보였습니다. 정확도를 올리는 데 집중하다 보니 효율성을 놓친 것입니다.

그래서 우리한테 무슨 영향이 있는데?

이번 연구 결과는 AI를 도입하려는 기업들에게 중요한 점을 시사합니다. 단순히 AI 사용료가 싸다는 이유만으로 오픈소스 모델을 선택했다가는 예상치 못한 ‘요금 폭탄’을 맞을 수 있기 때문입니다. 실제 비용은 AI가 얼마나 많은 계산을 하는지에 따라 결정됩니다. 연구진은 “폐쇄형 모델이 API 가격은 비싸도, 효율성이 뛰어나 전체 비용 면에서는 더 유리할 수 있다”고 설명했습니다. 앞으로 AI 모델을 선택할 때는 가격표뿐만 아니라 ‘토큰 연비’까지 꼼꼼히 따져봐야 할 것으로 보입니다.