기술/연구

AI 벤치마킹 비용 '충격'... 머리 쓰는 모델일수록 30배 더 비싸다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.10 23:17

기사 3줄 요약

1 AI 추론 모델, 벤치마킹 비용 일반 모델보다 25배 이상 높아
2 OpenAI o1 모델은 2,767달러, GPT-4o는 108달러로 격차 심각
3 추론 모델은 단계별 사고과정이 비용 증가의 주요 원인

AI가 생각하면 할수록 값이 비싸진다고?

여러분, 스마트폰이나 컴퓨터를 사용하다 보면 스펙이 좋을수록 가격이 비싸진다는 걸 알고 계실 겁니다. AI도 마찬가지인데요, 최근 AI가 '생각'을 많이 하면 할수록 비용이 크게 늘어나는 현상이 확인됐습니다. 특히 복잡한 수학 문제를 풀거나 여러 단계의 추론을 해야 하는 '추론 모델(reasoning models)'이라 불리는 AI들의 벤치마킹(성능 측정) 비용이 일반 AI보다 무려 25배 이상 비싼 것으로 나타났습니다.

벤치마킹 비용, 얼마나 차이 날까?

추론 모델과 일반 모델의 벤치마킹 비용 차이는 정말 큽니다. 동일한 테스트를 했을 때 비용을 비교해보면:

모델	벤치마크 테스트	비용
OpenAI o1(추론 모델)	MMLU-Pro, GPQA 등 7개 테스트	2,767.05달러
Anthropic Claude 3.7 Sonnet	같은 7개 테스트	1,485.35달러
OpenAI o3-mini-high	같은 7개 테스트	344.59달러
OpenAI GPT-4o(일반 모델)	다양한 테스트	108.85달러

보시다시피 OpenAI의 o1 추론 모델은 7개의 벤치마크 테스트에서 약 2,767달러가 들었지만, 일반 모델인 GPT-4o는 비슷한 테스트에 108달러밖에 들지 않았습니다. 무려 25배 이상 차이가 나는 겁니다!

왜 추론 모델은 더 많은 비용이 드는 걸까요?

추론 모델이 일반 모델보다 훨씬 비용이 많이 드는 이유는 '토큰(token)' 생성량 때문입니다. 토큰은 AI가 글을 처리하는 최소 단위로, 많은 토큰을 생성할수록 더 많은 컴퓨팅 파워와 비용이 필요합니다. 추론 모델이 더 많은 토큰을 생성하는 이유는 다음과 같습니다: 1. 복잡한 사고 과정: 추론 모델은 문제를 해결할 때 여러 단계로 생각하며, 각 단계마다 중간 생각과 결론을 생성합니다. 2. 단계별 추론: 일반 모델은 바로 답을 내놓지만, 추론 모델은 '단계별로 생각'하며 각 단계가 토큰으로 표현됩니다. 3. 자세한 설명: 추론 모델은 자신의 추론 과정을 상세히 설명하기 때문에 일반 모델보다 더 많은 텍스트를 생성합니다. 4. 맥락 이해: 추론 과제는 깊은 맥락 이해가 필요하며, 이로 인해 모델이 맥락 정보를 처리하고 통합하면서 더 많은 토큰을 생성합니다. 에포크 AI의 선임 연구원 장-스타니슬라스 드네인에 따르면 "현대 벤치마크는 복잡하고 여러 단계가 필요한 질문을 포함하기 때문에 모델에서 많은 토큰을 끌어낸다"고 합니다.

높은 벤치마킹 비용의 영향은?

추론 모델의 벤치마킹 비용 증가는 AI 생태계에 여러 영향을 미칠 수 있습니다: 1. 개발과 도입 제한: 높은 비용은 특히 예산이 제한된 조직에서 추론 모델의 개발과 도입을 제한할 수 있습니다. 2. 진입 장벽: 비용 증가는 중소기업과 스타트업에게 진입 장벽이 될 수 있어, 혁신을 저해할 가능성이 있습니다. 3. 투명성과 책임성 감소: 높은 비용으로 인해 벤치마킹 빈도가 줄어들면 AI 개발의 투명성과 책임성이 감소할 수 있습니다.

과학적 진실성에 대한 우려

AI 연구소들이 자사 모델에 무료 접근을 제공하는 것도 문제가 됩니다. 연구소들이 특정 벤치마크에서 좋은 성능을 보이는 모델에만 선택적으로 접근을 제공할 경우, 편향된 결과로 이어질 수 있기 때문입니다. 이런 위험을 줄이기 위해 독립적인 제3자 벤치마킹 서비스 사용과 벤치마킹 과정의 투명성 보장이 중요합니다. 또한 평가자가 어떤 모델을 테스트하는지 모르는 '블라인드 벤치마킹'도 편향을 줄이는 데 도움이 될 수 있습니다.

비용 절감 전략

벤치마킹 비용을 줄이기 위한 전략에는 다음과 같은 것들이 있습니다: 1. 작은 모델 사용: 더 작고 효율적인 모델을 벤치마킹하면 컴퓨팅 비용을 줄일 수 있습니다. 2. 효율적인 벤치마킹 기술 활용: Few-shot 학습 등의 기술로 벤치마킹에 필요한 데이터 양을 줄일 수 있습니다. 3. 오픈소스 벤치마크와 도구 활용: 오픈소스 리소스는 벤치마크 개발 및 실행 비용을 줄일 수 있습니다. 4. 출력 기반 효율성: 추론 과정의 단계를 압축하는 기술로 비용을 줄일 수 있습니다. 비록 현재 벤치마킹 비용이 증가하고 있지만, 클라우드 제공업체 간 경쟁, 모델 효율성 향상, 효율적인 벤치마킹 기술 개발 등의 요인으로 인해 미래에는 비용이 감소할 가능성도 있습니다. 예를 들어, 양자화 및 효율적인 미세 조정 기술의 사용으로 벤치마킹에 필요한 컴퓨팅 리소스가 줄어들고 있습니다. 버클리 대학교 연구팀은 최근 오픈소스 추론 LLM인 Sky T1 32B Preview를 출시했는데, 450달러 미만의 비용으로 훈련되었음에도 OpenAI의 o1보다 Math500 같은 벤치마크에서 더 나은 성능을 보여주었습니다. 이는 앞으로 고성능 AI 모델의 개발 비용이 점차 낮아질 수 있음을 시사합니다. 비용과 정확성 사이에는 종종 트레이드오프가 존재합니다. 더 종합적이고 엄격한 벤치마킹은 더 비싸지만 모델 성능에 대한 더 정확한 평가를 제공할 수 있습니다. 따라서 AI 개발자들은 비용과 정확성 사이에서 최적의 균형을 찾는 방법을 고민해야 합니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr