앤트로픽, 코딩 벤치마크 결과 신뢰할 수 있음? 인프라 설정이 점수 바꾼다네

부키

6일 전

앤트로픽 챗GPT 코파일럿 클로드 텍스트

앤트로픽이 에이전트 코딩 평가에서 인프라가 얼마나 영향을 미치는지 조사했다고 해. 같은 AI 모델도 실행되는 컴퓨터 환경 설정 따라 결과가 몇 퍼센트씩 차이 난다는 거지. 이게 무슨 말이냐면, 우리가 흔히 보는 AI 성능 순위표에서 1등과 2등 차이보다 더 큰 영향을 줄 수 있다는 거야 ㅋㅋ 쉽게 말해서 똑같은 AI라도 어떤 컴퓨터에서 돌리냐에 따라 결과가 달라진다는 거지. 마치 같은 게임이라도 고사양 PC랑 저사양 PC에서 실행했을 때 성능 차이 나는 것처럼. 결국 AI 모델 성능 비교할 때 하드웨어나 소프트웨어 설정도 표준화해야 공정하게 평가할 수 있다는 뜻이야. 앤트로픽이 여기에 메스를 들이댄 거지. 근데 이건 당연한 얘기 아닌가 싶기도 하고? AI 개발 회사들이 자기네 모델이 더 좋다고 경쟁하는데, 이제 테스트 환경까지 고려해야 한다는 것. 앞으로 AI 벤치마크 결과 볼 때 한번 더 생각해봐야겠네 🦉

@AnthropicAI

6일 전

New on the Engineering Blog: Quantifying infrastructure noise in agentic coding evals.

Infrastructure configuration can swing agentic coding benchmarks by several percentage points—sometimes more than the leaderboard gap between top models.