기술/연구

믿었던 AI 순위마저… 빅테크 위한 짜고 치는 게임?

댓글 0 · 저장 0 2025.05.02 05:57

기사 3줄 요약

1 LM 아레나, 빅테크 AI 모델에 유리하게 순위 조작 의혹.
2 특정 기업, 비공개 테스트로 최고 성능 모델만 공개 논란.
3 AI 평가 공정성·투명성 문제 제기, 개혁 요구 목소리 커져.

요즘 인공지능(AI) 업계가 시끌벅적합니다. AI 모델 성능을 비교하고 순위를 매기는 유명 플랫폼 'LM 아레나'가 도마 위에 올랐습니다. 일부 거대 기술 기업(빅테크)에게만 유리하게 순위를 매긴다는 의혹이 제기된 것입니다. 최근 코히어 랩스, 프린스턴, MIT 소속 연구진들이 발표한 연구 결과가 논란에 불을 지폈습니다. 이들은 LM 아레나가 메타, 구글, 오픈AI 같은 회사들의 자체 개발 모델에 유리하도록 평가 방식을 운영하고 있다고 주장합니다. AI 평가의 공정성과 투명성에 대한 심각한 의문이 제기된 셈입니다.

빅테크는 어떻게 순위를 높였나?

논란의 핵심은 LM 아레나가 특정 기업, 특히 메타 같은 회사에게만 비공개로 수많은 버전의 모델(예 라마-4)을 테스트할 기회를 줬다는 점입니다. 그리고 그중 가장 성능이 좋게 나온 모델만 골라 순위표에 공개했다는 것입니다. 비판하는 사람들은 이를 '선택적 공개'라고 부릅니다. 이런 방식은 해당 기업 모델의 순위를 인위적으로 부풀리는 결과를 낳습니다. 결국 AI 모델을 선택하려는 소비자를 오도하고, 비슷한 자원이 없는 작은 AI 개발 회사들에게는 불리하게 작용할 수밖에 없습니다. 실제로 테크크런치 보도에 따르면, 메타는 라마-4 출시 전인 지난 1월부터 3월까지 챗봇 아레나에서 27개의 모델 버전을 비공개로 테스트했다고 합니다. 그리고 출시 때는 단 하나의 모델 점수만 공개했는데, 공교롭게도 그 모델이 순위표 최상위권에 있었습니다.

LM 아레나 측 입장은?

이런 의혹에 대해 LM 아레나 측은 지난 3월 블로그 게시물을 통해 사전 출시 테스트 기능을 공개했다고 반박합니다. 단순히 모델 제공 업체가 더 많은 테스트를 제출하도록 허용하는 것이 불공정한 대우는 아니라는 입장입니다. LM 아레나 공동 설립자인 이온 스토이카 UC 버클리 교수는 "한 모델 제공자가 다른 제공자보다 더 많은 테스트를 제출하기로 선택했다고 해서, 다른 제공자가 불공정하게 대우받는다는 의미는 아니다"라고 말했습니다. 하지만 이런 해명에도 불구하고 AI 커뮤니티 내 우려는 가라앉지 않고 있습니다. 비판론자들은 기술력과 자원의 불균형, 그리고 순위 조작 가능성이 플랫폼의 객관적인 평가 기준으로서의 신뢰도를 훼손한다고 주장합니다.

그래서 어떻게 바꿔야 할까?

신뢰를 회복하고 공정성을 확보하기 위해 연구자들은 LM 아레나의 평가 방식에 대한 대대적인 개혁을 요구하고 있습니다. 주요 제안 내용은 다음과 같습니다. * 한 그룹이 추가할 수 있는 모델 수 제한하기. 이는 기업들이 수많은 버전의 모델로 순위표를 도배하여 전체 순위를 인위적으로 높이는 것을 방지할 수 있습니다. * 모든 모델 결과 공개하기. 투명성이 핵심입니다. 최종 버전이 아닌 모델의 테스트 결과까지 모두 공개하면 모델 성능에 대한 더 완전하고 정확한 그림을 제공할 수 있습니다. LM 아레나 측도 일부 우려를 해소하기 위해 노력하겠다는 의사를 밝혔습니다. 평가 데이터가 부족한 소규모 개발사에게 더 많은 기회를 주기 위해 샘플링 알고리즘을 다양화하는 작업을 시작했다고 합니다. 하지만 AI 커뮤니티는 공정성을 보장하고 경쟁의 장을 평평하게 만들기 위한 더 구체적인 조치를 기다리고 있습니다. 이번 논란은 LM 아레나를 넘어 AI 평가 자체의 어려움을 보여줍니다. AI가 판사 역할을 하는 평가 방식에는 미묘한 편향이 숨어있을 수 있습니다. 예를 들어 제시된 순서에 따라 응답을 선호하는 '위치 편향', 내용과 상관없이 긴 답변을 선호하는 '장황함 편향', AI가 자기 자신이 만든 응답을 더 좋게 평가하는 '자기 향상 편향' 등이 결과 왜곡을 일으킬 수 있습니다. 결론적으로, LM 아레나 논란은 빠르게 발전하는 AI 분야에서 공정하고 신뢰할 수 있는 평가 기준을 만드는 것이 얼마나 중요한지를 일깨워줍니다. AI 모델이 점점 더 정교해지고 중요한 분야에 적용됨에 따라, 투명성, 객관성, 책임감을 우선시해야 합니다. 강력한 평가 방법을 채택하고 열린 대화를 통해 업계는 모델의 능력을 정확하게 반영하고 건전한 경쟁을 촉진하며 궁극적으로 소비자에게 이익이 되는 벤치마크를 만들기 위해 노력해야 합니다. 그렇지 않으면 소수의 강력한 기업의 지배력을 강화하고 광범위한 AI 생태계의 혁신을 저해할 위험이 있습니다.