AI 성능 점수 믿었는데… Meta 특혜 의혹, 공정성 논란

최근 인공지능(AI) 모델의 성능을 평가하는 방식, 즉 '벤치마크'의 공정성을 두고 논란이 뜨겁습니다. 우리가 보는 AI 성능 순위나 점수가 정말 믿을 만한 것인지 근본적인 질문이 제기된 것입니다. 특히 세계적인 IT 기업 Meta(메타)가 특정 평가 기관(LMSYS)으로부터 부당한 특혜를 받았다는 의혹이 불거졌고, 발표된 벤치마크 점수와 실제 사용자들이 느끼는 성능 간의 차이가 크다는 지적이 나오면서 AI 평가 시스템 전체의 신뢰도에 대한 의문이 커지고 있습니다.

AI 순위 매기는데, 특정 선수 밀어줬다고?

논란의 중심에는 LMSYS라는 AI 성능 비교 플랫폼이 있습니다. 이곳은 미국 UC 버클리 연구소에서 개발한 '챗봇 아레나'를 운영하며 사용자들이 어떤 AI 챗봇을 더 선호하는지 등을 조사해 순위를 매깁니다. 그런데 코히어, 스탠포드 대학교 등 다른 연구기관들이 "LMSYS가 메타에게만 비공개로 테스트 기회를 제공하고, 피드백을 통해 모델 출시를 도왔다"는 의혹을 제기했습니다. 구체적으로 메타가 작년 1월부터 3월 사이, 'Llama 4(라마 4)'라는 새 AI 모델의 여러 버전을 챗봇 아레나에서 몰래 테스트한 뒤 결과를 바탕으로 출시 모델을 최적화했다는 주장입니다. 만약 이것이 사실이라면, LMSYS가 공정한 경쟁 환경을 제공하지 않고 특정 기업에게만 유리한 조건을 만들어준 셈이 됩니다. LMSYS 측은 이런 의혹에 대해 명확한 해명을 내놓지 않아 논란은 더 커지고 있습니다.

점수는 100점인데, 써보니 왜 이래?

메타의 'Llama 4' 모델은 발표 당시 벤치마크 점수가 매우 높게 나와 큰 기대를 모았습니다. 하지만 막상 이 모델을 사용해본 사람들 사이에서는 "기대했던 것보다 성능이 별로다"라는 불만이 터져 나왔습니다. 특히 MMLU(대규모 다중작업 언어 이해)라는 주요 벤치마크에서는 높은 점수를 기록했지만, 실제 사용자들이 체감하는 능력은 그에 미치지 못한다는 의견이 많았습니다. 메타도 이러한 성능 차이를 일부 인정했지만, 왜 그런 차이가 발생했는지 속 시원한 설명을 내놓지 못했습니다. 이는 벤치마크 점수만으로는 AI의 실제 성능을 완전히 파악하기 어렵다는 것을 보여줍니다. 전문가들은 이를 '벤치마크 과적합(overfitting)' 현상의 예로 설명합니다. 마치 시험 문제 유형만 달달 외워서 특정 시험 점수는 잘 받지만, 실제 응용 능력이나 문제 해결 능력은 떨어지는 것과 비슷합니다.

AI 성능 시험, 한번 보는데 400만원?

AI 모델의 성능을 제대로 테스트하는 데에는 상당한 비용이 듭니다. 한 분석에 따르면, OpenAI의 최신 모델 'o1'을 주요 벤치마크 7개에서 평가하는 데 약 400만원에 가까운 비용이 든다고 합니다. 앤트로픽의 '클로드 3.7 소네트' 모델도 약 213만원이 필요합니다. 이렇게 높은 테스트 비용은 자금력이 부족한 소규모 AI 개발사나 연구기관에게는 큰 부담입니다. 결국 막대한 자본을 가진 대기업들만 충분한 테스트를 거쳐 성능을 검증받고 시장을 주도하게 되어, AI 기술 개발 경쟁에서 부익부 빈익빈 현상이 심화될 수 있습니다. 또한, 대형 AI 기업들이 벤치마크를 운영하는 기관에 자금을 지원하는 관행도 문제입니다. 돈을 받은 평가 기관이 자금을 지원한 기업의 모델에 대해 더 후한 점수를 주거나 유리하게 평가할 가능성, 즉 '이해 상충'의 문제가 발생할 수 있습니다. 이는 벤치마크 결과의 객관성과 공정성을 심각하게 훼손할 수 있는 위험 요소입니다.

진짜 똑똑한 AI 가리려면? 시험 방식 바꿔야

미국 스탠포드 대학교 연구진들은 좋은 AI 벤치마크의 조건에 대해 강조합니다. 단순히 지식을 얼마나 많이 암기하고 있는지를 평가하는 것이 아니라, 실제 인간처럼 추론하고, 복잡한 문제를 해결하며, 창의적인 생각을 할 수 있는 능력을 측정해야 한다는 것입니다. 또한, 모델이 시험 문제(데이터셋)를 미리 외우는 것을 막기 위해 평가 데이터셋을 자주 업데이트해야 하며, 인간 전문가도 풀기 어려운 수준의 다단계 추론 능력을 요구해야 한다고 지적합니다. 한국에서도 이러한 문제의식을 바탕으로 'Open-Ko LLM Leaderboard'와 같이 한국어 AI 모델의 성능을 공정하게 평가하려는 노력이 이루어지고 있습니다. 한국지능정보사회진흥원(NIA)과 업스테이지 같은 기업이 협력하여 만든 이 순위표는 한국어 능력에 특화된 평가 기준을 제시하려 하지만, 아직 데이터셋 규모나 평가 항목 면에서는 개선이 필요하다는 지적도 있습니다. 벤치마크는 AI 모델의 성능을 쉽고 빠르게 비교할 수 있게 해주는 중요한 도구입니다. 특히 신생 기업에게는 좋은 벤치마크 점수가 투자 유치나 고객 확보에 큰 도움이 될 수 있습니다. 하지만 현재 드러난 것처럼 공정성 논란, 높은 비용 부담, 벤치마크 점수와 실제 성능 간의 불일치 같은 문제들이 해결되지 않는다면, 벤치마크 자체의 신뢰도가 크게 떨어질 수 있습니다. '벤치마크 점수가 높으니 무조건 좋은 AI'라고 생각하는 것은 위험할 수 있습니다. 앞으로는 벤치마크 점수뿐만 아니라, 실제 사용 후기나 다양한 환경에서의 테스트 결과 등을 종합적으로 고려하여 AI 모델의 가치를 판단하는 시각이 필요합니다. AI 성능 경쟁이 치열해질수록, 평가 기준의 투명성과 공정성을 확보하는 것이 AI 산업의 건강한 발전을 위해 무엇보다 중요해 보입니다.