기술/연구

치팅했다는 의혹 맞서는 메타…'라마4 벤치마크 점수 조작 안했다' 강력 반박

댓글 0 · 저장 0 2025.04.08 04:39

기사 3줄 요약

1 메타 생성형 AI 부사장, 라마4 벤치마크 조작 의혹 부인
2 익명의 전 직원 주장으로 소셜미디어서 논란 확산
3 AI 평가 과정 투명성과 신뢰성 문제 산업계 화두로

"치팅했다는 의혹 맞서는 메타…'라마4 벤치마크 점수 조작 안했다' 강력 반박"

기사 3문장 요약

메타 생성형 AI 부사장, 라마4 벤치마크 조작 의혹 부인 익명의 전 직원 주장으로 소셜미디어서 논란 확산 AI 평가 과정 투명성과 신뢰성 문제 산업계 화두로

인공지능 평가 신뢰성 논란의 중심에 선 메타의 라마4

메타가 인공지능 모델 '라마4'의 성능 평가 점수를 인위적으로 부풀렸다는 의혹에 대해 강력히 반박하고 나섰다. 이번 논란은 테크크런치가 보도한 바와 같이, 메타의 생성형 AI 부문 담당 부사장인 아흐마드 알-달레가 공개적으로 해명에 나서면서 더욱 주목받고 있다. 논란은 중국 소셜미디어에 익명으로 올라온 글이 시작점이었다. 자신을 메타 전직 직원이라고 주장한 이 사용자는 메타가 라마4 모델을 평가 데이터셋에 맞춰 특별히 학습시켰다고 주장했다. AI 벤치마크란 인공지능 모델의 성능을 평가하기 위해 사용되는 표준화된 데이터 모음인데, 만약 평가용 데이터로 미리 학습을 진행했다면 이는 일종의 '컨닝'으로 간주될 수 있는 심각한 문제다. 이 의혹은 연구자들이 발견한 여러 불일치 사항으로 인해 더욱 힘을 얻었다. 특히 공개적으로 다운로드할 수 있는 '매버릭(Maverick)' 버전과 'LM 아레나'에서 호스팅되는 버전 사이에 성능 차이가 있다는 점이 지적됐다. 메타는 이에 대해 벤치마크 테스트에 '매버릭의 실험적 채팅 버전'을 사용했다고 인정했으며, 이 버전이 명확한 포맷팅과 구조화된 응답을 통해 인간 평가자들에게 최적화되었을 가능성이 제기되었다.

메타의 강력한 반박과 해명

알-달레 부사장은 X(옛 트위터)를 통해 "테스트 세트에 대한 학습이 이루어졌다는 주장은 전혀 사실이 아니며, 메타는 절대 그런 일을 하지 않을 것"이라고 강조했다. 그는 일부 사용자들이 여러 클라우드 제공업체에서 매버릭과 스카우트 모델에 대해 '품질 불균형' 문제를 경험하고 있다는 점을 인정했지만, 이는 구현 과정의 어려움 때문이라고 설명했다. 메타의 입장에 따르면, 라마4 모델은 '준비되는 즉시' 출시되었기 때문에 모든 공개 구현이 안정화되기까지는 며칠이 걸릴 것이라고 한다. 알-달레는 메타가 이러한 문제를 해결하기 위해 버그 수정과 파트너 온보딩에 적극적으로 나서고 있다고 덧붙였다.

AI 모델 평가의 투명성과 신뢰성 문제

라마4를 둘러싼 이번 논란은 AI 모델 평가와 개발 과정의 투명성이 얼마나 중요한지를 다시 한번 상기시킨다. 특히 AI 산업 전반에 표준화된 평가 방식의 필요성이 제기되고 있다. 메타의 라마4 모델은 '전문가 혼합(MoE)' 아키텍처를 활용하는 것이 특징이다. 이는 데이터 처리 작업을 하위 작업으로 분할하고 이를 더 작고 전문화된 '전문가' 모델에 위임함으로써 계산 효율성을 높이는 방식이다. 그러나 라마4의 라이선스 조건은 EU에 주소를 두거나 주요 사업장이 있는 기업의 사용을 제한하고, 월간 활성 사용자가 7억 명을 초과하는 기업에는 특별 라이선스를 요구하는 등 까다로운 조건을 포함하고 있다. 메타가 라마4를 계속 개선하고 성능 문제를 해결해 나가는 과정에서, AI 커뮤니티는 이 상황이 어떻게 전개될지 주목하고 있다. 이번 사례는 AI 기술이 발전함에 따라 기술적 성능뿐만 아니라 평가 과정의 신뢰성과 투명성이 얼마나 중요한지를 보여주는 중요한 사례가 될 것이다.

부키와 모키의 티격태격

부키: 또 시작됐네. AI 회사들의 성능 뻥튀기 논란. 솔직히 나는 메타가 조금 의심스러워. 갑자기 경쟁사보다 엄청난 성능 나왔다고? 모키: 아니 왜 그렇게 단정 짓는데? 아직 증거도 없잖아. 메타가 분명히 부인했고, 그냥 구현 과정의 버그 아닐까? 부키: 하! 너무 순진하다ㅋㅋ 테슬라의 FSD나 자율주행차 회사들도 다 이런 식이야. 화려한 발표는 해놓고 실제론 다르고. 모키: 그래도 이런 의혹만으로 정정당당하게 경쟁하는 기업을 매도하는 건 좀 그렇지 않아? 증거 있어? 부키: 점수 조작 안 했다면 왜 실험용 버전을 벤치마크에 썼을까? 보통은 공개 버전이랑 같은 걸 써야 공정하지. 이건 완전 의도적이야;; 모키: 흠... 그건 그렇네. 근데 이런 논란이 반복되는 걸 보면 AI 평가 자체가 표준화되어야 할 필요성이 있는 것 같아. 부키: 그건 동의! 결국 돈과 명성이 걸린 거대 기업들은 항상 유리한 쪽으로 수치를 보여주려고 해. 독립적인 평가 기관이 필요해. 모키: 맞아! 오픈소스에 더 무게를 실어야 하는 이유기도 하지. 누구나 검증할 수 있으니까. 투명성이 핵심이야

1분 요약

<기사 간단 요약> 메타가 AI 모델 '라마4'의 벤치마크 점수를 인위적으로 부풀렸다는 의혹에 강력 반박했습니다. 익명의 전직원 주장으로 시작된 이 논란은 실험용 버전과 공개 버전 간 성능 차이가 발견되며 확산됐습니다. 이는 AI 평가의 투명성과 표준화 필요성을 다시 일깨웠습니다. <유도 문구> 메타는 왜 '실험용 버전'을 사용했을까?