"가짜 AI 점수?" 성능 평가 방식에 심각한 결함 발견

최근 인공지능(AI) 모델의 성능을 비교하는 ‘챗봇 아레나’ 같은 대중 참여형 순위표가 큰 인기를 끌고 있습니다. 하지만 이 순위표를 정말 믿어도 될까요? 전문가들 사이에서 이런 평가 방식의 타당성과 악용 가능성에 대한 심각한 문제 제기가 나오고 있습니다. 단순히 "어떤 AI가 더 뛰어나다"고 보여주는 점수가 전부가 아니라는 겁니다. 오히려 기업들이 마케팅을 위해 점수를 부풀리는 데 악용될 수 있다는 우려가 커지고 있습니다. 왜 이런 논란이 불거졌는지, AI 성능 평가의 숨겨진 문제점은 무엇인지 자세히 살펴보겠습니다.

진짜 실력 맞아? 점수 믿기 어려운 이유

가장 큰 문제는 이 평가 방식이 AI의 진짜 능력을 제대로 측정하는지 불분명하다는 점입니다. 워싱턴 대학교의 에밀리 벤더 교수는 이런 벤치마크 대부분이 '구성 타당성'이 부족하다고 지적합니다. 즉, AI의 추론 능력이나 이해력 같은 핵심 능력을 측정한다고 주장하지만, 실제로는 그렇지 못할 수 있다는 뜻입니다. 예를 들어 챗봇 아레나에서 사용자들이 매기는 점수는 답변 길이, 글 서식, 심지어 이모티콘 사용 여부 같은 주관적인 요소에 영향을 받습니다. 더 길고 자신감 있어 보이는 답변을 내놓는 모델이, 설령 내용의 정확성이나 논리력이 떨어지더라도 더 좋은 평가를 받을 수 있다는 것이죠. 이는 마치 학교 시험에서 답안지 분량이나 글씨체만 보고 점수를 매기는 것과 비슷합니다. 겉보기에는 그럴싸해도, 실제 문제 해결 능력과는 거리가 멀 수 있습니다. 벤더 교수는 사용자의 선호도가 AI의 실제 능력을 의미한다는 증거는 없다고 단언합니다.

점수 조작 가능? 기업들의 꼼수

더 심각한 문제는 AI 기업들이 이런 벤치마크 점수를 의도적으로 조작할 수 있다는 의혹입니다. 높은 순위는 곧 투자 유치, 언론의 주목, 더 많은 사용자로 이어지기 때문에 기업들에게는 점수를 높일 강력한 유혹이 존재합니다. AI 기업 레산(Lesan)의 공동창업자 아스멜라시 테카 하드구는 기업들이 과장된 주장을 퍼뜨리기 위해 벤치마크를 악용하고 있다고 비판합니다. 최근 메타(Meta)의 '라마 4 매버릭' 모델 논란이 대표적입니다. 메타는 챗봇 아레나에서 높은 점수를 받도록 특별히 튜닝한 버전을 공개하지 않고, 실제로는 성능이 더 낮은 버전을 배포했다는 의혹을 받았습니다. 기업들이 점수를 조작하는 방법은 여러 가지입니다. 평가에 사용될 데이터를 미리 학습시켜 답을 외우게 하거나(데이터 오염), 오직 특정 벤치마크에서만 높은 점수를 받도록 모델을 최적화하는 방식(벤치마크 특화 최적화) 등이 있습니다. 심지어 평가받는 중임을 감지하고 답변 방식을 바꾸는 기술까지 동원될 수 있다고 합니다. 이런 '꼼수'는 벤치마크의 객관성을 훼손하고 AI 기술 발전에 대한 잘못된 인식을 심어줄 수 있습니다.

평가 방식, 이대로 괜찮을까?

전문가들은 현재의 정적이고 일반적인 벤치마크 방식의 한계를 지적합니다. 모든 상황에 적용되는 '만능 평가'는 현실적으로 불가능하다는 것입니다. 예를 들어 일반 상식 퀴즈용 벤치마크로는 의료 진단이나 법률 자문 같은 전문 분야 AI의 성능을 제대로 평가할 수 없습니다. 대안으로는 끊임없이 새로운 질문이 추가되고(동적 평가), 각 분야 전문가들이 참여해 특정 사용 목적에 맞게 평가 기준을 만드는(맞춤형 평가) 방식이 제시됩니다. 여러 독립 기관에서 다양한 방식으로 평가하는 것도 중요합니다.

사람 갈아 넣는 평가? 윤리 문제도 심각

크라우드소싱 평가 방식의 또 다른 문제는 윤리적 측면입니다. 챗봇 아레나와 같은 플랫폼에서 AI를 평가하는 참여자들은 대부분 보수를 받지 않는 자원봉사자입니다. 이들의 노력이 AI 모델 개선에 결정적인 역할을 한다면, 이는 정당한 보상 없는 노동력 착취가 아니냐는 비판이 나옵니다. 또한, 무보수 평가자 집단이 전체 사용자를 대표하지 못할 경우, 특정 집단의 편향된 시각이 평가 결과에 반영될 위험도 있습니다. AI 개발 과정에서의 공정한 노동 관행에 대한 논의와 함께, 평가자에게 정당한 보상을 지급하고 평가자 구성을 투명하게 공개해야 한다는 목소리가 높아지고 있습니다.

그럼 어떻게 해야 할까?

챗봇 아레나와 같은 공개 벤치마크는 사용자 피드백을 얻고 잠재적 문제점을 파악하는 데 유용한 도구입니다. 하지만 이것만으로는 AI 모델을 제대로 평가하기에 턱없이 부족하다는 것이 전문가들의 공통된 의견입니다. 결국, AI 성능을 정확히 파악하기 위해서는 여러 접근 방식을 종합해야 합니다. 공개 벤치마크 결과는 참고하되, 전문가들이 참여하는 비공개 유료 평가, 기업 내부의 엄격한 테스트, 잠재적 위험을 찾는 '레드팀' 운영 등을 병행해야 합니다. AI 기업과 벤치마크 개발자, 그리고 정책 입안자들은 현재 평가 방식의 문제점을 인식하고, 더 투명하고 책임감 있으며 윤리적인 평가 시스템을 만들기 위해 협력해야 합니다. 마치 거울의 방처럼, 기업들이 원하는 모습만 비추는 현재의 평가 방식에서 벗어나야 합니다. 진정한 기술 발전을 위해서는 겉모습이 아닌 실제 능력을 정확히 측정하려는 노력이 필요합니다.