기술/연구

“AI 크기 경쟁은 이제 끝났다” MS가 GPT-4o 이긴 진짜 이유

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.11.18 18:35

기사 3줄 요약

1 MS, ‘양보다 질’ 데이터로 거대 AI 이기는 소형 모델 증명
2 소형 AI ‘파이-4’, 일부 수학 문제서 GPT-4o 성능 능가
3 AI 경쟁, 모델 크기에서 데이터 및 학습 전략으로 전환 예고

인공지능(AI)은 무조건 클수록 똑똑하다는 공식이 깨졌습니다. 마이크로소프트(MS)가 거대한 AI 모델이 아니더라도, 데이터 전략과 훈련 방식만으로 최고 수준의 성능을 낼 수 있다는 연구 결과를 발표했습니다. 이 기술은 MS의 간판 소형 AI 모델인 ‘파이-4(Pi-4)’에 적용되었습니다. MS가 공개한 ‘파이-4 기술 보고서’에 따르면, 이들의 접근법은 기존 AI 개발 방식과 정반대입니다. 수십억, 수조 개의 데이터를 쏟아붓는 대신, 정교하게 고른 고품질 데이터와 똑똑한 학습 계획만으로 소형 AI를 대형 AI 수준으로 끌어올렸습니다.

비결이 뭐야? 양이 아니라 질이라고?

파이-4 성공의 핵심은 ‘데이터의 품질’입니다. 파이-4는 단 140만 개의 엄선된 고품질 데이터만으로 훈련됐습니다. 이는 다른 거대 AI 기업들이 사용하는 데이터 양에 비하면 아주 적은 수준입니다. MS 연구팀은 AI가 이미 잘 푸는 쉬운 문제나, 너무 어려워서 배울 게 없는 문제는 과감히 버렸습니다. 대신 AI가 자주 틀리는 ‘실력의 경계선’에 있는 문제들만 집중적으로 학습시켰습니다. 마치 학생의 오답 노트를 만들어 취약한 부분만 공략하는 것과 같습니다. 또한, 정답이 애매한 문제들을 숫자처럼 답이 명확하게 떨어지는 문제로 바꾸는 ‘합성 데이터’ 기술도 활용했습니다. 이렇게 하면 AI가 정답을 맞혔을 때 확실한 보상을 줄 수 있어 학습 효율이 크게 올라갑니다.

AI를 과외시킨다고? 똑똑한 훈련법

파이-4의 또 다른 비밀은 ‘모듈형 학습’이라는 훈련 전략에 있습니다. 각 과목을 따로 공부해서 마스터한 뒤, 나중에 합쳐서 종합적인 실력을 키우는 방식입니다. 예를 들어, 먼저 수학 데이터만으로 AI의 수학 실력을 최고로 끌어올립니다. 그다음, 따로 준비한 코딩 데이터셋을 추가해 학습시키는 식입니다. MS에 따르면 이 방법을 사용했을 때, 새로운 과목을 배워도 기존 과목의 실력이 떨어지지 않고 오히려 함께 개선되는 놀라운 결과가 나타났습니다. 이는 기업들이 법률, 금융 등 특정 분야의 AI를 먼저 개발하고 다른 영역으로 확장할 수 있는 아주 실용적인 방법을 제시합니다.

그래서 성능은? 작은 고추가 맵다더니

파이-4의 성능은 여러 테스트에서 증명됐습니다. 비슷한 크기의 다른 AI 모델을 12개 항목 중 9개에서 앞섰습니다. 특히 과학, 기술, 공학, 수학(STEM) 분야에서 뛰어난 능력을 보였습니다. 일부 대학원 수준의 STEM 질문과 수학 경시대회 문제에서는 자신을 가르친 ‘선생님 모델’ 격인 오픈AI의 ‘GPT-4o’보다 더 높은 점수를 기록했습니다. 이 결과는 AI 시장의 판도를 바꿀 만한 사건입니다. 무조건 크기만 키우던 경쟁에서 벗어나, 데이터 품질과 학습 전략의 중요성을 보여줬기 때문입니다. 앞으로 AI 시장의 경쟁은 누가 더 똑똑한 데이터와 학습 전략을 가졌는지에 따라 갈릴 전망입니다.