기술/연구

140억개 매개변수로 6700억개 모델 이겼다? MS 소형 AI 돌풍

댓글 0 · 저장 0 2025.05.02 03:51

기사 3줄 요약

1 MS, 작지만 강력한 AI '파이4' 라인업 공개.
2 일부 모델, 거대 경쟁 AI 모델 성능 능가.
3 샤오미도 소형 AI 'MiMo-7B' 오픈소스 공개.

크기가 전부는 아니었습니다. 인공지능(AI) 세계에서 놀라운 일이 벌어졌습니다. 거대한 몸집을 자랑하는 AI 모델들 사이에서, 작지만 훨씬 똑똑한 '꼬마 거인'들이 등장하기 시작했습니다. 마이크로소프트(MS)가 최근 공개한 '파이4(Phi-4)'라는 새로운 AI 모델 라인업이 바로 그 주인공입니다. 이 작은 AI들이 기존의 거대 모델 성능을 뛰어넘는 결과를 보여주면서, AI 업계의 판도를 뒤흔들고 있습니다.

파이4, 뭐가 다른데?

MS가 내놓은 '파이-4-인퍼런스(Phi-04-Inference)' 라인업은 크게 세 가지 모델로 나뉩니다. 각각 특정 용도와 성능 목표에 맞춰 설계되었습니다. 먼저 '파이4-리저닝(140억 개 매개변수)' 모델입니다. 이 모델은 오픈AI의 모델(o3-mini)이 보여준 추론 능력을 학습 데이터로 삼아 미세조정(fine-tuning)하는 '지식 증류' 기법을 사용했습니다. 그 결과, 여러 성능 테스트에서 딥식(DeepSeek)의 거대 모델(R1)과 맞먹는 경쟁력을 보여줍니다. 작은 모델도 똑똑한 스승에게 잘 배우면 최고 수준이 될 수 있다는 걸 증명한 셈입니다. 다음은 '파이4-리저닝-플러스(140억 개 매개변수)'입니다. 기본 리저닝 모델에 강화 학습 기법과 더 많은 학습 데이터(1.5배 많은 토큰)를 추가해 성능을 한 단계 더 끌어올렸습니다. 특히, 미국에서 가장 똑똑한 수학 영재를 가리는 어려운 시험인 AIME 벤치마크에서 6710억 개 매개변수를 가진 딥식-R1 모델보다 더 높은 점수를 기록했습니다. 이는 파이4 모델의 뛰어난 추론 능력을 보여주는 강력한 증거입니다. 마지막으로 '파이4-미니-리저닝(38억 개 매개변수)'입니다. 이 모델은 노트북 같은 엣지 기기나 코파일럿+ PC에 탑재하기 위해 효율성에 초점을 맞췄습니다. 딥식-R1이 생성한 합성 수학 문제로 학습하여 크기와 성능 사이의 최적 균형을 찾았습니다. 인터넷 연결 없이 기기 자체에서 AI를 돌려야 하는 환경에 딱 맞는 모델입니다.

어떻게 작게 만들었지?

파이4 모델의 성공 비결은 세 가지 첨단 기술에 있습니다. 첫째는 '지식 증류(Distillation)'입니다. 마치 똑똑한 스승(거대 모델)이 가진 지식과 문제 해결 능력을 제자(소형 모델)에게 효과적으로 전수하는 것과 같습니다. 이를 통해 계산 부담은 줄이면서 높은 성능을 유지할 수 있습니다. 둘째는 '강화 학습(Reinforcement Learning)'입니다. AI가 스스로 시행착오를 겪으며 배우고, 어려운 문제에 대한 정확도를 계속해서 개선해 나가는 방식입니다. 파이4-리저닝-플러스 모델이 이 방법을 사용해 추론 능력을 더욱 갈고 닦았습니다. 셋째는 '고품질 데이터 선별(High-Quality Data Curation)'입니다. 좋은 AI를 만들려면 좋은 학습 데이터가 필수입니다. MS는 양질의 웹 데이터와 인공적으로 만든 합성 데이터셋을 신중하게 골라 사용함으로써, 파이4 모델이 다양한 작업을 잘 처리하고 크기와 성능 간의 균형을 잘 잡도록 했습니다.

모델 이름	매개변수 크기	주요 특징	성능 하이라이트
파이4-리저닝	140억 개	오픈AI o3-mini 시연 데이터로 지식 증류 학습	다양한 벤치마크에서 딥식-R1과 경쟁
파이4-리저닝-플러스	140억 개	1.5배 많은 토큰 사용, 강화 학습으로 정확도 향상	AIME 2025에서 딥식-R1(6710억 개) 능가
파이4-미니-리저닝	38억 개	엣지 기기, 코파일럿+ PC용 설계, 딥식-R1 합성 데이터로 학습	자원 제약 환경에서 효율적인 성능
MiMo-7B (샤오미)	70억 개	추론 작업 특화, 오픈소스	오픈AI o1-mini와 유사 성능

샤오미도 나섰다고?

이러한 소형 AI 모델 경쟁에 중국 기업 샤오미도 뛰어들었습니다. 샤오미는 추론 작업에 특화된 'MiMo-7B'라는 70억 개 매개변수 모델 제품군을 공개했습니다. MiMo-7B는 오픈AI의 o1-mini 모델과 비슷한 성능을 보이면서도 훨씬 적은 자원으로 작동합니다. 샤오미는 이 모델을 오픈소스로 공개하여 AI 커뮤니티 내 협력과 혁신을 촉진하고 있습니다. 샤오미에 따르면, MiMo-7B-RL 모델은 AIME 2025 수학 시험에서 오픈AI의 o1-mini보다 4.7점 더 높은 점수를 받았다고 합니다.

그래서 뭐가 좋아지는데?

점점 더 작고 효율적인 AI 모델이 등장하는 추세는 AI 기술의 대중화를 앞당길 것입니다. 강력한 AI 기능을 PC나 스마트폰 같은 일상적인 기기에 직접 탑재할 수 있게 되기 때문입니다. 이렇게 되면 인터넷 연결 없이도 기기 자체에서 AI를 빠르게 처리할 수 있고(온디바이스 AI), 개인 정보 보호에도 유리하며, 반응 속도도 빨라지는 등 여러 장점이 있습니다. 이는 완전히 새로운 종류의 지능형 앱과 서비스 시대를 열 것으로 기대됩니다. AI가 거대한 데이터 센터 안에 갇혀 있는 것이 아니라, 우리 삶 곳곳에 자연스럽게 스며드는 미래를 예고하는 것입니다. 이제 질문은 AI가 우리 생활 어디에나 존재하게 될 것인가가 아니라, 얼마나 빨리 우리가 그런 세상에 적응할 수 있느냐입니다. AI 기술 발전과 함께 윤리적 문제, 사회적 영향, 기존 산업에 미칠 파급 효과 등을 신중하게 고려하고 대비해야 할 것입니다. AI가 소수 기술 기업만이 아닌 인류 전체에게 혜택을 주는 미래를 만들기 위한 노력이 필요합니다. AI는 이제 특별한 기술이 아니라, 공기처럼 어디에나 존재하게 될지도 모릅니다.