기술/연구

“AI 몸집 72% 감량” 로봇·차에서도 고성능 모델 쓴다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2026.03.05 12:49

기사 3줄 요약

1 노타, AI 모델 솔라 72% 경량화 성공
2 성능 유지하며 메모리 사용량 대폭 절감
3 로봇과 자동차 등 온디바이스 AI 가속화

“무거운 AI는 이제 그만” 최근 인공지능(AI) 업계에서 ‘다이어트’ 열풍이 불고 있습니다. 단순히 살을 빼는 것이 아니라, 지능은 그대로 유지하면서 몸집만 줄이는 고난도 기술입니다. AI 경량화 기술 전문 기업인 ‘노타’가 국내 대표 AI 기업 업스테이지의 모델 ‘솔라’를 획기적으로 줄이는 데 성공했다는 소식입니다. 마치 거대한 코끼리를 자동차에 태울 수 있을 만큼 작게 만들면서도, 힘은 코끼리 그대로 유지한 것과 같습니다. 노타에 따르면 이번 기술 개발로 기존 AI 모델의 메모리 사용량을 무려 70% 이상 줄였습니다. 성능 저하 없이 크기만 줄이는 데 성공하면서, 앞으로 값비싼 슈퍼컴퓨터 없이도 우리 주변의 로봇이나 자동차에서 똑똑한 AI를 만날 수 있게 될 전망입니다.

“똑똑한 뇌만 남기고 뺐다”

이번 성과가 주목받는 이유는 ‘전문가 혼합(MoE)’이라는 복잡한 구조를 건드렸기 때문입니다. MoE는 여러 분야의 전문가 AI들이 모여 있는 것과 비슷한 구조로, 덩치가 크고 다루기 까다롭기로 유명합니다. 기존에는 이 모델을 줄이려고 하면 뇌세포를 무작위로 덜어내는 방식이라 멍청해지기 일쑤였습니다. 하지만 노타는 달랐습니다. ‘노타 MoE 양자화’라는 독자 기술을 개발해 적용했습니다. 이 기술은 AI의 연산 과정에서 중요한 부분은 그대로 두고, 덜 중요한 부분만 골라서 압축하는 방식입니다. 쉽게 말해, 꼭 필요한 근육은 남기고 불필요한 지방만 쏙 뺀 셈입니다. 이 기술 덕분에 191.2GB(기가바이트)에 달하던 거대 모델이 51.9GB로 줄어들었습니다. 그러면서도 AI의 언어 능력을 평가하는 지표(PPL)는 원본과 거의 차이가 없었다고 합니다. 다른 기술들이 성능을 5배나 떨어뜨릴 때, 노타는 성능을 완벽히 지켜냈습니다.

내 노트북에서도 AI가 돌아갈까

이번 기술의 핵심은 ‘비용 절감’과 ‘활용성 확대’입니다. 그동안 고성능 AI를 돌리려면 수천만 원을 호가하는 고성능 그래픽카드(GPU)가 필수였습니다. 기업 입장에서는 엄청난 비용 부담이었고, 일반 사용자는 클라우드에 접속해야만 AI를 쓸 수 있었습니다. 하지만 모델이 가벼워지면 이야기가 달라집니다. 인터넷 연결 없이 기기 자체에서 AI가 작동하는 ‘온디바이스 AI’ 구현이 훨씬 쉬워집니다. 로봇, 자율주행차, 심지어 우리가 쓰는 노트북에서도 고성능 AI가 버벅거림 없이 작동할 수 있는 길이 열린 것입니다. 노타 측은 이번 기술에 대한 특허를 출원하고, 앞으로 다양한 기기에 고성능 AI를 심겠다는 포부를 밝혔습니다. AI가 거대한 서버실을 벗어나 우리 일상 속으로 더 깊숙이 들어오는 계기가 될 것으로 보입니다.