기술/연구

딥시크도 꺾은 신흥강자 등장... AI 전쟁에 엔비디아가 던진 폭탄

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.11 01:33

기사 3줄 요약

1 엔비디아, 라마-3.1-네모트론-울트라-253B 발표
2 파라미터 수 적지만 딥시크-R1보다 우수한 성능
3 단 8개 H100 GPU로 구동, 비용 효율성 극대화

엔비디아가 AI 대전쟁에 새로운 무기를 들고 나왔습니다. 바로 '라마-3.1-네모트론-울트라-253B'인데요. 이 이름이 낯설게 느껴지실 수도 있지만, AI 분야에서는 엄청난 반향을 일으키고 있습니다. 엔비디아는 2025년 4월 8일, 메타의 '라마-3.1-405B'를 최적화해 만든 이 오픈소스 모델을 공개했습니다. 253B(2530억)개의 파라미터를 가진 이 모델은 메타의 라마4 비히모스와 매버릭을 능가하는 성능을 보여주고 있습니다.

딥시크보다 작지만 더 강하다

이 모델의 가장 놀라운 점은 크기와 성능의 균형입니다. 딥시크-R1이 671B(6710억)개의 파라미터를 가진 것에 비해, 네모트론-울트라는 절반도 안 되는 253B(2530억)개의 파라미터로 더 뛰어난 성능을 보여줍니다. 수학 문제 해결 능력을 테스트하는 MATH500 벤치마크에서는 일반 모드에서 80.4%의 정확도를 보였지만, '추론 모드'를 켜면 97%까지 정확도가 향상됩니다. GPQA에서도 76.01%의 정확도로 딥시크-R1의 71.5%를 능가했습니다.

혁신적인 아키텍처 설계

네모트론-울트라의 비결은 '신경망 아키텍처 검색(NAS)'에 있습니다. 이 기술을 통해 모델의 구조를 최적화하여 메모리 사용량과 계산 요구사항을 줄이면서도 출력 품질은 유지했습니다. 구체적으로는 어텐션 레이어 건너뛰기, 피드포워드 네트워크(FFN) 융합, 다양한 FFN 압축 비율 등의 구조적 변형을 적용했습니다. 이런 방식으로 모델 정확도와 추론 효율성 사이의 최적의 균형을 찾았습니다.

'추론 토글' 기능으로 유연성 확보

또 다른 특징은 '추론 토글' 기능입니다. 이는 클로드 3.7 소넷과 유사한 기능으로, 개발자들이 시스템 프롬프트를 통해 복잡한 추론 작업과 더 간단한 출력 사이를 전환할 수 있게 해줍니다. 이 기능은 시스템 프롬프트를 통해 제어되며, 다양한 응용 시나리오에 맞게 유연하게 조정할 수 있습니다. MATH500 벤치마크에서 볼 수 있듯이, 추론 모드를 활성화하면 정확도가 크게 향상됩니다.

단 8개의 H100 GPU로 구동 가능

네모트론-울트라는 8개의 엔비디아 H100 GPU가 장착된 단일 서버에서 효율적으로 실행되도록 설계되었습니다. 또한 엔비디아의 B100 및 호퍼 마이크로아키텍처도 지원합니다. 이는 고성능 AI 모델을 더 적은 하드웨어로 운영할 수 있게 해주어, 기업들의 비용 부담을 크게 줄여줄 수 있습니다.

다국어 지원 및 오픈 라이선스

이 모델은 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 등 여러 언어를 지원합니다. 또한, 엔비디아 오픈 모델 라이선스와 라마3.1 커뮤니티 라이선스 하에 제한 없이 연구 및 상업적 용도로 사용할 수 있습니다.

지속적인 최적화 작업

엔비디아는 다단계 훈련 파이프라인을 통해 기본 모델을 향상시켰습니다. 수학, 코드 생성, 채팅, 도구 사용과 같은 다양한 영역에서 지도 학습을 진행했으며, 그룹 상대 정책 최적화(GRPO)를 통한 강화 학습으로 지시 따르기와 추론 성능을 향상시켰습니다. 또한 650억 토큰에 대한 지식 증류 후 추가 880억 토큰에 대한 지속적인 사전 훈련을 진행했습니다. 훈련 데이터셋에는 FineWeb, Buzz V1.2, Dolma 등의 소스가 포함되었습니다.

한계와 윤리적 고려사항

라마-3.1-네모트론-울트라-253B가 인상적인 성능을 보여주고 있지만, 초대형 규모 작업이나 특정 도메인에서의 한계는 추가 테스트가 필요합니다. 또한 인터넷에서 수집된 데이터로 훈련되었기 때문에 유해 콘텐츠나 사회적 편향을 포함할 가능성이 있습니다. 개발자들은 내부 모델 팀과 협력하여 이 모델이 관련 산업 및 사용 사례에 대한 요구 사항을 충족하고 예상치 못한 제품 오용을 해결하도록 해야 합니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr