기술/연구

"라마4를 능가했다"...75일 만에 탄생한 AI 괴물, 자기개선 능력까지 갖췄다

댓글 0 · 저장 0 2025.04.09 18:39

기사 3줄 요약

1 딥 코지토, 자기개선 방식으로 학습한 오픈소스 AI 모델 출시
2 단 75일 만에 개발된 코지토 v1, 라마4보다 성능 앞서
3 30개 이상 언어 지원하며 128k 토큰 처리 가능

인공지능의 새 역사를 쓰다: 딥 코지토의 '코지토 v1' 출시

인공지능 업계에 새로운 강자가 등장했습니다. 딥 코지토(Deep Cogito)가 공개한 '코지토 v1' 시리즈가 그 주인공입니다. 이 모델은 단 75일이라는 놀라운 속도로 개발되었으며, 메타의 라마4 스카우트(109B)보다 우수한 성능을 보여주고 있습니다. 코지토 v1의 가장 큰 특징은 '반복적 증류 및 증폭(Iterated Distillation and Amplification, IDA)' 훈련 방법론에 있습니다. 이는 인공지능이 스스로 생각하고 개선하는 능력을 갖출 수 있게 해주는 기술입니다. 쉽게 설명하자면, 더 많은 컴퓨팅 자원을 사용해 더 나은 해결책을 찾고, 이 비용이 많이 드는 사고 과정을 모델의 매개변수에 녹여내는 방식입니다. 이렇게 하면 AI가 인간 감독자나 더 큰 교사 모델의 한계를 뛰어넘을 수 있다고 합니다. 코지토 v1은 3B부터 70B까지 다양한 크기로 출시되었으며, 모든 크기에서 기존 동급 모델들보다 뛰어난 성능을 보여주고 있습니다. 특히 주목할 만한 점은 코지토 v1 70B 모델이 MMLU 벤치마크에서 라마 3.3 70B보다 6.4포인트 높은 91.7%의 점수를 기록했다는 것입니다. 이 모델의 또 다른 특징은 '하이브리드 추론' 능력입니다. 코지토 v1은 일반적인 대형 언어 모델(LLM) 모드와 자기 성찰 모드, 두 가지 방식으로 작동할 수 있습니다. 시스템 프롬프트를 통해 '사고 모드'를 전환하면, 모델이 답변하기 전에 스스로 생각을 정리하고 성찰하는 과정을 거치게 됩니다. 이는 모델 구조 수준에서 구현되어 있어, 프롬프트에 따라 자기 성찰 모드를 활성화할지 모델이 스스로 결정합니다. 코지토 v1은 기본적으로 라마와 권(Qwen) 모델을 미세 조정하여 개발되었습니다. 또한 30개 이상의 언어를 지원하며, 128k 토큰의 긴 문맥을 처리할 수 있습니다. 이는 긴 대화나 문서를 한 번에 이해하고 처리할 수 있다는 의미입니다. 라마4와 비교해보면, 라마4는 '전문가 혼합(Mixture of Experts, MoE)' 구조를 채택하여 토큰당 전체 매개변수의 일부만 활성화함으로써 효율성을 높였습니다. 또한 초기 융합을 통한 네이티브 멀티모달리티를 채택하여 텍스트와 이미지 토큰을 통합 모델 백본에 통합했습니다. 반면 코지토 v1은 IDA 훈련 방식과 하이브리드 추론 능력으로 차별화되고 있습니다. 현재 코지토 v1 모델은 허깅페이스, 올라마, 파이어웍스, 투게더 AI 등의 플랫폼에서 사용할 수 있습니다. 이 모델은 다국어, 코딩, 도구 호출 기능에서 동급 모델들보다 우수한 성능을 보여주고 있습니다. 물론 IDA 기술이 유망하긴 하지만, AI 정렬에는 여전히 한계가 있습니다. 이 모델들은 악용될 가능성이 있으며, 측정 과정의 한계로 인해 진정한 AI 정렬을 파악하기 어려울 수 있습니다. 딥 코지토의 코지토 v1은 작은 팀이 단 75일 만에 개발했다는 점에서도 주목받고 있습니다. 이는 오픈소스 LLM 분야에서 주목할 만한 발전으로, 반복적 자기 개선과 확장 가능한 정렬에 초점을 맞춘 IDA 접근 방식은 모델 성능을 극대화하는 독특한 방법을 제시하고 있습니다.