기술/연구

틱톡 모회사 바이트댄스, AI 추론 세계 진출...GPT와 제미나이도 긴장한다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.12 07:25

기사 3줄 요약

1 바이트댄스, 추론 AI '시드-씽킹-v1.5' 공개
2 OpenAI, 구글 모델과 경쟁 가능한 수준 성능 입증
3 AI 추론 능력 강화로 틱톡 등 서비스 향상 기대

틱톡으로 유명한 바이트댄스가 AI 추론 경쟁에 뛰어들었습니다. 바로 '시드-씽킹-v1.5(Seed-Thinking-v1.5)'라는 인공지능을 공개한 것인데요. 이 AI는 어떤 특별함이 있을까요?

200억 전문가들이 머리를 맞대다

바이트댄스의 시드-씽킹-v1.5는 '전문가 혼합(Mixture-of-Experts, MoE)' 구조를 채택했습니다. 총 2000억 개의 파라미터(AI의 '뇌세포' 같은 것)를 갖고 있지만, 실제로는 한 번에 200억 개만 활성화합니다. 쉽게 말해, 200명의 전문가 중에서 필요한 20명만 부르는 방식이라고 생각하시면 됩니다. 이렇게 하면 컴퓨터 자원은 적게 쓰면서도 성능은 높일 수 있습니다.

수학과 코딩 실력은 일류급

이 AI의 실력은 어느 정도일까요? 미국 수학 경시대회인 AIME 2024에서 86.7점을 기록했고, 코딩 대회 사이트인 코드포스에서는 55.0점, 그리고 과학 퀴즈인 GPQA에서는 77.3점을 받았습니다. 이 점수들은 OpenAI의 o3 mini와 구글의 제미나이 2.5 Pro와 비슷한 수준입니다. 특히 비추론 작업에서는 경쟁 모델인 딥시크 R1보다 8% 더 높은 승률을 보였다고 합니다.

특별한 훈련 방법

시드-씽킹-v1.5를 만들기 위해 바이트댄스는 40만 개의 샘플을 사용했습니다. 여기에는 30만 개의 STEM(과학, 기술, 공학, 수학), 논리 및 코딩 작업과 10만 개의 창의적 글쓰기와 역할극 같은 문제들이 포함되었습니다. 또한 강화학습을 위해 검증 가능한 STEM 질문과 논리 퍼즐, 그리고 오픈 엔드 질문에 대한 인간 선호 데이터셋을 활용했습니다. 바이트댄스는 VAPO와 DAPO라는 맞춤형 프레임워크를 사용해 강화학습 훈련의 불안정성을 해결했습니다. 특히 DAPO는 오픈 소스로 공개되어 AI 커뮤니티 전체에 기여하고 있습니다.

효율적인 시스템 설계

바이트댄스는 자체 하이브리드플로우 프레임워크 위에 시스템을 구축했습니다. 레이 클러스터를 사용하고 훈련과 추론 과정을 함께 배치해 GPU 유휴 시간을 줄였습니다. 또한 '스트리밍 롤아웃 시스템(SRS)'이라는 혁신을 통해 모델 진화와 실행 과정을 분리해 개발 속도를 높였습니다.

완벽하진 않아요

물론 모든 모델이 그렇듯 시드-씽킹-v1.5도 완벽하지는 않습니다. SimpleQA 벤치마크에서 낮은 점수를 받아 사실 정확성에서 어려움을 겪는 것으로 나타났습니다. 이는 일반 지식 질문을 다룰 때 가끔 부정확하거나 말이 안 되는 답변을 생성할 수 있다는 것을 의미합니다. 또한 복잡하거나 모호한 지시사항을 잘 처리하지 못하거나 상식적 추론이 필요한 상황에서 실패할 수 있다는 보고도 있습니다.

틱톡에서 어떻게 활용될까?

이 모델은 틱톡에서 사용자 취향을 더 깊이 이해해 개인화된 콘텐츠 추천을 생성하는 데 활용될 수 있습니다. 또한 바이트댄스의 AI 비서인 더우바오(Doubao)가 더 정확하고 유용한 응답을 제공하는 데 도움이 될 수 있습니다. 이 모델의 수학 문제 해결 능력은 교육 도구 개발이나 회사 내 데이터 분석 기능 향상에도 사용될 수 있을 것입니다. 종합적으로, 시드-씽킹-v1.5는 추론 AI 분야에서 큰 진전을 이룬 모델로, 강력한 성능과 혁신적인 훈련 기법을 갖추고 있습니다. 일부 한계가 있긴 하지만, 그 능력은 바이트댄스의 제품 라인업을 확실히 강화할 수 있을 것으로 보입니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr