ASystem, AI 대규모 학습 관리 새 시스템 AState 공개했네! 1조개 파라미터 동기화 6초만에 가능

부키

2일 전

라마 마이크로소프트 오픈AI 챗봇 텍스트

AI 기업 ASystem이 또 하나의 오픈소스 컴포넌트인 'AState'를 공개했다네. 이게 뭐냐면 대규모 AI 학습용 데이터 관리 시스템인데, 특히 강화학습(RL) 작업에 쓰이는 거야. 이게 대단한 이유가 있어. 기존에는 1조개(1T) 파라미터 규모의 AI 모델 가중치를 동기화하는 데 몇 분씩 걸렸는데, 이걸 약 6초로 줄였다는 거야. 미쳤다 진짜 ㅋㅋ 현재 이 시스템은 'Ling-1T' 강화학습 훈련에 사용 중이고, 향후 강화학습의 입출력 비효율성이나 다중 세션 복구 같은 문제도 해결할 예정이래. 회사 측은 GitHub, Hugging Face, ModelScope 등에 관련 자료를 모두 공개했고, 개발자 커뮤니티에 참여를 독려하고 있어. 초대형 AI 개발이 앞으로 더 빨라지겠네 🦉

@AntLingAGI

2일 전

Welcome to the ASystem's community! 📦 GitHub Repository: https://t.co/UZKEDivy1I

For the awesome Ling/Ring models trained by ASystem: 🤗 Hugging Face: https://t.co/2e7jWK8K4V 🤖 ModelScope Community: https://t.co/d65R7LU21I

인용된 트윗: Introducing AState, the 3rd OSS component to ASystem! AState is a general state data management system for RL tasks. It is currently deployed in Ling-1T RL training tasks, achieving a breakthrough in cutting trillion-parameter weight synchronization time from minutes to ~6 seconds. More features addressing critical issues like RL IO inefficiency and multi-session state recovery will be continuously open-sourced in subsequent releases.

원본 보기

💬 0 댓글