산업/비즈니스

“하루 전기료만 300만원?” 초대형 AI 개발의 함정, K-소프트웨어가 구했다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.09.24 17:46

기사 3줄 요약

1 초대형 AI 개발, 하루 전기료만 300만원 '밑 빠진 독'
2 국내 기업 래블업, 소프트웨어로 문제 해결책 제시
3 '백엔드닷에이아이'로 수백대 GPU 효율적 관리 성공

최근 국가대표급 인공지능(AI)을 개발하는 과정에서 하루 전기 요금만 300만 원에 달한다는 사실이 알려졌습니다. 엄청난 비용과 잦은 고장이라는 ‘밑 빠진 독’ 문제를 해결하기 위해 국내 한 AI 스타트업이 해결사로 나섰습니다. AI 인프라 전문 기업 '래블업'은 최근 기술 컨퍼런스를 열고, 거대한 AI 시스템을 효율적으로 운영하는 소프트웨어 기술을 선보였습니다.

도대체 무슨 AI를 만들길래?

현재 업스테이지 컨소시엄이 주도하는 '국가 독자 AI 파운데이션 모델 개발 프로젝트'가 진행 중입니다. 이는 1000억 개 이상의 정보를 학습한, 국가대표급 초대형 언어 모델(LLM)을 만드는 중요한 과제입니다. 이 프로젝트에는 엔비디아의 최신 그래픽 처리 장치(GPU)인 'B200'을 480개나 사용하는 등 막대한 컴퓨터 자원이 투입됩니다. 최고 성능의 컴퓨터 수백 대를 동시에 돌려 하나의 거대한 AI 두뇌를 만드는 셈입니다.

비싼 컴퓨터만 있으면 다 되는 거 아니었어?

문제는 이렇게 비싼 장비를 모아놓는다고 해서 AI가 저절로 만들어지지 않는다는 점입니다. 수백 대의 컴퓨터를 24시간 내내 돌리면 예상치 못한 오류가 수시로 발생하고, 특정 장치의 성능이 갑자기 떨어지는 일도 비일비재합니다. 무엇보다 가장 큰 문제는 비용입니다. 래블업에 따르면, 이 거대한 시스템을 가동하는 데 드는 하루 전기 요금만 무려 300만 원에 달하는 것으로 추정됩니다. 효율적인 관리 없이는 천문학적인 비용이 그대로 낭비될 수밖에 없는 구조입니다.

그래서 K-소프트웨어는 뭘 어떻게 해결하는데?

래블업이 개발한 AI 운영 플랫폼 '백엔드닷에이아이'가 바로 이 문제를 해결하는 열쇠입니다. 이 소프트웨어는 여러 대의 컴퓨터를 마치 한 대처럼 똑똑하게 관리하고 통제하는 지휘관 역할을 합니다. 예를 들어, 한 개의 고성능 GPU를 여러 개로 쪼개 여러 연구원이 동시에 나눠 쓰게 만드는 'GPU 가상화' 기술로 자원 낭비를 막습니다. 또한 AI 학습 도중 특정 컴퓨터에 문제가 생기면, 즉시 다른 컴퓨터에 작업을 넘겨 중단 없이 연구를 이어가게 하는 자동 복구 기능도 갖췄습니다.

앞으로 AI 개발은 어떻게 바뀔까?

래블업은 앞으로 AI 기술이 마치 레고 블록처럼 될 것이라고 전망했습니다. 필요한 기능들을 부품처럼 가져와 자유롭게 조립해 자신만의 맞춤형 AI를 만드는 '컴포저블 AI' 시대가 온다는 것입니다. 이러한 기술 발전은 결국 더 적은 비용으로 더 빠르고 안정적으로 AI를 개발할 수 있는 길을 열어줄 것입니다. 한국의 소프트웨어 기술이 AI 개발의 문턱을 낮추고, 진정한 AI 강국으로 나아가는 발판이 될지 주목됩니다.