기술/연구

“사람 손이랑 똑같네?” 엔비디아 AI 만난 로봇, 충격 변화

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2026.01.06 14:29

기사 3줄 요약

1 리얼월드, 엔비디아 AI로 로봇 손 조작 기술 고도화
2 가상 환경 학습 도입해 데이터 부족과 실험 속도 해결
3 조만간 독자적 비전언어액션 모델 공개해 정밀도 향상

로봇이 사람처럼 부드럽게 물건을 집어 건네주는 장면을 상상해 보셨나요? 사실 로봇에게는 컵 하나를 쏟지 않고 옮기는 것이 매우 어려운 도전이었습니다. 그런데 최근 한국의 피지컬 AI 스타트업인 ‘리얼월드’가 이 난제를 해결할 실마리를 찾았습니다. 바로 엔비디아의 최신 AI 기술을 로봇 손에 이식한 것입니다.

로봇 손가락이 섬세해졌다

리얼월드에 따르면 로봇이 물건을 잡고 옮기는 과정은 보기보다 훨씬 복잡합니다. 로봇은 카메라로 주변을 보고 상황을 판단한 뒤 다섯 개의 손가락을 아주 미세하게 움직여야 합니다. 만약 작은 실수라도 하면 물건은 바로 바닥으로 떨어지고 맙니다. 리얼월드는 이 문제를 해결하기 위해 엔비디아의 ‘아이작 그루트 N1.5’ 모델을 도입했습니다. 이는 휴머노이드 로봇을 위해 미리 학습된 똑똑한 AI 모델입니다. 리얼월드는 이 모델을 가져와서 자사의 로봇인 ‘알렉스’가 더 정밀하게 움직일 수 있도록 다시 가르치는 과정을 거쳤습니다. 마치 운동신경이 좋은 학생에게 특정 기술을 집중 과외 시키는 것과 비슷합니다.

가상 세계에서 연습해 실력 키워

로봇을 실제 환경에서만 훈련 시키면 시간이 너무 오래 걸립니다. 로봇이 실수로 물건을 떨어뜨릴 때마다 사람이 다시 주워줘야 하기 때문입니다. 리얼월드는 이 문제를 해결하기 위해 가상 세계를 활용했습니다. 엔비디아의 ‘아이작 랩’이라는 도구를 사용해 컴퓨터 속 시뮬레이션 공간에서 로봇을 훈련 시킨 것입니다. 비행기 조종사가 시뮬레이터로 연습하듯 로봇도 가상 공간에서 수만 번의 반복 학습을 거쳤습니다. 배재경 리얼월드 CTO에 따르면 이 방식을 통해 실험 속도가 엄청나게 빨라졌고 부족했던 데이터 문제도 해결할 수 있었습니다.

말귀 알아듣고 행동하는 로봇 온다

리얼월드는 여기서 멈추지 않고 조만간 ‘VLAM’이라는 새로운 기술을 공개할 예정입니다. 이 기술이 완성되면 로봇은 눈으로 보는 것과 사람의 언어를 동시에 이해하고 행동할 수 있게 됩니다. 예를 들어 “책상 위에 있는 빨간 컵 좀 치워줘”라는 말을 듣고 정확하게 그 컵만 집어서 옮길 수 있게 되는 것입니다. 공장이나 가정에서 사람과 자연스럽게 섞여 일하는 로봇의 등장이 머지않았습니다.