“CCTV 돌려볼 필요 없다” 원하는 장면만 콕 집어내는 AI 등장

영상 인공지능(AI) 전문 기업 트웰브랩스가 사람처럼 영상의 맥락까지 이해하는 새로운 AI 모델 ‘마렝고 3.0’을 공개했습니다. 이 AI는 단순히 영상을 ‘보는’ 것을 넘어, 영상 속 대사와 움직임, 상황의 흐름까지 통합적으로 파악하는 ‘차세대 비디오 파운데이션 모델’입니다. 트웰브랩스에 따르면, 이는 지금까지 선보인 모델 중 가장 강력한 성능을 자랑합니다.

그래서 뭐가 다른데?

마렝고 3.0의 가장 큰 특징은 처음부터 영상 자체를 이해하도록 설계된 ‘네이티브’ 모델이라는 점입니다. 기존처럼 영상의 각 장면을 사진처럼 분석하거나, 소리 정보를 따로 합치는 방식이 아닙니다. 영상 전체를 하나의 이야기처럼 시간과 공간의 흐름 속에서 해석합니다. 이를 바탕으로 업계 최초로 ‘복합 이미지 검색’과 ‘고유명사 검색’ 기능을 도입했습니다. 예를 들어, ‘파란 셔츠를 입은 남자가 커피를 마시는 장면’처럼 여러 조건이 섞인 장면을 찾거나, 특정 연예인의 얼굴을 등록해 그가 나오는 모든 장면을 검색할 수 있습니다.

얼마나 똑똑하길래?

이 모델은 영상 속 인물의 대사와 몇 분 뒤에 나오는 행동을 연결해 인과관계를 파악하는 등 인간에 가까운 수준의 이해 능력을 보여줍니다. 또한, 사물과 행동, 감정의 변화를 시간 순서에 따라 추적하며 영상의 전체적인 맥락을 읽어냅니다. 특히 36개 언어를 지원해 전 세계의 다양한 영상 콘텐츠를 분석할 수 있습니다. 아마존웹서비스(AWS)에 따르면, 트웰브랩스의 기술은 수작업에 의존하던 영상 분석 과정에 전례 없는 속도와 효율성을 더하며 산업 혁신을 이끌고 있습니다.

이걸로 뭘 할 수 있어?

마렝고 3.0은 다양한 산업 현장에서 바로 활용될 수 있습니다. 스포츠 리그에서는 특정 선수의 득점 장면만 골라 하이라이트를 만들고, 방송사에서는 수십 년간 쌓인 영상 자료에서 원하는 장면을 몇 초 만에 찾아낼 수 있습니다. 공공 보안 분야에서는 더 이상 CCTV 전체를 돌려볼 필요 없이 필요한 장면만 정확하게 검색할 수 있습니다. 이커머스에서도 특정 제품이나 인물이 등장하는 순간을 즉시 찾아 마케팅에 활용하는 것이 가능해집니다.

앞으로는 어떻게 되는데?

트웰브랩스는 마렝고 3.0이 영상 데이터의 한계를 뛰어넘는 혁신적인 기준을 제시할 것이라고 밝혔습니다. 실제로 이 모델은 기존보다 저장 비용을 50% 줄이고, 영상 정보를 정리하는 인덱싱 속도는 2배나 높였습니다. 이재성 트웰브랩스 대표는 “전 세계 디지털 데이터의 90%가 영상이지만 대부분 제대로 활용되지 못했다”며 “마렝고 3.0은 기업과 개발자에게 완전히 새로운 가능성을 열어줄 것”이라고 말했습니다.