충격! AI 훈련비 80% 절감, 알리바바의 ZeroSearch가 구글 검색 대체할까?

인공지능(AI)을 똑똑하게 만드는 데는 엄청난 노력과 비용이 들어갑니다. 특히 챗GPT처럼 스스로 생각하고 글을 쓰는 대규모 언어 모델(LLM)을 훈련시키려면, 똑똑한 학생에게 수많은 교과서와 참고서를 읽히는 것처럼 방대한 데이터가 필요합니다. 이 데이터를 얻기 위해 기존에는 구글 같은 외부 검색 엔진에 수시로 접속해야 했고, 이는 곧 막대한 비용으로 이어졌습니다. 그런데 최근 중국의 거대 IT 기업 알리바바가 이 문제를 해결할 혁신적인 기술, ‘ZeroSearch’를 공개해 화제입니다. AI 훈련 비용을 무려 80%나 절감할 수 있다고 하니, AI 업계의 판도를 바꿀 게임 체인저가 될 수 있을지 주목됩니다.

AI 훈련, 정말 그렇게 비쌌어?

우리가 AI에게 질문을 던지면 척척 대답하는 것을 보면 신기하기만 합니다. 하지만 AI가 이런 능력을 갖추기까지는 보이지 않는 곳에서 엄청난 학습 과정이 필요합니다. LLM을 훈련시키는 것은 마치 아기에게 세상을 가르치는 것과 비슷합니다. 수많은 글과 그림, 정보를 보여주고 스스로 패턴을 익히도록 해야 하죠. 이 과정에서 AI는 궁금한 점이 생기거나 새로운 정보가 필요할 때마다 외부 검색 엔진에 접속해 자료를 찾아봅니다. 이런 검색 요청이 한두 번이면 괜찮겠지만, 수백만, 수천만 번 반복된다면 어떨까요? 검색 엔진 사용료가 눈덩이처럼 불어나는 것은 당연한 일입니다. 게다가 검색 결과의 품질이 들쭉날쭉하거나, 특정 회사 서비스에 의존해야 하는 문제도 있었습니다. 결국 AI를 더 똑똑하게 만들고 싶어도 비싼 ‘수업료’ 때문에 망설이는 경우가 많았습니다.

구글 검색 없이 AI가 스스로 정보를 찾는다고?

알리바바의 ZeroSearch는 바로 이 ‘비싼 수업료’ 문제를 해결하기 위해 등장했습니다. 핵심 아이디어는 간단합니다. AI가 외부 검색 엔진에 의존하지 않고, 마치 스스로 도서관을 만들어 필요한 책을 찾아 읽듯이 정보를 습득하게 만드는 것입니다. ZeroSearch는 크게 두 가지 방법으로 이를 구현합니다. 첫째, AI(LLM) 자체를 일종의 ‘미니 검색 엔진’으로 만듭니다. 미리 학습된 지식을 바탕으로 질문이 들어오면 관련된 정보를 스스로 생성해내는 것이죠. 둘째, 이렇게 생성된 정보와 함께, 일부러 관련 없는 ‘가짜 정보’(노이즈)도 섞어서 AI에게 제시합니다. 그리고 ‘강화학습’이라는 특별한 훈련법을 사용합니다. 강화학습은 AI가 특정 행동을 했을 때 잘하면 ‘칭찬’(보상)을, 못하면 ‘꾸중’(벌점)을 주면서 스스로 더 좋은 방법을 찾아가도록 유도하는 방식입니다. ZeroSearch에서는 AI가 진짜 정보와 가짜 정보를 잘 구분하고, 질문에 가장 적합한 답을 찾아내면 높은 점수를 줍니다. 이 과정을 반복하면서 AI는 점차 외부 도움 없이도 양질의 정보를 찾아내는 능력을 키우게 됩니다. 마치 학생이 쉬운 문제부터 어려운 문제까지 단계별로 풀면서 실력을 쌓아가는 ‘커리큘럼 학습’과 비슷합니다.

그래서 ZeroSearch 쓰면 뭐가 좋은데?

ZeroSearch를 사용하면 가장 큰 장점은 역시 비용 절감입니다. 알리바바에 따르면 기존 방식 대비 최대 80%까지 훈련 비용을 줄일 수 있다고 합니다. 이는 AI 개발의 문턱을 크게 낮춰 더 많은 기업과 연구자들이 AI 기술 개발에 참여할 수 있게 만듭니다. 비용뿐만 아니라 데이터 품질 관리도 용이해집니다. 외부 검색 결과는 때로 부정확하거나 편향된 정보를 포함할 수 있지만, ZeroSearch는 훈련에 사용될 데이터를 내부적으로 생성하고 통제하기 때문에 더 깨끗하고 신뢰할 수 있는 학습 환경을 만들 수 있습니다. 또한, 특정 검색 엔진 회사에 휘둘리지 않고 AI를 자체적으로 개발하고 운영할 수 있다는 ‘자주성’ 확보도 중요한 장점입니다.

만능은 아냐? ZeroSearch의 숙제는?

물론 ZeroSearch가 모든 문제를 해결하는 만능 열쇠는 아닙니다. AI가 스스로 생성하는 정보에만 의존하다 보니, 자칫 잘못된 정보나 편향된 시각을 학습할 가능성도 있습니다. 만약 AI가 처음부터 잘못된 지식을 가지고 있다면, 그 지식을 바탕으로 계속 잘못된 정보를 만들어낼 수 있기 때문입니다. 또한, 훈련 데이터가 충분히 다양하지 않으면 특정 분야의 질문에는 잘 대답하지만, 생소한 주제에는 약한 모습을 보일 수도 있습니다. 실시간으로 변하는 최신 정보를 반영하는 데도 한계가 있을 수 있습니다. 예를 들어 어제 일어난 뉴스나 주식 시황 같은 정보는 기존 검색 엔진이 더 유리할 수 있습니다.

AI, 이제 홀로서기 시작?

알리바바의 ZeroSearch는 AI가 외부의 도움 없이 스스로 정보를 찾고 학습하는 ‘자율 학습’ 시대로 나아가는 중요한 첫걸음으로 평가받습니다. 비록 해결해야 할 숙제들이 남아있지만, AI 훈련 비용을 획기적으로 낮추고 기술 개발의 자율성을 높인다는 점에서 그 의미가 큽니다. 앞으로 ZeroSearch와 같은 기술들이 더욱 발전한다면, 우리는 더 똑똑하고 다양한 AI를 더 쉽게 만날 수 있게 될 것입니다. AI가 진정으로 ‘홀로서기’ 하는 날도 머지않아 보입니다.