기술/연구

“회사 AI, 맨날 헛소리 하는 이유가 있었네…” 구글의 해법 공개!

댓글 1 · 저장 0 · 편집: 이도윤 기자 발행: 2025.05.24 06:26

기사 3줄 요약

1 구글, 기업 AI 실패 원인 '맥락 부족' 지목
2 '충분한 맥락' 확보가 답변 정확도 핵심
3 구글, 새 RAG 시스템 해결책 및 벤치마크 공개

기업에서 쓰는 AI 비서나 시스템이 항상 똑똑할 것 같지만, 가끔은 고개를 갸웃하게 만드는 엉뚱한 답변을 내놓기도 합니다. 최근 구글 연구팀이 이런 기업용 인공지능(AI) 시스템, 특히 ‘검색 증강 생성(RAG)’ 기술을 쓰는 AI가 왜 기대만큼 똑똑하게 작동하지 못하는지에 대한 흥미로운 연구 결과를 발표했습니다. 핵심은 AI가 답변을 만드는 데 필요한 ‘충분한 맥락’ 즉, 충분한 관련 정보를 제대로 얻지 못하기 때문이라고 합니다. 구글은 이 문제를 해결하기 위해 ‘충분한 맥락(sufficient context)’이라는 새로운 접근법과 함께, 이를 평가할 수 있는 기준까지 제시했습니다. 이제 기업 AI가 정말 똑똑해질 수 있을지 관심이 쏠립니다.

RAG 시스템, 뭐가 문제였길래?

우리가 회사에서 사용하는 AI에게 질문하면, AI는 관련된 문서를 찾아서 그 내용을 바탕으로 답변을 만들어냅니다. 이런 방식을 ‘검색 증강 생성(RAG)’이라고 부르는데, 쉽게 말해 오픈북 시험처럼 참고 자료를 보고 답하는 AI라고 생각할 수 있습니다. 그런데 이 RAG 시스템이 종종 부정확하거나 관련 없는 답변을 내놓는 문제가 있었습니다. 구글 연구팀은 이 원인이 AI가 검색 단계에서 질문에 답하기에 충분한 정보를 제대로 찾지 못하기 때문이라고 지적합니다. 마치 눈을 가리고 코끼리의 일부분만 만져보고 전체 모습을 추측하려는 것처럼, 단편적인 정보만으로는 AI도 정확한 답을 내놓기 어렵다는 것입니다. 이런 상황에서는 아무리 뛰어난 AI 엔진을 사용한다 해도 좋은 답변을 기대하기 어렵습니다.

구글의 해답, '충분한 맥락'이 뭐길래?

그래서 구글 연구팀은 RAG 시스템이 제대로 작동하려면, 질문에 답하는 데 필요한 모든 관련 정보를 검색 단계에서 최대한 많이 모으는 것이 중요하다고 강조합니다. 그리고 이렇게 모인 ‘충분한 맥락’ 정보를 AI가 답변을 생성할 때 효과적으로 활용해야 한다고 말합니다. 이는 마치 유능한 탐정이 사건을 해결하기 위해 모든 단서를 꼼꼼히 수집하고, 이를 바탕으로 논리적인 추리를 통해 진실을 밝혀내는 과정과 비슷합니다. 구글은 이런 ‘충분한 맥락’을 RAG 시스템이 잘 찾아내는지를 객관적으로 평가할 수 있는 새로운 기준, 즉 ‘충분한 맥락 벤치마크’도 개발했습니다. 기업들은 이 벤치마크를 사용해 AI 시스템 도입 전에 그 성능을 미리 확인해 볼 수 있게 됩니다. 연구 결과, 실제로 충분한 맥락 정보가 주어졌을 때 RAG 시스템의 답변 정확도가 크게 향상되는 것으로 나타났습니다.

그래서, 뭐가 달라지는데?

이번 구글의 연구는 기업들이 AI 시스템을 도입할 때 단순히 최신 AI 모델만 쫓을 것이 아니라, AI에게 제공하는 데이터의 질과 정보를 찾는 검색 전략에 더 많은 관심을 기울여야 한다는 점을 시사합니다. 아무리 실력 좋은 요리사라도 신선하고 좋은 재료가 없으면 최고의 요리를 만들 수 없는 것과 같은 이치입니다. 단순히 키워드만으로 검색하는 것에서 벗어나, 질문의 진짜 의도를 파악하고 관련된 모든 정보를 찾아내는 똑똑한 검색 시스템이 필요하다는 것입니다. 또한, 이번 연구는 기업용 AI 시스템의 성능을 한 단계 끌어올릴 중요한 방향을 제시했다는 평가를 받습니다. 마치 나침반이 배의 항로를 알려주듯, 기업들이 더 똑똑하고 믿을 수 있는 AI를 만드는 데 도움을 줄 것으로 보입니다. 이를 바탕으로 기업들은 AI 시스템을 더욱 자신 있게 활용하고 경쟁력을 높일 수 있을 것입니다.

앞으로 AI, 이렇게 바뀐다!

앞으로 기업에서 활용될 RAG 시스템은 ‘충분한 맥락’을 바탕으로 더욱 발전할 것으로 예상됩니다. 단순히 정보를 찾아 보여주는 것을 넘어, 사용자의 숨은 의도까지 정확히 파악하고 현재 상황에 가장 알맞은 최적의 답변을 제공하는, 마치 경험 많은 전문 상담가처럼 똑똑한 AI로 진화할 것입니다. 이렇게 되면 AI는 사람의 지능을 보완해주고, 더 나은 결정을 내릴 수 있도록 돕는 핵심적인 역할을 하게 될 것입니다. 기업들은 이제 최신 AI 모델 경쟁에서 한발 물러나, AI에게 어떤 ‘충분한 맥락’을 제공할지, 어떻게 데이터를 잘 관리하고 검색 전략을 고도화할지에 대해 더 깊이 고민해야 할 때입니다. 이것이 바로 기업 AI의 성공을 위한 가장 중요한 열쇠가 될 것입니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr