기술/연구

드디어 나왔다! 헛소리 안 하는 AI 만드는 비법 공개

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.24 08:09

기사 3줄 요약

1 RAGEN, AI 신뢰성 높이는 새 훈련법 공개
2 AI 생성 예제 활용, 인간 개입 최소화
3 복잡한 지시 수행 탁월, 오픈소스로 공개

AI가 가끔 엉뚱하거나 잘못된 정보를 말하는 '환각 현상' 때문에 골치 아팠던 경험 있으신가요? 이제 이런 걱정을 조금 덜 수 있을지도 모르겠습니다. UC 버클리, 딥시커(DeepSeeker) 등 여러 연구기관이 힘을 합쳐 'RAGEN(레이전)'이라는 새로운 AI 훈련 방법을 개발했기 때문입니다. 이 기술은 AI가 더 믿을만하고, 사람의 의도에 맞게 행동하며, 문제의 환각 현상까지 줄이는 것을 목표로 합니다.

뭐하는 기술인데?

RAGEN은 'AI가 만든 예제를 보고 자연스러운 피드백으로 강화 학습한다'는 뜻을 가진 이름입니다. 이름처럼, 이 기술의 핵심은 AI가 스스로 학습 자료를 만들고 그 과정에서 배우는 데 있습니다. 기존에는 사람이 일일이 정답을 알려주거나 좋은 답변을 골라줘야 했지만, RAGEN은 이런 과정을 AI가 상당 부분 대신합니다. 덕분에 시간과 비용을 크게 줄일 수 있을 것으로 기대됩니다.

어떻게 작동하는데?

RAGEN의 훈련 방식은 크게 두 단계로 나뉩니다. 첫 번째는 '롤아웃 단계'입니다. 여기서는 거대 언어 모델(LLM)이 나서서 아주 다양한 훈련 예시를 만들어냅니다. 마치 AI가 여러 가지 상황극을 해보는 것과 같습니다. 성공하는 경우뿐만 아니라 실패하는 상황까지 만들어서 AI가 실제 세상처럼 복잡한 문제에 대비할 수 있게 합니다. 두 번째는 '업데이트 단계'입니다. 여기서는 AI가 만들어낸 예시 중에서 학습에 꼭 필요한 핵심 정보, 예를 들어 어떤 행동을 했을 때 어떤 보상을 받았는지 등을 집중적으로 분석하고 학습합니다. 중요한 부분만 콕 집어 배우기 때문에 학습 효율이 높아지고, AI가 더 똑똑한 결정을 내릴 수 있게 됩니다.

기존 거랑 뭐가 달라?

RAGEN은 기존의 대표적인 AI 훈련 방식인 RLHF(인간 피드백 기반 강화학습)나 DPO(직접 선호 최적화)보다 몇 가지 뛰어난 장점을 가집니다. 첫째, 사람의 손길이 덜 필요합니다. AI가 스스로 만든 예시와 자연어 피드백을 활용하기 때문에, 사람이 직접 개입해야 하는 부분을 크게 줄였습니다. 이는 곧 AI 훈련에 드는 시간과 비용 절약으로 이어집니다. 둘째, 훈련 과정이 더 안정적입니다. RLHF 방식은 종종 훈련 과정이 불안정해지는 문제가 있었지만, RAGEN은 2단계 접근법 덕분에 더 꾸준하고 안정적인 학습이 가능합니다. 셋째, 복잡한 일을 더 잘 처리합니다. RAGEN으로 훈련된 AI는 여러 단계를 거쳐야 하는 순차적인 임무나, 상황이 계속 변하는 환경에 더 잘 적응합니다. 마치 여러 수를 내다봐야 하는 바둑처럼 장기적인 계획을 세우는 능력이 향상되는 것입니다. 물류 자동화나 똑똑한 AI 비서처럼 복잡한 작업에 유리합니다. 넷째, 예측 불가능한 상황에도 강합니다. RAGEN은 'RICO'라는 특별한 최적화 기술을 사용해, 불확실한 상황 속에서도 최선의 판단과 행동을 찾아내는 능력이 뛰어납니다.

그래서 얼마나 똑똑해졌는데?

아직 더 많은 검증이 필요하지만, 초기 테스트 결과는 매우 희망적입니다. RAGEN으로 훈련된 AI는 특히 여러 단계의 복잡한 지시사항을 훨씬 정확하게 수행했고, AI의 고질적인 문제였던 환각 현상, 즉 헛소리를 하는 경향도 눈에 띄게 줄었습니다. 연구팀은 이를 확인하기 위해 '소코반'이라는 고전 퍼즐 게임 환경에서 AI를 테스트했습니다. 소코반은 상자를 지정된 위치로 옮기는 게임인데, 한번 잘못 움직이면 되돌리기 어렵고 전략적인 생각이 필요한 어려운 과제입니다. 테스트 결과, RAGEN으로 훈련된 AI가 기존 방식으로 훈련된 AI보다 훨씬 높은 성공률과 효율성을 보여주었습니다.

지표	RAGEN 훈련 에이전트	RLHF 훈련 에이전트	DPO 훈련 에이전트
완료율	95%	85%	75%
완료까지 걸린 단계 수	50	65	70
환각 발생률	2%	10%	15%

누구나 쓸 수 있다고?

더욱 주목할 점은 연구팀이 RAGEN 기술과 관련 코드를 전부 오픈소스로 공개했다는 사실입니다. 이는 전 세계 AI 개발자들이 누구나 이 기술을 가져다 쓰고, 개선하고, 새로운 분야에 적용해볼 수 있다는 의미입니다. 이런 개방적인 태도는 AI 기술 발전을 더욱 가속화하고, 더 안정적이고 뛰어난 AI 시스템 개발에 기여할 것으로 기대됩니다. RAGEN은 단순히 AI 모델을 크게 만드는 것을 넘어, 더 똑똑하고 안정적으로 훈련하는 새로운 방향을 제시합니다. 이 기술이 앞으로 AI 연구와 산업에 어떤 변화를 가져올지 지켜볼 필요가 있겠습니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr