기술/연구

“인간 흉내내기는 끝났다” AI가 스스로 똑똑해지는 훈련의 비밀

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.07.08 01:35

기사 3줄 요약

1 AI 능력 폭발, 훈련 방식의 근본적 변화 때문
2 단순 모방에서 '시행착오' 통한 강화 학습으로 전환
3 스스로 추론하며 코딩, 연구 등 복잡한 임무 수행

최근 인공지능(AI)이 코딩을 대신 해주거나, 복잡한 주제의 보고서를 뚝딱 만들어내는 등 놀라운 능력을 보여주고 있습니다. 이는 단순히 AI 모델의 성능이 좋아진 것을 넘어, AI를 훈련하는 방식에 근본적인 변화가 있었기 때문입니다. 과거 AI는 단순히 인간의 데이터를 흉내 내는 ‘모방 학습’에 의존했습니다. 하지만 이 방식은 AI가 한 번 실수를 시작하면 걷잡을 수 없이 오류가 쌓이는 ‘누적 오류’라는 치명적인 단점이 있었습니다. 마치 운전을 책으로만 배운 사람이 실제 도로에서 작은 실수를 한 뒤 당황해서 더 큰 사고를 내는 것과 같습니다. 2023년에 화제가 됐던 AutoGPT 같은 초기 AI 에이전트들이 복잡한 작업을 끝내지 못하고 실패했던 이유가 바로 이것입니다.

왜 예전 AI는 쉽게 길을 잃었을까?

모방 학습은 AI에게 방대한 양의 데이터를 보여주고 따라 하게 만드는 방식입니다. 이는 기본적인 언어 능력을 가르치는 데는 효과적이지만, 한계가 명확합니다. 학습 데이터에 없는 낯선 상황에 부딪히면 AI는 쉽게 길을 잃고 엉뚱한 행동을 하기 시작합니다. 이런 ‘누적 오류’ 문제는 AI가 긴 대화를 나누거나 여러 단계의 복잡한 작업을 수행할 때 특히 두드러졌습니다. 작은 오류가 다음 행동에 영향을 주고, 그 오류가 또다시 다음 행동을 망치면서 결국 전체 작업을 실패로 이끌었습니다.

스스로 배우는 AI, 비결은 '강화 학습'

이 문제를 해결하기 위해 등장한 것이 바로 ‘강화 학습(Reinforcement Learning)’입니다. 이는 AI가 직접 과제를 수행하며 ‘시행착오’를 겪고, 성공적인 결과에 대해서는 보상을 받아 스스로 학습하게 하는 방식입니다. 사람이 운전을 배울 때 직접 핸들을 잡고 실수하며 실력을 키우는 것과 같은 원리입니다. 최근에는 여기서 더 나아가 ‘인간 피드백 기반 강화 학습(RLHF)’이나 ‘헌법 AI(Constitutional AI)’ 같은 기술이 쓰입니다. 이는 특정 AI가 다른 AI의 결과물을 평가하고 피드백을 주며 훈련시키는 방식입니다. 마치 베테랑 감독 AI가 신인 선수 AI를 수없이 코칭하며 성장시키는 셈입니다. 이 덕분에 AI는 훨씬 더 빠르고 정교하게 학습할 수 있게 됐습니다.

그래서 이제 AI는 뭘 할 수 있는데?

강화 학습을 통해 AI는 복잡한 문제도 여러 단계에 걸쳐 차근차근 생각하는 ‘사고 연쇄(Chain-of-thought)’ 능력을 갖추게 됐습니다. 심지어 중국 딥시크(DeepSeek)사의 R1 모델처럼, 훈련 과정에서 스스로 더 나은 문제 해결법을 터득하는 모습까지 보여줬습니다. 이러한 발전 덕분에 이제 AI는 단순히 질문에 답하는 것을 넘어, 여러 단계의 추론이 필요한 ‘에이전트’ 역할을 수행할 수 있게 됐습니다. 사용자의 간단한 명령만으로 코드를 짜서 앱을 만들고, 여러 번의 검색을 거쳐 깊이 있는 리서치 보고서를 작성하는 등 이전과는 차원이 다른 복잡한 임무 수행이 가능해진 것입니다.

구분	모방 학습	강화 학습
학습 방식	데이터셋 통해 행동 패턴 학습	시행착오 통해 보상을 극대화
장점	구현 용이, 빠른 학습 속도	새로운 환경 적응력, 문제 해결 능력
단점	'누적 오류' 문제, 창의성 제한	학습 불안정성, 높은 컴퓨팅 비용
주요 적용	초기 자율주행, 로봇 제어	현재 챗봇, 콘텐츠 생성, 게임