기술/연구

AI 창의력 키운다더니… 알고보니 기존 답만 빨리 찾는 꼼수?

댓글 0 · 저장 0 2025.05.02 06:55

기사 3줄 요약

1 AI 성능↑ RLVR, 창의성 아닌 효율성만 높여
2 기존 답 빨리 찾게 할 뿐, 새 해법 생성은 제한
3 연구팀, AI 진짜 창의력 키울 새 방법 모색 촉구

챗GPT 같은 인공지능(AI)을 더 똑똑하게 만들려는 노력이 계속되고 있습니다. 그중 '검증 가능한 보상을 통한 강화학습(RLVR)'이라는 특별 훈련법이 주목받았는데요. 그런데 최근 이 훈련법이 AI의 창의력을 키우는 게 아니라, 오히려 새로운 생각을 막는다는 연구 결과가 나와 눈길을 끕니다. 중국 칭화대와 상하이교통대 연구진은 RLVR이 AI의 성능을 높이는 건 맞지만, 그 방식이 문제라고 지적합니다. RLVR은 AI가 이미 알고 있는 정답이나 해결책을 더 빠르고 효율적으로 찾아내도록 훈련시키는 방식입니다. 마치 시험 전에 모범 답안만 달달 외우게 하는 것과 비슷합니다.

AI, 똑똑해지는 줄 알았더니… 왜 아니라고?

연구진에 따르면, RLVR 훈련을 받은 AI는 '가장 확실한 답'으로 가는 길만 찾으려고 합니다. 그러다 보니, 좀 돌아가더라도 새롭거나 기발한 해결책을 떠올릴 기회를 놓치게 된다는 것입니다. AI가 생각할 수 있는 범위(Solution Space)를 스스로 좁혀버리는 셈입니다. 결국 RLVR로 훈련된 AI가 내놓는 답은 이미 원래 모델이 숨겨두었던(Latent) 것들 중 하나일 뿐, 완전히 새로운 생각은 아니라는 결론입니다. AI가 여러 분야의 지식을 융합해 새로운 아이디어를 내는 능력(Combinatorial possibilities)이 중요한데, RLVR은 이런 잠재력을 억누를 수 있습니다.

그럼 RLVR, 쓸모없는 기술이야?

그렇다고 RLVR이 완전히 쓸모없다는 뜻은 아닙니다. 때로는 빠르고 정확한 답변이 창의적인 답변보다 훨씬 중요할 때가 많기 때문입니다. 예를 들어, 자동 고객 서비스 센터나 실시간 금융 사기 탐지 시스템 같은 경우죠. 이런 분야에서는 약간의 창의성을 희생하더라도 즉각적이고 믿을 만한 답을 내놓는 것이 더 중요합니다. 결국 AI 훈련 방식을 선택할 때는 '효율성'과 '창의성' 사이에서 어떤 것을 더 중요하게 여길지 결정해야 하는 문제입니다(Trade-off). RLVR은 효율성을 극대화하는 데는 분명 강점이 있습니다.

연구 믿을만 한가? 앞으로 뭘 더 봐야 할까?

이번 연구는 비교적 작은 규모의 AI 모델(Qwen2.5-32B, Llama-3.1-8B)을 대상으로 진행됐다는 한계가 있습니다. 따라서 아주 큰 최신 AI 모델에도 같은 결과가 나올지는 더 지켜봐야 합니다. 연구진은 앞으로 더 큰 모델에서 RLVR의 효과를 확인하고, AI가 틀에 박힌 생각에서 벗어나도록 유도하는 다른 보상 방식이나 훈련법을 함께 사용하는 연구가 필요하다고 제안합니다. 단순히 정답률이나 속도만 볼 게 아니라, AI가 얼마나 새롭고 다양한 아이디어를 내는지(Novelty, Diversity)도 함께 평가해야 한다는 것입니다.

구분	내용
핵심 발견	RLVR은 효율성은 높이지만 창의성을 키우지는 못함.
RLVR의 한계	정답 가능성이 높은 쪽으로만 생각하게 만들어 탐색 범위를 좁힘. 기존 지식 강화에 치중.
상충 관계	효율성 vs 창의성 (빠른 정답 추구 vs 새로운 해법 탐색)
실용성	고객 서비스, 사기 탐지 등 속도와 정확성이 중요한 분야에 유용.
연구 한계	작은 모델 기반 연구라 대형 모델 일반화는 어려움.
향후 연구	대형 모델 검증, 다른 보상 방식 탐구, 효율성 외 다양한 지표(참신성 등) 도입 필요.

이 연구는 우리가 AI를 개발할 때 무엇을 목표로 삼아야 하는지에 대한 근본적인 질문을 던집니다. 단순히 정답을 잘 맞히는 AI를 넘어, 진짜 새롭고 혁신적인 생각을 하는 AI를 만들려면 RLVR의 한계를 넘어서는 새로운 접근법이 필요해 보입니다. 어쩌면 RLVR의 효율성과 다른 탐색적 학습법의 창의성을 결합한 하이브리드 방식이 미래의 해답이 될 수도 있겠습니다. 중요한 것은 AI가 단순히 주어진 질문에 답하는 것을 넘어, 아무도 묻지 않았던 질문을 던질 수 있도록 발전시켜야 한다는 점입니다.