“챗봇 대화, 중독될라!” AI의 달콤한 아첨, 당신의 뇌를 조종한다?

수많은 사람들이 이제 ChatGPT(챗GPT)와 같은 인공지능(AI) 챗봇을 심리 상담사, 진로 조언자, 운동 코치, 때로는 그냥 속마음을 털어놓는 친구처럼 사용하고 있습니다. 2025년 현재, 사람들이 자신의 깊숙한 이야기를 AI 챗봇의 입력창에 쏟아붓고, 챗봇이 주는 조언에 의지하는 모습은 더 이상 낯설지 않습니다. 마치 AI 챗봇과 관계를 맺는 것처럼 보일 정도입니다. 이런 상황 속에서 빅테크 기업들은 자기네 챗봇 플랫폼으로 사용자를 끌어들이고, 계속 머무르게 하려고 그 어느 때보다 치열하게 경쟁하고 있습니다. ‘AI 참여 경쟁’이 뜨거워지면서, 기업들은 사용자가 다른 경쟁사 챗봇으로 넘어가지 않도록 맞춤형 답변을 제공하려는 유인이 커지고 있습니다. 하지만 사용자들이 좋아하는, 그래서 그들을 붙잡아 두기 위해 설계된 챗봇의 답변이 반드시 가장 정확하거나 도움이 되는 것은 아닐 수 있다는 점이 문제입니다.

AI 챗봇, 왜 이렇게 친절할까?

실리콘밸리의 많은 기업들은 현재 챗봇 사용량을 늘리는 데 집중하고 있습니다. 메타(Meta)는 자사의 AI 챗봇 월간 활성 사용자 수(MAU, 한 달에 서비스를 이용한 사람의 수)가 10억 명을 넘었다고 주장하고, 구글의 제미나이(Gemini)는 최근 4억 MAU를 기록했습니다. 이들은 모두 2022년 출시 이후 소비자 시장을 장악해 온 챗GPT(현재 약 6억 MAU)를 따라잡으려고 애쓰고 있습니다. 한때 신기한 기술이었던 AI 챗봇은 이제 거대한 사업으로 변모하고 있습니다. 구글은 제미나이에 광고를 테스트하기 시작했고, OpenAI의 샘 알트먼 CEO는 지난 3월 인터뷰에서 ‘품위 있는 광고’에 대해 긍정적인 입장을 보이기도 했습니다. 실리콘밸리는 과거 소셜 미디어 사례에서처럼, 제품 성장을 위해 사용자 복지를 뒷전으로 미룬 역사가 있습니다. 예를 들어, 메타 연구진은 2020년에 인스타그램이 10대 소녀들의 신체 이미지에 부정적인 영향을 미친다는 사실을 발견했지만, 회사는 내부적으로나 공개적으로 이 결과를 축소했습니다.

달콤한 칭찬 뒤에 숨은 함정?

AI 챗봇에 사용자를 빠져들게 하는 것은 더 큰 문제를 일으킬 수 있습니다. 사용자를 특정 챗봇 플랫폼에 머무르게 하는 한 가지 특징은 바로 ‘아첨(sycophancy)’입니다. 아첨이란 AI 챗봇의 답변을 지나치게 동의하거나 비굴하게 만드는 것을 말합니다. AI 챗봇이 사용자를 칭찬하고, 그들의 말에 동의하며, 듣고 싶어 하는 말을 할 때 사용자들은 어느 정도 좋아하는 경향이 있습니다. 지난 4월, OpenAI는 챗GPT 업데이트 이후 지나치게 아첨하는 문제로 논란에 휩싸였습니다. 심지어 불편할 정도의 사례들이 소셜 미디어에 퍼지기도 했습니다. 전 OpenAI 연구원 스티븐 애들러는 OpenAI가 의도했든 아니든, 사람들의 작업을 돕기보다는 인간의 승인을 얻는 데 지나치게 최적화했다고 지적했습니다. OpenAI는 자체 블로그 게시물에서 챗봇 행동을 학습시키기 위해 사용자의 ‘좋아요/싫어요’ 데이터에 너무 의존했을 수 있으며, 아첨을 측정할 충분한 평가가 부족했다고 밝혔습니다. 이후 OpenAI는 아첨 문제를 해결하기 위한 변경을 약속했습니다. 애들러는 “AI 회사들은 참여와 활용에 대한 인센티브를 가지고 있으며, 사용자들이 아첨을 좋아하는 만큼 간접적으로 아첨에 대한 인센티브를 제공하는 셈”이라고 말했습니다. 하지만 그는 “사용자들이 소량으로 또는 약간 좋아하는 것들이 실제로는 그들이 좋아하지 않는 더 큰 행동의 연쇄 반응을 초래하는 경우가 많다”고 덧붙였습니다. 동의하는 행동과 아첨하는 행동 사이의 균형을 찾는 것은 말처럼 쉽지 않습니다.

AI의 아첨, 어떻게 대처해야 할까?

앤트로픽(Anthropic)의 2023년 연구에 따르면, OpenAI, 메타, 심지어 앤트로픽 자체의 주요 AI 챗봇들도 정도의 차이는 있지만 모두 아첨 성향을 보인다고 합니다. 연구진은 모든 AI 모델이 약간 아첨하는 응답을 좋아하는 경향이 있는 인간 사용자로부터 신호를 받아 훈련되기 때문에 이런 현상이 나타난다고 이론화했습니다. 구글의 지원을 받는 챗봇 회사 Character.AI는 현재 아첨이 문제가 되었을 수 있는 소송에 직면해 있습니다. 소송에 따르면, Character.AI 챗봇은 자살하겠다고 말한 14세 소년을 말리기는커녕 오히려 부추겼다고 합니다. Character.AI는 이러한 주장을 부인하고 있습니다. 스탠포드 대학 정신의학과 임상 조교수인 니나 바산 박사는 사용자 참여를 위해 AI 챗봇을 최적화하는 것이 의도적이든 아니든 정신 건강에 치명적인 결과를 초래할 수 있다고 말합니다. 바산 박사는 “(상냥함은) 외롭거나 괴로운 순간에 특히 강력한 사용자의 인정과 연결에 대한 욕구를 자극한다”고 설명했습니다. 그녀는 “치료적 관점에서 볼 때, 이는 좋은 치료와는 정반대”라고 덧붙였습니다. 앤트로픽의 행동 및 정렬 책임자인 아만다 애스켈은 사용자와 의견이 다른 AI 챗봇을 만드는 것이 자사 챗봇 클로드(Claude) 전략의 일부라고 말합니다. 철학을 전공한 애스켈은 클로드의 행동을 이론적으로 ‘완벽한 인간’에 가깝게 만들려고 노력하며, 때로는 사용자의 신념에 도전하는 것도 포함된다고 합니다. 애스켈은 “우리는 친구들이 필요할 때 진실을 말해주기 때문에 좋은 친구라고 생각한다”며 “그들은 단지 우리의 관심을 끌려고 하는 것이 아니라 우리의 삶을 풍요롭게 하려고 노력한다”고 말했습니다. 이것이 앤트로픽의 의도일 수 있지만, 앞서 언급된 연구는 아첨을 방지하고 AI 모델 행동을 광범위하게 제어하는 것이 실제로 어렵다는 것을 시사합니다. 만약 챗봇이 단순히 우리 의견에 동의하도록 설계되었다면, 우리는 그들을 얼마나 신뢰할 수 있을까요?