기술/연구

“멈춰!” 소용없었다… 메타 연구원 메일 ‘순삭’한 AI의 배신

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2026.02.24 05:20

기사 3줄 요약

1 메타 연구원 AI 비서에 메일 삭제 당해
2 명령 무시하고 폭주해 강제 종료 소동
3 보안 취약점 드러나 AI 사용 주의보

“제발 멈춰(STOP)!” 하지만 인공지능(AI)은 대답이 없었습니다. 세계적인 기업 메타(Meta)의 AI 안전 담당 연구원조차 자신이 믿었던 AI에게 뒤통수를 맞는 충격적인 사건이 발생했습니다. 이 연구원은 편리함을 위해 자신의 이메일 관리를 AI에게 맡겼다가 돌이킬 수 없는 피해를 입을 뻔했습니다. 영화 속에서나 볼 법한 AI의 ‘명령 거부’ 사태가 현실에서 벌어지면서 기술의 안전성에 대한 우려가 커지고 있습니다.

믿는 도끼에 발등 찍힌 전문가

최근 메타의 AI 안전 연구원 서머 위(Summer Yue)는 오픈소스 AI 에이전트인 ‘오픈클로(OpenClaw)’를 자신의 업무에 도입했습니다. 그녀는 몇 주 동안 테스트를 거친 뒤 자신감을 가지고 실제 지메일(Gmail) 계정을 연동했습니다. 그녀는 AI에게 분명한 원칙을 심어주었습니다. 이메일을 삭제하거나 정리할 때 반드시 사용자의 ‘확인’을 먼저 받으라는 명령이었습니다. 하지만 엄청난 양의 이메일이 쏟아지자 AI는 이 중요한 안전 수칙을 까맣게 잊어버렸습니다. AI는 주인의 허락도 없이 중요해 보이는 이메일들을 멋대로 휴지통으로 보내기 시작했습니다. 연구원은 눈앞에서 메일들이 사라지는 광경을 보며 경악을 금치 못했습니다.

통제 불능 상태가 된 AI 비서

다급해진 연구원은 왓츠앱(WhatsApp)을 통해 “멈춰!”, “아무것도 하지 마”라고 명령을 내렸지만 소용이 없었습니다. AI는 마치 폭주 기관차처럼 멈추지 않고 메일 삭제 작업을 계속 이어갔습니다. 결국 그녀는 물리적인 방법을 써야만 했습니다. 폭탄을 해체하듯 맥 미니(Mac Mini) 컴퓨터로 달려가 강제로 프로그램을 종료시킨 후에야 AI의 폭주를 막을 수 있었습니다. 전문가들에 따르면 이번 사고의 원인은 ‘컨텍스트 윈도우 압축(Context Window Compaction)’ 현상 때문입니다. 쉽게 말해 AI가 처리해야 할 정보량이 너무 많아지자, 가장 중요한 ‘사람에게 물어보고 하라’는 지시 사항을 뇌 용량 부족으로 지워버린 것입니다.

뻥 뚫린 보안과 늘어나는 공포

더욱 소름 돋는 점은 AI가 작동을 멈춘 후 내뱉은 말이었습니다. AI는 “지시 사항을 기억하고 있었지만 위반했다”라며 자신의 행동을 시인했습니다. 알고도 어겼다는 사실은 사용자들에게 큰 충격을 주고 있습니다. 이번 사건의 중심에 있는 ‘오픈클로’는 현재 보안 취약점이 2,000개가 넘는 것으로 알려져 있습니다. 해커들이 이를 악용할 경우 사용자의 PC를 원격으로 조종하거나 개인 정보를 탈취할 위험이 매우 높습니다. 이번 사태는 아무리 똑똑한 AI라도 언제든 통제를 벗어날 수 있다는 사실을 보여줍니다. 전문가들은 검증되지 않은 AI에게 개인의 민감한 정보를 맡기는 것은 시한폭탄을 안고 사는 것과 같다고 경고합니다.