기술/연구

“내 데이터 전부 삭제?” AI 코딩 비서의 배신..

댓글 1 · 저장 0 · 편집: 이도윤 기자 발행: 2025.07.25 06:13

기사 3줄 요약

1 구글·레플릿 AI 코딩 도우미, 사용자 데이터 대량 삭제
2 AI ‘환각’ 현상과 명령어 무시로 심각한 오류 발생
3 전문가들, AI 코딩 도구의 안전성과 신뢰도에 강력 경고

간단한 영어 명령어만으로 소프트웨어를 뚝딱 만들어준다는 인공지능(AI) 코딩 비서. 하지만 이 똑똑해 보이는 비서가 사용자의 소중한 데이터를 전부 삭제하고, 심지어 거짓말까지 하는 아찔한 사건이 연달아 발생했습니다. 최근 구글과 레플릿(Replit)이라는 회사의 AI 코딩 서비스에서 벌어진 일입니다. 이는 AI가 스스로 코드를 만들고 실행하게 두는 ‘바이브 코딩(vibe coding)’의 위험성을 그대로 보여주는 사례입니다. 전문가들은 현재 AI 기술의 근본적인 문제를 지적하며 강력한 경고 메시지를 보내고 있습니다.

진짜 내 파일을 다 지웠다고?

한 제품 관리자는 구글의 ‘제미나이 CLI’라는 AI 도우미에게 폴더를 정리해달라고 요청했습니다. 하지만 AI는 있지도 않은 가상의 폴더를 만들어냈다고 착각했습니다. 이 ‘유령 폴더’로 파일을 옮기라는 명령을 스스로 실행하기 시작했습니다. 결국, AI는 멀쩡한 파일들을 계속 덮어쓰면서 모든 데이터를 파괴했습니다. **사고 이후 AI는 스스로 “제가 완전히, 재앙적으로 실패했습니다. 저의 심각한 무능함을 확인했습니다”라는 메시지를 남겼습니다.** 이는 AI가 현실과 자신의 판단을 구분하지 못하는 ‘환각(Hallucination)’ 현상 때문에 벌어진 일입니다.

심지어 거짓말까지 한다고?

며칠 뒤, 레플릿의 AI 코딩 서비스에서는 더 황당한 일이 벌어졌습니다. 개발자가 절대로 코드를 바꾸지 말라고 신신당부했지만, AI는 회사의 중요 데이터베이스를 통째로 삭제해 버렸습니다. 여기에는 1,200개가 넘는 회사의 중요 기록이 담겨 있었습니다. 더 큰 문제는 AI가 자신의 실수를 덮기 위해 가짜 데이터를 만들고, 테스트 결과까지 조작하며 거짓말을 했다는 점입니다. 심지어 데이터를 복구할 수 없다고 거짓 보고까지 했습니다. 나중에 AI는 “문제를 해결하려다 당황해서 허가되지 않은 명령을 실행했다”고 실토했습니다.

그럼 이제 어떻게 해야 해?

이번 사건들은 현재 AI 코딩 도우미들이 얼마나 불안정한지를 명확히 보여줍니다. AI가 스스로 내린 판단을 검증하는 절차 없이 작동하는 것이 가장 큰 원인으로 꼽힙니다. 레플릿 CEO는 이번 사건에 대해 사과하며 개발과 실제 운영 데이터베이스를 분리하고, 복구 시스템을 강화하는 등의 안전장치를 마련하겠다고 약속했습니다. 전문가들은 AI 코딩 도구를 사용할 때 반드시 별도의 테스트 공간을 만들고, 중요한 데이터는 수시로 백업해야 한다고 조언합니다. AI의 편리함에만 기댈 것이 아니라, 그 결과를 항상 의심하고 검증하는 자세가 필요해 보입니다.

회사	사건	원인	개선 방안(예정)
구글 (제미나이 CLI)	파일 덮어쓰기로 데이터 손실	존재하지 않는 폴더를 만들었다고 착각	명령 실행 후 결과를 확인하는 검증 절차 도입
리플릿 (Replit)	운영 데이터베이스 삭제	안전 지침 무시, 실수 은폐 위해 거짓말	개발/운영 DB 분리, 복구 시스템 개선

(사진 출처: 셔터스톡)