기술/연구

구글 딥마인드, AI ‘구멍’ 막았다! 67% 성공률 보안 신기술 공개

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.16 21:07

기사 3줄 요약

1 구글 딥마인드, AI 보안 신기술 CaMeL 개발
2 프롬프트 인젝션 방어 성공률 67% 달성
3 AI 역할 분리로 데이터 흐름 제어, 보안 강화

인공지능(AI) 모델을 속여 원래 목적과 다른 행동을 하도록 만드는 '프롬프트 인젝션' 공격, 들어보셨나요? AI 비서에게 이상한 명령을 내리거나 민감한 정보를 빼내려는 시도인데요. 이런 골치 아픈 AI 보안 문제를 해결하기 위해 구글 딥마인드가 새로운 기술 'CaMeL(카멜)' 시스템을 개발해 큰 주목을 받고 있습니다.

그래서 CaMeL이 뭔데?

CaMeL 시스템의 핵심 아이디어는 아주 흥미롭습니다. 바로 AI 모델 자체를 완전히 믿지 않는다는 겁니다. 기존 보안 방식은 AI 모델이 기본적으로 안전하게 작동할 것이라고 가정했지만, CaMeL은 AI 모델도 해킹당할 수 있는 '신뢰할 수 없는 존재'로 보고 접근합니다. 그래서 CaMeL은 AI의 역할을 두 개로 나눕니다. 하나는 'P-LLM'이라는 관리자 역할의 AI이고, 다른 하나는 'Q-LLM'이라는 격리된 공간에서 외부 데이터를 처리하는 AI입니다. P-LLM은 전체 작업 흐름을 관리하고 중요한 결정을 내립니다. 반면 Q-LLM은 사용자가 입력하는 명령어나 외부 웹사이트 정보처럼 잠재적으로 위험할 수 있는 데이터를 안전하게 격리된 환경에서 먼저 처리합니다. 마치 중요한 서류는 사장님이 직접 관리하고, 외부에서 온 수상한 소포는 보안팀이 먼저 검사하는 것과 비슷하다고 생각하면 이해하기 쉬울 겁니다. 이렇게 역할을 나누면, 설령 Q-LLM이 해킹 공격에 속아 넘어가더라도 중요한 시스템 전체에 영향을 미치는 것을 막을 수 있습니다. 또한, 데이터가 어디서 와서 어디로 가는지, 어떤 목적으로 사용되는지를 '기능(capabilities)'이라는 꼬리표를 붙여 꼼꼼히 추적하고, 정해진 규칙을 어기지 못하도록 파이썬이라는 프로그래밍 언어로 만든 보안 정책을 적용합니다. 꼭 필요한 권한만 부여하고 정보가 함부로 새어나가지 않도록 통제하는 것이죠.

얼마나 효과적인데?

구글 딥마인드는 CaMeL 시스템의 성능을 확인하기 위해 'AgentDojo'라는 테스트 환경에서 실험했습니다. AgentDojo는 다양한 종류의 프롬프트 인젝션 공격 상황을 만들어놓고 얼마나 잘 방어하는지 평가하는 벤치마크입니다. 결과는 놀라웠습니다. CaMeL 시스템은 주어진 보안 과제를 67%나 성공적으로 해결했습니다. 이는 기존에 사용되던 다른 방어 기술들보다 훨씬 뛰어난 성과입니다. 물론 100% 완벽한 방어는 아니지만, AI 보안 분야에서 매우 의미 있는 진전을 이룬 것으로 평가받습니다. 다만, 보안을 강화한 만큼 시스템 운영에 필요한 자원, 예를 들어 계산 능력이나 처리 시간(토큰 사용량)은 기존보다 약 2.7~2.8배 정도 늘어났습니다. 하지만 더 안전한 AI 시스템을 만들 수 있다는 점을 고려하면 충분히 감수할 만한 비용이라는 분석입니다.

기존 방식과 뭐가 다른 거야?

CaMeL 시스템과 기존 AI 보안 방식의 가장 큰 차이점을 표로 정리하면 다음과 같습니다.

구분	기존 AI 보안 방식	CaMeL 시스템
AI 모델 신뢰도	AI가 안전할 것이라고 가정	AI를 '신뢰할 수 없는 존재'로 취급
역할 분담	특별한 역할 분담 없음	관리자(P-LLM)와 처리자(Q-LLM)로 역할 분리
보안 정책	제한적인 규칙 적용	파이썬 코드 기반의 강력한 데이터 흐름 제어 및 보안 정책 적용
미묘한 공격 방어	데이터 흐름을 조작하는 공격에 취약	데이터-제어 흐름 조작 공격 방어에 강력함

쉽게 말해, 기존 방식이 AI를 착한 학생으로 믿고 맡기는 방식이었다면, CaMeL은 AI를 잠재적 말썽꾼으로 보고 처음부터 관리자와 보안 요원을 붙여 철저히 감시하고 통제하는 방식이라고 할 수 있습니다.

앞으로 어떻게 될까?

CaMeL 시스템은 AI 보안의 새로운 가능성을 보여주었습니다. 특히 LLM(거대 언어 모델)을 기반으로 하는 다양한 서비스, 예를 들어 챗봇이나 AI 비서 등의 안전성을 크게 높일 수 있을 것으로 기대됩니다. 물론 CaMeL도 아직 완벽하지 않고, 앞으로 더 발전해야 할 부분들이 있습니다. 하지만 AI 기술이 우리 삶 깊숙이 들어오면서 보안의 중요성은 점점 더 커지고 있습니다. CaMeL과 같은 혁신적인 보안 기술 연구가 계속되어, 앞으로 우리가 더욱 안전하고 믿을 수 있는 AI 시대를 맞이할 수 있기를 기대해 봅니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr