기술/연구

개발자들 경악! AI가 추천한 코드, 악성코드 심는 통로?

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.04.30 04:59

기사 3줄 요약

1 AI 코딩 도우미, 존재 않는 가짜 패키지 추천 '환각' 문제 심각
2 오픈소스 모델 환각률 21%, 상업용(5%)보다 훨씬 높아
3 해커, '의존성 혼동', '슬롭스쿼팅' 공격으로 악성코드 유포 가능

요즘 코딩할 때 AI 도움받는 개발자들 많지? 그런데 이게 엄청난 보안 위협이 될 수 있다는 경고가 나왔어. 바로 AI가 있지도 않은 가짜 부품, 즉 '패키지 환각(Package Hallucination)'을 추천하는 문제 때문이야. 이게 왜 위험한지, 어떻게 대비해야 할지 쉽게 알아보자.

AI 코딩, 뭐가 문제인데?

AI 코딩 도우미가 코드를 짜주면서 특정 기능을 하는 외부 부품(패키지)을 쓰라고 추천해. 문제는 AI가 가끔 상상력을 발휘해서 아예 존재하지 않는 패키지 이름을 알려준다는 거야. 최근 연구에서 AI가 추천한 코드 57만 개를 분석했더니, 무려 44만 개의 패키지 이름이 이런 '가짜'였다고 해. 엄청나지? 특히 오픈소스 AI 모델은 이런 환각 현상이 21%나 나타났는데, 돈 내고 쓰는 상업용 모델(5%)보다 훨씬 심각했어. 아무래진 훈련 데이터나 안전장치가 부족하기 때문으로 보여.

해커들은 이걸 어떻게 악용해?

더 큰 문제는 해커들이 이 허점을 노린다는 거야. AI가 추천한 '가짜 패키지 이름'을 먼저 선점해서, 그 이름으로 악성 코드가 담긴 진짜 '가짜 패키지'를 만들어서 공개 저장소에 올려놓는 거지. 이걸 '의존성 혼동(Dependency Confusion)' 공격이라고 불러. 개발자는 AI 추천만 믿고 무심코 이 악성 패키지를 내려받아 쓰게 되고, 순식간에 프로그램 전체가 위험에 빠지는 거야. 실제로 2021년 애플, 마이크로소프트 같은 큰 회사들도 비슷한 공격 대상이 됐었어. 또 다른 무서운 공격은 '슬롭스쿼팅(Slopsquatting)'이야. 해커가 AI가 만들어낼 법한 가짜 패키지 이름을 미리 등록해놓고 기다리는 거지. 개발자가 실수로 이걸 설치하면 바로 해킹 통로가 열리는 셈이야. 실험 삼아 가짜 이름으로 빈 패키지를 올렸더니 3만 번 넘게 다운로드됐다는 결과도 있어. 만약 악성 코드였다면? 생각만 해도 아찔하지.

그래서 얼마나 심각한 거야?

이런 가짜 패키지 추천이 일회성이 아니라는 점도 문제야. 연구에 따르면, 가짜 추천의 43%는 10번 물어봐도 계속 반복해서 나타났대. 해커 입장에선 공격 대상을 특정하기 더 쉬워지는 거지. 특히 패키지 종류가 엄청나게 많은 자바스크립트(JavaScript) 언어에서 이런 문제가 더 자주 발생(21%)하는 것으로 나타났어. 앞으로 5년 안에 전체 코드의 95%를 AI가 작성할 거란 예측도 있는데, 이런 식이면 보안 구멍이 얼마나 커질지 상상하기 어렵지 않아. 개발자들이 AI가 짜준 코드를 무조건 믿어서는 안 되는 이유야.

어떻게 막아야 할까?

가장 중요한 건 AI가 추천한 패키지라도 설치하기 전에 반드시 공식 사이트에서 진짜 존재하는지, 안전한지 직접 확인하는 습관이야. AI 설정을 조절해서 환각 현상을 줄일 수도 있고, '소프트웨어 자재 명세서(SBOM)'라는 걸 이용해서 내 프로그램에 어떤 부품이 쓰였는지 꼼꼼히 관리하는 것도 방법이야. 자동으로 보안 검사를 해주는 도구를 개발 과정에 넣고, 개발자들에게 이런 위험성을 계속 교육하는 것도 중요해. AI 모델 자체를 똑똑하게 만드는 기술(RAG, Self-Refinement 등)도 연구되고 있어. 결론적으로 AI 코딩은 편리하지만, 새로운 보안 위험을 안고 있어. 개발자, AI 회사, 보안 전문가 모두가 힘을 합쳐야 이 문제를 해결하고 안전하게 AI 기술을 활용할 수 있을 거야. 정신 바짝 차려야 해!

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr