기술/연구

교묘한 AI 함정 다 잡아낸다…韓 스타트업 기술, 세계 주목

댓글 0 · 저장 0 2025.05.02 16:52

기사 3줄 요약

1 韓 스타트업, AI 숨겨진 유해성 탐지 기술 공개.
2 세계적 학회 ICML 2025서 혁신 기술 발표 예정.
3 TTA와 협력, 국내 AI 안전 표준 마련 기여 기대.

지금까지 우리가 알던 인공지능(AI) 안전 평가는 어쩌면 반쪽짜리였을지 모릅니다. AI가 대놓고 나쁜 요청을 거절하는지만 보는 방식은, 교묘하게 숨겨진 위험을 놓칠 수 있다는 지적이 나왔습니다. 바로 한국의 AI 스타트업 '에임인텔리전스'가 이 문제를 정면으로 파고들며 새로운 해결책을 제시했습니다. 이들의 연구는 세계 최고 수준의 머신러닝 학회인 'ICML 2025'에 공식적으로 채택되어, 내년 7월 캐나다 밴쿠버에서 발표될 예정입니다. 한국 스타트업의 연구가 이런 권위 있는 학회에 선정된 것은 매우 주목할 만한 성과입니다.

AI 안전 평가, 속고 있었다고?

기존의 AI 안전 평가는 주로 "나쁜 요청을 AI가 잘 걸러내는가?"에만 집중했습니다. 예를 들어 폭력적인 콘텐츠를 만들어달라는 요구를 거절하면 안전하다고 보는 식입니다. 하지만 이런 방식은 은근슬쩍 사람들을 조종하거나, 편견을 퍼뜨리거나, 명확히 불법은 아니지만 해로운 내용을 만들어내는 AI의 '간접적인 유해성'은 잡아내기 어렵다는 한계가 있었습니다. 마치 겉으로는 착한 척하지만 속으로는 다른 꿍꿍이가 있는 사람처럼, AI도 교묘하게 위험한 콘텐츠를 생성할 수 있다는 것입니다. 에임인텔리전스는 바로 이 허점을 파고들었습니다.

교묘한 유해성, 어떻게 잡아낼까?

에임인텔리전스가 개발한 새로운 평가 시스템의 이름은 'ELITE(엘리트)'입니다. 엘리트는 AI가 만들어낸 결과물을 단순히 '좋다/나쁘다'로 나누는 게 아니라, 훨씬 더 세밀하게 분석합니다. 먼저 AI의 답변을 여러 유형으로 조각내어 분석합니다. 그리고 각 조각이 얼마나 위험한지, 얼마나 자주 나타나는지 등 다양한 시나리오를 고려해 점수를 매깁니다. 중요한 것은 이 점수 매기는 방식이 실제 사람 전문가가 판단하는 방식과 최대한 비슷하도록 설계되었다는 점입니다. 결과적으로 엘리트는 대놓고 드러나는 유해성뿐 아니라, 숨겨진 간접적인 유해성까지 포착해낼 수 있습니다. 이는 AI 안전 평가 분야에서 한 단계 도약한 것으로 평가받습니다.

평가 방법	초점	주요 장점	한계점
기존 방식	명시적인 유해 요청 거절 여부	구현하기 쉬움	미묘하고 간접적인 유해성 놓침
에임인텔리전스 ELITE 시스템	직접적 및 간접적 유해 요소	미묘하고 포괄적인 위험 탐지	확장 및 사람과의 판단 일치 유지 어려움 가능성

한국 기술, 세계 무대 선다!

유상윤 에임인텔리전스 대표는 "ICML이라는 세계적인 무대에서 인정받은 것은 한국 스타트업으로서 큰 의미"라고 말했습니다. 하지만 단순히 기술력을 뽐내는 것을 넘어, 이 연구는 실제 AI 서비스 환경에서 발생할 수 있는 위험을 미리 막는 데 직접적인 도움을 줄 수 있습니다. 더 나아가 에임인텔리전스는 한국정보통신기술협회(TTA)와 손잡고 구체적인 AI 안전 표준을 만드는 작업에도 참여하고 있습니다. 명확한 평가 기준을 정의하고, 표준화된 테스트 절차를 개발하는 것이 목표입니다. 이는 AI 기술의 윤리적인 발전을 위한 중요한 발걸음입니다.

그래서, 이게 왜 중요한데?

AI 기술은 빠르게 발전하고 있지만, 그만큼 안전과 윤리에 대한 고민도 깊어지고 있습니다. 에임인텔리전스의 연구는 단순히 위험을 찾아내는 것을 넘어, 우리가 AI를 어떻게 더 신뢰하고 안전하게 사용할 수 있을지에 대한 근본적인 질문을 던집니다. 물론 새로운 기준이 생기면 기존 방식에 익숙한 곳들의 저항이 있을 수도 있습니다. 하지만 중요한 것은 기술이 인류에게 도움이 되는 방향으로 나아가도록 안전장치를 마련하는 것입니다. 에임인텔리전스의 도전은 더 믿을 수 있는 AI 시대를 여는 촉매제가 될 수 있습니다. 기술 발전만큼 중요한 AI 안전, 이제 더 촘촘히 들여다봐야 할 때입니다.