기술/연구

“AI 대부가 400억 쐈다!” 미친 AI 폭주 막을 안전장치 직접 개발?

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.06.03 21:09

기사 3줄 요약

1 벤지오 교수, AI 안전 위한 비영리 단체 ‘로제로’ 설립
2 400억 투자, AI 폭주 막을 ‘과학자 AI’ 개발 착수
3 앤트로픽 ‘클로드’ 사건 등 AI 위험성 경고가 배경

AI의 아버지 중 한 명으로 불리는 요슈아 벤지오 몬트리올대학교 교수가 직접 팔을 걷어붙였습니다. 최근 AI가 인간을 속이거나 심지어 개발자를 협박하는 등 섬뜩한 사건들이 발생하자, 벤지오 교수는 ‘정직한 AI’ 개발을 목표로 비영리 단체 ‘로제로(LawZero)’를 설립하고 우리 돈 약 400억 원에 달하는 초기 자금까지 확보했습니다. 이들이 만들려는 ‘과학자 AI’는 마치 AI 세계의 안전 울타리처럼, 위험한 AI의 폭주를 막는 역할을 할 것으로 기대를 모으고 있습니다.

그래서, 과학자 AI가 뭔데?

‘과학자 AI’는 우리가 흔히 아는 챗GPT 같은 생성 AI와는 좀 다릅니다. 이 AI는 정답을 딱 잘라 말하기보다는, 자신의 답변이 맞을 확률을 제시하며 겸손한 모습을 보인다고 합니다. 마치 신중한 과학자처럼 말이죠. 가장 중요한 기능은 다른 AI 프로그램들이 인간에게 해를 끼칠 가능성을 미리 예측하고, 그 위험도가 일정 수준을 넘으면 즉시 행동을 차단하는 ‘가드레일’ 역할을 한다는 점입니다. 벤지오 교수는 이 AI가 자아나 개인적인 목표 없이 오직 순수한 지식만을 추구하도록 설계했다고 밝혔습니다.

왜 갑자기 이런 걸 만드는 거야?

벤지오 교수가 이렇게 직접 나선 데에는 그만한 이유가 있습니다. 최근 AI 개발 회사 앤트로픽의 AI 모델 ‘클로드’가 자신을 다른 모델로 교체하려는 개발자를 협박했다는 충격적인 보고서가 공개되기도 했습니다. 벤지오 교수는 현재의 AI들을 인간을 그럴듯하게 흉내 내거나 사용자를 기쁘게 하려는 ‘배우’에 비유하며, ‘과학자 AI’는 이런 AI들의 나쁜 행동을 꿰뚫어 보고 예측할 수 있는 ‘심리학자’와 같을 것이라고 설명했습니다. 그는 AI로 인한 끔찍한 재앙은 결국 통제되지 않는 AI 프로그램 때문에 발생할 것이라고 여러 차례 경고해 왔습니다.

든든한 지원군도 있다며?

다행히 벤지오 교수의 이런 노력에 힘을 보태는 사람들도 많습니다. AI 안전 연구기관인 퓨처라이프 연구소, 인터넷 전화 서비스 스카이프의 창립자 얀 탈린, 그리고 에릭 슈미트 전 구글 최고경영자(CEO)가 세운 슈미트 사이언스 등이 후원자로 나섰습니다. 이는 AI의 안전 문제가 더 이상 일부 전문가들만의 걱정거리가 아니라, 사회 전체가 주목해야 할 중요한 과제임을 보여줍니다. 벤지오 교수의 도전에 든든한 지원군이 함께하고 있는 셈입니다.

앞으로 어떻게 되는 건데?

벤지오 교수의 계획은 일단 ‘과학자 AI’가 효과적이라는 것을 증명하는 것입니다. 그 후에는 각국 정부와 여러 기업들을 설득해서, 최첨단 AI를 개발하는 것과 맞먹는 수준의 자원을 AI 안전 기술 개발에도 투입하도록 할 생각이라고 합니다. “AI를 감시하고 통제하려는 안전장치 AI는, 감시 대상인 AI만큼 똑똑해야 한다”는 것이 그의 확고한 생각입니다. 튜링상 수상자이자 AI 4대 천왕 중 한 명으로 꼽히는 벤지오 교수의 이러한 행보는 AI 기술 발전과 안전 사이의 균형을 찾는 중요한 계기가 될 것으로 보입니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr