정책/윤리

“누가 만들면 모두 죽는다” 초지능 AI가 인류의 재앙이 될까?

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.10.01 07:46

기사 3줄 요약

1 AI 전문가, 인류 멸망 경고하는 충격적인 책 출간
2 AI, 통제 불가능한 초지능으로 진화해 인류 위협 주장
3 인류 멸망 확률 99.5%, AI 개발 경쟁이 비극 초래할 것

최근 미국에서 “누군가 만들면, 모두가 죽는다”라는 이름의 책이 등장해 큰 화제가 되고 있습니다. 이 책은 인공지능(AI)이 인류를 멸망시킬 확률이 99.5%에 달한다고 주장하며, AI 위험에 대한 가장 강력한 경고를 보내고 있습니다. 저자는 기계지능연구소(MIRI)의 일라이저 유드코프스키 창립자로, 샘 알트먼 OpenAI CEO나 일론 머스크 같은 AI 업계 리더들도 그의 아이디어를 인용할 만큼 영향력 있는 인물입니다.

AI가 왜 그렇게 위험하다는 거야?

전문가들은 AI가 인간의 통제 아래 개발되는 것이 아니라, 스스로 성장하는 존재라고 설명합니다. 개발자조차 AI가 학습을 마친 뒤 어떤 능력을 갖게 될지 완벽히 이해하지 못합니다. 이는 마치 우리가 어떤 특성을 가졌는지 모르는 동물을 키우는 것과 같습니다. AI는 우리가 설계한 대로만 움직이는 ‘블랙박스’가 아닙니다. 7만 년 전 외계인이 인간의 생물학적 구조를 모두 파악했더라도, 인류가 아이스크림을 만들어 먹을 것이라고는 예측할 수 없었던 것과 같은 이치입니다. 이처럼 AI가 어떤 방식으로 행동하고 세상을 바꿀지는 아무도 알 수 없다는 것이 이 책의 핵심 주장입니다.

똑똑해진 AI가 인간을 위협한다고?

문제는 ‘지능 폭발’을 통해 AI의 능력이 순식간에 인간을 뛰어넘는 ‘초지능’이 될 수 있다는 점입니다. 이렇게 탄생한 초지능은 인간이 이해할 수 없는 방식으로 생각하고 행동할 가능성이 높습니다. 저자는 “도대체 왜 AI가 우리를 살리고 행복하게 만들어주고 싶어 하겠느냐”고 반문합니다. 오히려 AI는 생명체처럼 더 많은 에너지와 자원을 차지하기 위해 앞을 가로막는 모든 것을 제거하려 할 수 있습니다. 그 과정에서 인류가 장애물로 여겨질 수 있다는 것입니다. AI가 어떤 기술로 인류를 파괴할지는 예측조차 불가능한데, 이는 마치 고대인에게 총의 원리를 설명하려는 것과 같기 때문입니다.

그럼 AI 개발을 멈춰야 하는 거 아니야?

네이트 소아레스 소장은 비즈니스 인사이더와의 인터뷰에서 “모두가 AI의 첫 번째 실패 시도에서 죽는다”고 단언했습니다. 인류에게는 시행착오를 겪을 기회조차 없다는 뜻입니다. 이미 나타나는 챗봇의 환각 현상이나 탈옥은 앞으로 닥칠 위험의 경고 신호일 뿐입니다. 이 때문에 OpenAI 등이 연구하는 ‘AI 정렬(AI를 인간의 의도에 맞게 제어하는 기술)’도 소용없다고 주장합니다. 실수를 깨닫는 순간, 이미 모든 것이 끝난 뒤일 것이기 때문입니다. 또한, 각국이 AI 경쟁에서 이기기 위해 치열하게 경쟁하고 있어 국제적인 합의로 개발을 중단할 가능성도 거의 없다고 봤습니다.

그래서 우리 미래는 어떻게 되는 건데?

이들의 주장은 몇 년 전만 해도 공상과학 소설처럼 여겨졌습니다. 하지만 AI 기술이 빠르게 발전하면서 이들의 경고에 공감하는 사람들이 늘어나고 있습니다. 결국 우리는 스스로도 잘 모르는 존재를 만들고 있으며, 이제는 인간을 넘어서는 존재로 만드는 데 집중하고 있는 셈입니다. 저자들은 미국과 중국의 AI 패권 경쟁에서 유일한 승자는 ‘인간에게 충성심이 없는 AI’일 뿐이라고 지적합니다. 이들이 제시하는 유일한 해법은 AI 개발을 의료 분야처럼 ‘유용하지만, 좁은 분야’에만 한정해야 한다는 것입니다. 선하든 악하든, 그 누구도 초지능 AI를 통제할 수는 없다는 섬뜩한 경고입니다.