정책/윤리

“사람 목숨 달렸는데…가짜 논문 쓰는 AI” 美 FDA 발칵 뒤집혔다

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.07.24 05:00

기사 3줄 요약

1 美 FDA 신약 승인 AI ‘엘사’, 심각한 오류 발생
2 존재 않는 가짜 연구 인용 등 ‘환각 현상’ 보고
3 업무 지연은 물론 국민 안전 위협 우려까지 커져

미국 식품의약국(FDA)이 야심 차게 도입한 인공지능(AI)이 오히려 거대한 골칫덩어리가 되고 있습니다. 신약이나 의료기기 승인 속도를 높이기 위해 도입된 AI '엘사(Elsa)'가, 있지도 않은 가짜 연구를 진짜처럼 인용하는 등 심각한 오류를 일으키고 있기 때문입니다. CNN 등 현지 언론에 따르면, FDA 직원들은 엘사가 업무를 돕기는커녕 시간을 낭비하게 만든다고 불만을 터뜨리고 있습니다. 이는 AI가 그럴듯한 거짓 정보를 만들어내는 '환각(Hallucination)' 현상 때문으로, 국민 건강과 직결된 기관의 신뢰성에 큰 타격을 주고 있습니다.

진짜 환각 증세 보인다고?

엘사의 환각 문제는 생각보다 심각합니다. 특정 약이 어린이에게 안전하다는 근거로 존재하지 않는 소아과 연구 논문을 제시하는 것이 대표적인 사례입니다. 심지어 특정 의료기기의 부작용이 5%라는 연구 결과를 25%로 부풀려 보고하기도 했습니다. 이런 부정확한 정보는 의약품 안전에 대한 잘못된 판단으로 이어질 수 있어 매우 위험합니다. 중요한 문서를 제대로 찾지 못해 기본적인 질문에도 엉뚱한 답을 내놓는 일도 잦았습니다.

그럼 일은 더 느려지는 거 아냐?

네, 그렇습니다. 혁신을 기대했던 AI가 오히려 업무를 지연시키는 주범이 된 셈입니다. 직원들은 엘사가 내놓은 정보를 믿을 수 없어 일일이 사실관계를 다시 확인해야만 했습니다. 이 과정에서 불필요한 시간과 노력이 낭비되고 있습니다. 만약 이런 오류를 걸러내지 못하고 위험한 신약이나 의료기기가 승인이라도 된다면, 그 피해는 상상하기조차 어렵습니다. AI의 오류가 국민의 생명을 위협할 수 있다는 우려가 커지는 이유입니다.

앞으로 어떻게 해야 할까?

이번 사태로 AI 기술을 공공 서비스에 도입할 때 얼마나 신중해야 하는지가 드러났습니다. 전문가들은 AI가 학습하는 데이터의 품질을 높이고, 도입 전 훨씬 엄격한 검증 절차를 거쳐야 한다고 지적합니다. 또한 AI가 내린 판단 과정을 투명하게 공개하고, 오류가 발생했을 때 책임 소재를 명확히 하는 제도적 장치 마련도 시급합니다. ‘AI 혁명’이라는 구호에 앞서, 기술을 안전하고 책임감 있게 사용하는 방법에 대한 깊은 고민이 필요해 보입니다. (사진 출처: 셔터스톡)

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr