기술/연구

"AI 헛소리 이제 끝낸다" 위키피디아, 특급 데이터 공개 선언

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.10.01 17:52

기사 3줄 요약

1 위키미디어, AI용 위키피디아 데이터베이스 공개
2 1.2억 개 정보 벡터화, AI가 쉽게 학습 가능
3 AI 환각 줄이고 빅테크 데이터 독점 견제 기대

AI가 종종 그럴듯한 거짓말을 내뱉는 ‘환각 현상’이 크게 줄어들지도 모릅니다. 위키미디어 독일 지부(Wikimedia Deutschland)에 따르면, 인공지능(AI) 모델이 위키피디아의 방대한 지식을 훨씬 쉽게 학습할 수 있는 새로운 데이터베이스가 공개됐습니다. ‘위키데이터 임베딩 프로젝트’라는 이름의 이 시스템은 AI가 더 똑똑하고 정확해지는 데 큰 도움을 줄 것으로 보입니다.

그래서 뭐가 달라지는데?

이 프로젝트의 핵심은 ‘벡터 기반 의미 검색’이라는 기술입니다. 컴퓨터가 단순히 단어를 글자로만 보는 게 아니라, 단어의 진짜 ‘뜻’과 다른 단어와의 ‘관계’까지 이해하게 만드는 기술입니다. 예를 들어 이 시스템에 ‘과학자’라는 단어를 물어보면, 단순히 사전적 의미만 알려주지 않습니다. 유명한 과학자 목록, 여러 나라 언어로 번역된 ‘과학자’라는 단어, 심지어 관련 이미지까지 한 번에 찾아줍니다. 약 1억 2천만 개에 달하는 위키피디아의 정보가 이런 식으로 정리되어 AI가 바로 쓸 수 있게 된 것입니다.

그냥 인터넷 긁어모은 거랑은 차원이 다르다고?

기존 AI들은 인터넷에 떠도는 수많은 정보를 가리지 않고 학습하는 경우가 많았습니다. 이 때문에 가짜뉴스나 편향된 정보까지 배우는 부작용이 있었습니다. 하지만 위키피디아의 정보는 전 세계 수많은 편집자가 직접 참여해 사실을 확인하고 검증한, 상대적으로 신뢰도 높은 자료입니다. AI가 이렇게 잘 정제된 ‘교과서’로 공부하게 되면, 엉뚱한 대답을 하거나 거짓말을 하는 ‘환각 현상’을 크게 줄일 수 있습니다.

빅테크 독점 깨고 AI 민주화 이끌까?

지금까지 고품질의 학습 데이터는 구글이나 오픈AI 같은 거대 기술 기업(빅테크)들이 독점하는 경향이 있었습니다. 데이터를 구하기 힘든 작은 회사나 개인 개발자들은 AI 개발에 어려움을 겪었습니다. 이번 프로젝트는 누구나 위키피디아의 고품질 데이터를 무료로 사용할 수 있게 길을 열었습니다. 프로젝트 책임자인 필립 사데는 “강력한 AI가 소수의 기업에 의해 통제될 필요가 없다는 것을 보여준다”며, AI 기술이 더 개방되고 협력적으로 발전할 수 있다는 기대를 나타냈습니다. 이로 인해 AI 기술 개발의 문턱이 낮아져 더 다양한 AI 서비스가 등장할 것으로 전망됩니다.