“한국어로 질문하면 정답률 뚝?” AI 언어 이해도 26개국 중 22위

최근 인공지능(AI)이 한국어를 잘 이해하지 못한다는 충격적인 실험 결과가 나왔습니다. 마이크로소프트와 메릴랜드대학교 연구진이 발표한 자료에 따르면, AI의 한국어 이해 능력은 테스트한 26개 언어 중 22위라는 낮은 순위를 기록했습니다. 이는 AI가 긴 문장을 처리할 때 특히 두드러졌습니다.

그래서, 한국어 순위가 어느 정도인데?

이번 연구는 ‘원 룰러(One Ruler)’라는 평가 도구를 사용해 진행됐습니다. 챗GPT 개발사인 오픈AI와 구글의 AI 모델을 포함해 총 6종의 최신 AI를 대상으로 언어별 이해도를 측정했습니다. 결과는 놀라웠습니다. 가장 많은 데이터로 학습했을 것으로 알려진 영어가 1위가 아니었습니다. 영어는 6위에 그쳤고, 1위는 폴란드어가 차지했습니다. 프랑스어, 이탈리아어, 스페인어가 그 뒤를 이었습니다. 한국어는 22위로 하위권에 머물렀습니다. 64K라는 긴 글에서는 정확도가 71%에 불과했습니다. 우리보다 순위가 낮은 언어는 중국어, 스와힐리어 등 단 4개뿐이었습니다. 참고로 일본어는 15위를 기록했습니다.

왜 이런 결과가 나온 거야?

이번 결과는 단순히 ‘학습 데이터가 많으면 AI 성능이 좋다’는 상식을 뒤집었습니다. 언어 자체가 가진 구조적 특성이 AI의 이해도에 큰 영향을 미친다는 점이 드러난 것입니다. 연구진은 한국어로 질문하는 것보다 영어나 폴란드어로 번역해서 질문할 때 훨씬 정확한 답변을 얻을 수 있다고 밝혔습니다. 실제로 한국어 질문의 정확도가 61%일 때, 이를 영어로 바꾸자 78%까지 올라갔습니다. 특히 메타의 ‘라마 3.1’ 모델은 한국어 이해도가 30%대에 그쳐 최악의 성능을 보였습니다. 반면 오픈AI의 모델은 최대 98%의 정확도를 보여, 어떤 AI 모델을 쓰느냐에 따라서도 큰 차이가 있었습니다.

그럼 앞으로 어떻게 해야 해?

이번 연구는 국내 AI 개발에 중요한 숙제를 던졌습니다. 단순히 데이터 양을 늘리는 것을 넘어, 한국어의 복잡한 특성을 잘 이해하고 처리할 수 있는 AI 모델을 만드는 것이 시급해졌습니다. 언어는 단순한 정보 전달 수단이 아니라, 그 나라의 문화와 사고방식이 담긴 그릇과 같습니다. AI가 한국어를 제대로 이해해야만 우리에게 진정으로 도움이 되는 서비스를 제공할 수 있을 것입니다. 전문가들은 한국어의 특성을 고려한 데이터 정제 기술과 AI 모델 설계에 더 많은 연구와 투자가 필요하다고 목소리를 높이고 있습니다. 이번 결과가 국내 AI 기술이 한 단계 발전하는 계기가 될지 주목됩니다.