기술/연구

"엔비디아 독주 드디어 끝나나?" 전기세 반값, 챗GPT 60% 빨라지는 AI칩

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.07.04 10:33

기사 3줄 요약

1 KAIST, 챗GPT 60% 빠르게 할 NPU 핵심기술 개발
2 최신 GPU 대비 전력 44% 낮추고 메모리 문제 해결
3 고비용 AI 인프라 문제 해결, 클라우드 비용 절감 기대

최근 KAIST 연구진이 AI 세계를 뒤흔들 만한 중요한 소식을 발표했습니다. 비싼 가격과 엄청난 전기 사용량으로 악명 높았던 엔비디아 GPU의 대안이 될 수 있는 기술입니다. KAIST 박종세 교수 연구팀이 ㈜하이퍼엑셀과 손잡고 새로운 신경처리장치(NPU) 핵심 기술을 개발했습니다. 이 기술은 챗GPT와 같은 생성형 AI의 추론 성능을 최신 GPU보다 평균 60% 이상 높이면서, 전력 소모는 약 44%나 낮춥니다.

그래서 이게 왜 대단한 건데?

구글이나 마이크로소프트 같은 거대 기업들은 챗GPT 같은 AI를 운영하기 위해 수십만 개의 비싼 엔비디아 GPU를 사용합니다. 이는 AI 서비스 운영에 엄청난 비용 부담으로 작용합니다. 이번에 개발된 NPU 기술은 이 문제를 해결할 수 있는 열쇠가 될 수 있습니다. 적은 수의 NPU만으로도 기존의 비싼 GPU 인프라와 동일한 수준의 성능을 낼 수 있기 때문입니다. 결과적으로 AI 클라우드를 구축하고 운영하는 비용을 크게 줄일 수 있습니다.

비밀은 '데이터 다이어트'에 있었다고?

이 기술의 핵심은 ‘KV 캐시 양자화’라는 조금 어려운 이름의 기술입니다. 쉽게 말해 ‘데이터 다이어트’와 같습니다. AI가 작업할 때 사용하는 데이터의 크기를 똑똑하게 줄이는 것입니다. 연구팀은 32비트 크기의 데이터를 정확도 손실은 거의 없이 4비트로 압축하는 데 성공했습니다. 이는 데이터 크기를 8분의 1로 줄인 것과 같습니다. 덕분에 AI가 사용하는 메모리 양이 획기적으로 줄어들어 더 빠르고 효율적인 작업이 가능해졌습니다.

앞으로 세상은 어떻게 바뀔까?

이번 기술 개발은 단순히 성능 좋은 칩 하나가 나온 것을 넘어섭니다. AI 기술의 대중화를 앞당기는 중요한 계기가 될 수 있습니다. AI 서비스 비용이 저렴해지면 더 많은 기업과 개인이 AI 기술을 활용할 수 있게 됩니다. 또한, AI 클라우드 데이터센터뿐만 아니라, 스스로 판단하고 움직이는 ‘에이전틱 AI’나 스마트폰 속 AI 같은 분야에서도 핵심적인 역할을 할 것으로 기대됩니다. 이 연구 성과는 세계 최고 권위의 컴퓨터 구조 분야 학회인 ISCA 2025에서 발표되며 그 기술력을 국제적으로 인정받았습니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr