기술/연구

“엔비디아 슈퍼칩, 7배 빠르다?" 압도적 성능을 낼 수 있는 이유

댓글 1 · 저장 0 · 편집: 이도윤 기자 발행: 2025.07.01 06:32

기사 3줄 요약

1 엔비디아 슈퍼칩, 고속 메모리 연결로 AI 성능 한계 돌파
2 거대 AI 모델 등장, 기존 PCIe 방식으로는 데이터 처리 한계
3 미래 AI 인프라, 메모리 연결 기술 경쟁으로 재편될 전망

생성형 인공지능(AI)의 등장은 컴퓨터 시장에 거대한 변화를 가져왔습니다. 이제는 중앙처리장치(CPU)보다 그래픽처리장치(GPU)가 더 주목받는 시대가 되었습니다. 하지만 이 변화는 단순히 CPU가 GPU로 바뀌는 것 이상의 의미를 가집니다. AI 성능의 핵심은 이제 시스템 전체의 ‘연결’ 방식에 달려있습니다. 엔비디아의 최신 ‘슈퍼칩’이 보여주는 놀라운 성능 뒤에는 바로 이 메모리 연결 기술의 혁신이 숨어있습니다.

왜 GPU 메모리가 부족할까?

생성형 AI 모델의 크기는 점점 더 커지고 있습니다. ‘라마 3.1’ 같은 거대 모델을 돌리려면 수백 기가바이트(GB)의 GPU 메모리가 필요합니다. 이 때문에 엔비디아는 H100 GPU에 80GB, 최신 B200에는 192GB의 대용량 메모리를 탑재했습니다. 문제는 GPU가 아무리 빨라도 시스템의 다른 부분과 데이터를 주고받는 통로가 좁으면 소용없다는 점입니다. 현재 널리 쓰이는 PCIe 방식은 마치 초고속 두뇌(GPU)에 얇은 빨대 하나로 정보를 공급하는 것과 같습니다. GPU 메모리에 비해 속도가 너무 느려, 시스템 메모리의 도움을 받기 어려운 구조적 한계가 있었습니다.

CPU와 GPU가 메모리를 나눠 쓴다고?

이런 한계를 극복하기 위해 ‘공유 메모리’라는 개념이 새롭게 떠오르고 있습니다. CPU와 GPU가 하나의 큰 메모리를 함께 사용하는 방식입니다. 필요에 따라 메모리를 유연하게 나눠 쓸 수 있어 효율이 극대화됩니다. 과거에는 성능 문제로 잘 쓰이지 않았지만, 기술 발전으로 이제는 주류로 떠오르고 있습니다. AMD의 ‘라이젠 AI 맥스’ 시리즈는 이 방식으로 최대 96GB의 메모리를 GPU에 할당할 수 있습니다. 수천만 원짜리 전문가용 카드에서나 가능했던 대용량 메모리를 훨씬 저렴하게 쓸 수 있는 길이 열린 셈입니다.

엔비디아의 비장의 무기, 슈퍼칩은 뭐가 달라?

엔비디아는 ‘슈퍼칩’으로 이 문제를 정면 돌파했습니다. 슈퍼칩의 핵심은 CPU와 GPU를 ‘NVLink’라는 초고속 전용 도로로 직접 연결한 것입니다. 기존의 좁은 길(PCIe)을 완전히 우회하는 새로운 구조입니다. GB200 슈퍼칩의 NVLink는 PCIe보다 7배 이상 빠른 속도를 자랑합니다. 이 덕분에 GPU는 CPU에 연결된 메모리까지 마치 자신의 것처럼 빠르게 사용할 수 있습니다. 이는 거대한 AI 모델을 돌릴 때 발생하는 데이터 병목 현상을 해결하는 결정적인 열쇠가 되었습니다. 미래 AI 시장의 승패는 결국 누가 더 효율적으로 데이터를 연결하고 흐름을 지배하느냐에 달리게 될 것입니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr