NPU와 GPU 차이, AI 반도체 전력 효율 정리 — 리벨리온스 박성현 대표 인터뷰

핵심 메시지

• AI 반도체·NPU·AI 가속기는 사실상 같은 대상을 가리키며, 가장 정확한 표현은 'AI 하드웨어 가속기'다. 무엇을 실행할 수 있느냐가 아니라 어떤 알고리즘을 가속하느냐가 본질이다.
• NPU가 유연성을 좇는 사이 점점 GPU를 닮아가면서 에너지 효율 이점이 10배에서 3~4배로 줄었고, 이제는 유연성 일부를 내주고 효율을 되찾는 쪽으로 방향이 바뀌고 있다.
• 데이터센터가 전기요금으로 월 2,300만 달러를 쓴다면 NPU 전환으로 770만 달러 수준까지 줄일 수 있다는 것이 리벨리온스 측 계산이다.
• GPU 가동률이 20~30%에 머무는 반면 NPU는 70~80%로 돌아가, 같은 트래픽을 더 적은 카드와 랙 공간으로 처리할 수 있다.
• 전환을 막는 것은 성능이 아니라 CUDA 생태계에 20년간 길들여진 개발 습관이며, 그래서 이동은 한 번에 오지 않고 물량의 일부를 떼어내는 방식으로 진행된다.

쉽게 이해하기

생성형 AI가 확산되면서 데이터센터는 연산량과 함께 전기요금이라는 청구서를 함께 받아 들었다. 리벨리온스 박성현 대표는 사용자가 늘어날수록 AI가 사람보다 비싸지는 역설이 벌어지고 있다고 지적하며, 전용 하드웨어는 이제 앞서가는 회사의 사치품이 아니라 서비스를 유지하기 위한 필수 조건이 됐다고 말한다. 그가 보기에 GPT의 등장은 그 미래를 앞당겨 엔비디아 독점에 균열을 내기 시작한 사건이다.

인터뷰는 먼저 용어부터 정리한다. AI 반도체, NPU, AI 가속기는 언론에서 뒤섞여 쓰이지만 가장 정확한 표현은 AI 하드웨어 가속기이고, 회사마다 다른 이름을 붙이는 것은 대체로 브랜딩의 문제다. 연산의 포함 관계로 보면 NPU가 할 수 있는 일은 GPU도 할 수 있고 GPU가 할 수 있는 일은 CPU도 할 수 있다. 그래서 중요한 질문은 '무엇을 실행할 수 있는가'가 아니라 '어떤 알고리즘을 얼마나 잘 가속하는가'가 된다. 박 대표는 GPU를 메뉴 열 개짜리 식당, NPU를 메뉴 세 개짜리 식당에 비유하는데, 그 세 가지가 훨씬 맛있으면서 값도 싸다는 점이 요지다.

NPU에도 세대가 있다. 컴퓨터 비전용 CNN을 잘 돌리는 칩에서 출발해 RNN을 함께 지원해야 했고, 학습과 추론이 갈라졌으며, 지금은 트랜스포머까지 감당해야 한다. 문제는 유연성을 강조하다 보니 NPU가 점점 GPU를 닮아갔다는 데 있다. CNN 시절 GPU 대비 10배였던 에너지 효율 이점은 잘 만든 NPU조차 3~4배 수준으로 줄었고, 소프트웨어 생태계가 GPU만 못한 상황에서 3~4배로는 전환을 설득하기 어렵다. 고객이 아직 나오지도 않은 알고리즘까지 지원해 달라고 요구하는 이른바 '미래 대비'가 지나쳤다는 것이 그의 진단이다. 그래서 유연성의 10% 정도를 의도적으로 내주고 효율을 두 자릿수 배수로 되돌리는 비대칭적 선택이 지금의 설계 방향이 됐다.

비용 이야기는 총소유비용(TCO)으로 이어진다. GPU를 들이는 일은 카드를 꽂는 것으로 끝나지 않고 데이터센터의 전기 인프라를 다시 짜는 일이며, 국내 주요 IDC 사업자들이 전력 확보를 위해 한국전력과 직접 협상에 나설 정도로 부담이 커졌다. 박 대표는 전기요금 월 2,300만 달러가 770만 달러로 줄어드는 수준의 차이를 이야기하면서, 여기에 냉각 부담 감소와 독점에서 오는 가격 마진 제거가 더해진다고 설명한다. 성능 지표에서도 칩에 계산기가 몇 개 붙어 있느냐(TOPS)보다 실제로 몇 개가 돌고 있느냐(유효 TOPS)가 중요한데, GPU 가동률 20~30%에 비해 NPU는 70~80%로 돌아간다. A100을 꽂으면 전력 때문에 위쪽 랙을 비워 둬야 하는 공간 낭비까지 감안하면 격차는 더 벌어진다.

그럼에도 전환이 더딘 이유는 기술이 아니라 습관이다. GPU는 2000년대 초부터 AI 생태계와 함께 자라며 CUDA와 전용 라이브러리를 중심으로 두터운 개발자 기반을 쌓았고, 백엔드를 바꾸면 마감에 쫓기는 개발자의 일정이 곧바로 밀린다. 역설적으로 기술에 밝은 기업일수록 이동이 느리고, 경영진이 하향식으로 결정하는 조직에서 도입이 먼저 일어난다. 박 대표는 여기서 한 걸음 더 나아가 '풀스택'을 부품을 모으는 일이 아니라 계층 간 교차 최적화로 정의하는데, 지구상에서 이를 실제로 해낸 팀은 학습용 도조 칩과 자율주행용 추론 칩을 자체 데이터센터와 함께 굴리는 테슬라뿐이라고 본다. 애플이 PA세미를 인수해 실리콘과 운영체제를 함께 최적화해 온 사례도 같은 맥락이다. 리벨리온스 자신은 금융용 저지연 칩 아이온에서 출발해 KT와 함께 데이터센터용 아톰으로 넘어왔고, 국내 IDC에서 무사고 운영 레퍼런스를 먼저 쌓아 세계로 확장하는 경로를 택했다.

주요 인사이트

• NPU의 승부처는 절대 성능이 아니라 도입 비용·운영 비용·특정 알고리즘 효율이라는 세 가지가 동시에 개선된다는 점이다. 셋 중 하나를 고르는 문제가 아니라 함께 온다는 것이 박 대표의 주장이다.
• 유연성은 공짜가 아니다. 모든 알고리즘을 다 지원하려 할수록 칩은 GPU를 닮아가고 애초에 NPU를 만든 이유였던 효율이 사라진다. 무엇을 지원하지 않을지 정하는 것이 설계의 핵심 결정이 된다.
• 생태계 잠금은 성능 격차보다 오래 간다. CUDA에 익숙한 개발자에게 백엔드 교체는 곧 일정 지연이므로, 전환은 개별 개발자의 선택이 아니라 경영진의 전략적 결정으로만 시작된다.
• 엣지가 데이터센터를 대체하지는 못한다. 스마트폰은 발열과 배터리 제약이 뚜렷하고 화면과 운영체제까지 전력을 나눠 써야 하므로, 무거운 모델은 결국 서버로 보내고 가벼운 작업만 온디바이스로 남기는 하이브리드가 현실적인 답이다.
• 칩 설계의 최우선 과제가 확장성으로 옮겨간 이유는 목표가 움직이기 때문이다. 개발부터 양산까지 2년이 걸리는데 그사이 모델 크기가 어디에 안착할지 알 수 없으니, 여러 다이·카드·서버를 이어 붙여 대응하는 구조가 안전판이 된다.

자주 묻는 질문

관련 AI 소식