Groq 창업자 조너선 로스 인터뷰: 추론 전용 칩 LPU와 끝없는 AI 컴퓨팅 수요 이야기

핵심 메시지

• Groq의 LPU는 외부 메모리 없이 여러 칩에 모델을 펼쳐 빠른 SRAM을 쓰는 구조로, 추론에서 토큰당 비용을 낮추면서 속도를 끌어올린다.
• GPU는 대량 처리에 강하고 LPU는 저지연·소배치에 강해, 둘을 합치면 어떤 속도대에서도 토큰당 최적 비용을 얻는 파레토 곡선을 채운다.
• LPU는 컴파일 시점에 연산 순서를 정하는 정적 스케줄링을 써서 저지연 추론에 유리하며, 전문가 혼합(MoE) 모델처럼 작은 배치가 필요한 구조와 특히 잘 맞는다.
• 조너선 로스는 특정 구조에 과도하게 특화하기보다 유연성이 거의 항상 이긴다고 본다. 알고리즘이 워낙 빨리 개선되기 때문이다.
• 지능의 단위 비용이 내려갈수록 수요가 더 커진다는 제번스 역설에 따라, 인류의 미해결 문제가 남아 있는 한 컴퓨팅 수요는 끝이 없다는 것이 핵심 메시지다.

쉽게 이해하기

Julia Turc 채널의 이 인터뷰는 AI 추론 전용 칩을 만드는 Groq의 창업자 조너선 로스와의 대담이다. 두 사람 모두 구글 출신으로, 로스는 구글에서 TPU를 개척한 인물이다. 그는 음성 인식 팀이 사람보다 정확한 모델을 만들고도 컴퓨팅이 부족해 넥서스 폰 사용자에게만 배포했던 일화를 들며, "컴퓨팅 부족"이 자신을 새 칩 개발로 이끈 계기였다고 말한다.

핵심 주제는 추론(inference)이다. 엔비디아 GPU는 학습에는 훌륭하지만 추론 시 메모리 병목에 걸린다. Groq의 LPU는 외부 메모리를 쓰지 않고 여러 칩에 모델을 나눠 담아 훨씬 빠른 SRAM을 활용한다. 그 결과 토큰을 더 빠르게, 더 낮은 비용으로 생성한다. 로스는 GPU와 LPU의 파레토 곡선이 서로 달라서, 둘을 합치면 중간 영역까지 메워져 어떤 속도대에서도 토큰당 최적 비용을 낼 수 있다고 설명한다.

LPU의 또 다른 특징은 정적 스케줄링이다. 연산 순서를 컴파일 시점에 미리 정해 두는 방식으로, 저지연·소배치 추론에서 하드웨어가 놀지 않고 다음 작업으로 넘어가게 한다. 전문가 혼합(MoE) 모델에서는 쿼리마다 다른 전문가가 활성화되는데, LPU는 스캐터·개더로 필요한 전문가를 불러오되 실행 시간은 동일하게 유지한다. 외부 메모리에 의존하는 GPU가 큰 배치를 모아야 경제성이 나오는 것과 달리, LPU는 훨씬 작은 배치로도 효율이 나와 전문가 모델에 잘 맞는다.

로스는 트랜스포머가 다른 구조로 대체돼도 LPU를 통째로 다시 설계할 필요는 없다고 본다. 결국 모든 것이 선형대수이고, 선형대수에 최적인 칩은 대부분의 구조에 최적이기 때문이다. 그는 특정 구조에 과하게 특화하기보다 유연성이 거의 항상 이긴다고 강조한다. 알고리즘 개선이 워낙 빨라, 10배 빠른 대신 모델을 못 바꾸는 칩보다 유연한 칩이 낫다는 것이다.

대담 후반은 AI가 하드웨어 설계까지 바꾸는 흐름과 "끝없는 컴퓨팅 수요"로 이어진다. LLM이 소프트웨어뿐 아니라 칩의 RTL 작성까지 쉽게 만들어 더 많은 사람이 칩을 설계하겠지만, 물리적 제약·긴 제작 기간·수천만 달러의 마스크 비용 탓에 실제 양산에 이르는 회사는 오히려 적어질 것이라고 본다. 마지막으로 그는 제번스 역설을 들어, 지능의 비용이 내려갈수록 수요가 더 커지므로 암·노화 같은 미해결 문제가 남아 있는 한 컴퓨팅 수요는 끝이 없다고 결론짓는다.

주요 인사이트

• 추론에서 진짜 중요한 지표는 절대 속도가 아니라 "토큰당 비용"이다. 비용이 곧 처리 용량을 결정하기 때문이며, GPU와 LPU를 조합해 이 비용을 최소화하는 것이 핵심이다.
• LLM 추론은 프리필(텍스트 읽기)과 디코드(토큰 생성)로 나뉜다. 병렬화가 쉬운 프리필은 GPU에, 지연에 민감한 디코드는 LPU 또는 GPU+LPU 조합에 맡기는 하이브리드가 유력하다.
• 자기회귀 생성은 소울은 있지만 잡음이 섞이고, 확산(diffusion)은 깨끗하지만 밋밋하다. 로스는 중요한 순간은 자기회귀로, 나머지는 확산으로 채우는 결합이 성공적일 것이라 본다.
• LLM으로 칩 설계(RTL)가 쉬워져 시도는 늘겠지만, 오류를 패치할 수 있는 소프트웨어와 달리 칩은 재제작에 4~6개월과 수천만 달러가 들어 양산 성공 기업은 오히려 줄어든다.
• 로스는 교육이 "답을 내는 법"에서 "좋은 질문을 던지는 법"으로 바뀌어야 한다고 조언한다. AI 시대에는 올바른 질문을 세우는 능력이 성공을 좌우하기 때문이다.

자주 묻는 질문

관련 AI 소식