엔비디아 네모트론(Nemotron) 오픈 모델 전략과 효율 우선 설계 총정리

핵심 메시지

• 엔비디아는 수백 명의 AI 연구자를 두고 '네모트론'이라는 오픈 웨이트 모델군을 직접 만들며, 네모트론 3 울트라는 미국산 오픈 웨이트 모델 중 1위에 올랐다.
• 네모트론의 두 가지 임무는 미래 시스템(칩·소프트웨어)을 함께 설계할 이해를 쌓는 것과, AI가 널리 쓰일수록 이득을 보는 엔비디아의 생태계를 넓히는 것이다.
• '한계에서 달린다'는 전제 아래 더 많은 지능은 힘이 아니라 효율에서 나온다고 보고, 울트라·슈퍼를 4비트(NVFP4)로 사전학습했다.
• 상태공간 모델(맘바)과 트랜스포머를 섞은 하이브리드 구조와 MoE(전문가 혼합)로 성능과 속도를 동시에 잡았다.
• 카탄자로는 특이점론에 회의적이며, 지능은 맥락에 크게 좌우되는 다면적 능력이라고 본다.

쉽게 이해하기

매트 터크의 MAD 팟캐스트에 엔비디아 네모트론을 이끄는 브라이언 카탄자로가 출연했다. 그는 많은 사람이 잘 모르지만 엔비디아가 프런티어급 오픈 모델을 만드는 대규모 조직을 운영하고 있으며, 최근 공개한 네모트론 3 울트라가 미국산 오픈 웨이트 모델 중 1위가 됐다고 밝혔다.

카탄자로는 오픈 기술을 인터넷에 비유했다. AOL·프로디지 같은 폐쇄형 서비스도 있었지만, 결국 개방형 인터넷이 소매·의료·제조 등 산업마다 전혀 다른 방식으로 세상을 바꿨다는 것이다. AI 역시 회사마다 자신들의 데이터와 '비밀'에 밀접하게 결합될수록 가치가 커지므로, 규제·영업비밀 문제까지 스스로 다루려면 개방형·맞춤형 기술이 근본적으로 필요하다고 강조했다.

중국에 관한 질문에는, 자신이 바이두 실리콘밸리 AI 랩에서 앤드루 응, 다리오 아모데이와 함께 2년 반 일했던 경험을 들어 '중국의 성과는 전부 베끼기'라는 주장은 사실이 아니라고 반박했다. 오히려 중국 AI 커뮤니티의 개방성이 전 세계 기술 진보를 자극했다며, 미국을 비롯한 다른 지역도 공동체적 개발 방식을 받아들여야 한다고 말했다.

그는 무어의 법칙이 이미 수년 전 사실상 끝났다고 단언했다. 같은 설계를 축소·복제해 이득을 보던 시대가 지났기 때문에, 이제는 트랜지스터부터 알고리즘까지 처음부터 함께 설계해 낭비를 줄이는 '가속 컴퓨팅'이 그 어느 때보다 중요하다는 설명이다. 네모트론은 바로 이 이해를 쌓아 블랙웰 같은 칩을 제대로 설계하기 위한 첫 번째 임무를 수행한다.

기술적으로는 네모트론 3 계열이 상태공간 모델(맘바)과 어텐션을 섞은 하이브리드 구조를 쓰고, 전문가 혼합(MoE)과 잠재 MoE, 멀티토큰 예측, 다중 교사 증류 같은 기법으로 효율을 끌어올렸다고 소개했다. 마지막으로 그는 특이점론에 거리를 두며, '외부 위장'인 부엌처럼 이제 '외부 뇌'를 만드는 것이며 그 파장은 아무도 정확히 모른다고 말했다.

주요 인사이트

• 효율 우선: 예산·전력 같은 한계에서 달릴 수밖에 없다면 성능 향상의 열쇠는 더 큰 힘이 아니라 더 나은 효율이며, 4비트 사전학습은 메모리 이동과 에너지를 크게 줄인다.
• 하이브리드 구조의 이점: 시퀀스를 일정한 크기로 요약하는 상태공간 모델은 전역적 이해에 강하고, 전체 어텐션은 특정 정보를 정확히 집어내는 데 강해 둘을 함께 쓰면 더 똑똑해진다.
• MoE는 라우터가 토큰마다 일부 전문가만 활성화하는 희소성 기법으로, 엔비디아는 이를 위해 최대 72개 GPU가 서로 메모리를 읽고 쓰는 NVL72를 설계했다.
• 멀티토큰 예측은 여러 토큰을 한 번에 예측한 뒤 검증해 정확도 손실 없이 속도를 높이며, 모델이 정확할수록 더 빨라지는 드문 성질을 갖는다.
• 조직론: '조직도가 아니라 미션이 상사'라는 원칙 아래 아이디어를 바닥에서 끌어올리는 부트스트래핑 방식으로 연구를 키우고, 컴퓨트는 2주 주기 심사로 배분한다.

자주 묻는 질문

관련 AI 소식