로컬 오픈소스 AI 모델 효율 경쟁: 파라미터당 임팩트로 본 데스크톱 추론의 현재와 미래 전망

핵심 메시지

• 작은 모델이 큰 모델을 이기는 것이 아니라, 더 효율적으로 설계된 새 모델이 낡고 비효율적인 모델을 이기는 것이다.
• 발표자는 성능을 파라미터 수와 하드웨어 사용량으로 나눠 보는 '파라미터당 임팩트' 개념을 제안한다.
• 같은 수준의 능력을 내는 데 필요한 파라미터 수가 일정한 속도로 줄어드는 경향이 학술 문헌에서도 관찰된다고 소개한다.
• 발표자는 약 18개월 안에 현재 최상급 오픈웨이트 모델에 준하는 지능이 VRAM 32GB짜리 단일 그래픽카드에서 돌아갈 것으로 예측한다.
• 클라우드 구독 대신 하드웨어를 직접 소유하는 선택이 장기적으로 통제권과 비용 양쪽에서 유리하다는 주장을 편다.

쉽게 이해하기

AI Engineer 컨퍼런스에서 아마드 오스만이 발표한 'The Desktop Frontier'는 지난 몇 년간 로컬·오픈소스 모델이 걸어온 길을 정리한 강연이다. 그는 업계의 서사가 오랫동안 '더 큰 모델'에 쏠려 있었지만, 실제로 눈여겨봐야 할 변화는 반대편에서 일어났다고 말한다. 같은 수준의 결과를 내는 데 필요한 모델 크기와 하드웨어가 계속 작아지고 있다는 것이다.

그가 제시하는 판단 기준은 '파라미터당 임팩트'다. 어떤 능력을 이야기하는지, 그 능력을 내려면 작년에는 어떤 하드웨어가 필요했고 지금은 무엇이 필요한지를 함께 보자는 제안이다. 벤치마크 점수만 비교하면 놓치는 것이 있다는 취지다. 발표자 본인의 경험도 근거로 든다. 예전에 한 장의 그래픽카드로 초기 라마 계열 모델을 돌리던 자리에서 지금은 훨씬 작은 파라미터 규모의 최신 모델이 돌아가는데, 성능은 오히려 과거의 수백억 파라미터급 모델을 앞선다는 것이다.

이 흐름이 우연이 아니라는 점을 강조하기 위해 그는 학술 문헌에서 논의되는 '밀도 법칙(densing law)'을 인용한다. 일정 주기마다 같은 능력을 절반 수준의 파라미터로 달성하는 경향이 관측된다는 내용이다. 아키텍처 개선, 학습 방식 개선, 사후 학습(post-training)의 효과가 겹쳐 쌓이면서 나타난 결과이지, 어느 한 번의 도약이 아니라는 설명이다.

발표의 절정은 예측이다. 그는 지금 서버급 장비가 필요한 최상급 오픈웨이트 모델 수준의 지능이 약 18개월 뒤에는 VRAM 32GB를 가진 단일 소비자용 그래픽카드에서 돌아갈 것이라고 말한다. 이 예측이 오히려 보수적이라고 덧붙이며, 앞서 비슷한 예측을 했을 때 예상보다 이르게 현실이 됐던 사례를 근거로 든다.

그래서 그가 던지는 질문은 하드웨어 구매에 관한 것이다. 모델이 계속 효율화된다면 오늘 산 장비는 시간이 갈수록 더 많은 일을 할 수 있게 된다. 그는 몇 년 전 아키텍처의 중고 그래픽카드가 여전히 정가 이상에 거래되는 현실을 언급하며, 자신의 장비를 팔지 않는 이유를 설명한다. 그리고 개인·중소기업·대기업 모두가 클라우드 구독에만 의존하기보다 스택을 직접 소유하는 쪽을 고민해야 오픈소스 생태계가 지속될 수 있다고 주장한다.

주요 인사이트

• '작은 모델의 승리'라는 표현은 정확하지 않다. 발표자의 정리대로라면 승부를 가르는 것은 크기가 아니라 세대 차이, 즉 효율 설계의 누적이다.
• 벤치마크 순위표만 보면 하드웨어 요구 사항의 변화가 보이지 않는다. 같은 점수를 몇 장의 카드로 냈는지를 함께 봐야 실제 진보가 드러난다.
• 사후 학습만으로 같은 체크포인트에서 큰 폭의 개선이 나온 사례들은, 앞으로도 모델 크기를 늘리지 않고 성능을 끌어올릴 여지가 남아 있음을 시사한다.
• 로컬 실행을 택하는 이유는 비용만이 아니다. 발표자는 모델이 갑자기 사라지거나 정책이 바뀌어도 영향을 받지 않는 통제권을 더 중요한 동기로 든다.
• 오픈소스 진영이 지속되려면 개인 취미 사용자만으로는 부족하고, 자체 하드웨어를 운용하는 기업 수요가 뒷받침돼야 한다는 지적은 생태계 관점에서 곱씹을 만하다.

자주 묻는 질문

관련 AI 소식