병렬 스케일링 법칙 정리: 파라미터 대신 병렬 연산을 늘려 LLM 성능을 높이는 방법

핵심 메시지

• 기존 스케일링은 파라미터를 늘려 메모리를 더 쓰거나 추론 토큰을 늘려 시간을 더 쓰는 두 갈래뿐이었는데, 이 논문은 같은 파라미터를 여러 번 병렬로 돌리는 제3의 방식을 제안한다.
• 병렬 스트림을 p개 사용하면 파라미터 수를 log p 배 늘린 것과 비슷한 성능 향상이 나타난다는 새로운 스케일링 법칙을 세우고 실험으로 검증했다.
• 파라미터를 재사용하기 때문에 늘어나는 메모리는 스트림별 키·밸류 캐시 정도뿐이고, 배치 크기가 작은 엣지 환경에서 특히 유리하다.
• 전체 학습 데이터의 2%만 추가로 학습하는 2단계 전략으로 기존 모델에도 적용할 수 있고, 기존 가중치를 고정한 채 소수 파라미터만 학습해도 성능이 오른다.
• 코딩·수학처럼 추론이 많이 필요한 작업에서 효과가 크게 나타나, 연산량은 추론 능력에, 파라미터 수는 암기 능력에 더 기여한다는 해석을 뒷받침한다.

쉽게 이해하기

발표는 언어 모델을 키우는 기존 두 가지 길이 모두 자원의 벽에 부딪혔다는 진단에서 출발한다. 파라미터를 늘리면 GPU 메모리가 급격히 불어나 엣지 기기 배포가 사실상 불가능해지고, 추론 시 토큰을 더 많이 생성하는 방식은 응답이 느려진다. 간단한 덧셈 문제에 수백 개의 추론 토큰을 쏟아내는 과잉 사고 현상도 보고된 바 있다.

논문이 제안하는 병렬 스케일링은 모델을 키우는 대신 같은 모델을 동시에 여러 번 돌린다. 입력에 서로 다른 학습 가능한 변환을 적용해 p개의 스트림을 만들고, 각각 순전파를 수행한 뒤 결과를 동적으로 합쳐 최종 출력을 낸다. 아이디어의 출발점은 확산 모델에서 널리 쓰이는 분류기 없는 가이던스로, 조건을 바꾼 두 번의 순전파를 조합해 성능을 높이는 기법이다.

구현은 두 부분으로 나뉜다. 입력 변환에는 여러 기법을 실험한 끝에 프리픽스 튜닝을 채택해, 어텐션 층의 키·밸류 앞에 스트림마다 다르게 초기화된 임베딩을 붙였다. 출력 집계는 각 스트림의 로짓을 이어 붙여 작은 MLP에 통과시키고 소프트맥스로 정규화한 가중치로 평균을 낸다. 학습 초기에 한 스트림에만 가중치가 몰리는 불균형이 생겨, 레이블 스무딩으로 최소 가중치를 보장해 모든 스트림이 학습에 참여하도록 했다.

이론적으로는 친칠라 스케일링 법칙을 확장해, 병렬 스트림이 붙으면 유효 파라미터 수가 스트림 수와 스트림 간 다양성에 따라 증폭된다는 형태로 손실을 유도한다. 스트림들의 예측이 서로 상관이 없거나 음의 상관을 가질수록 성능 이득이 커지는데, 이는 프리픽스 튜닝으로 서로 다른 관점을 강제하는 설계가 왜 효과적인지 설명해 준다.

실험에서는 코드 데이터셋이 일반 상식 데이터셋보다 병렬 스케일링의 이득이 컸고, 모델이 클수록 효과가 더 커졌다. 1.8B 모델을 1조 토큰으로 학습한 대규모 실험에서도 스트림을 1개에서 8개로 늘리자 모든 항목의 성능이 올랐는데, 일반 영역이 2.6포인트 오를 때 수학은 7.3포인트 올랐다. GSM8K에서는 스트림 8개일 때 38.4점이었고 사고 사슬 기법을 더하자 43.7점으로 올라, 추론 시간 스케일링과 배타적이지 않다는 점도 확인됐다.

주요 인사이트

• 메모리와 지연 시간이라는 두 자원을 동시에 아끼는 지점이 이 방법의 핵심이다. 손실을 같은 수준으로 낮추는 데 파라미터 확장은 추가 메모리를 요구하지만, 스트림 확장은 캐시 증가분만 더해진다.
• 배치 크기가 커지면 병목이 메모리 대역폭에서 순수 연산으로 옮겨가 시간 이득이 줄어든다. 그래도 배치 8까지는 파라미터 확장보다 시간 효율이 좋았고, 배치 1인 엣지 환경에서 이점이 가장 뚜렷했다.
• 학습 비용 문제는 2단계 전략으로 우회했다. 98%는 평범하게 학습하고 마지막 2%에서만 병렬 구조를 붙이는데, 전환 직후 손실이 잠시 튀었다가 곧 안정되며 처음부터 학습한 것과 비슷한 향상 패턴을 유지했다.
• 이미 18조 토큰으로 학습된 공개 모델에 붙여도 손실이 계속 내려갔다는 결과는, 잘 학습된 모델에도 추가 개선의 여지가 남아 있음을 보여준다.
• 하나의 백본을 배포해 두고 상황에 따라 스트림 수에 해당하는 작은 가중치 세트만 교체하는 동적 운용이 가능해진다. 여러 크기의 모델을 따로 관리할 필요가 줄어드는 셈이다.

자주 묻는 질문

관련 AI 소식