LLM 추론 시간 알고리즘 총정리: 병렬 생성·트리 탐색·수정으로 테스트 타임 연산 쓰는 법

핵심 메시지

• 언어모델 성능을 올리는 축은 사전학습 연산, 사후학습에 이어 훈련이 끝난 뒤 추론 시점에 연산을 더 쓰는 세 번째 축으로 옮겨 왔다.
• 토큰을 하나씩 고르는 생성 알고리즘 위에, 생성기를 여러 번 호출하고 평가 모델과 외부 도구까지 끌어들이는 메타 생성 알고리즘이라는 층을 두면 최근 기법들이 한 틀로 정리된다.
• 메타 생성의 큰 갈래는 체이닝, 병렬 생성, 트리 탐색, 수정 네 가지이며 각각 무엇을 얻고 무엇에 발목이 잡히는지가 분명하다.
• 표본을 많이 뽑아 좋은 것을 고르는 방식의 성능은 결국 채점 모델의 품질에 갇히고, 지나치게 밀어붙이면 채점 모델만 만족시키는 틀린 답이 뽑히기 시작한다.
• 같은 연산 예산에서 작은 모델로 여러 번 생성하는 편이 큰 모델을 한 번 부르는 것보다 나은 구간이 있어, 성능과 비용을 함께 놓고 전략을 골라야 한다.

쉽게 이해하기

카네기멜런대 고급 자연어처리 수업에 초청된 션 웰렉이 자신이 이끈 서베이 논문을 바탕으로 추론 시점 알고리즘을 정리했다. 강연의 출발점은 지금 이 분야가 어디를 보고 있느냐는 질문이다. 처음에는 사전학습에 쓰는 연산을 키우는 것이 성능을 예측 가능하게 끌어올렸고, 그다음에는 입력과 출력 쌍을 모아 미세조정하는 사후학습이 유용한 비서를 만들어 냈다. 그런데 어려운 과제에서는 이 둘로도 부족했고, 그래서 이미 훈련이 끝난 모델에 생성 시점의 연산을 더 쓰는 세 번째 흐름이 등장했다.

강연은 먼저 토큰 하나를 고르는 방법부터 짚는다. 확률이 가장 높은 출력을 찾겠다는 접근은 번역이나 요약처럼 답이 닫힌 과제에서 오래 쓰였지만, 열린 생성으로 넘어오면서 같은 구절을 무한히 반복하거나 아예 빈 출력이 가장 높은 확률을 갖는 기이한 현상이 드러났다. 강연자는 확률 0.6짜리 동전을 100번 던질 때 앞면만 100번 나오는 계열이 개별적으로는 가장 확률이 높지만 실제로는 거의 나오지 않는다는 전형 집합의 비유로 이를 설명했다. 그래서 실무의 API들은 빔 탐색 대신 온도와 상위 확률 절단 같은 손잡이만 제공한다.

그 위에 놓이는 것이 메타 생성이다. 입력과 모델만 받는 생성기와 달리, 메타 생성기는 생성기 자체와 평가 모델, 외부 도구, 그리고 예산이라는 매개변수를 받는다. 평가 모델은 비평가, 검증기, 가치 함수, 보상 모델 등 부르는 이름이 제각각이다. 강연자는 답이 맞는지 완벽하게 알려 주는 이상적인 검증기가 있다면 수학 문제를 계속 다시 풀게 하는 것만으로도 정답률이 거의 100%까지 올라간다는 실험을 보여 주며, 문제는 그런 검증기가 없다는 데 있다고 정리했다.

네 가지 갈래는 이렇게 나뉜다. 체이닝은 생성 결과를 다음 호출의 입력으로 넘기며 검색 API 같은 외부 도구를 끼워 넣는 방식이고, 병렬 생성은 여러 후보를 동시에 뽑아 최고 점수를 고르거나 답을 다수결로 모으는 방식이다. 트리 탐색은 풀이를 단계로 쪼갠 뒤 중간 단계에 점수를 매겨 탐색 예산을 배분하며, 수정은 이미 만든 출력에 피드백을 붙여 다시 쓰게 한다. 네 갈래 모두 아이디어는 단순하지만, 어디에서 신호를 얻느냐에 따라 성패가 갈린다.

마지막 절반은 규모와 속도에 관한 이야기다. 강연자는 연산 예산을 정해 두고 모델 크기와 생성량, 전략을 함께 고르는 문제를 사전학습의 연산 최적 배분에 빗대 설명했다. 흥미로운 결과는 일부 예산 구간에서 20억 개짜리 모델로 여러 번 생성하는 편이 120억 개짜리 모델보다 나았다는 것이다. 속도 쪽에서는 어텐션 구조 변경과 모델 압축, 하드웨어를 고려한 구현, 작은 초안 모델이 앞서 만든 토큰을 큰 모델이 한꺼번에 검증하는 추측적 디코딩, 그리고 여러 생성이 공유하는 앞부분을 캐시로 재사용하는 기법들이 소개됐다.

주요 인사이트

• 채점 모델을 믿고 표본 수만 늘리면 어느 지점부터 정답률이 다시 떨어진다. 채점 모델이 좋다고 보는 출력과 실제로 맞는 출력이 어긋나는 지점을 탐색이 찾아내기 때문이다.
• 가중 다수결은 표본을 무한히 늘려도 특정 값으로 수렴한다. 더 밀어붙여도 그 이상은 오르지 않으므로, 그다음에는 채점 모델이나 생성기 자체를 개선해야 한다.
• 트리 탐색이 항상 유리한 것은 아니다. 같은 토큰 예산으로 비교하면 몬테카를로 트리 탐색은 비용이 커 오히려 뒤졌고, 중간 점수로 탐색 폭만 조절하는 가벼운 방식이 병렬 생성을 앞섰다.
• 스스로 고쳐 쓰기가 잘 되려면 모델이 자기 출력을 평가할 수 있어야 한다. 컴파일러나 검증기처럼 외부 신호가 있으면 효과가 크지만, 어려운 추론 문제에서는 맞는 답을 틀리게 고치는 일이 그만큼 자주 일어났다.
• 시스템 수준의 속도 개선은 단순한 편의가 아니라 새로운 알고리즘을 가능하게 만든다. 탐색 경로의 공통 앞부분을 캐시하지 못하면 트리 탐색은 실용적인 속도가 나오지 않는다.

자주 묻는 질문

관련 AI 소식