LLM 추론 비용의 구조: CMU 강의로 보는 어텐션·피드포워드 연산과 탐색 오류

핵심 메시지

• 문맥이 짧을 때는 피드포워드 층이 연산의 대부분을 차지하지만, 문맥이 길어지면 제곱으로 늘어나는 어텐션이 비용을 지배한다.
• 학습은 전체 층을 한 번 지나가면 되지만 추론은 토큰마다 층을 다시 지나가야 해서, GPU를 다 채우지 못한 채 호출 비용만 반복된다.
• 탐색 오류는 더 나은 탐색 알고리즘으로, 모델 오류는 더 나은 학습으로 고쳐야 하는 다른 문제다.
• 확률이 높은 출력과 좋은 출력은 같지 않으며, 무엇을 좋은 출력으로 볼지부터 정의해야 한다.
• 요즘 최상위 모델에서 단순한 그리디 탐색이 잘 통하는 이유는 알고리즘이 좋아져서가 아니라 모델이 좋아졌기 때문이다.

쉽게 이해하기

카네기멜런대에서 새로 열린 이 수업은 언어 모델을 '어떻게 학습시키는가'가 아니라 '어떻게 실행하는가'를 다룬다. 강의자는 먼저 언어 모델을 토큰 시퀀스에 확률을 매기는 모델로 정의하고, 대부분의 모델이 앞 토큰을 조건으로 다음 토큰의 확률을 곱해 나가는 자기회귀 방식이라고 정리했다. 확률을 계속 곱하기 때문에 짧은 문장이 긴 문장보다 확률이 높게 나오는 현상도 이 구조에서 바로 따라 나온다.

비용 이야기가 강의의 중심이었다. 트랜스포머 한 층의 연산은 크게 어텐션과 피드포워드로 나뉘는데, 어텐션 안에도 문맥 길이에 비례하는 부분과 제곱으로 커지는 부분이 섞여 있다. 공개된 대형 모델의 층 수와 차원을 대입해 보면 문맥이 1,000 토큰 수준일 때는 피드포워드가 비용의 대부분이지만, 문맥이 12만 토큰대까지 늘어나면 어텐션의 제곱 항이 전체를 좌우한다.

학습과 추론의 차이도 그림으로 대비됐다. 학습에서는 정답 토큰을 이미 알고 있어 모든 층을 한 번만 통과하면 되지만, 추론에서는 토큰을 하나 만들 때마다 층을 다시 통과해야 한다. 매 단계마다 GPU에 작업을 보내고 기다리는 고정 비용이 붙고 스레드를 다 채우지도 못하기 때문에, 같은 연산량이라도 추론이 훨씬 비효율적으로 돌아간다.

생성 알고리즘 위에 얹히는 층도 소개됐다. 여러 후보를 만들어 별도의 채점 모델로 다시 순위를 매기는 방식처럼, 토큰 생성을 부품처럼 호출하는 상위 알고리즘을 강의자는 메타생성이라고 불렀다. 사용자에게 보여 주지 않는 중간 사고 과정을 잠재 변수로 두는 사고 사슬도 같은 맥락인데, 답을 얻기까지 몇 분씩 기다리게 되는 지연이 대표적인 부담으로 지적됐다.

마지막으로 강의자는 실패의 원인을 두 갈래로 나누라고 강조했다. 모델이 가장 높은 점수를 준 출력을 알고리즘이 찾지 못했다면 탐색 오류이고, 찾아낸 최고 점수 출력이 실제로는 좋지 않다면 모델 오류다. 전자는 더 나은 탐색으로 해결되지만 후자는 원칙적으로 학습으로 고쳐야 하며, 추론 단계에서 억지로 보정한다면 그것은 일부러 최적해를 피하는 일임을 알고 해야 한다는 것이다.

주요 인사이트

• 무엇이 좋은 출력인지 정의하는 방법으로 사람의 선호, 다른 언어 모델의 채점, 정답이 하나인 문제의 자동 채점이 나란히 제시됐다. 강화학습 쪽에서 말하는 보상과 사실상 같은 개념으로 다뤄진다.
• 다양성과 품질은 목적에 따라 갈린다. 창작이나 합성 데이터 생성, 강화학습용 표본처럼 여러 갈래가 필요한 경우에는 표집이 유리하고, 정답이 하나인 과제에서는 탐색이 낫다.
• 예전에는 그리디 탐색을 쓰면 같은 말을 반복하며 무너졌지만, 지금은 코드 생성이나 수학 추론에서 오히려 표집보다 탐색을 많이 쓴다. 모델 학습이 탐색 오류의 상당 부분을 흡수했기 때문이다.
• 베이스 모델에 아무 조건 없이 생성을 시키면 숫자나 줄바꿈 같은 조각이 가장 높은 확률로 나온다. 학습 데이터의 분포가 그대로 드러나는 장면으로, 표본의 언어 구성만 봐도 어떤 데이터로 학습했는지 짐작할 수 있다.
• 서비스 제공자와 사용자가 원하는 목표가 다르다는 점도 정리됐다. 사용자는 낮은 지연을, 제공자는 동시에 들어오는 수많은 요청을 처리하는 처리량을 우선하며, 응용에 따라 우선순위가 달라진다.

자주 묻는 질문

관련 AI 소식