LLM 추론의 기초: 온도 샘플링과 메타 생성 알고리즘을 CMU 강의 코드로 정리하기

핵심 메시지

• 자기회귀 언어모델은 다음 토큰의 조건부 확률을 이어 붙여 문장 전체의 확률을 만든다. 샘플링은 그 확률을 그대로 따라가는 가장 단순한 추론 방법이다.
• 온도 1은 모델이 가진 분포를 왜곡 없이 드러내는 유일한 값이다. 온도를 낮추면 읽기 좋은 문장이 나오지만 모델의 실제 분포와는 멀어진 편향된 표본이 된다.
• 사고의 사슬은 최종 답을 구할 때 합쳐서 지워버리는 잠재변수로 볼 수 있고, 여러 번 생성해 다수결하는 자기일관성 기법이 여기서 나온다.
• 온도를 0으로 두어도 결과가 매번 같지 않은 이유는 GPU에서 덧셈 순서가 달라지며 생기는 부동소수점 오차 때문이다.
• 작은 모델이 여러 후보를 만들고 큰 모델이 그중 하나를 고르는 재랭킹은 가장 단순한 메타 생성 알고리즘이다.

쉽게 이해하기

카네기멜런대 그레이엄 뉴빅 교수가 진행한 LLM 추론 수업의 두 번째 회차는 슬라이드 대신 주피터 노트북을 띄워 놓고 코드를 돌려 보이는 형식으로 진행됐다. 확률의 기초, 최소 구현 트랜스포머, 생성과 평가, 메타 생성이라는 네 부분으로 나뉘는데, 강의자는 이 개념들이 생각만큼 모두에게 익숙하지 않다는 것을 여러 번 확인했다며 출발점을 맞추는 데 시간을 썼다.

수업은 트랜스포머 대신 단어 두 개짜리 바이그램 모델로 시작한다. 앞 단어 하나만 보고 다음 단어를 고르는 장난감 모델이지만, 조건부 확률을 곱해 문장의 확률을 만드는 구조는 대형 모델과 다르지 않다. 차이는 문맥을 갱신하는 방식뿐으로, 트랜스포머는 여러 층을 통과시키고 키·값 캐시에 붙여 나갈 뿐 전체 절차는 동일하다는 설명이다.

온도는 확률에 로그를 취해 온도로 나눈 뒤 다시 소프트맥스를 씌우는 조정이다. 온도가 1이면 아무 일도 일어나지 않고, 무한대로 가면 모든 토큰이 같은 확률이 되며, 0으로 가면 가장 높은 토큰 하나만 살아남는다. 강의자는 이 셋을 학생들과 함께 유도한 뒤, 온도가 1일 때만 표본이 편향 없이 실제 확률로 수렴한다는 것을 반복 실험으로 보여줬다.

왜 표본이 필요한지는 결합 확률로 설명됐다. 조건부 확률표만 가지고 두 단어가 함께 나올 확률을 식으로 푸는 것은 어렵고, 트랜스포머에서는 사실상 불가능하다. 대신 문장을 많이 생성해 세면 된다. 같은 방식으로 특정 프롬프트에서 유해한 출력이 나올 비율처럼 해석적으로 구할 수 없는 값도 추정할 수 있다.

마지막 두 부분은 평가와 메타 생성이다. 강의자는 GPT-2 출력의 다양성을 자동으로 계산하고 언어모델에게 유창성 점수를 매기게 해 온도가 올라갈수록 다양성은 오르고 유창성은 내려가는 상충 관계를 확인했다. 이어 GPT-2 스몰이 만든 문장을 미디엄이 다시 고르게 하는 재랭킹을 보여주며, 더 큰 모델이 놀라운 어휘를 쓰면서도 무너지지 않는 문장을 선호하는 경향을 지적했다.

주요 인사이트

• 온도 0이 곧 결정론은 아니다. GPU 스레드가 끝나는 순서에 따라 덧셈 순서가 달라지고 그 미세한 반올림 차이가 한 번만 argmax를 뒤집어도 이후 문장이 전부 달라진다. 전문가 혼합 구조나 여러 번 호출하는 에이전트에서는 이 어긋남이 더 커진다.
• 추론의 목적을 나눠 생각해야 한다. 좋은 출력을 얻는 것이 목적이면 어떤 샘플링이든 상관없지만, 모델이 어떤 분포를 학습했는지 알고 싶다면 온도 1 외에는 선택지가 없다.
• 언어모델 심판은 편리하지만 맹신할 수 없다. 자신이 잘 못 푸는 문제는 채점도 잘 못하고, 자기 계열 모델의 출력을 더 후하게 평가하는 경향이 보고돼 있다.
• 작은 모델로 먼저 만들고 큰 모델로 확인하는 구조는 추측적 디코딩과 같은 뿌리다. GPU가 토큰을 묶어 계산할 때 훨씬 빠르다는 성질을 이용해 시간을 아끼는 방식이다.
• 길이가 다른 출력을 비교할 때는 토큰당 로그 확률로 정규화해야 한다. 그러지 않으면 긴 문장이 단지 길다는 이유로 낮은 점수를 받는다.

자주 묻는 질문

관련 AI 소식