LLM 온도(temperature) 파라미터 완전 이해: 소프트맥스 샘플링과 창의성 조절 원리

핵심 메시지

• LLM이 ‘확률적 앵무새’라 불리는 이유는 가장 확률 높은 단어를 그대로 내놓지 않고 모델이 계산한 확률에 따라 단어를 뽑기 때문이다.
• 신경망의 마지막 선형 층이 내놓는 값은 확률이 아니라 로짓(logit)이며, 소프트맥스 변환을 거쳐야 0과 1 사이에서 합이 1이 되는 확률이 된다.
• 온도는 소프트맥스의 지수 안에서 로짓을 나누는 값으로, 확률 분포를 얼마나 뾰족하게 혹은 평평하게 만들지를 결정한다.
• 온도가 0에 가까우면 가장 확률 높은 단어만 남아 그리디 탐색처럼 결정적이 되고, 온도가 크면 분포가 평평해져 사실상 무작위 텍스트가 나온다.
• 다항 샘플링은 다양성과 창의성을 얻는 대신 일관성·예측 가능성·품질 관리를 잃으므로, 정확성이 중요한 기술 문서나 데이터 기반 보고에는 잘 맞지 않는다.

쉽게 이해하기

같은 질문을 두 번 던졌는데 챗봇이 다른 문장으로 답한 경험이 있다면, 그 무작위성이 어디서 오는지 궁금했을 것이다. 답은 모델이 다음 단어를 고르는 마지막 단계에 있다. 상용 LLM 대부분은 확률이 가장 높은 단어를 기계적으로 고르지 않고, 모델이 계산한 확률 분포에서 단어를 뽑는다. 이 뽑기 방식을 조절하는 손잡이가 바로 온도(temperature)다.

먼저 확률이 만들어지는 과정을 봐야 한다. 디코더의 은닉 상태를 선형 층에 통과시키면 나오는 값은 확률이 아니라 로짓이다. 로짓은 원리상 음의 무한대에서 양의 무한대까지 어떤 값이든 될 수 있어서 확률로 쓸 수 없다. 여기에 소프트맥스를 적용해 각 값의 지수를 취하고 전체 합으로 나누면, 비로소 0과 1 사이에 있고 모두 더해 1이 되는 확률 벡터가 된다.

소프트맥스는 이름 그대로 ‘부드러운 최댓값’이다. 값들이 서로 비슷해도 가장 큰 값은 더 키우고 나머지는 줄이는 효과가 있다. 이렇게 확률이 만들어지면 다항 샘플링(multinomial sampling)이 가능해진다. 그리디 탐색이었다면 확률이 가장 높은 단어 하나만 나왔겠지만, 다항 샘플링에서는 확률이 낮은 단어도 그 확률만큼의 기회를 얻는다.

온도는 이 소프트맥스 안에 들어간다. 지수를 취하기 전에 각 로짓을 온도로 나누는 것이다. 온도가 1이면 온도를 쓰지 않은 원래 소프트맥스와 같고, 10처럼 크게 잡으면 변환 곡선이 거의 평평해져 모든 단어의 확률이 비슷해진다. 이는 어휘 사전에서 아무 단어나 뽑는 것과 다르지 않아 의미 없는 텍스트가 만들어진다. 반대로 0.1처럼 낮추면 큰 값은 훨씬 더 강조되고 나머지는 0에 가까워져 소프트맥스가 진짜 최댓값처럼 딱딱해진다. 발표자는 온도 1에서 거의 같은 확률로 뽑히던 두 후보가 온도 0.1에서는 한쪽으로 세 번 중 두 번꼴로 기운다는 예를 들며, 0까지 내리면 생성이 결정적이 된다고 설명한다.

‘온도’라는 이름은 물리학에서 왔다. 이 형태의 분포는 통계물리학에서 볼츠만 분포 또는 기브스 분포라 불리며 입자들의 에너지 준위 분포를 나타낸다. 물리학에서 온도가 0에 가까우면 에너지 준위가 얼어붙어 하나만 접근 가능해지고, 온도가 무한대로 가면 모든 준위에 똑같이 접근할 수 있다. LLM에서도 온도가 0이면 가능한 문장이 하나뿐이고, 무한대로 가면 모든 문장이 생성될 수 있다.

주요 인사이트

• 온도는 모델의 지식이나 능력을 바꾸는 값이 아니라 이미 계산된 확률 분포의 모양만 바꾸는 값이다. 같은 모델이라도 온도 설정에 따라 결정적 기계처럼도, 아무 말이나 늘어놓는 생성기처럼도 보일 수 있다.
• 다항 샘플링의 장점은 분명하다. 그리디 탐색이 만들어내는 반복적이고 예측 가능한 문장을 피하고, 모델이 가진 언어 능력의 폭을 더 넓게 탐색하게 해준다. 창작이나 브레인스토밍 도구처럼 다양성이 정확성보다 중요한 곳에 적합하다.
• 단점은 그 반대편에 있다. 무작위성 때문에 문맥에서 벗어나거나 말이 되지 않는 문장이 섞일 수 있고, 출력이 예측 불가능해져 일관성과 신뢰성이 중요한 서비스에서는 문제가 된다. 문체나 어조를 통제하기도 어렵다.
• 결국 창의성과 일관성 사이의 균형점을 찾는 일이 온도 설정으로 수렴한다. 발표자는 이 균형을 맞추는 적절한 온도를 찾는 것이 까다로운 작업이며, 출력 품질이 온도 설정에 크게 좌우된다고 지적한다.

자주 묻는 질문

관련 AI 소식