GPT API 파라미터 정리: temperature와 토큰, 그리고 API에 메모리가 없는 이유

핵심 메시지

• 2024년 동료 심사를 거친 논문에 따르면 temperature는 참신함과 약한 상관관계만 있을 뿐, 독창성이나 문장 일관성과는 관계가 없었다.
• temperature는 모델이 다음 단어의 확률을 계산하기 전에 점수를 나누는 값으로, 0이면 최고 점수 단어만 나오고 2에 가까울수록 단어 간 점수 차이가 평평해진다.
• 추론 모델에서는 max_tokens가 폐기되고 max_completion_tokens로 바뀌었으며, 모델이 답하기 전에 쓰는 숨은 사고 토큰은 이 상한에 포함되지 않는다.
• API는 요청 사이에 아무것도 기억하지 않는다. 매번 전체 대화 기록을 다시 보내는 구조라 대화가 길어질수록 입력 토큰 비용이 그대로 늘어난다.
• 대화 기록 관리에는 슬라이딩 윈도우, 요약, 외부 저장소 검색이라는 세 가지 전략이 있고 앱 성격에 따라 골라 써야 한다.

쉽게 이해하기

영상은 GPT API를 쓰는 개발자들이 파라미터를 '알 수 없는 조절 손잡이'처럼 다루고 있다는 문제 제기로 시작한다. 블로그에서 본 temperature=0.7을 그대로 복사해 붙이고 max_tokens를 2,000으로 두는 관행이 대표적이다. 발표자는 이런 설정 실수가 실제 비용 지출과 앱 오작동, 예측 불가능한 응답으로 이어진다고 지적한다.

가장 큰 오해는 temperature가 창의성을 조절한다는 통념이다. 2024년 동료 심사 논문이 이 질문을 직접 검증했는데, temperature는 참신함과 약하게 상관되고 문장이 앞뒤가 맞지 않는 정도와는 중간 정도로 상관됐으며, 독창성이나 응집성과는 아무 관계가 없었다. 실제로 이 값은 모델이 어휘 전체에 대해 계산한 원점수를 확률로 바꾸기 전에 나누는 역할을 한다. 0에서는 최고 점수 단어가 항상 선택돼 결정론적으로 동작하고, 2에서는 점수 차이가 평평해져 예상 밖의 단어가 튀어나온다.

용도별 권장값도 정리한다. 코드 생성과 분류, 데이터 추출처럼 신뢰성이 중요한 작업은 0에서 0.3, 일반 대화와 고객 지원은 0.6에서 0.8, 창작과 브레인스토밍은 0.9에서 1.2가 기준이다. 널리 퍼진 0.7은 틀린 값이 아니라 일반 대화 용도에 우연히 들어맞은 값이라는 설명이다. 다만 2025년 연구에서 대형 모델은 온도 변화에 강건한 반면 소형 모델은 1.5를 넘기면 환각이 급격히 늘어난다고 덧붙인다.

토큰 항목에서는 영어 기준으로 토큰 하나가 대략 네 글자, 단어의 4분의 3 정도이며 코드와 비영어권 언어는 토큰 효율이 더 나쁘다는 점을 짚는다. 입력 토큰, 출력 토큰, 그리고 둘을 합친 한도인 컨텍스트 윈도우를 구분해야 하고 출력 토큰은 보통 입력보다 두세 배에서 네 배까지 비싸다. 특히 추론 모델에서는 max_tokens가 폐기되고 max_completion_tokens가 새 파라미터가 됐는데, 모델이 답을 내놓기 전에 소모하는 숨은 사고 토큰은 이 상한에 잡히지 않기 때문에 예전 코드를 그대로 두면 통제하고 있다고 믿는 것을 실제로는 통제하지 못한다.

마지막 주제인 메모리가 가장 반직관적이다. API 호출은 완전히 무상태여서 서버가 대화를 저장하지 않으며, 매 요청마다 system·user·assistant 세 역할로 구성된 메시지 배열에 전체 기록을 담아 다시 보낸다. 챗봇 서비스의 기억 기능도 저장 계층에서 요약을 꺼내 시스템 프롬프트 앞에 붙이는 래퍼일 뿐이다. 그래서 10턴 대화는 1턴 요청보다 입력 토큰을 열 배 쓰고, 컨텍스트 한도에 닿으면 오래된 메시지를 알아서 버리는 대신 오류를 낸다.

주요 인사이트

• 널리 쓰이는 기본값이 검증된 값이라는 보장은 없다. 0.7은 일반 대화라는 특정 용도에 맞았을 뿐이므로, 작업 성격을 먼저 정하고 그에 맞는 범위를 고르는 편이 낫다.
• 같은 파라미터라도 모델 크기에 따라 안전 범위가 다르다. 대형 모델에서 문제없던 높은 온도 설정을 소형 모델에 그대로 옮기면 환각이 급증할 수 있다.
• 추론 모델의 숨은 사고 토큰은 출력 상한에 포함되지 않으므로, 상한값만 보고 비용이나 응답 길이를 예측하면 실제와 어긋난다.
• 대화형 앱의 비용은 기능이 아니라 구조에서 나온다. 무상태 API에 전체 기록을 매번 재전송하는 구조 자체가 턴 수에 비례해 입력 비용을 키운다.
• 세 턴을 넘는 대화를 다루는 앱이라면 기록 관리 전략을 반드시 정해야 한다. 간단한 앱은 슬라이딩 윈도우, 중간 복잡도는 요약, 장기 운영 에이전트는 외부 저장소 검색이 기준으로 제시된다.

자주 묻는 질문

관련 AI 소식