프롬프트 엔지니어링 기법 총정리 - 구글 백서로 보는 모델 설정값과 핵심 전략 12가지

핵심 메시지

• 프롬프트의 품질은 문장만이 아니라 출력 토큰 제한, 온도, Top-K, Top-P 같은 모델 설정값에서 함께 결정된다.
• 세 설정값은 독립적이지 않다. 온도를 0으로 두면 Top-K와 Top-P는 사실상 효력을 잃고, Top-K를 1로 두면 나머지가 무의미해진다.
• 퓨샷 프롬프트에서는 예시를 3~5개 넣되 개수보다 다양성과 품질이 답변의 안정성을 좌우한다.
• 스텝백, 체인 오브 소트, 자기일관성, 트리 오브 소트, ReAct는 모두 모델이 답을 곧바로 내놓지 못하게 만드는 계열의 기법이다.
• 하지 말라는 제약보다 해야 할 지시를 늘리고, 사용한 프롬프트를 표로 기록해 관리하라는 것이 백서의 실무 조언이다.

쉽게 이해하기

영상은 구글이 공개한 프롬프트 엔지니어링 백서를 처음부터 끝까지 훑으며 각 절이 무엇을 주장하는지 정리합니다. 발표자는 이미 널리 알려진 개념이 많다고 인정하면서도, 개발자와 프롬프트 작성자 사이에서 덜 알려진 개념 몇 가지를 함께 소개하는 데 초점을 맞춥니다. 백서의 출발점은 같은 질문이라도 어떤 모델을 쓰는지, 어떤 데이터로 학습됐는지, 설정값과 단어 선택과 문체가 어떤지에 따라 결과가 크게 달라진다는 인식입니다.

첫 절은 문장이 아니라 모델 설정값을 다룹니다. 출력 토큰 수에 제한을 두는 이유는 답변 품질을 깎기 위해서가 아니라 에너지 소비와 응답 속도, API 비용 때문이며, 프롬프트가 잘 쓰였다면 제한 안에서도 충분한 답을 받을 수 있다고 설명합니다. 온도는 0에 가까울수록 확정적인 답을, 1에 가까울수록 창의적인 답을 만들고, Top-K는 다음 토큰 후보 중 상위 몇 개까지 볼지, Top-P는 누적 확률 기준으로 어디까지 볼지를 정합니다.

이 세 값은 서로 맞물려 움직입니다. 온도가 0이면 모델이 가장 확실한 후보만 내놓으므로 Top-K와 Top-P를 어떻게 설정해도 효과가 사라지고, Top-K를 1로 두거나 Top-P를 0으로 두어도 같은 방식으로 다른 값이 무력해집니다. 백서는 출발점으로 온도 0.2, Top-P 0.95, Top-K 30 부근을 권하고, 정답이 정해진 수학 문제 같은 과제에서는 온도를 0으로 고정하라고 조언합니다.

기법 부분은 제로샷에서 시작해 원샷과 퓨샷으로 넘어갑니다. 예시 없이 바로 묻는 제로샷이 흔들릴 때 예시를 함께 넣으면 답이 안정되는데, 백서는 3~5개를 권하면서 예시가 다양하고 잘 쓰여야 여러 상황에서 올바른 답이 나온다고 강조합니다. 이어 시스템 프롬프트는 모델의 기본 역할과 기능을, 컨텍스트 프롬프트는 참고할 배경 지식을, 롤 프롬프트는 성격과 어투를 정하는 층으로 구분합니다.

후반부는 추론을 유도하는 기법들입니다. 스텝백 프롬프팅은 본 질문에 답하기 전에 참고할 만한 조건을 먼저 뽑아내 프롬프트에 넣는 방식이고, 체인 오브 소트는 단계별로 생각하라는 한 문장만 추가해도 계산 실수를 줄입니다. 자기일관성은 같은 질문을 여러 번 돌려 가장 많이 나온 답을 고르는 방식이고, 트리 오브 소트는 단계마다 여러 갈래를 만들어 좋은 쪽을 골라 나가며, ReAct는 생각과 도구 호출을 번갈아 반복해 에이전트 구현에 특히 유용하다고 설명합니다.

주요 인사이트

• 출력 토큰 제한을 두면 답변이 얕아질 것이라는 통념과 달리, 제한은 예측을 그 지점에서 멈추게 할 뿐이므로 프롬프트가 잘 설계돼 있으면 품질 손실 없이 비용과 지연을 줄일 수 있다.
• 온도, Top-K, Top-P를 개별 손잡이로 보고 따로 조정하면 서로를 무력화하는 조합에 빠지기 쉽다. 세 값은 한 세트로 정해야 한다.
• 자기일관성은 감정이나 유머, 완곡한 표현이 섞여 판단이 흔들리는 분류 작업에서 특히 값을 하며, 같은 질문을 세 번 돌려 다수결로 정하는 방식만으로도 결과가 안정된다.
• 금지 조항을 늘리는 것보다 해야 할 일을 구체적으로 적는 편이 더 나은 답을 만든다는 것은 사람에게 지시할 때와 같은 원리이며, 백서도 이를 연구 결과로 제시한다.
• ReAct가 요즘 에이전트의 기본 골격이 된 이유는 검색이나 코드 실행 같은 외부 도구가 끼어드는 순간, 생각과 행동을 번갈아 기록하는 구조가 필요해지기 때문이다.

자주 묻는 질문

관련 AI 소식