프롬프트 엔지니어링 핵심 기법: 온도·퓨샷·생각의 사슬·ReAct 정리

핵심 메시지

• LLM은 입력을 바탕으로 다음 토큰을 예측하는 엔진이라, 프롬프트의 구조와 단어 선택이 출력 품질을 좌우한다.
• 출력 길이·온도·top-k·top-p 같은 설정을 이해하면 창의성과 일관성을 의도대로 조절할 수 있다.
• 제로샷·원샷·퓨샷처럼 예시를 주는 방식과 시스템·역할 프롬프트는 원하는 형식과 톤을 끌어낸다.
• 생각의 사슬·자기 일관성·생각의 나무·ReAct는 모델의 추론 능력을 끌어올리는 대표 기법이다.
• 작은 모델도 이런 기법을 쓰면 더 크고 비싼 모델에 준하는 결과를 낼 수 있다.

쉽게 이해하기

프롬프트 엔지니어링은 LLM이 정확한 출력을 내도록 고품질 프롬프트를 설계하는 일이다. LLM은 입력을 받아 다음 토큰(대략 단어의 4분의 3)을 반복 예측하는 엔진이므로, 프롬프트를 어떻게 구성하고 어떤 단어와 예시를 쓰느냐가 결과를 바꾼다.

먼저 모델 설정을 이해해야 한다. 출력 길이를 짧게 잡으면 답이 더 간결해지는 게 아니라 도중에 그냥 잘린다. 온도는 토큰 선택의 무작위성을 조절해 높을수록 창의적, 낮을수록 일관적이며, top-k와 top-p도 다양성을 조절한다. 일반적 시작값으로 온도 0.2, top-p 0.95, top-k 30이 제시된다.

예시를 주는 방식으로는 예시 없이 작업만 설명하는 제로샷, 예시를 1개 주는 원샷, 2개 이상 주는 퓨샷이 있다. 피자 주문을 JSON으로 변환하는 예처럼, 출력 형식을 고정하려면 보통 3~5개의 예시가 권장된다. 또 시스템·맥락·역할 프롬프트로 모델에게 '여행 가이드처럼 행동하라'는 식의 역할을 부여하면 그 역할에 맞는 답을 끌어낼 수 있다.

추론을 강화하는 기법도 여럿이다. 스텝백은 구체적 과제 전에 일반적 질문을 먼저 던져 배경지식을 활성화한다. 생각의 사슬은 '단계적으로 생각하라'고 시켜 정확도를 높이고, 자기 일관성은 같은 프롬프트를 여러 번 돌려 다수결로 답을 고른다. 생각의 나무는 여러 추론 경로를 동시에 탐색하며, ReAct(추론+행동)는 검색·코드 실행 같은 도구를 쓰는 사실상의 에이전트다(메탈리카 멤버들의 자녀 수를 검색으로 합산하는 예).

마지막으로 활용과 베스트프랙티스다. AI에게 PRD를 쓰게 한 뒤 그걸 다시 입력하는 자동 프롬프트 엔지니어링, 정확한 계산이 필요할 때 코드를 작성·실행시키는 방법('strawberry'의 R 개수 세기) 등이 있다. 핵심 원칙은 예시 제공, 단순하게 시작하기, 원하는 출력 명시, '하지 말 것'보다 '할 것'으로 지시하기, 최대 토큰 관리, 변수 활용, 모델 최신 동향 파악이다.

주요 인사이트

• 출력 길이를 줄여도 모델이 더 간결해지지 않고 그냥 도중에 멈춘다 — 길이 설정과 문체의 간결함은 다른 문제다.
• 온도가 0에 가까우면 같은 프롬프트에 거의 같은 답이, 1에 가까우면 매번 다른 답이 나온다.
• '단계적으로 생각하라'는 한 문장만 더해도 작거나 오래된 모델의 정확도가 크게 오른다.
• 자기 일관성과 생각의 나무는 정확도를 높이지만 호출이 늘어 비용과 지연이 커지는 트레이드오프가 있다.
• 정확한 계산이 필요할 땐 답을 직접 묻기보다 코드를 작성·실행하게 하면 더 안정적이다(딸기 속 R 개수 예).

자주 묻는 질문

관련 AI 소식