개발자를 위한 프롬프트 엔지니어링 입문: 확률 엔진·온도·구분자·사고연쇄

핵심 메시지

• 인터넷의 바이럴 프롬프트를 이해 없이 베껴 붙이는 것은 '화물 숭배' — 활주로 모양을 흉내 낸다고 비행기가 내리지 않는다.
• LLM은 사실을 아는 데이터베이스가 아니라, 다음 토큰의 확률을 계산하는 자기회귀(auto-regressive) 확률 엔진이다.
• 모호한 프롬프트는 거대한 가능성 공간을 남겨 일반적 결과를 내지만, 스택·제약을 명시하면 그 공간을 좁혀 전문가 수준 출력을 강제할 수 있다.
• 온도(temperature)는 무작위성을 조절하는 다이얼로, 구조화된 작업엔 0~0.3의 낮은 값을, 창작엔 높은 값을 맞춰야 한다.
• 구분자·역할·제약·사고연쇄·반복 개선을 체계적으로 쓰는 것이 정밀한 프롬프트의 핵심이다.

쉽게 이해하기

영상은 2차 세계대전 뒤 태평양 섬 주민들이 나무 관제탑과 코코넛 헤드폰을 만들어 보급품이 하늘에서 다시 떨어지길 바랐다는 '화물 숭배' 일화로 시작한다. 많은 사람이 AI에 대해 같은 행동을 한다 — 바이럴 프롬프트를 이해 없이 붙여 넣고 결과가 마법처럼 나오길 기대한다. 저자는 AI를 신비한 블랙박스가 아니라 정밀 도구로 다루자고 제안하며, 프롬프팅을 3~5회 반복하는 디버깅 과정으로 볼 것을 권한다.

두 번째 축은 '확률 엔진'이다. AI 모델은 SQL 데이터베이스처럼 사실을 저장하지 않는다. 토큰이라 부르는 단어 조각을 처리하며 수십억 개 학습 패턴을 바탕으로 '다음에 올 토큰'의 확률을 계산하는 패턴 시뮬레이터다. 즉 질문한다기보다 모델이 수학적으로 완성할 수밖에 없는 시작 시퀀스를 제공하는 것이다.

이를 '확률 좁히기'로 설명한다. '로그인 페이지 만들어줘' 같은 모호한 프롬프트는 압도적으로 넓은 가능성을 주어 일반적이고 쓸모없는 결과를 낳는다. 반대로 Next.js·TypeScript·Tailwind처럼 스택을 지정하고 접근성 같은 제약을 더하면 방대한 확률 공간을 걸러 정밀한 출력을 이끌어낸다.

세 번째는 기계적 한계다. 모든 것(프롬프트·문서·대화 기록·응답)은 '문맥창' 안에 들어가야 하며, 이는 GPU 메모리 대역폭과 직결된 물리적 제약이다. 크기는 Llama 3.1의 12만 8천 토큰부터 Gemini 1.5 Pro의 200만 토큰까지 다양하지만, 창이 크다고 중간에 묻힌 정보를 놓치지 않는 것은 아니다. 또 다른 다이얼인 온도는 예측 점수를 조정해 무작위성을 바꾸며(대략 0.0~1.5), 구조화 데이터 추출·분류·엄격한 JSON에는 0~0.3의 낮은 값이 필요하다.

네 번째·다섯 번째는 실전 도구와 사고연쇄다. 따옴표·삼중 백틱·XML 태그 같은 '구분자'로 프롬프트의 섹션을 명확히 나누고, 역할·문맥·제약·사고연쇄·반복 개선을 체계적으로 적용한다. 모델은 마지막에 둔 것에 가장 주목하는 '최신 편향'이 있어, 가장 중요한 예시는 프롬프트 맨 아래에 두는 것이 좋다.

주요 인사이트

• 온도를 작업에 맞추는 것이 핵심이다 — 구조화된 코딩 작업에 온도를 너무 높이면 무작위성이 애플리케이션을 망가뜨리고, 반대로 창작·브레인스토밍에 0.0을 쓰면 로봇처럼 반복적인 글이 나온다.
• '단계별로 생각하라(chain of thought)'는 조언은 만능이 아니다 — 1,000억 파라미터 미만의 작은 모델에서는 유창하지만 비논리적인 단계를 만들고, 단순 패턴 인식·시각 과제에서는 정확도를 최대 36%까지 떨어뜨린다.
• 딥마인드 연구에서 20시간의 인간 프롬프트 엔지니어링과 AI가 자동 생성한 프롬프트를 겨루자, AI 최적화 프롬프트가 80% 정확도로 인간의 34%를 크게 앞섰다 — 보편적 마법 문구는 없으며 최적 프롬프트는 과제·모델마다 다르다.
• 예시의 순서만 바꿔도 정확도가 동전 던지기 수준에서 최고 수준까지 요동칠 수 있다는 '최신 편향'은, 가장 명확한 핵심 예시를 답 생성 직전인 맨 끝에 배치하라는 실무 지침으로 이어진다.

자주 묻는 질문

관련 AI 소식