LLM 프롬프트 엔지니어링 기초 — 맥락·토큰·한계와 깃허브 코파일럿 활용 팁

핵심 메시지

• LLM은 방대한 텍스트로 학습해 앞선 단어들을 보고 다음 단어를 예측하는, 일종의 '똑똑한 자동완성'이다.
• LLM을 이해하려면 맥락(context), 토큰(token), 한계(limitations) 세 가지를 알아야 한다.
• 프롬프트는 토큰을 통해 모델에 맥락을 주고 한계를 우회해 원하는 답을 끌어내는 도구다.
• 효과적인 프롬프트는 명확하고 구체적이며 충분한 맥락을 담고, 원하는 결과가 안 나오면 다듬어 반복한다.
• 프롬프트 혼동, 토큰 한계, 모델이 다 안다는 착각은 흔한 실패 원인이며, 작게 나누고 요구사항을 명시해 해결한다.

쉽게 이해하기

깃허브의 이 튜토리얼은 프롬프트 엔지니어링에 앞서 LLM의 작동 원리부터 짚는다. 대규모 언어 모델은 방대한 텍스트 데이터로 학습해, 앞에 나온 단어들의 맥락을 바탕으로 다음 단어를 예측하며 사람처럼 자연스러운 문장을 만들어 낸다. 발표자는 이를 '아주 똑똑한 자동완성'에 비유한다.

LLM을 이해하는 핵심은 세 가지다. 맥락은 모델이 무엇을 말하는지 파악하도록 돕는 주변 정보이고, 토큰은 단어·단어 일부·글자 단위로 쪼갠 처리 단위다. 토큰이 너무 적으면 맥락이 부족하고 너무 많으면 모델이 과부하될 수 있다. 또한 LLM은 진짜로 언어를 이해하는 것이 아니라 학습 데이터의 패턴과 확률에 의존하기 때문에, 때로 틀리거나 말이 안 되는 답, 이른바 환각(hallucination)을 내놓는다.

프롬프트는 이 세 가지를 묶어 모델의 힘은 살리고 한계는 우회하게 해 준다. 같은 'JavaScript로 팩토리얼 함수를 작성하라'는 요청에도 OpenAI의 GPT, 앤트로픽의 클로드, 구글의 제미나이가 서로 다른 코드를 내놓는 것은, 각 모델이 다르게 학습돼 프롬프트를 다르게 이해하기 때문이다. 프롬프트 엔지니어링이란 결국 이런 프롬프트를 잘 만드는 일을 가리킨다.

효과적인 프롬프트는 명확하고 정밀하다. 모호하면 모델이 헷갈리므로 충분한 배경 정보를 주되 불필요한 디테일로 압도하지 않아야 하고, 기대한 결과가 안 나오면 표현을 바꿔 반복하면 된다. 예컨대 '리스트의 숫자를 제곱하는 함수를 작성하라'는 모호하지만, '정수 리스트를 받아 음수는 제외하고 각 숫자를 제곱한 새 리스트를 반환하는 파이썬 함수를 작성하라'처럼 언어·동작·제약·입력 타입을 명시하면 깃허브 코파일럿이 훨씬 정확한 코드를 내놓는다.

마지막으로 자주 부딪히는 문제와 해법을 든다. 여러 요청을 섞어 생기는 프롬프트 혼동은 '먼저 오류를 고치고, 그다음 성능을 최적화하라'처럼 작업을 분리해 단계별로 푼다. 토큰 한계는 프롬프트를 간결히 하고 필요한 코드만 주며 부분별로 나눠 요청해 대응한다. 또 '내 앱에 인증을 추가하라'처럼 모델이 다 알 거라 가정하는 대신, 요구사항과 사용할 기술·모범 사례·예외 상황을 명시적으로 밝혀야 한다.

주요 인사이트

• 같은 프롬프트라도 모델마다 답이 다른 이유는 GPT·클로드·제미나이가 서로 다른 데이터로, 다른 방식으로 학습됐기 때문이다.
• 환각은 모델이 언어를 진짜로 이해하지 못하고 패턴과 확률에 의존하는 데서 비롯되며, 그래서 넓고 다양한 학습 데이터가 더 나은 응답에 중요하다.
• 프롬프트가 너무 길거나 기대 출력이 방대하면 모델이 환각을 일으키거나 답을 도중에 끊거나 일부만 내놓을 수 있으므로 간결함이 중요하다.
• 원하는 결과가 안 나올 때 항상 '덜 구체적이어서'가 원인은 아니다. 요청이 섞였거나(프롬프트 혼동), 토큰이 넘쳤거나, 모델이 모르는 것을 안다고 가정한 경우일 수 있다.
• 프롬프트 엔지니어링은 컴퓨터와 잘 소통하는 일에 가깝고, 코딩처럼 연습으로 나아지는 기술이자 일종의 예술이다.

자주 묻는 질문

관련 AI 소식