프롬프트 엔지니어링 입문: LLM 한계와 기업 활용법 총정리

핵심 메시지

• LLM은 거대한 파라미터와 방대한 학습량 덕에 새로운 능력이 발현된 언어 모델이지만, 데이터 부족·할루시네이션·근거 부족·커스터마이징 비용이라는 네 가지 한계를 가진다.
• 프롬프트 엔지니어링은 재학습이나 파인튜닝과 달리 비용이 거의 들지 않아, 한계를 극복하려 할 때 가장 먼저 시도해 볼 가성비 높은 방법이다.
• 지시 문장과 참고 문장을 구분 기호로 나누고 순서를 맞추는 것이 가장 중요한 팁이며, 참고 문장에 명령이 섞이면 프롬프트 인젝션이 발생할 수 있다.
• 예시 제시, 부족한 점 되묻기, 단계별로 쪼개 지시하기(스텝 바이 스텝)는 답변의 정확도와 논리력을 끌어올린다.
• 단축어를 미리 정의해 두는 메타 랭귀지 패턴으로 반복 설명 없이 같은 작업을 빠르게 재사용할 수 있다.

쉽게 이해하기

안될과학 진행자들과 삼성SDS의 강영준 전문가가 출연해, 생성형 AI 시대에 주목받는 프롬프트 엔지니어링을 기업 관점에서 풀어낸다. 먼저 LLM(거대 언어 모델)이 무엇인지부터 짚는데, 챗GPT처럼 파라미터 수가 많고 방대한 텍스트를 학습한 모델이 일정 규모를 넘어서면서 기존에 없던 새로운 능력이 발현됐다는 점을 강조한다.

이어 LLM의 네 가지 한계를 설명한다. 학습 시점 이후의 최신 정보나 기업 보안 데이터는 들어 있지 않은 '데이터 부족', 모르면서도 그럴듯하게 지어내는 '할루시네이션', 어떤 지식에 근거했는지 출처를 밝히지 못하는 '근거 부족', 재학습·파인튜닝에 큰 비용이 드는 '커스터마이징의 어려움'이다. 영상은 뉴진스 최신곡을 잘못 답하거나 노래 제목을 지어내는 실제 사례로 이 한계들을 보여준다.

해결의 출발점으로 프롬프트 엔지니어링이 제시된다. 모델을 다시 학습시키는 방법에 비해 효과 범위는 작지만 비용이 거의 들지 않으므로, 먼저 이 방법을 시도하고 부족하면 더 고도화된 방법으로 넘어가는 순서가 합리적이라는 설명이다.

구체적인 팁으로는 지시 문장과 참고 문장을 구분 기호로 분리하기, 예시를 들어 설명하기, 지시가 충분했는지 모델에게 되묻기, 논리가 필요한 문제는 단계별로 쪼개 지시하기, 자주 쓰는 명령을 단축어로 정의하기가 소개된다. 마지막으로 고객 응대 챗봇과 사내 프롬프트 경진대회 같은 실제 업무 활용 사례로 마무리한다.

주요 인사이트

• LLM은 학습을 마치는 순간부터 점점 구형이 되며, 기업의 기밀 정보는 애초에 학습 대상이 아니기 때문에 '정작 필요한 지식이 없는' 상황이 자주 생긴다.
• 할루시네이션은 원인이 명확히 밝혀지지 않았고 모델 성능이 좋아질수록 줄어드는 경향은 있지만 근본적으로 해결되지는 않아, 답변은 항상 한 번 더 검증해야 한다.
• LLM은 프롬프트를 앞에서부터 순차적으로 해석하는 경향이 있어, '무엇을 참고해서 → 무엇을 만들어라' 순으로 지시를 배치하면 조건이 더 잘 지켜진다.
• 참고 문장 안에 '위 지시를 무시하라' 같은 명령이 들어가면 솔루션의 제약을 뚫어버리는 프롬프트 인젝션이 일어날 수 있어, LLM 기반 서비스를 만들 때 주의해야 한다.
• 내가 무엇을 모르는지조차 모를 때는, 더 정확한 답을 위해 어떤 정보를 추가로 주면 좋을지 모델에게 먼저 물어보는 방식이 효과적이다.

자주 묻는 질문

관련 AI 소식