LangChain 프롬프트 템플릿·LCEL로 production AI 만들기

핵심 메시지

• 프롬프트 템플릿은 LLM을 위한 함수 정의와 같아서, 값을 하드코딩하는 대신 동적 데이터를 위한 자리표시자로 구조를 정의한다.
• LCEL은 유닉스 파이프 연산자로 프롬프트→모델→출력 파서를 연결하며, 스트리밍·비동기·배치를 기본으로 제공한다.
• LCEL의 모든 구성 요소는 invoke·stream·batch라는 공통 프로토콜을 가진 러너블이라, 한 번 작성하면 모든 운영 시나리오에서 동작한다.
• F-스트링이나 수동 API 호출을 프롬프트 템플릿과 체인으로 바꾸고 LangSmith로 추적하면 관측 가능하고 디버깅·확장이 쉬운 시스템이 된다.

쉽게 이해하기

AI 애플리케이션은 처음엔 문자열을 API에 보내고 응답을 받는 정도로 쉬워 보인다. 하지만 규모가 커지면 시스템 메시지, 사용자 변수, 출력 형식이 수십 개 파일에 흩어지며 스파게티 코드에 빠지고, 프롬프트의 형용사 하나만 바꿔도 전체가 무너진다. 그래서 LangChain이 단순한 라이브러리가 아니라 자연어 프로그래밍을 위한 프레임워크로 필요하다.

프롬프트 템플릿은 LLM을 위한 함수 정의로 볼 수 있다. 전통적인 코딩에서 값을 하드코딩하지 않고 매개변수를 쓰듯, 지시문의 구조를 정의하면서 동적 데이터를 위한 자리표시자를 남긴다. 단순한 F-스트링을 넘어 system·AI·user 역할의 로직을 다루는데, 챗 프롬프트 템플릿은 시스템 지시가 모델의 어텐션에서 항상 우선되도록 보장한다. 이는 단순 문자열 연결로는 보장할 수 없는 부분이다.

실제로는 챗 프롬프트 템플릿을 가져와 튜플 리스트 형태로 작성하는 것이 컨텍스트를 유지하는 표준이다. 회사 이름처럼 일부가 고정이라면 부분 변수(partial variables)로 템플릿의 일부를 미리 채워 여러 함수에서 재사용할 수 있는데, 이는 프롬프트를 위한 커링과 같아서 핵심 로직을 건드리지 않고 봇의 페르소나만 교체할 수 있다.

초기 LangChain은 LLMChain을 썼지만 내부를 보기 어려운 블랙박스였다. 이제 LCEL은 Bash나 Elixir처럼 유닉스 파이프 연산자를 사용해 데이터가 프롬프트에서 모델로, 다시 출력 파서로 흐르게 한다. 표준 러너블 인터페이스를 쓰기 때문에 모든 체인이 스트리밍·비동기·배치를 자동으로 지원한다.

주요 인사이트

• 파이프의 모든 구성 요소는 invoke·stream·batch라는 공통 프로토콜을 가진 러너블이다. 전체 응답 생성에 5초가 걸려도 chain.stream을 호출하면 프런트엔드가 단어를 즉시 보여줄 수 있어, API를 기다리는 주니어와 반응형 UX를 만드는 시니어의 차이를 만든다.
• LCEL은 재시도와 폴백을 기본으로 처리한다. 주 모델이 실패하면 한 줄로 백업 모델에 연결할 수 있다.
• runnable parallel을 쓰면 데이터 흐름을 나눠 여러 분기를 병렬 처리한 뒤 하나의 딕셔너리로 다시 합칠 수 있다. 예컨대 문서를 요약하면서 동시에 번역하는 작업이 간단해진다.
• 적용의 출발점은 하드코딩된 지점을 찾는 것이다. F-스트링이나 수동 API 호출이 보일 때마다 프롬프트 템플릿과 체인으로 바꾸고, LangSmith로 모델에 닿기 직전의 프롬프트와 파서가 받은 결과를 추적하면 시스템이 관측 가능해진다.

자주 묻는 질문

관련 AI 소식