AI 용어 정리 30가지: 토큰·컨텍스트 윈도우·RAG·임베딩·에이전트·MCP 한눈에 보기

핵심 메시지

• LLM은 결국 '반복되는 자동완성'이다. 입력을 받아 다음에 올 내용을 예측하는 과정을 재귀적으로 되풀이해 긴 답변을 만든다.
• 토큰은 모델이 이해하는 텍스트의 최소 단위이며, 요금과 사용량이 단어나 글자가 아니라 토큰으로 매겨지는 이유다.
• 컨텍스트 윈도우는 넉넉해졌지만 무조건 채우면 안 된다. 창이 약 70%가량 차면 성능이 떨어지는 '컨텍스트 로트' 현상이 보고된다.
• 프롬프트 인젝션은 시스템 프롬프트 유출보다 민감 데이터 노출·유해 응답·권한 없는 도구 실행이 실질적 위험이며, 가드레일로 입력과 출력을 모두 검사해야 한다.
• 에이전트를 있다·없다로 나눌 필요는 없다. 도구를 코드가 관리하는 낮은 자율성부터 모델이 스스로 도구를 만드는 높은 자율성까지 스펙트럼으로 보는 편이 정확하다.

쉽게 이해하기

쇼 탈레비는 의사결정자가 AI 논의에 빨리 올라타도록 30개 용어를 한 줄 정의와 예시로 이어 붙인다. 출발점은 LLM이다. 그는 LLM을 '자연어로 임의의 작업을 수행하는 소프트웨어', 즉 영어로 컴퓨터를 프로그래밍하는 수단으로 정의한다. 입출력을 결정하는 숫자가 파라미터이고 그 개수가 모델 크기이며, 큰 모델이 대체로 강하지만 그만큼 운영 비용이 커진다는 상충 관계가 이어진다. 모델을 실제로 돌려 텍스트를 만드는 행위에는 추론(inference)이라는 별도 이름이 붙는다.

다음 묶음은 입력을 다루는 개념들이다. 프롬프트는 가치를 끌어내는 주된 수단이고, 프롬프트 엔지니어링의 요령으로는 명확한 지시, 마크다운·XML 같은 구조화된 텍스트, 구체적 예시 제시, 근거가 될 맥락 제공, 그리고 LLM에게 프롬프트를 다시 써달라고 맡기는 방법이 제시된다. 앱을 만드는 쪽에서는 개발자의 지시와 사용자의 요청을 구분하는 시스템 메시지가 등장하는데, 모델은 학습 단계에서 시스템 메시지에 더 큰 가중치를 두도록 훈련돼 있다.

토큰과 컨텍스트 윈도우는 비용 구조를 이해하는 열쇠다. 모델은 텍스트가 아니라 숫자만 이해하므로 요청은 하위 단어로 쪼개진 뒤 정수로 매핑된다. 현대 모델의 어휘는 약 10만 토큰 규모다. 영상은 컨텍스트 윈도우를 교과서 권수로 환산해 감을 잡게 한다. 40만 토큰이면 교과서 약 3권, 100만 토큰이면 7.5권, 1,000만 토큰이면 75권, 25만 6천 토큰이면 2권 분량이다. 다만 창을 채울수록 연산 비용이 늘고 성능 저하 위험도 커지므로, 필요한 정보를 필요한 시점에 채우는 컨텍스트 엔지니어링이 중요해진다.

위험과 대응이 그다음이다. 프롬프트 인젝션은 규칙을 우회하도록 모델을 속이는 공격이고, 가드레일은 입력과 출력에 규칙 검사를 걸어 이를 완화하는 장치다. 환각 대응책으로는 가드레일 기반 사실 확인, 프롬프트 개선, 그리고 RAG가 제시된다. RAG는 요청에 맞는 맥락을 자동으로 찾아 붙이는 방식으로, 문서를 자기완결적인 조각으로 쪼개는 청킹, 의미를 좌표로 바꾸는 임베딩, 의미 기반 검색, 벡터 데이터베이스, 키워드 검색과 결합한 하이브리드 검색으로 이어지는 한 묶음의 개념군을 만든다.

마지막은 시스템을 키우는 개념들이다. 잘 만들었는지 판단하려면 평가(evals)가 필요하고, 코드 기반·사람 기반·LLM 기반 세 가지 방식과 신뢰할 수 있는 테스트 케이스 모음인 골든 데이터셋이 출발점이 된다. 도구를 쓸 수 있게 된 LLM은 에이전트가 되고, 도구와 맥락을 표준 방식으로 연결하는 MCP, 에이전트끼리 협업하게 하는 A2A, 오케스트레이터와 서브에이전트로 구성되는 멀티 에이전트 시스템으로 확장된다. 파인튜닝·증류·소형 언어 모델은 작고 값싼 모델로 특정 과제를 더 잘 처리하는 경로이며, 마지막으로 학습에 드는 비용(트레인 타임 컴퓨트)과 사용에 드는 비용(테스트 타임 컴퓨트)의 구분, 그리고 답하기 전에 먼저 생각하는 추론 모델이 정리된다.

주요 인사이트

• '토큰이 많을수록 답이 좋아진다'와 '컨텍스트를 채우면 성능이 떨어진다'는 상반돼 보이지만 층이 다른 이야기다. 필요한 정보를 더 주는 것은 도움이 되고, 불필요한 기록이 창을 잠식하는 것은 해가 된다. 그래서 요약·정리로 창을 관리하는 작업이 별도 기술로 분리된다.
• 프롬프트 엔지니어링과 컨텍스트 엔지니어링을 구분한 대목이 실무적으로 유용하다. 전자는 시스템 메시지를 잘 쓰는 일이고, 후자는 대화 요약, 오래된 도구 호출 기록 제거처럼 창에 무엇을 남길지 결정하는 일이다.
• 가드레일을 입력 쪽에만 두는 설계는 절반짜리다. 영상은 출력도 규칙에 비추어 검사해 권한 없는 동작이나 개인정보 노출을 걸러내라고 권한다. 도구 호출 권한이 있는 시스템이라면 특히 그렇다.
• 작은 모델이 큰 모델을 이길 수 있다는 주장에는 조건이 붙는다. 특정 과제에 한해서다. 영상이 든 예는 10억 파라미터급 InstructGPT가 질의응답 과제에서 100배 이상 큰 GPT-3를 앞선 사례다.
• MCP를 'AI 앱의 USB-C 포트'로 설명한 비유는 도입 판단에 쓸 만하다. 개별 도구마다 연결 방식을 새로 만들지 않아도 되는지가 핵심 질문이 된다. 반면 A2A는 아직 활용도가 낮고 멀티 에이전트의 신뢰성이 올라가면서 중요해질 개념으로 소개된다.

자주 묻는 질문

관련 AI 소식