인컨텍스트 러닝 완벽 정리: Zero-shot·Few-shot·Chain of Thought·Tree of Thoughts

핵심 메시지

• In-Context Learning은 AI의 가중치(뇌 구조)를 바꾸지 않고, 우리가 제시한 맥락(프롬프트) 안에서만 즉석으로 학습하고 바로 적용하는 능력이다.
• 예시를 몇 개 보여주는 Few-shot만으로도 성능이 크게 오른다 — 영상 예시에서 수학 문제 정확도가 17%에서 58%로 뛰었다.
• '단계별로 생각해 보자(Let's think step by step)'는 한 문장이 추론 능력을 끌어내는 Chain of Thought의 핵심으로, GSM8K에서 정확도를 18%에서 58%로 높였다.
• 생각의 흐름이 하나면 중간 한 단계만 틀려도 무너지므로, 여러 경로를 동시에 탐색하는 Tree of Thoughts가 등장했다 — 24 게임 퍼즐에서 4%에서 74%로 올랐다.
• Self-consistency는 같은 문제를 여러 번 다른 방식으로 풀고 다수결로 답을 정하는 방식으로, AI가 스스로 집단지성을 구현하는 셈이다.

쉽게 이해하기

AI 모델은 새로운 학습 데이터를 한 조각도 추가하지 않고도, 마치 사람처럼 즉석에서 배우고 추론하는 것처럼 보인다. 그 비밀의 핵심이 바로 In-Context Learning(인컨텍스트 러닝, 맥락 내 학습)이다. 이것은 모델의 뇌 구조 즉 가중치를 연구해 바꾸는 것이 아니라, 우리가 프롬프트로 제시한 맥락 안에서만 순간적으로 학습해 곧바로 적용하는 능력이다. 몇 달짜리 요리 학교에 다니는 전통적 학습과 달리, 레시피 한 장을 보고 바로 요리를 만들어내는 것에 가깝다.

AI를 제대로 다루기 위한 첫걸음은 예시를 주는 것이다. 아무 준비 없이 '이거 해'라고 던지는 것이 Zero-shot이고, 몇 개의 샘플을 보여주며 '이렇게 해봐'라고 알려주는 것이 Few-shot이다. 그 효과는 분명하다. 예시를 몇 개 더 주는 것만으로 수학 문제 정확도가 17%에서 58%로, 약 41%포인트 뛰었다. 예시의 힘이 그만큼 크다.

한 걸음 더 나아가면, 정답만 보여주는 것을 넘어 '생각하는 방법' 자체를 가르치게 된다. '단계별로 생각해 보자'는 문장으로 대표되는 Chain of Thought(생각의 사슬)다. 사과 문제라면 곧바로 답을 내지 않고 '처음에 5개, 3개를 줘서 2개가 남고, 2개를 더 받아 최종 4개'처럼 사고의 흐름을 하나의 논리적 사슬로 엮는다. 표준 수학 문제 GSM8K에서 이 방식은 정확도를 18%에서 58%로, 거의 세 배 가까이 끌어올렸다.

하지만 생각의 흐름이 하나뿐이면 외줄타기와 같아서, 중간 한 단계만 미끄러져도 전체 추론이 무너진다. 그래서 나온 해법이 Tree of Thoughts(생각의 나무)다. 외줄타기 대신 여러 경로를 동시에 탐색하고, 체스 마스터가 여러 수를 머릿속에 그리듯 가장 가능성 높은 길을 고르고 나머지는 가지치기한다. 24 게임이라는 복잡한 수학 퍼즐에서 기존 방식의 성공률은 4%에 그쳤지만, 생각의 나무를 쓰자 74%까지 올랐다.

또 다른 고급 기법은 Self-consistency(자기 일관성)다. 같은 문제를 여러 방식으로 여러 번 풀게 한 뒤, 다수결처럼 가장 자주 나온 답을 최종 정답으로 채택한다. AI가 스스로 집단지성을 구현하는 셈이다. 실전에서는 상황에 맞는 도구를 고르면 된다: 빠르게 아이디어를 시험할 때는 저비용의 Zero-shot CoT, 정확도가 중요할 때는 CoT에 Self-consistency를 더하고, 아주 복잡한 계획이나 어려운 퍼즐에는 Tree of Thoughts를 꺼내는 식이다.

주요 인사이트

• In-Context Learning의 본질은 '모델을 재학습하지 않는다'는 데 있다. 성능 변화는 파라미터를 바꿔서가 아니라, 프롬프트라는 맥락 안에서 즉석으로 일어난다.
• 예시 제공(Few-shot)은 가장 단순하면서도 효과가 큰 기법으로, 몇 개의 샘플만으로도 정확도가 크게 오를 수 있다.
• Chain of Thought는 정답이 아니라 '사고 과정'을 유도하는 것이 핵심이다. 문제를 하나의 논리적 사슬로 풀어내게 하면 추론 정확도가 크게 향상된다.
• Tree of Thoughts는 단일 사고 흐름의 취약성(한 단계 오류가 전체를 무너뜨림)을 여러 경로 병렬 탐색과 가지치기로 보완해, 탐색이 필요한 복잡한 문제에서 특히 강하다.
• 기법마다 비용과 효과가 다르다 — 간단한 테스트는 Zero-shot CoT, 높은 정확도는 CoT+Self-consistency, 복잡한 탐색은 Tree of Thoughts로 상황에 맞게 선택하는 것이 실전 전략이다.

자주 묻는 질문

관련 AI 소식