AI 추론의 두 얼굴: Inference와 Reasoning 차이, 계획형 에이전트 동작 원리

핵심 메시지

• 한국어에서 '추론' 한 단어로 번역되는 개념이 영어에는 Inference와 Reasoning 두 가지로 나뉘며, 후자가 전자를 포함하는 더 넓은 개념이다.
• 계획형 에이전트는 사용자의 요청을 작은 작업으로 쪼갠 뒤 하나씩 실행하고, 매 단계가 끝날 때마다 남은 계획을 다시 손본다.
• 질문의 범위가 클수록 환각이 늘어나므로, 문제를 잘게 나눌수록 잘못된 답이 나올 가능성이 줄어든다는 것이 계획 방식의 근거다.
• 계획 없이 상황에 따라 움직이는 ReAct 방식과 달리, 계획형 방식은 앞 단계의 오해가 뒤로 계속 번지는 오류 전파를 줄일 수 있다.
• 다만 계획을 다시 세우는 단계 때문에 시간이 더 걸리므로, 두 접근은 우열 관계가 아니라 상황에 따라 보완적으로 쓰인다.

쉽게 이해하기

이 영상은 LangGraph 튜토리얼의 에이전트 아키텍처 가운데 계획형 에이전트 부분을 다루면서, 그 전에 요즘 자주 등장하는 '추론'이라는 말부터 정리한다. 발표자는 OpenAI의 o1과 o3, 중국에서 공개된 R1, 구글이 내놓은 제미나이 2.0 플래시의 사고 실험 모델을 예로 들며 이들이 모두 추론 기능을 강화한 모델이라고 소개한다. 그러면서 한국어로는 '추론' 한 단어지만 영어로는 서로 다른 두 개념이 섞여 있다고 지적한다.

발표자의 구분은 이렇다. Inference는 학습을 마친 모델이 실제 사용 시점에 이미 습득한 지식을 바탕으로 어떤 입력에 대해 출력을 만들어 내는 과정이다. 반면 Reasoning은 논리적인 절차를 만들어 문제를 해결하거나 결정을 내리는 더 고차원적인 사고 활동이고, Inference를 포함하는 개념이다. 이 기준에서 R1이나 o 계열 추론 모델은 Inference 쪽을 강화한 것이고, LangGraph 같은 개발 도구로 소프트웨어 차원에서 절차를 짜 넣는 것은 Reasoning에 가깝다. 계획형 에이전트에서 배우게 되는 것은 후자다.

튜토리얼의 Plan and Execute 방식은 Plan-and-Solve 논문과 BabyAGI 프로젝트에서 많은 영향을 받았다. 논문의 문제의식은 단순하다. 질문을 한 번 던지고 답을 그대로 받는 기존 방식에서는 환각이 많았다는 것이다. 그래서 먼저 문제를 이해하고, 해결에 필요한 작업들을 작은 단위로 쪼개고, 각 작업을 독립적으로 실행할 수 있게 설계한 다음, 세워진 계획에 따라 단계별로 풀어 나간다. 범위가 넓은 질문일수록 환각이 늘어난다는 경험에서 나온 접근으로, 질문을 잘게 나눌수록 잘못된 답이 나올 가능성이 줄어든다는 논리다.

발표자는 이 방식의 한계도 함께 전한다. 프롬프트를 잘 설계해도 결과는 모델의 성능에 크게 좌우되어서, 같은 프롬프트를 넣어도 모델마다 답이 다르게 나온다. 또 같은 단어나 표현을 썼더라도 의미상 오해가 생길 여지가 남아 있어 환각이 완전히 사라지지는 않는다. 그래서 의미적 오해를 줄이는 프롬프트 설계가 앞으로의 연구 과제로 남아 있다고 논문은 밝힌다. 흥미로운 점은 예제를 여러 개 보여 주는 방식보다 프롬프트로 절차를 지시하는 편이 성능에 유리했고, 예제를 주면 오히려 성능이 떨어지는 경우도 있었다는 대목이다.

또 하나의 뿌리인 BabyAGI는 자동화된 작업 관리 시스템이다. 사용자가 초기 목표를 주면 시스템이 목표 달성에 필요한 작업 목록을 만들고, 작업의 우선순위를 정해 실행한 뒤 그 결과를 벡터 데이터베이스에 저장하고, 새로 얻은 정보를 바탕으로 다시 작업을 생성하는 흐름을 반복한다. 튜토리얼이 구현한 그림도 같은 뼈대다. 사용자의 요청이 들어오면 여러 작업으로 나누는 계획 단계를 거치고, 단일 작업 에이전트가 하나를 처리하면 상태를 갱신한 뒤 재계획 단계로 넘어가 뒤에 남은 작업들을 손본다. 더 처리할 작업이 없다고 판단되면 결과를 정리해 사용자에게 응답한다.

영상의 후반부는 이 방식과 ReAct의 비교에 할애된다. ReAct는 Reasoning과 Acting을 합친 신조어로, 프론트엔드 프레임워크와 이름만 같을 뿐 다른 개념이다. 추론으로 행동 계획을 세우고, 행동으로 얻은 외부 정보로 다시 추론을 갱신하는 구조다. 요청을 잘게 나눠 처리한다는 점은 같지만, ReAct는 명시적인 계획 없이 상황에 맞춰 접근하는 반면 계획형 방식은 처음부터 최종 목표까지 정렬된 다단계 계획을 세우고 단계마다 다시 계획을 손본다는 차이가 있다. 발표자는 다음 시간에 LangGraph가 이 구조를 실제 코드로 어떻게 구현했는지 살펴보겠다고 예고한다.

주요 인사이트

• 용어를 나누는 것만으로 지형이 보인다. 모델 자체를 강화하는 흐름과 도구로 절차를 짜 넣는 흐름은 같은 '추론'이라는 말 아래 있지만 접근이 다르다.
• 환각 대책이 반드시 더 똑똑한 모델일 필요는 없다. 질문의 범위를 좁히는 것만으로도 틀릴 여지가 줄어든다는 것이 계획형 접근의 출발점이다.
• 재계획 단계는 단순한 절차가 아니라 오류 수정 장치다. 앞 단계의 잘못된 해석이 뒤로 번지는 것을 중간에 끊어 준다.
• 예제를 많이 보여 주는 것이 늘 정답은 아니다. 절차를 지시하는 프롬프트가 예제보다 나았다는 관찰은 프롬프트 설계의 통념을 뒤집는다.
• 속도와 정확성 사이의 교환이 분명하다. 계획과 재계획을 거치는 만큼 응답은 느려지므로, 실시간성이 중요한 작업에는 반응형 방식이 더 맞을 수 있다.

자주 묻는 질문

관련 AI 소식