리액트와 리플렉션으로 보는 AI 에이전트 기본 골격: 추론·도구 사용·자기평가의 결합

핵심 메시지

• 생각의 사슬 계열 연구는 추론을 길게, 여러 갈래로, 나아가 스스로 평가하며 뻗어 나가는 방향으로 확장돼 왔다.
• 리액트는 혼자 생각만 하던 추론과 밖으로 나가 검색하던 행동을 하나로 묶어, 생각하고 행동하고 관찰한 뒤 다시 생각하는 지금의 에이전트 골격을 만들었다.
• 리액트는 생각의 사슬만 쓸 때보다 환각이 눈에 띄게 줄었고, 남은 오류는 대부분 추론이 틀렸거나 검색 결과가 나빴던 경우였다.
• 성공한 궤적으로 미세조정하면 8B 모델이 540B 모델의 프롬프팅 성능에 닿고 62B 모델은 그것을 넘어서, 규모 확대만이 답이 아님을 보여준다.
• 리플렉션은 실패를 그냥 다시 시도하는 대신 스스로 평가해 원인을 언어로 남기고 다음 시도에 반영하게 만들어, 시도를 거듭할수록 성능이 오르는 구조를 만든다.

쉽게 이해하기

발표는 지난 회차들의 내용을 정리하는 데서 출발한다. 앞선 주차에서 에이전트가 무엇인지 개관하고 추론을 다뤘다면, 이번 회차의 리액트에서 에이전트의 기본 프레임워크가 완성된다는 구성이다. 생각의 사슬은 입력에서 출력으로 곧장 가지 않고 중간 추론 단계를 거치게 해 성능을 끌어올렸고, 자기일관성 기법은 하나의 입력에 여러 출력을 만들어 그중 의미 있는 답을 모으는 수평 확장이었다. 생각의 나무는 여기서 더 나아가 추론을 가지치기하고, 더 가봐야 의미가 없다고 판단되면 되돌아가 다른 가지를 타는 방식으로 각 단계를 스스로 평가한다.

추론을 길게 만드는 것 자체가 성능이 되는 현상도 함께 소개된다. 생성 토큰 길이를 1024에서 8192로 늘렸더니 수학 과제 점수가 20점에 못 미치던 모델이 60점 가까이 올라간 실험이다. 종료 토큰이 나오면 그것을 지우고 이어서 더 생각하게 만드는, 다소 억지스러운 방법을 썼는데도 성능이 꾸준히 개선됐다. 반면 추론의 개수를 늘리는 방향은 개선폭이 상대적으로 작았는데, 발표자는 그 실험 설정이 추론의 다양성을 확보하는 별도 장치를 두지 않았기 때문이라고 짚는다.

다른 한 갈래는 모델을 바깥세상에 연결하는 연구다. 웹GPT는 검색하고 링크를 클릭하고 페이지 안에서 문구를 찾는 사람의 행동을 API 형태로 모델에 쥐여줬다. 추가 학습 없이 프롬프팅만으로 외부 정보를 활용하게 만들 수 있다는 것을 보인 연구다. 흥미로운 결과는 질의응답에서 흔히 상충하던 신뢰성과 정보성이 함께 올라갔다는 점이다. 확실한 것만 말하려다 정보량이 줄어드는 딜레마를, 검색으로 근거를 확보해 우회한 셈이다. 모델이 클수록 그 개선폭이 커진다는 점도 확인됐다.

리액트는 이 두 갈래를 합친다. 발표에서 든 예는 “애플 리모컨으로 제어할 수 있는 다른 회사 기기는 무엇인가” 같은 질문이다. 생각의 사슬만 쓰면 그럴듯하지만 틀린 사실을 지어내고, 검색만 쓰면 문서는 제대로 찾아오지만 질문에 맞는 답으로 엮어내지 못한다. 리액트는 먼저 추론해 전략을 세우고, 그 전략대로 검색이라는 행동을 취해 관찰 결과를 얻고, 그 관찰을 근거로 다음 전략을 다시 세우는 과정을 답이 나올 때까지 반복한다. 성능은 생각의 사슬과 자기일관성, 행동만 쓰는 방식을 모두 앞섰고 자기일관성과 결합하면 추가 개선까지 나타났다. 환각도 눈에 띄게 줄었고 남은 오류는 대부분 추론 실패이거나 검색 결과 자체가 나빴던 경우였다.

리액트에는 한계도 있다. 실패하면 그냥 다시 시도하는 방식이어서 지난 시도에서 배우지 못한다. 리플렉션은 여기에 자기평가를 붙인다. 행동하는 주체와 평가하는 주체, 반성하는 주체가 모두 같은 모델이고, 오래된 경험은 벡터 데이터베이스에, 직전 몇 단계는 프롬프트에 담아 다음 시도에 넘긴다. 가정 환경 시뮬레이션 실험에서 리액트만 쓰면 시도를 늘려도 개선이 미미했지만, 리플렉션을 결합하자 시도가 쌓일수록 성능이 계속 올랐고 초반에 나타나던 환각도 점차 줄었다. 코딩 영역에서는 모델이 직접 테스트를 작성해 돌려보는 방식이 가장 확실한 평가 수단이 되며, 동작하지 않을 코드를 통과했다고 잘못 판정하는 비율이 크게 줄었다.

주요 인사이트

• 요즘 우리가 쓰는 에이전트의 동작 방식은 새로 발명된 것이 아니라 2022년에 제안된 골격 위에 계속 쌓아 올려진 결과다. 생각하고, 도구를 쓰고, 결과를 관찰하고, 다시 생각하는 순환이 그 골격이다.
• 추론과 행동은 서로를 보완한다. 생각만 하면 근거 없는 답을 만들고, 행동만 하면 가져온 근거를 답으로 엮지 못한다. 둘을 번갈아 하는 것만으로 두 결함이 동시에 완화된다.
• 성공한 궤적으로 미세조정하면 8B 모델이 540B 모델의 프롬프팅 성능에 닿고 62B 모델은 그것을 넘어선다. 에이전트 성능은 모델 크기만이 아니라 어떤 데이터로 어떻게 학습시키느냐의 문제라는 뜻이다.
• 가정 환경 실험에서 관찰 결과를 해석할 때만 추론을 붙인 방식보다 리액트가 나았다는 점이 시사적이다. 어떤 행동을 할지 계획하고 어떤 질의를 도구에 넣을지 정하는 일에도 똑같이 추론이 필요하다는 뜻이다.
• 자기평가의 난이도는 영역마다 다르다. 코딩은 테스트를 짜서 돌려보면 되니 가장 쉬운 축에 속하고, 그래서 코딩이 에이전트 연구의 성과가 가장 먼저 눈에 보이는 분야가 됐다.

자주 묻는 질문

관련 AI 소식