스탠퍼드 CS329A 자기개선 AI 에이전트 강의 정리: ReAct, RLEF, 컨스티튜셔널 AI

핵심 메시지

• 세 방법 모두 모델을 스스로 개선시키지만, 차이는 '피드백이 어디서 오는가'에 있다. 환경과의 상호작용, 코드 실행 결과, 그리고 모델 자신의 비판이 각각의 신호원이다.
• ReAct는 생각과 행동을 번갈아 수행하게 만드는 단순한 프롬프트 구조다. 생각1→행동1→생각2→행동2처럼 앞 단계가 다음 단계에 영향을 준다.
• RLEF는 코드를 실제로 실행해 테스트 통과 여부를 이진 보상으로 삼는다. 공개 테스트는 추론 중 즉시 피드백에, 비공개 테스트는 보상 산정에 나눠 써서 모델이 테스트 답을 외우지 못하게 막았다.
• 컨스티튜셔널 AI는 사람이 쓴 16개 원칙만 있으면 이후 비판과 수정은 모델이 맡는다. 수만 건의 사람 라벨링을 대체하려는 시도다.
• 강사는 모델이 '자기가 무엇을 아는지' 판단하는 능력은 아직 잘 보정돼 있지 않다고 선을 그었다. 응용을 만드는 입장에서는 모델의 자신감보다 올바른 도구를 쓰게 만드는 설계가 중요하다.

쉽게 이해하기

스탠퍼드대가 공개한 CS329A '자기개선 AI 에이전트' 강의 4회차는, 언어 모델을 채팅 상대가 아니라 실제 업무를 수행하는 주체로 만들려면 무엇이 필요한지에서 출발한다. 강사는 모델이 현실 세계의 환경과 도구, 코드와 상호작용하고 그 결과로부터 배워야 한다고 정리한 뒤, 대표적인 세 편의 논문을 차례로 뜯어본다.

첫 번째는 ReAct다. 사람은 목이 마르면 부엌으로 걸어가고, 물이 없으면 그때 다시 다음 행동을 생각한다. ReAct는 이 순환을 프롬프트 안에서 흉내 낸다. 모델에게 먼저 생각을 쓰게 하고, 그 생각을 프롬프트에 덧붙인 뒤 행동을 고르게 하는 식이다. 강사는 애플 리모컨이 원래 어떤 프로그램을 조작하려고 만들어졌는지 묻는 질문을 예로 들었다. 그냥 답하게 하거나 검색만 시키면 틀리지만, 생각과 검색을 번갈아 시키면 모델이 검색어를 스스로 바꿔가며 답에 도달한다.

다만 성적표는 단순하지 않았다. 사실 검증 과제에서는 ReAct가 사고의 사슬 방식을 앞섰지만, 여러 문서를 오가며 답하는 질의응답 과제에서는 항상 이기지는 못했다. 두 방식을 섞어 한쪽이 실패하면 다른 쪽으로 넘어가게 했을 때 비로소 기존 기법들을 확실히 넘어섰다. 쇼핑 과제에서도 ReAct는 모방학습 계열 기준선을 앞섰지만 66.6점으로, 82.1점인 사람 전문가와는 여전히 거리가 있었다.

두 번째 RLEF는 코딩 에이전트를 겨냥한다. 모델이 코드를 내놓으면 실제로 실행해 테스트를 돌리고, 실패하면 그 결과를 그대로 모델에게 돌려줘 다시 고치게 한다. 여기서 쓰는 테스트를 공개용과 비공개용으로 나눈 점이 핵심이다. 공개 테스트는 답을 다듬는 즉각 피드백으로만 쓰고, 보상은 숨겨둔 비공개 테스트로 매긴다. 이렇게 하면 모델이 테스트 출력을 통째로 외워버리는 지름길이 막힌다.

세 번째 컨스티튜셔널 AI는 사람 대신 모델이 피드백을 만든다. 사람이 하는 일은 16개 원칙을 적는 것까지다. 이후 모델이 자기 답변을 그 원칙에 비춰 비판하고 고쳐 쓰며, 그 흔적으로 학습한다. 강사는 지도학습 단계만 거치면 무해성은 올라가지만 유용성은 다소 떨어지고, 강화학습 단계에 사고의 사슬을 결합했을 때 두 지표의 균형이 가장 좋았다고 정리했다.

주요 인사이트

• ReAct가 제안된 시점과 지금은 상황이 다르다. 강사는 요즘 모델은 사고 모드를 켜면 이런 과정이 자동으로 일어난다고 말한다. 당시의 프롬프트 기법이 이제는 모델 안에 증류돼 들어간 셈이다.
• 행동을 '유효한 선택지 목록 중 하나 고르기'라는 분류 문제로 바꾸면 모델이 엉뚱한 행동을 지어내는 일이 줄어든다. 로봇처럼 행동이 실제 세계에 묶여 있는 영역에서는 이 방식이 사실상 필수다.
• 환경이 주는 피드백 자체가 틀릴 수도 있다. 수업 토론에서는 되돌아가기(백트래킹) 능력과 여러 번 반복해 신뢰도를 재는 장치가 대안으로 제시됐다. 잘못된 피드백은 에이전트를 반복 루프에 가둘 수 있기 때문이다.
• RLEF에서 반복이 거듭될수록 틀린 출력이 줄고 수정이 정확해진다. 여러 답을 뽑아 다양성을 확보하는 것과, 어디서 틀렸는지 보고 그 부분만 고치는 것이 함께 작동한 결과다.
• 모델이 자기 답을 스스로 비판하는 일이 늘 잘 되는 것은 아니다. 강사는 여러 모델의 합의를 쓰는 편이 나을 때가 있다고 짚었다. 모델이 자기가 모른다는 사실을 잘 모르기 때문이다.

자주 묻는 질문

관련 AI 소식