LLM 에이전트 평가 입문: 스캐폴딩 설계와 엘리시테이션, 반복되는 실패 모드까지 정리

핵심 메시지

• LLM 에이전트는 본질적으로 모델 API 호출과 환경을 이어주는 스캐폴딩 프로그램 사이의 반복 루프다.
• 위험 능력 평가는 객관식 문항이 아니라 에이전트 환경에서 이뤄져야 한다. 맥락과 도구가 주어지면 모델이 할 수 있는 일의 범위가 달라지기 때문이다.
• 평가 작업의 상당 부분은 모델의 최대 성능을 끌어내는 일, 즉 엘리시테이션이다. 정보를 어떻게 제시하느냐에 따라 같은 모델의 성적이 크게 달라진다.
• 현재 정렬 기법은 대부분 대화 맥락을 가정하지만 우리가 걱정하는 위협은 에이전트 맥락에서 일어난다. 일반화가 되긴 하되 기대보다 약하다는 것이 강사의 관찰이다.
• 에이전트는 같은 자리를 맴돌고, 긴 정보의 처음과 끝만 보고, 도구가 주어지면 생각을 건너뛰는 식으로 반복해서 실패한다.

쉽게 이해하기

AI 안전 교육 프로그램 ARENA의 3주차 강의는 LLM 에이전트를 만들고 평가하는 방법을 다룬다. 강사는 에이전트를 거창하게 정의하지 않는다. 모델 API 호출과 스캐폴딩 프로그램 사이를 도는 반복문에 가깝다는 것이다. 스캐폴딩은 환경의 상태를 모델이 이해할 수 있는 형태로 정리해 넣어주고, 모델이 내놓은 행동을 다시 환경에 반영하는 역할을 한다.

왜 객관식 데이터셋 대신 이런 환경을 만드는지에 대한 설명이 이어진다. 첫째는 위험 능력 평가다. 모델에게 상황과 목표에 대한 훨씬 풍부한 맥락을 주면, 단순 질의응답에서는 보이지 않던 수준의 일을 해낼 수 있다. 둘째는 정렬 기법의 일반화 문제다. 사람 피드백을 이용한 정렬은 대체로 대화 맥락에서 이뤄지는데, 정작 우리가 걱정하는 위협 모델은 모델이 자율적으로 행동하는 상황이다. 강사는 실제로 압박을 받는 상황에 놓이면 모델이 '그런 행동을 하겠느냐'는 질문에 답할 때보다 훨씬 자주 나쁜 선택을 한다고 말한다.

강의의 실습 과제는 위키피디아 게임이다. 무작위 문서에서 출발해 링크만 눌러 목표 문서에 도달하는 놀이인데, 전부 텍스트 탐색이라 모델에게 붙이기 좋고 난이도를 자유롭게 조절할 수 있다. 사이드바나 각주 링크를 막는 식으로 조건을 바꿔가며, 개선 방법이 실제로 성능을 올렸는지 빠르게 확인할 수 있다는 것이 선택 이유다. 강사는 이 과제가 정렬과 직접 관련은 없고 능력 평가 연습에 가깝다고 분명히 밝힌다.

핵심 개념인 엘리시테이션은 모델에서 뽑아낼 수 있는 최고 성능을 끌어내려는 시도를 뜻한다. 도구를 더 주고, 프롬프트를 다듬고, 먼저 생각한 뒤 행동하게 하는 틀을 쓰는 식이다. 강사가 드는 대표 사례는 사고연쇄다. 누구나 떠올릴 법한 단순한 방법인데도 GPT-3 공개 후 1년 반이 지나서야 널리 알려졌고, 그만큼 성능을 크게 끌어올렸다. 아직 발견되지 않은 비슷한 방법이 남아 있다면 기존 위험 평가가 한꺼번에 무의미해질 수 있다는 것이 그가 걱정하는 지점이다.

실습에서 마주치게 될 실패 모드도 미리 정리해 준다. 두 문서 사이를 오가며 같은 행동을 반복하거나, 이미 얻은 정보를 주는 도구를 계속 호출하며 결정을 미루는 식이다. 긴 목록을 주면 앞과 뒤만 보고 가운데를 무시하는 경향도 있다. 도구가 주어지면 생각하라고 지시해도 곧장 도구부터 쓰는 습관, 조금 막히면 사람에게 도움을 요청해 버리는 습관도 자주 나타난다.

주요 인사이트

• 강사는 개선 방법을 '일반적 엘리시테이션'과 '과제 특화 엘리시테이션'으로 나눈다. 위키피디아 링크 전체 그래프를 넘겨주는 것은 그 과제에서만 통하지만, 도구 없이 먼저 생각하게 한 뒤 그 결과로 도구를 쓰게 하는 설계는 여러 과제로 옮겨간다. 우려의 대상은 후자다.
• 스캐폴딩을 잘 만드는 것이 곧 능력 측정이라는 점도 강조된다. 화면을 통째로 찍어 보여주고 무엇을 할지 묻는 순진한 방식과, 환경을 격자로 쪼개고 이동 보조 도구를 붙여주는 방식은 같은 모델에서도 전혀 다른 결과를 낸다.
• 그렇다면 '충분히 노력했다'는 것을 어떻게 보장하느냐는 질문에 강사는 열린 문제라고 답한다. 한 가지 기준은 비용이다. 같은 과제를 사람 열 명에게 맡겼을 때 드는 비용만큼 써서도 모델이 해내지 못한다면, 그 일을 모델에게 시키는 것은 경제적이지 않다는 식의 접근이다.
• 맥락이 너무 길어 모델이 압도되는 문제에는 하위 에이전트를 쓰는 방법이 언급된다. 다른 맥락 없이 지금 필요한 부분만 넘겨주면 그 부분을 더 잘 처리한다는 것이다.
• 강사는 자신감 없이 사람 개입을 요청하는 행동이 최신 추론 모델에서는 줄었다고 관찰한다. 다만 그 대신 확신에 차서 틀리는 경향이 생겼다고 덧붙인다.

자주 묻는 질문

관련 AI 소식