베이비AGI 개발자의 액티브그래프, 로그 중심 AI 에이전트 설계와 통제된 자기개선 실험

핵심 메시지

• 2023년 베이비AGI로 화제를 모았던 요헤이 나카지마가 3년간 아홉 번의 반복 끝에 '액티브그래프'라는 이벤트 소싱 기반 에이전트 런타임을 내놓았다.
• 대부분의 에이전트가 LLM을 중심에 두고 도구·메모리·로그를 붙이는 반면, 액티브그래프는 변경 불가능한 이벤트 로그를 중심에 두고 그 로그가 에이전트의 상태 그래프를 만들어낸다.
• LLM끼리 직접 대화하지 않고 모두 공유 상태를 통해 소통하며, 그래프 변화에 반응해 이벤트를 내보내는 '행동(behavior)' 단위로 조립된다.
• 정책(policy)으로 어떤 변경에 사람 승인이나 검증이 필요한지 규정할 수 있어, 에이전트의 자기 수정을 통제된 방식으로 허용한다.
• 긴 작업이 중간에 끊겨도 처음부터 다시 돌릴 필요가 없고, 무엇이 통했는지뿐 아니라 무엇이 실패했는지까지 기록으로 남는다는 점이 실제 사용에서 가장 큰 차이였다.

쉽게 이해하기

요헤이 나카지마는 2023년 3월 베이비AGI를 공개하며 자율 에이전트 열풍의 한복판에 섰던 인물이다. 그는 이 발표에서 당시를 솔직하게 회고한다. 언론이 앞다퉈 다뤘고 사람들은 곧 작동하리라 기대했지만 실제로는 전혀 작동하지 않았다는 것이다. 그 뒤 3년 동안 조용히 아홉 차례 반복 실험을 이어갔고, 그 과정에서 계속 그래프로 되돌아왔다고 말한다.

그렇게 나온 결과물이 액티브그래프다. 오늘날 대부분의 개발자는 LLM에서 출발해 응답 API를 붙이고 도구를 주고 메모리를 얹은 뒤 로그를 잘 남기려 애쓴다. 액티브그래프는 질문을 뒤집는다. 만약 로그를 중심으로 만든다면 어떻게 될까? 여기서 로그는 에이전트가 한 일뿐 아니라 에이전트 자체가 어떻게 바뀌어 왔는지까지 담는다. 지금 쓰는 에이전트는 1년 전과 다르고 1년 뒤와도 다를 텐데, 보통 이 두 가지는 서로 다른 곳에 기록된다는 것이 그의 문제의식이다.

구조는 이렇다. 변경 불가능한 이벤트 로그가 유일한 진실이고, 이 로그를 투영하면 에이전트의 현재 상태인 그래프가 된다. 그 위에 '행동'을 붙인다. 행동은 그래프 변화에 반응해 이벤트를 발생시키고, 그 이벤트가 다시 상태를 바꾸며 또 다른 행동을 깨운다. 예를 들어 목표가 생기면 계획 담당 행동이 두 개의 작업 객체와 그 사이의 관계를 추가하고, 조사 작업이 끝나면 관계에 붙은 행동이 메모 작성을 잠금 해제하는 식이다. 컨텍스트 관리도 그래프 질의로 필요한 부분만 잘라내는 방식으로 처리된다.

정책은 이 구조의 안전장치다. 조사 과정에서 찾은 출처를 추가하는 것은 그냥 허용해도, 프롬프트를 고치는 변경에는 사람이 개입하게 하거나, 사실을 바꾸는 변경에는 모순되는 사실이 없는지 검사하도록 규정할 수 있다. 이런 객체 스키마와 도구, 행동, 정책을 묶은 것이 '팩'이며, 메모리 팩·도구 팩·정체성 팩처럼 갈아 끼우는 방식으로 에이전트를 조립한다.

그는 이 설계가 1970~80년대의 칠판(blackboard) 아키텍처나 카프카에서 영감을 받았다고 밝힌다. 과거에는 이런 구조를 사람이 직접 짜기가 너무 비직관적이었고 작업자들도 단순했지만, 이제는 AI가 코드를 쓰고 각 작업자가 추론 능력을 갖는다. 흥미롭게도 그는 자신이라면 액티브그래프로 직접 코드를 쓰지 않겠지만 AI는 오히려 이 방식을 잘 다룬다고 말한다. 분산 작업자와 공유 상태에 대한 수십 년치 논의가 학습 데이터에 쌓여 있는 반면, LLM 에이전트 설계에 관한 데이터는 3년치밖에 없다는 것이 그의 가설이다.

주요 인사이트

• 가장 인상적인 사례는 사고에서 나왔다. 500문항 평가를 돌리다 350번째 문항에서 API 키가 소진됐는데, 키를 교체하자 한 단계만 되감고 353번부터 이어서 실행됐다. 긴 에이전트 작업을 처음부터 다시 돌리던 기존 경험과 결정적으로 달라진 지점이다.
• 로그 자체를 메모리로 쓰는 실험도 통했다. 별도의 사실 추출이나 개체 추출 없이 질의를 임베딩해 관련 메시지와 그 앞뒤 몇 개를 가져오는 단순한 방식만으로 장기기억 벤치마크에서 쓸 만한 점수가 나왔다.
• 자기개선은 '제안 후 검증' 형태로 통제했다. 에이전트가 스스로를 분기해 변경을 제안하고, 정적 검사와 샌드박스 검사를 거쳐 실제로 점수가 올라갔을 때만 채택했다. 8~13회 반복에서 실제 채택은 4~5건에 그쳤지만 유의미한 개선이 나왔다.
• 디버깅 습관도 바뀌었다. 코딩 에이전트가 세션 로그 대신 액티브그래프 데이터베이스를 직접 조회하기 시작했는데, 모든 것이 정형화된 타입으로 이미 기록돼 있기 때문이었다.
• 그는 장기 실행 에이전트에 예측형 세계 모델뿐 아니라 '경험형 세계 모델'이 필요하다는 가설을 내놓는다. 모델이 좋아지면 하네스가 사라진다는 견해에 반대하며, 사람의 정체성이 추론 능력이 아니라 경험에서 나오듯 에이전트의 정체성도 자신의 로그에서 나온다고 본다.

자주 묻는 질문

관련 AI 소식