언어모델의 인과추론 능력과 다중 에이전트 실험: 상관·인과 구분부터 공유자원 붕괴까지

핵심 메시지

• 인과추론은 흡연과 암의 관계를 밝히던 도구였고, 같은 방법을 언어모델에 돌려 어떤 뉴런과 회로가 특정 행동을 만들어 내는지 묻는 데 쓸 수 있다.
• 해석가능성 연구에서 인과 기법은 뉴런 값을 직접 개입해 바꾸는 방식, 두 상태를 비교하는 매개 분석, 뉴런 묶음을 기능 단위에 대응시키는 인과 추상화의 세 층위로 나뉜다.
• 상관관계 정보를 주고 무엇이 인과인지 판별하게 한 실험에서, 최신 모델을 포함한 언어모델들의 성적은 무작위보다 근소하게 나은 수준에 그쳤다.
• 안전 문제는 행동의 결과를 아는 단계와 그 결과의 가치를 판단하는 단계로 나뉘며, 앞 단계가 곧 인과추론의 영역이다.
• 다중 에이전트 시뮬레이션에서 상당수 모델이 공유 자원을 초반에 고갈시켜 생존율 0을 기록했고, 안전 조정을 거쳤다는 모델들도 예외가 아니었다.

쉽게 이해하기

AI 정렬 워크숍 현장에서 진행된 짧은 인터뷰로, 자연어처리와 인과추론을 함께 연구해 온 지징 진이 출연한다. 그는 유럽에서 박사 과정을 마치고 토론토대학 전산학과 조교수로 부임할 예정이라고 소개된다. 대화는 두 분야가 왜 만나야 하는지에서 시작해 다중 에이전트 실험으로 이어진다.

그는 인과추론이 원래 자연과 인간을 이해하기 위한 도구였다고 설명한다. 지난 세기의 대표적 질문이 “흡연이 정말 암을 일으키는가”였고, 사람에게 강제로 담배를 피우게 하지 않고도 인과적 결론을 끌어내는 통계적 방법이 발전했다. 같은 도구를 언어모델로 옮기면 모델의 행동이 무엇 때문에 나타나는지를 물을 수 있게 된다.

다만 결정론적인 신경망에 인과 기법을 적용하는 것은 간단하지 않다. 그는 신경과학과의 유비를 든다. 과제를 수행할 때 어떤 뉴런이 활성화되는지 관찰하는 것은 상관이고, 뇌 손상 환자에게서 특정 영역이 사라졌을 때 무슨 일이 일어나는지 보는 것이 인과다. 언어모델은 사람과 달리 원하는 지점에 직접 개입할 수 있어, 뉴런 값을 바꾸거나 두 상태를 대조하거나 뉴런 묶음을 기능에 대응시키는 방식으로 접근한다.

두 번째 축은 모델이 자기 행동의 결과를 아는가라는 질문이다. 관측 데이터는 넘쳐나지만 의사결정에 필요한 것은 개입의 결과이며, 사람도 겪어 보지 못한 대안 세계를 두고 무엇이 원인인지 따져 결정을 내린다. 그는 안전 연구가 결과를 아는 단계와 그 결과가 사회에 무엇을 뜻하는지 판단하는 단계의 결합이라고 정리한다.

실제 측정 결과는 좋지 않았다. 여러 상관관계를 문장으로 제시하고 어느 것이 인과인지 가려내게 한 실험에서, 최신 모델들도 무작위 추측보다 조금 나은 수준이었다. 문헌에 적힌 답을 떠올리는 문제가 아니라 주어진 정보로 처음부터 추론을 쌓아야 하는 문제였기 때문이다.

주요 인사이트

• “흡연이 암을 일으키는가”처럼 이미 문헌에 답이 있는 질문과, 낯선 상관 정보만으로 인과 구조를 세우는 문제는 성격이 다르다. 후자에서 모델이 약하다는 점은 벤치마크 설계에 시사하는 바가 크다.
• 인과 추상화 연구는 뉴런 단위 해석을 넘어 계산 그래프 수준의 이해를 목표로 한다. 가설을 먼저 세우고 뉴런을 대응시키는 하향식 접근과, 고차원 뉴런 공간을 저차원으로 사상하는 상향식 접근이 함께 발전하는 중이다.
• 모델이 정말 약한 지점은 “중요한 요인 다섯 가지”처럼 목록으로 답할 수 있는 문제가 아니라, 지저분한 현실에서 무엇이 잘못됐는지 진단하고 고치는 작업일 가능성이 크다.
• 다중 에이전트 연구는 단일 에이전트 평가로는 드러나지 않는 현상을 보기 위한 것이다. 협력뿐 아니라 서로를 속이는 양상까지 관찰할 수 있고, 정책을 미리 시험해 보는 실험장으로도 쓰일 수 있다.
• 공유지의 비극 실험에서 행동·토론·성찰 세 단계를 반복하게 했음에도 다수 모델이 자원을 조기에 소진했다는 결과는, 안전 조정이 곧 집단적 자제로 이어지지는 않는다는 점을 보여 준다.

자주 묻는 질문

관련 AI 소식