앨리슨 고프닉 강연: 아이의 능동적 탐색과 임파워먼트 보상으로 다시 본 인과 학습의 원리

핵심 메시지

• 세 살 아이도 통제된 실험에서는 어른 못지않게 인과 구조를 추론하지만, 아이들이 정말 원하는 것은 직접 기계를 만져보는 것이었다.
• 베이지안 인과 추론은 이론적으로 강력해도 가설 공간 탐색이 감당하기 어려워, 능동적 탐색을 설명할 형식적 틀이 부족했다.
• 임파워먼트는 내 행동과 그 결과 사이의 상호정보를 최대화하는 보상으로, 새로움만 좇다 잡음에 빠지는 실패를 피하게 해준다.
• 실험에서 임파워먼트를 좇으며 탐색한 참가자일수록 이후 인과 질문에 더 잘 답했고, 처음 보는 환경에서도 성공률이 높았다.
• 대규모 모델은 이미 알려진 인과 관계는 잘 말하지만 새로운 인과 구조를 스스로 알아내는 데는 약하다는 점이 반복해서 확인됐다.

쉽게 이해하기

UC 버클리 EMBER 세미나에서 심리학자 앨리슨 고프닉은 대규모 데이터셋에 의존하지 않는 지능을 어떻게 만들 것인가라는 질문에 발달심리학의 답을 내놓았다. 출발점은 어른의 마음이 아니라 아이의 마음을 흉내 내는 편이 낫다는 앨런 튜링의 오래된 제안이다. 아이가 가장 잘하는 일 가운데 하나가 세상의 인과 구조를 알아내는 것이고, 이는 과학 지식의 토대이기도 하다.

고프닉 연구진은 특정 블록을 올리면 불이 켜지고 음악이 나오는 상자를 이용해, 통계적 패턴만 보여준 뒤 아이가 올바른 구조를 추론하는지 확인해 왔다. 지난 20년간의 결과는 세 살, 네 살 아이도 어려운 인과 문제를 규범적 계산 이론이 예측하는 방식에 가깝게 푼다는 것이었다. 반면 대규모 언어모델은 유리컵을 떨어뜨리면 깨진다처럼 이미 텍스트에 담긴 인과는 잘 말하지만, 아무도 본 적 없는 데이터에서 새 인과 구조를 끌어내는 일에는 약하다고 그는 정리했다.

그렇다면 베이지안 추론으로 대체하면 될 것 같지만 여기에는 탐색 문제가 있다. 가설이 주어졌을 때 데이터를 예측하기는 쉬워도, 데이터로부터 거대한 가설 공간을 뒤지는 일은 실질적으로 감당하기 어렵다. 고프닉은 20년이 지나도 이 문제에 좋은 해법이 없다고 말하면서, 정작 아이들은 실험자가 데이터를 흘려보내 주기를 기다리지 않고 직접 기계를 만지려 했다는 관찰이 힌트였다고 회고한다.

이 지점에서 강화학습의 임파워먼트 개념이 등장한다. 새로움이나 정보 획득만을 내재적 보상으로 삼으면 잡음 화면 앞에서 끝없이 새 정보를 얻는 실패에 빠지지만, 임파워먼트는 내 행동과 결과 사이의 상호정보를 최대화하도록 방향을 잡는다. 통제 가능성과 변동성을 함께 요구하기 때문에 탐색이 구조를 향하게 되고, 원인을 흔들면 결과가 흔들리는 관계를 찾는 일이 곧 인과 지식을 얻는 일이 된다는 것이 그의 논지다.

실증도 함께 제시됐다. 통제 가능성과 변동성이 서로 다른 세 기계를 놓고 새로운 과제를 주면 아이와 어른 모두 임파워먼트가 큰 기계를 선택했고, 자유 탐색 뒤 인과 질문에 답하게 한 실험에서는 탐색이 임파워먼트를 좇을수록 정답률이 높았다. 도구 사용이 필요한 2차원 물리 환경에서도 같은 경향이 나타났으며, 다른 아이의 탐색을 지켜보기만 한 조건에서도 그 아이가 임파워먼트를 좇았을 때 관찰자의 성적이 더 좋았다. 반면 로보틱스용 대형 모델은 어떤 문제는 즉시 풀고 어떤 문제는 시도를 늘려도 끝내 풀지 못하는 양상을 보였다.

주요 인사이트

• 임파워먼트를 인과와 연결한 논리가 명쾌하다. 개입해서 원인을 바꾸면 결과가 바뀐다는 것이 인과의 정의라면, 행동과 결과의 연결을 최대화하는 일은 곧 인과 관계를 찾는 일이 된다.
• 새로움이나 정보 획득 기반의 내재적 보상이 겪는 잡음 화면 문제를, 관심의 대상을 임의의 사건이 아니라 행동과 그 결과로 좁혀 해결한다는 점이 설계상의 핵심이다.
• 생후 3개월 아기의 다리를 모빌에 실로 연결한 고전 실험이 근거로 인용됐다. 아기는 모빌이 움직이는 것 자체보다 자기 행동과 결과의 연결을 확인하는 데 반응했고, 그 과정에서 웃음을 보였다.
• 고프닉은 현재의 인공지능 시스템이 가설을 놓고 데이터를 기다리거나, 행동은 하되 모델을 만들지는 않는 두 형태로 나뉜다고 봤다. 아이처럼 모델을 만들면서 동시에 실험으로 데이터를 모으고 다시 모델을 고치는 순환이 빠져 있다는 지적이다.
• 그는 임파워먼트에서 인과 그래프나 세계 모델로 넘어가는 형식적 방법이 아직 없다는 점을 공개적인 숙제로 남기고, 계산 분야 연구자들에게 이 연결을 수학적으로 풀어달라고 요청하며 강연을 마쳤다. AI 조수의 정렬 문제도 사용자를 지시대로 따르게 하는 대신 사용자가 더 넓은 범위의 결과를 만들 수 있게 하는 방향으로 다시 볼 수 있다고 덧붙였다.

자주 묻는 질문

관련 AI 소식