강화학습 호기심 보상의 함정과 에피소딕 큐리오시티, 도달 가능성으로 다시 정의한 새로움

핵심 메시지

• 예측 오차 기반 호기심은 화면이 크게 변하는 행동 자체를 보상해, 에이전트가 목표를 찾는 대신 벽 앞에서 레이저만 쏘는 '카우치 포테이토' 문제에 빠진다.
• 에피소딕 큐리오시티는 새로움을 '놀라움'이 아니라 '기억 속 장면에서 몇 번의 행동 만에 도달할 수 있는가'라는 도달 가능성으로 다시 정의한다.
• R 네트워크는 에이전트가 실제로 지나간 관측의 시간 순서만 보고 두 장면 사이의 거리를 학습하며, 좌표나 지도 정답을 지도 신호로 받지 않는다.
• 보상을 완전히 없앤 DMLab 실험에서 방문 면적 점수는 일반 PPO 191, 예측 오차 방식 72, 에피소딕 큐리오시티 475로 갈렸다.
• 다만 R 네트워크를 따로 학습해야 하고 에피소드가 끝나면 기억을 지우기 때문에, 장기 지식으로 쓰기 어렵다는 한계가 함께 보고됐다.

쉽게 이해하기

보상이 거의 주어지지 않는 3D 미로에서 에이전트를 움직이게 하려면 '호기심'을 보상으로 주는 방법이 흔히 쓰인다. 그런데 예측 오차를 호기심으로 삼은 ICM 에이전트는 출구를 찾는 대신 벽 앞에 서서 레이저를 계속 쏘는 행동을 보였다. 총을 쏠 때마다 다음 화면을 맞히기 어려워져 예측 오차가 커지고, 그 오차가 그대로 보너스가 되기 때문이다.

논문은 이를 큰 보상이 숨겨진 미로 안에 채널이 무작위로 바뀌는 TV를 놓아 둔 사고 실험으로 설명한다. 이미 모든 프로그램을 다 본 뒤에도 다음 화면은 여전히 예측하기 어려우므로, 에이전트는 미로를 탐험하는 대신 리모컨을 누르는 쉬운 행동으로 보너스를 반복해 챙길 수 있다. 저자들은 이 현상을 카우치 포테이토 문제라 부른다. 실제 DMLab에서는 TV 대신 발사 행동과 복잡한 벽 텍스처가 같은 역할을 했고, 발사 행동을 아예 빼도 화면 변화가 큰 벽에 달라붙는 경향이 남아 문제 행동 하나를 지우는 방식으로는 해결되지 않았다.

해법은 새로움의 정의를 바꾸는 것이었다. 현재 관측이 이번 에피소드의 기억 속 장면들로부터 몇 번의 행동 만에 닿을 수 있는지를 묻고, 가까우면 이미 탐험한 영역으로 본다. 레이저를 쏴서 바뀐 화면은 아무리 화려해도 직전 장면에서 행동 한 번 거리이므로 새로운 장소가 아니다. 반대로 비슷하게 생긴 복도가 반복되더라도 여러 번 이동해야 닿는 깊은 방은 새로운 장소로 인정된다.

실제 상태 그래프는 알 수 없으므로 신경망이 이 거리를 근사한다. R 네트워크는 두 프레임을 같은 ResNet-18 계열 가지에 통과시켜 각각 512차원 임베딩으로 만든 뒤, 비교기가 두 임베딩을 합쳐 가까운 상태일 확률을 내놓는 샴 구조다. 학습 데이터는 에이전트가 지나간 관측 시퀀스에서 만들어지는데, 시간 간격이 기준값 이하인 짝은 긍정 예시로, 충분히 떨어진 짝은 부정 예시로 쓴다. DMLab 주 설정에서 기준값은 다섯 번의 행동이었고, 이를 2에서 10까지 바꿔도 무보상 면적 점수가 378에서 475 사이로 유지돼 민감도가 크지 않았다.

에피소드가 시작되면 기억은 비어 있고, 매 스텝마다 현재 관측의 임베딩을 기억 속 모든 임베딩과 비교한다. 단일 최대값은 이상치에 흔들리기 때문에 도달 가능성 점수의 90퍼센타일을 사용했고, 기억 크기는 200으로 두었다. 기억에 쉽게 연결되는 항목이 많으면 보너스가 줄고, 가까운 기억이 없으면 보너스가 커지면서 현재 임베딩이 기억에 추가된다. 모든 프레임을 저장하지 않기 때문에 인접 장면만 쌓여 보너스가 곧바로 사라지는 문제도 피한다.

주요 인사이트

• 탐험이 잘 되는지를 최종 점수만으로 판정하면 안 된다는 점이 실험으로 드러났다. 논문은 ICM 에이전트의 주행 영상을 직접 확인해 탄약을 소모하는 발사 행동이 반복된다는 사실을 짚었고, 점수 차이의 원인을 행동 수준에서 설명했다.
• 보상을 완전히 제거한 조건에서 방문 면적은 일반 PPO 191, ICM 72, 오프라인 방식 475, 온라인 방식 470이었다. 발사 행동을 제거한 조건에서도 217, 87, 491로 순서가 유지돼, 특정 행동 하나가 만든 우연이 아니었다.
• 실제 좌표를 알고 방문 칸을 보상하는 그리드 오라클은 796과 795로 여전히 가장 높았다. 이는 일반 에이전트가 받을 수 없는 정보를 쓰는 참고선이므로 공정한 비교 대상이 아니라 성능 상한을 보여주는 눈금에 가깝다.
• 호기심 보너스가 항상 크다고 좋은 것은 아니었다. 보상이 충분한 태스크에서는 오히려 좌표 방문을 계속 보상하는 그리드 오라클이 지나치게 돌아다니다 좋은 오브젝트를 놓쳐 점수가 약간 낮아졌다.
• 비교기를 제거한 실험에서 무보상 면적이 48까지 떨어져 일반 PPO의 191보다도 낮았다. 도달 가능성 모델의 품질 자체가 성능을 좌우한다는 뜻이다.

자주 묻는 질문

관련 AI 소식