실내 훈련 효과 연구 정리: 강화학습 에이전트는 왜 노이즈 없는 환경에서 배울 때 더 잘 일반화되나

핵심 메시지

• 사람은 처음 보는 대상도 쉽게 알아보지만, 훈련 환경과 배치 환경이 다르면 인공지능은 성능이 떨어지는 일반화 격차를 겪는다.
• 연구진은 아타리 게임의 전이 함수에 잡음을 넣어 같은 게임의 여러 변형을 만들고, 어디서 훈련해야 유리한지를 비교했다.
• 훈련과 시험을 같은 환경에서 해야 최선이라는 오랜 통념과 달리, 잡음 없는 환경에서 훈련한 쪽이 잡음 있는 환경에서 더 좋은 성적을 냈다.
• 이 효과는 훈련과 시험에서 둘러보는 상태 공간이 같을 때만 성립하고, 다를 때는 시끄러운 환경에서 함께 훈련하고 시험하는 편이 낫다.
• 알고리즘을 바꾸지 않고 데이터, 즉 환경만 바꿔 성능을 올렸다는 점에서 무엇으로 학습시킬 것인가라는 질문을 남긴다.

쉽게 이해하기

연구는 인간 지능의 특징 하나에서 출발한다. 처음 보는 건물도 사람은 그것이 건물이라는 것을 곧바로 안다. 여러 건물을 본 경험에서 어렵지 않게 일반화하기 때문이다. 그런데 같은 일이 현대 인공지능에는 큰 난관이다. 강화학습에서는 보통 시뮬레이션 환경에서 에이전트를 훈련한 뒤 현실에 배치하는데, 이때 훈련 환경과 시험 환경이 다르면 성능이 떨어진다. 연구진은 이를 일반화 격차라고 부르며, 사람에게는 존재하지 않는 이 격차가 무엇 때문에 생기는지를 파고들었다.

실험 설계는 널리 쓰이는 아타리 게임 벤치마크를 변형하는 방식이었다. 예컨대 팩맨에서 전이 함수에 잡음을 넣어 여러 버전을 만든다. 한 버전에서는 유령이 주로 왼쪽으로 움직이고, 다른 버전에서는 왼쪽과 오른쪽으로 같은 확률로 움직인다. 두 게임이 다른 것은 이 전이 함수뿐이다. 이렇게 만든 여러 변형을 오가며 훈련과 시험을 조합해 보면, 어떤 환경에서 배우는 것이 어떤 환경에서 잘하게 만드는지를 분리해서 볼 수 있다.

오랫동안 사람들은 훈련과 시험을 같은 환경에서 하는 것이 최선이라고 생각해 왔다. 연구진은 이를 테니스 선수 비유로 뒤집는다. 시합을 준비하는 선수라면 바람 부는 야외보다 바람 없는 실내에서 기본기를 다지는 쪽을 택할 것이다. 실험 결과도 정확히 그랬다. 잡음이 없는 환경에서 훈련한 에이전트가 잡음 있는 환경에서 더 좋은 성적을 냈고, 같은 경향이 팩맨의 여러 변형은 물론 퐁과 브레이크아웃 같은 다른 게임에서도 관찰됐다.

다만 예외가 있다. 훈련 환경과 시험 환경에서 에이전트가 둘러보는 상태 공간이 다르면 이 효과는 나타나지 않는다. 설명도 같은 비유로 이어진다. 선수가 시합에서 이기려면 포핸드와 백핸드를 모두 연습해야 하는데, 실내에서 포핸드만 연습했다면 차라리 바람 부는 야외에서 백핸드를 익히는 편이 나았을 것이다. 결국 둘러보는 상태 공간이 같을 때는 조용한 환경에서 배우고 시끄러운 환경에서 시험하는 것이 낫고, 다를 때는 시끄러운 환경에서 함께 훈련하고 시험하는 편이 낫다는 정리다.

연구진이 강조하는 의의는 방법론 쪽에 있다. 지난 수십 년간 강화학습 연구는 표준화된 아타리 벤치마크 위에서 알고리즘을 개선하고 새로운 훈련 방식을 내놓는 방향으로 진전해 왔다. 그런데 이번 결과는 알고리즘을 전혀 바꾸지 않고 데이터, 즉 환경 자체를 바꿔서 얻은 것이다. 그래서 이 연구는 무엇으로 학습시켜야 하는가라는 질문을 인공지능 전반에 던진다. 다만 그런 좋은 환경을 어떻게 설계할지에 대한 방법은 아직 없다는 점을 연구진 스스로 한계로 남겨 둔다.

주요 인사이트

• 일반화 격차가 사람에게는 없고 기계에만 있다는 대비를 문제 정의의 출발점으로 삼은 점이 이 연구의 성격을 잘 보여 준다. 벤치마크 점수가 아니라 적응 능력을 목표로 놓았다는 뜻이다.
• 잡음을 정책이나 보상이 아니라 전이 함수에 넣었다는 설계가 핵심이다. 환경이 어떻게 변하는지를 바꿔야 훈련과 배치 사이의 현실적인 차이를 흉내 낼 수 있기 때문이다.
• 조건이 붙는 결과라는 점이 중요하다. 상태 공간이 겹치는지 여부에 따라 결론이 뒤집히므로, 잡음 없는 환경이 항상 좋다는 식으로 단순화하면 오히려 손해를 볼 수 있다.
• 알고리즘 개선에 몰려 있던 노력의 일부를 환경 설계로 돌릴 수 있다는 제안은, 데이터 품질이 모델 구조만큼 성능을 좌우한다는 최근 흐름과 같은 방향을 가리킨다.
• 연구가 남긴 진짜 과제는 결과가 아니라 다음 단계다. 좋은 훈련 환경을 알아보는 것과 그런 환경을 설계해 내는 것은 다른 문제이고, 후자는 아직 열려 있다.

자주 묻는 질문

관련 AI 소식