희귀 사건 시뮬레이션 난제, 확률적 최적제어로 푼다 - 마이크로소프트 리서치 세미나

핵심 메시지

• 단백질 접힘, 상전이, 화학 반응 같은 희귀 사건은 시뮬레이션 한 걸음(펨토초)과 사건 시간 규모(마이크로초~초) 사이의 격차 탓에 무작정 돌려서는 거의 관측되지 않는다.
• 전이 경로 이론의 핵심 대상인 커미터 함수는 현재 상태에서 반응물보다 생성물에 먼저 도달할 확률을 뜻하며, 반응 속도와 평형 상수 같은 통계량을 대부분 담고 있다.
• 커미터를 잘 배우려면 전이 영역 표본이 필요하고 그 표본을 얻으려면 커미터가 필요한 닭과 달걀 문제가 이 분야의 오랜 걸림돌이었다.
• 연구진은 커미터의 로그 기울기가 곧 최적 제어라는 점을 이용해, 학습한 커미터로 궤적을 전이 영역으로 몰아가는 되먹임 고리를 만들었다.
• 두 손실 중 오프폴리시 방식의 '가치 매칭'이 1차 최적성 보장을 갖추고 있으며, 어려운 벤치마크에서도 정확한 반응 속도 추정을 유지했다.

쉽게 이해하기

마이크로소프트 리서치 뉴잉글랜드의 위안치 두(Yuanqi Du)와 카를레스 도밍고엔리치(Carles Domingo-Enrich)가 발표한 이 세미나는, 물리·화학·생물 시스템에서 '좀처럼 일어나지 않지만 결정적인' 사건을 어떻게 계산할 것인가를 다룬다. 시스템이 오래 머무는 준안정 상태보다 그 사이를 건너뛰는 전이가 훨씬 흥미롭지만, 높은 에너지 장벽 탓에 확률이 지수적으로 작다는 것이 문제의 출발점이다. 규모의 격차도 극적이어서, 분자 동역학 시뮬레이션의 한 걸음은 대략 10의 마이너스 15승 초인데 관심 있는 전이는 마이크로초에서 초 단위에서 일어난다. 관측 한 번에 10의 9승에서 15승 걸음이 필요하고 통계를 내려면 그것을 다시 여러 번 반복해야 하므로, 무편향 시뮬레이션을 오래 돌리는 접근은 현실적으로 불가능하다.

그래서 발표는 전이 경로 이론과 커미터 함수로 넘어간다. 커미터는 어떤 배치에서 출발했을 때 두 준안정 상태 중 어느 쪽에 먼저 닿을지에 대한 조건부 확률로, 값이 0.5가 되는 등위면이 전이 상태에 해당한다. 이 함수는 마르코프 성질에서 나오는 자기 일관 관계를 만족하고 콜모고로프 후방 방정식의 해가 되며, 반응 밀도와 자유 에너지 차이, 반응 속도 상수까지 여기서 유도된다.

문제는 학습이다. 기존의 변분 원리는 이차 목적함수라 다루기 쉽지만 가역성 가정을 요구하고, 평형 표본만 쓰기 때문에 정작 값이 가장 급격히 변하는 전이 영역을 제대로 배우지 못한다. 편향 퍼텐셜을 넣는 방법은 자기정규화 중요도 표집이 도입하는 편향이 커서 속도 상수 추정이 어긋나고, 상태마다 궤적을 여러 번 굴리는 방식은 애초에 전이 영역으로 가 주지를 않는다.

연구진의 제안은 로그 변환으로 후방 방정식을 해밀턴-야코비-벨만 방정식으로 바꾸어, 커미터 추정을 확률적 최적제어 문제로 재해석하는 것이다. 이렇게 하면 최적 제어가 커미터 로그의 기울기에 비례하므로, 지금까지 배운 커미터가 곧 다음 표본을 전이 영역으로 끌고 가는 힘이 되어 표집과 학습이 하나의 고리로 묶인다.

실제 구현에서는 몇 가지 장치가 더 붙는다. 도달 시간이 지나치게 길어질 수 있어 유한한 지평에서 잘라 현재 가치 추정으로 부트스트랩하고, 로그가 발산하지 않도록 커미터의 경계값을 0과 1 대신 안쪽으로 살짝 좁힌다. 중간 골짜기에 갇히는 준안정성은 확산 모델에서 빌려 온 잡음 재척도로 완화하는데, 잡음을 줄이는 대신 드리프트에 보정을 더해 궤적의 주변 분포를 보존한다.

주요 인사이트

• 이 연구의 재해석은 강화학습의 어휘를 거의 그대로 빌려 온다. 발표자들은 음의 로그 커미터가 가치 함수에 대응하고, 몬테카를로 롤아웃으로 가치를 맞추는 기존 방식이 곧 강화학습의 값 추정과 같은 구조임을 지적한다.
• 직접 역전파 손실은 구현이 간단하지만 도달 시간에 대해 미분할 수 없어 기울기가 편향된다. 질의응답에서 발표자는 정지 시간이 연속이지만 미분 가능하지 않다는 점을 우회할 방법이 없다고 답했다.
• 가치 매칭이 오프폴리시라는 점은 실용적으로 중요하다. 어떤 드리프트와 어떤 잡음 크기로 표본을 뽑아도 손실을 평가할 수 있어, 잡음을 낮춘 표집과 학습을 자유롭게 조합할 수 있다.
• 잡음 재척도는 사실상 에너지 장벽을 낮추는 담금질에 가깝다. 다만 잡음을 0까지 낮추면 궤적이 직선이 되어 에너지가 발산하므로 무한정 낮출 수는 없다.
• 기존 수치해법 상당수가 전제하던 세부 균형 조건을 이 틀은 어디에서도 가정하지 않는다. 덕분에 비평형 정상 상태나 주기적으로 구동되는 계처럼 기존 방법이 다루기 어려웠던 문제까지 범위를 넓힌다.

자주 묻는 질문

관련 AI 소식