MIT 6.S191 AI for Science 강연 정리: 딥러닝 에뮬레이터가 과학 시뮬레이션을 수천 배 앞당기는 법

핵심 메시지

• 물리와 화학의 방정식은 이미 알려져 있지만 푸는 비용이 너무 커서 쓸 수 없다는 것이 100년 된 문제다.
• AI 에뮬레이터는 시뮬레이터를 여러 번 돌려 만든 합성 데이터로 신경망을 학습시켜, 같은 답을 보통 수천 배 빠르게 내놓는 방식이다.
• 과학은 데이터가 비싼 대신 방정식이라는 풍부한 사전지식을 가지고 있어, 그 지식을 데이터로 바꿔 넣는 것이 '쓴 교훈'과 타협하는 방법이다.
• 마이크로소프트 AI for Science 팀은 밀도범함수이론의 교환-상관 범함수를 기계학습으로 배운 Skala를 공개했고, 원자화 에너지에서 화학 정확도에 도달했다고 밝혔다.
• 단백질을 덩어리 단위로 묶어 힘을 계산하는 에뮬레이터로 약 1만 원자 규모 단백질의 분자동역학까지 다룰 수 있게 됐다.

쉽게 이해하기

마이크로소프트 테크니컬 펠로이자 AI for Science 팀을 만든 크리스 비숍은 MIT 딥러닝 입문 강의 6.S191의 첫 초청 강연을 이렇게 시작했다. 과학이 밝혀낸 가장 놀라운 사실은 우리 세계가 수학으로, 그것도 아주 단순한 수학으로 기술된다는 점이라는 것이다. 이론으로 계산한 전자의 자기 모멘트와 실험값은 유효숫자 13자리까지 일치한다. 그런데 이 방정식들은 적어 두기는 쉬워도 푸는 것이 극도로 어렵다는 것이 폴 디랙이 거의 100년 전에 지적한 역설이다.

비숍은 과학의 발견 과정을 가설과 실험이 오가는 순환으로 그린 뒤, 1960년대 디지털 컴퓨터가 등장하며 실험 대신 시뮬레이션이라는 두 번째 경로가 생겼다고 설명한다. 그리고 지금 세 번째 경로로 등장한 것이 AI 에뮬레이터다. 먼저 방정식을 푸는 기존 시뮬레이터를 아주 많이 돌려 데이터를 만들고, 그 합성 데이터로 신경망을 학습시키면, 반복 수치 계산 없이 한 번의 순전파로 같은 답을 내놓는 모델이 된다. 한 번 쓰고 말 것이라면 손해지만 수천에서 수백만 번 쓸 것이라면 데이터 생성과 학습 비용이 상각된다.

이 설계에는 두 가지 원칙이 깔려 있다. 하나는 데이터만으로는 배울 수 없고 반드시 어떤 가정과 결합해야 한다는 '공짜 점심은 없다' 정리인데, 대규모 언어모델이 인터넷 규모 데이터를 쓰는 대신 귀납 편향이 가벼운 것과 달리 과학은 정반대의 처지다. 단백질 하나의 구조를 알아내는 데 학생이 1년을 쓰기도 할 만큼 데이터가 비싼 대신, 방정식과 불변성·등변성, 보존 법칙 같은 사전지식이 풍부하다. 다른 하나는 리치 서튼의 '쓴 교훈'으로, 사람이 사전지식을 정교하게 심어 넣은 모델은 결국 데이터를 더 많이 가진 쪽에 진다는 경고다. 방정식으로 데이터를 만들어내는 접근은 사전지식을 구조가 아니라 데이터의 형태로 주입해 이 둘을 화해시킨다.

합성 데이터에는 실용적인 장점이 많다. 라벨이 완벽하고 개인정보 문제가 없으며, 프런티어 모델 학습에 쓰는 초고가 GPU 클러스터가 아니라 단일 GPU나 CPU, 회사 곳곳의 유휴 자원으로도 계속 만들 수 있다. 가장 중요한 결과는 속도로, 비숍은 대체로 세 자릿수, 즉 수천 배의 가속을 경험 법칙으로 제시했다. 대표 사례가 날씨인데, 여러 시뮬레이터의 서로 다른 해상도와 시간 규모 데이터를 함께 학습시켜 지구 시스템의 파운데이션 모델을 만들고 이를 미세조정하면 관측 센서가 훨씬 성긴 대기 오염 물질의 이동까지 최고 수준으로 예측할 수 있다.

강연의 후반부는 분자와 생물 스케일로 향한다. 결정 구조를 만드는 확산 모델은 알려진 안정 결정에 잡음을 넣었다 되돌리는 방식으로 학습해 원하는 성질을 조건으로 건 새 결정을 생성하는데, 약물 유사 소분자의 공간만 해도 10의 60제곱 규모여서 이렇게 탐색 영역을 좁힌 뒤 다시 에뮬레이터로 선별하는 전략이 필요하다. 목표 기준선은 계산이 실험을 대신할 수 있는 수준인 화학 정확도, 약 1킬로칼로리/몰이다. 팀이 3년 넘게 매달린 결과가 밀도범함수이론의 마지막 난제인 교환-상관 범함수를 기계학습으로 배운 Skala로, 전자 밀도를 점군으로 보고 원자 중심으로 메시지 패싱을 주고받는 구조에 기존 공개 데이터 전체보다 한 자릿수 많은 양자화학 데이터를 더해 학습했다. 나아가 단백질을 덩어리 단위로 묶어 힘을 계산하는 방식으로 약 1만 원자 규모 단백질의 분자동역학을 해냈고, 동역학을 건너뛰고 평형 분포에서 직접 표본을 뽑는 연구는 사이언스 표지를 장식했다.

주요 인사이트

• 과학에서의 스케일링은 인터넷에서 데이터를 더 긁어모으는 것이 아니라 방정식에서 데이터를 찍어내는 일이다. 프런티어 모델 개발자들이 데이터 고갈을 걱정하는 것과 달리, 이쪽은 컴퓨트만 있으면 데이터가 마르지 않는다.
• 밀도범함수이론이 특별한 이유는 근사가 아니라 정확한 변환이라는 데 있다. 1965년 월터 콘은 파동함수 대신 3차원 전자 밀도만으로 필요한 성질을 모두 계산할 수 있음을 보여 지수 비용 문제를 3제곱 비용으로 바꿨고 1998년 노벨 화학상을 받았지만, 남은 교환-상관 범함수는 보편적으로 존재한다는 것만 알려진 채 60년간 800개가량의 수제 근사가 난립했다.
• 사전지식을 모델 구조에 새겨 넣으면 정확히 성립하지만 유연성을 잃는다. 회전 등변성 같은 성질은 분자를 회전시킨 사본을 여럿 만들어 같은 에너지로 라벨링하는 데이터 증강만으로도 학습되며, 이것이 '쓴 교훈'에 맞는 선택이다.
• 그렇다고 물리를 전부 데이터로 대체하지는 않는다. 값비싼 양자화학 데이터로 곧장 빠른 에뮬레이터를 학습시키지 않고 굳이 밀도범함수이론을 거치는 이유는, 그 계산 구조 자체가 파울리 배타 원리처럼 원자의 존재를 설명하는 핵심 물리를 이미 담고 있기 때문이다.
• 병목이 순차성일 때는 하드웨어 발전이 구원해 주지 않는다. 분자동역학은 원자의 진동을 따라가느라 펨토초 단위 시간 간격이 필요한데 정작 관심 있는 현상은 밀리초 규모에서 일어나 10의 6제곱에서 10의 15제곱 단계를 순서대로 밟아야 하고, 요즘 컴퓨터의 개선은 클럭이 아니라 병렬화에서 오기 때문이다.

자주 묻는 질문

관련 AI 소식