점구름 파운데이션 모델: 입자물리 데이터로 사전학습한 AI가 우주론·화학까지 전이되는 원리

핵심 메시지

• 대형 강입자 충돌기는 초당 약 6억 번의 충돌을 일으키며, 과학 분야에서 가장 큰 데이터셋 중 하나를 만들어낸다.
• 입자 충돌은 토큰 대신 점구름(point cloud)으로 표현할 수 있고, 이는 자율주행차가 주변 도로를 인식하는 방식과 닮았다.
• 분류와 생성이라는 두 사전학습 과제를 함께 쓰면 어느 한쪽만 학습했을 때보다 표현이 견고해지고 전이 성능이 올라간다.
• 사전학습 모델로 시작하자 검출기 효과를 되돌리는 언폴딩 계산량이 절반으로 줄었고, 데이터의 0.1%에 불과한 톱 쿼크 신호도 드러났다.
• 입자물리에서 학습한 모델이 우주론 파라미터 예측, 분자 간 힘 계산, 중성미자 실험 분류로도 이득을 가져다줬다.

쉽게 이해하기

강연자는 나고야대의 비니시우스 미쿠니로, 점구름 형태의 과학 데이터를 위한 파운데이션 모델을 이야기한다. 출발점은 입자물리로, 우주가 무엇으로 이뤄졌는지 알려면 높은 에너지가 필요하고 그래서 스탠퍼드 캠퍼스가 들어가고도 남을 만큼 거대한 가속기가 필요하다. 문제는 보고 싶은 입자가 만들어질 확률이 종류마다 자릿수 단위로 다르다는 점인데, 한 번의 충돌에서 힉스 보손이 나올 확률은 100억분의 1 수준으로 벼락 맞을 확률 1만 5천분의 1은 물론 파워볼 1등 확률 2억분의 1보다도 서른 배쯤 어렵다. 그럼에도 발견이 가능했던 이유는 초당 6억 번씩 충돌을 반복하기 때문이며, 그 결과 물리학은 과학에서 가장 큰 데이터셋 중 하나를 손에 쥐게 됐다.

이 데이터를 기계학습에 넣으려면 표현 방식부터 정해야 한다. 언어모델에서 빌려온 토큰화 방식도 있지만 강연자가 선호하는 쪽은 점구름이다. 측정값이 연속 분포인데 이산 토큰으로 바꾸면 정보가 깎이고, 반면 점구름은 순서가 상관없는 객체들의 집합이라 입자들이 공간에 어떻게 퍼져 있는지의 기하·위상 정보를 그대로 살릴 수 있다. 그다음 문제는 사전학습에서 무엇을 시킬 것인가다. 일부 입자를 가리고 맞히게 하는 마스크 방식, 잠재공간을 쓰는 방식, 확산 모델로 충돌 자체를 생성하게 하는 방식, 대칭성을 이용한 대조학습, 그리고 수백~수천 개 클래스로 분류시키는 지도학습이 후보로 놓인다.

강연에서 소개한 OmniLearn은 분류와 생성 두 과제를 함께 학습시킨 모델이다. 비교 실험에 따르면 분류만 사전학습한 모델은 분류 다운스트림에서조차 처음 보는 라벨로 일반화가 잘 안 됐고, 생성만 학습한 모델은 분류에 도움이 되지 않았다. 두 과제를 합치자 표현이 견고해지면서 분류와 생성 양쪽 모두에서 전이가 좋아졌다. 학습에는 서로 다른 실험 시설에서 나온 공개 데이터, 총 1,000억 개가량의 입자가 쓰였다.

효과는 세 갈래로 확인된다. 첫째, 2018년에 제안된 전통적 분류 벤치마크에서 최근 상위권은 모두 사전학습을 거친 모델이다. 둘째, 검출기 효과를 되돌리는 언폴딩 문제다. 이건 시뮬레이션에 적용할 재가중 함수를 찾는 역문제인데, 시뮬레이션과 데이터를 구분하는 분류기를 학습시키면 그 출력이 곧 재가중 함수가 된다. 과거 실험 데이터를 다룰 때는 불확실성까지 포함해 신경망 수천 개를 학습시켜야 했지만, 사전학습 모델에서 출발하니 수렴이 빨라져 필요한 시간과 계산량이 절반으로 줄었다.

셋째는 이상 탐지다. 무엇인지 모르는 새 입자를 찾으려면 신호가 있을 법한 구간을 정하고 그 주변 구간에서 배경 분포를 학습해 신호 구간으로 외삽한 뒤, 예측과 실제 데이터를 비교해야 한다. 고차원에서는 확산 모델로 배경을 생성하고 분류기로 차이를 재는 방식이 쓰인다. 실제로 공개된 실험 데이터에서 전체의 0.1%뿐인 톱 쿼크를 찾아보니, 사전학습하지 않은 모델은 아무리 조건을 조여도 아무것도 보지 못한 반면 사전학습 모델은 질량 175기가전자볼트 부근에서 봉우리를 드러냈다. 모델을 500만에서 5,000만 파라미터로 키우자 유의도는 더 올라갔다.

주요 인사이트

• 물리학은 시뮬레이션이 완벽하진 않아도 종류가 많고 품질이 괜찮아서, 대부분의 문제에 이미 라벨이 붙은 데이터가 존재한다. 라벨을 쓰면 일반화가 나빠질 것 같지만, 생성 과제와 섞으면 오히려 전이가 좋아진다는 점이 반직관적이다.
• 분야를 건너뛸 때는 트랜스포머 본체를 얼리거나 아주 작은 학습률로 두고 입력 임베딩 층만 다시 학습시킨다. 사실상 서로 다른 점구름 사이의 번역기를 배우게 하는 접근이다.
• 화학 쪽에서는 대칭성을 내장한 전용 모델이 성능은 가장 좋지만 추론 비용이 크다. 대칭성 없이 입자 상호작용을 배운 범용 트랜스포머는 아직 최고 성능은 아니어도 추론이 세 배 빠르다는 점에서 실용적 가치가 있다.
• 무엇이 전이되는지는 아직 밝혀지지 않았다. 다만 상관관계가 없는 가우시안 점구름으로 사전학습하면 미세조정에서 아무 이득이 없었다는 실험이, 전이의 핵심이 입자들 사이의 상관 구조에 있음을 시사한다.
• 대칭성을 모델에 엄격히 강제하는 것이 늘 좋은 것은 아니다. 검출기가 완벽하지 않기 때문에 실제 데이터에서는 그 대칭이 정확히 성립하지 않고, 강제할수록 오히려 해가 될 수 있다.

자주 묻는 질문

관련 AI 소식