기계학습과 대칭성 - 불변론과 갈루아 이론으로 입력 크기에 얽매이지 않는 모델 만들기

핵심 메시지

• 대칭성은 과학의 물리 법칙, 같은 대상을 표현하는 여러 방식, 과잉 매개변수화된 모델의 파라미터 공간이라는 세 갈래로 기계학습에 들어온다.
• 불변론의 제1기본정리는 회전·반사에 불변인 함수가 입력 벡터들의 내적만으로 표현된다고 말해 주며, 이것이 곧 신경망 구조 설계도가 된다.
• 갈루아 이론과 딥 세트를 결합하면 그래프 신경망의 제곱 비용 없이 점군의 대칭성을 다루는 모델을 만들 수 있다.
• 대칭성을 보존하는 모델은 파라미터 수가 입력 크기와 무관해, 작은 데이터로 학습해 큰 데이터에 그대로 쓸 수 있다.
• 작은 모델에서 찾은 학습률을 큰 모델로 옮기는 μP 하이퍼파라미터 전이도, 모델을 넓혀 같은 함수를 만드는 관점에서 다시 유도된다.

쉽게 이해하기

펜실베이니아대 AI 세미나에 존스홉킨스대 응용수학·통계학과 조교수 솔레다드 비야르(Soledad Villar)가 초청돼 기계학습 속 대칭성을 주제로 발표했다. 그는 대칭성이 세 갈래로 들어온다고 정리했다. 단백질 구조 예측부터 우주론 시뮬레이션까지 물리 법칙 자체가 대칭적이어서 문제도 대칭성을 물려받고, 좌표계를 바꾸거나 그래프 행렬의 행과 열을 뒤섞어도 같은 대상이 남는다. 세 번째는 파라미터 공간으로, 요즘 모델은 심하게 과잉 매개변수화돼 서로 다른 수많은 파라미터 집합이 같은 함수를 나타낸다.

발표 전반부는 이 대칭성을 모델 구조에 직접 심는 방법이다. 입력을 변환해도 값이 그대로면 불변, 입력을 변환하면 출력도 따라 변하면 등변이라 부른다. 여기서 불변론의 제1기본정리가 설계도가 되는데, 회전·반사에 불변인 함수는 입력 벡터들의 내적의 함수로 쓸 수 있으므로 내적으로 불변 특징을 만들고 그 위에 함수를 학습시키면 된다. 실제로 대형 강입자 충돌기 데이터를 다루는 연구는 유클리드 내적을 시공간 내적으로 바꾸는 것만으로 로런츠 변환에 등변인 트랜스포머를 만들었다.

같은 도구는 대칭성이 원래 없던 곳에 대칭성을 부여하는 데도 쓰인다. 자기지도학습에서 증강에 불변인 임베딩을 학습하는 대신, 증강된 데이터 임베딩끼리의 내적이 원본끼리의 내적과 같아지도록 손실에 조건을 걸면 이미지 공간의 증강이 잠재 공간의 직교 변환에 대응하게 된다. 우주론 사례도 소개됐는데, 중력만 계산하는 값싼 암흑물질 시뮬레이션에서 별 형성까지 예측하는 비싼 유체역학 시뮬레이션의 성질을 배울 수 있느냐는 문제다. 이 점군 문제에는 회전·반사뿐 아니라 점들의 순열 대칭성이 겹치는데, 그래프 신경망을 쓰면 그래프를 만드는 데만 점 개수의 제곱에 비례하는 비용이 든다.

발표자 팀은 대신 갈루아 이론을 끌어왔다. 행과 열을 함께 바꾸는 순열군은 대각 성분과 비대각 성분을 각각 따로 섞는 더 큰 군의 부분군인데, 큰 군의 불변량은 대각·비대각 각각의 딥 세트로 쉽게 얻어진다. 여기에 우리가 원하는 작은 군에만 고정되는 불변량 하나를 더해 체(field) 확대를 만들면 모든 불변 함수를 생성할 수 있다는 것이다. 이 모델은 측도 0의 예외 집합 바깥에서 대칭 행렬 위의 불변 함수를 보편적으로 근사하며, 저계수 행렬 완성을 한 단계 더 쓰면 비용을 점 개수와 차원의 곱에 비례하는 수준까지 낮출 수 있다.

후반부 주제는 이런 모델이 갖는 '임의 차원성'이다. 딥 세트의 파라미터 개수는 원소 수와 무관하므로 한 번 학습한 모델을 아무 크기의 입력에나 먹일 수 있는데, 그 배경에는 15년쯤 전 순수대수에서 나온 표현 안정성 개념이 있다. 다만 크기를 바꿔도 성능이 따라오려면 모델이 작은 입력을 큰 입력에 끼워 넣는 연산과 교환 가능해야 하고, 그 끼워 넣기가 거리를 보존해야 하며, 목표 함수가 극한에서 연속이어야 한다. 발표 말미에는 방향이 반대인 문제, 즉 데이터를 고정하고 모델을 키울 때 학습률을 옮기는 μP 하이퍼파라미터 전이를 다뤘는데, 작은 다층 퍼셉트론의 가중치를 복제해 정확히 같은 함수를 계산하는 넓은 모델을 만든 뒤 학습 궤적까지 같아지는 조건을 계산하니 기존 μP와 같은 결과가 나왔다고 했다.

주요 인사이트

• 대칭성을 넣는 일은 규제가 아니라 도메인 지식을 모델에 새기는 일이다. 발표자는 물리·천문·화학·재료 분야 연구자들이 공통적으로 '우리 지식을 모델에 넣어 달라'고 요구한다며, 대칭성이 그 통로라고 봤다.
• 구조에 대칭성을 심는 접근은 성능뿐 아니라 계산량을 바꾼다. 점군 문제에서 그래프 신경망 대신 갈루아 이론과 딥 세트를 쓴 이유가 정확도가 아니라 제곱 비용을 피하기 위해서였다.
• '크기를 바꿔도 돌아간다'와 '크기를 바꿔도 잘 맞는다'는 다른 문제다. 파라미터가 입력 크기와 무관한 모델은 아무 크기나 받아 값을 내놓지만, 성능이 따라오는 것은 정규화 방식과 목표 함수가 극한에서 연속일 때뿐이다.
• 정규화 하나가 모델이 무엇을 '같다'고 보는지를 바꾼다. 그냥 딥 세트는 0을 덧붙인 집합을 원본과 같게 보고, 평균으로 정규화한 딥 세트는 {1,2,3}과 {1,2,3,1,2,3}을 구분하지 못한다. 어느 쪽이 맞는지는 데이터가 어디서 표집됐는지가 정한다.
• 임의 차원성 관점은 응용으로도 이어졌다. 학습이 끝난 작은 모델을 넓히고 잡음을 섞어 큰 모델의 초기값으로 쓰는 방법, 저랭크 미세조정(LoRA)에서 최적 학습률이 랭크와 무관해지도록 초기화를 잡는 방법이 같은 틀에서 제시됐다.

자주 묻는 질문

관련 AI 소식