AI 과학의 다음 과제, 예측을 넘어 개념적 이해로: 수리아 간굴리 스탠퍼드 강연 정리

핵심 메시지

• 예측이 잘 되는 모델을 얻는 것은 과학의 결론이 아니라 출발점이며, 그 모델을 설명해 개념적 이해를 얻는 단계가 따라와야 한다.
• 자연 영상으로 학습시킨 망막 모델은 학습에 쓰이지 않은 수십 년간의 인공 자극 실험 결과를 정량적으로 재현했고, 모델을 단순화해 보니 대부분 연구자들이 합의한 설명과 일치했다.
• 뇌전증 마우스의 뇌 활동을 학습한 모델에서 발작이 단일 병소가 아니라 뇌 영역 쌍 사이의 선호 위상차에 따라 증폭되는 현상임이 드러났고, 광유전학 실험으로 검증됐다.
• 확산모델의 '창의성'은 훈련 목표를 완벽히 달성하지 못하는 실패에서 나온다. 국소성과 평행이동 등변성이라는 제약 때문에 여러 훈련 이미지의 패치가 뒤섞인 모자이크가 만들어진다.
• 언어모델 스케일링 법칙의 지수를 데이터 자체의 두 지수(토큰 상관관계 감쇠와 조건부 엔트로피 감쇠)로 설명하는 이론이 제시됐다.

쉽게 이해하기

스탠퍼드대에서 열린 2026 물리·AI 콘퍼런스(PAI26)에서 수리아 간굴리(Surya Ganguli) 교수는 '대수학은 악마가 수학자에게 건네는 제안'이라는 마이클 아티야의 문장에서 '대수학' 자리에 AI를 넣어 강연을 시작했다. 강력한 기계를 받는 대신 개념적으로 생각하기를 멈추게 된다는 경고다. 다만 그는 소재 설계나 신약 탐색, 칩 설계처럼 검증 가능한 공간을 탐색하는 문제에서 AI가 이미 강력하다는 점을 분명히 하며 자신은 AI에 낙관적이라고 말했고, 진짜 문제는 기초과학이 겨냥하는 것이 우주의 작동 방식에 대한 개념적 이해라는 점이라고 했다. 신경과학에서는 수천 개 뉴런을 기록해 정확한 예측 모델을 만들 수 있지만 이해하지 못하는 뇌를 이해하지 못하는 모델로 바꿔 놓은 것일 수 있고, AI 쪽에서도 성능 좋은 대형 신경망이 어떻게 학습하고 작동하는지는 모르는 채로 그 기술이 사회를 바꾸려 하고 있다.

첫 번째 사례는 망막이다. 물리학자식 단순 모델은 저해상도 백색잡음에 대한 반응은 잘 재현하지만 망막의 진화를 조각한 고해상도 자연 영상에는 맞지 않았다. 연구팀이 자연 영상 반응을 학습한 큰 합성곱 신경망을 만들자 처음으로 정확한 모델이 나왔고, 여기서 질문이 시작됐다. 이 모델이 자연 영상이 아닌 인공 자극(움직이는 막대, 점, 전면 섬광)으로 수십 년간 쌓인 실험 결과들을 재현하는가? 놀랍게도 정량적으로 재현했다. 주기적 섬광 중 하나를 빼면 망막이 주기성 위반을 감지해 강하게 반응하고, 움직이던 막대가 갑자기 방향을 바꾸면 그 위치의 뉴런들이 크게 반응한다. 망막이 뉴턴의 제1법칙을 아는 것처럼 위반을 뇌에 보고하는 셈이다.

정확한 모델을 얻은 다음 연구팀은 모델 축약이라는 방법으로 설명을 찾았다. 특정 자극에 대해 중간층에서 어떤 은닉 뉴런이 자극과 반응을 매개하는지 골라내 점점 단순한 부분 회로를 만드는 방식이다. 그렇게 나온 단순 모델은 문헌을 찾아보면 실험자들이 합의해 온 설명과 대체로 일치했고, 합의된 설명이 없던 한 현상에서는 시간 필터와 비선형성으로 해석되는 새로운 모델이 나와 검증 실험까지 제안할 수 있었다. 뇌전증 연구에서도 같은 순서가 반복됐다. 발작을 정지 상태에서 진동 상태로의 분기로 보고 24차원 동역학 모델을 데이터에서 학습해 실제 발작과 비슷한 파형을 만들어 냈지만, 핵심은 그 방정식을 들여다본 뒤였다. 뇌 영역 쌍마다 선호하는 위상차가 있어 그 위상차로 진동이 맞물리면 발작 진폭이 커지고 반대 위상차에서는 커지지 않는다는 단순한 원리가 드러났고, 광유전학으로 실제 쥐의 두 영역을 자극해 예측대로 확인했다.

강연 후반부는 'AI를 위한 과학'으로 넘어간다. 확산모델은 유한한 훈련 데이터에 대해 정확한 역확산 흐름을 수식으로 쓸 수 있는데, 그대로 학습된다면 훈련 이미지로만 되돌아가야 한다. 즉 새로운 이미지를 만드는 성공은 훈련 목표를 정확히 달성하지 못하는 실패에서 온다. 연구팀은 합성곱 구조가 강제하는 국소성과 평행이동 등변성 아래에서의 최적 역확산을 결정론적 미분방정식으로 적어 냈고, 같은 노이즈를 넣어 얻은 이론 이미지와 학습된 모델의 실제 이미지를 하나씩 비교해 결정계수 중앙값 0.9를 얻었다. 각 국소 패치가 서로 다른 훈련 이미지의 패치로 흘러가고 겹침을 통해 전체 일관성이 생기는 '패치 모자이크' 모델이다. 자기어텐션이 들어간 더 복잡한 확산모델에는 아직 이런 이론이 없다.

마지막은 스케일링 법칙이다. 데이터를 늘릴 때 손실이 거듭제곱으로 떨어진다는 사실은 6년 전부터 산업의 투자를 이끌었지만, 그 지수가 왜 그 값인지에 대한 이론은 없었다. 연구팀은 두 가지 척도를 도입해 곡선들을 하나로 겹쳤다. 하나는 n개 이전 토큰을 조건으로 한 다음 토큰의 조건부 엔트로피가 n의 −γ 거듭제곱으로 줄어든다는 것이고, 다른 하나는 토큰 상관관계가 거리에 따라 n의 −β 거듭제곱으로 감쇠하므로 과거 n스텝을 쓰려면 데이터가 n의 2β만큼 필요하다는 것이다. 두 관계를 합치면 손실이 데이터량 P의 −γ/2β 거듭제곱으로 줄어든다는 간단한 식이 나오고, GPT-2 규모 모델의 실측 기울기와 대체로 맞았다.

주요 인사이트

• '정확한 모델을 얻은 것이 과학의 끝이 아니라 시작'이라는 명제는 AI 활용 연구의 평가 기준을 바꾼다. 예측 성능 지표만 보고하는 연구는 절반만 끝난 것이 된다.
• 망막 모델이 학습에 쓰이지 않은 과거 실험들을 재현했다는 것은, 잘 만든 모델이 분포 밖 상황에서도 실제 시스템처럼 행동할 수 있다는 드문 증거다. 그래서 그 모델을 축약해 설명을 캐내는 작업이 정당해진다.
• 확산모델의 창의성이 훈련 목표를 온전히 달성하지 못한 결과라는 설명은, 생성 결과가 훈련 데이터의 조각들을 조합한 것이라는 점을 이론적으로 보여 준다. 과학 데이터 생성에 확산모델을 쓸 때 무엇을 만들어 내는지 다시 물어야 하는 이유다.
• 스케일링 법칙의 지수를 데이터의 통계적 성질로 환원했다는 점은, 모델을 키우는 대신 데이터의 상관 구조를 바꾸면 곡선의 기울기가 달라질 수 있다는 실험 가능한 방향을 제시한다.
• 강연자는 큰 비선형 분산 회로가 어떻게 학습하고 계산하는지가 신경과학과 AI를 잇는 공통 질문이라고 보고, 지난 10년간 가르쳐 온 이론신경과학 강의를 설명가능한 AI 중심으로 완전히 개편했다고 밝혔다. 질의응답에서 그는 LLM이 '이해'하느냐는 질문에 유체역학을 예로 답했다. 방정식을 수치적으로 적분하는 길만 있다면 이해라 부르기 어렵고, 근사 모델의 계층을 자유롭게 오갈 수 있을 때 우리는 이해했다고 말한다는 것이다.

자주 묻는 질문

관련 AI 소식