AI와 수학의 다음 관문: 정리 증명을 넘어 추측과 정의를 스스로 만들어낼 수 있을까

핵심 메시지

• 좋은 수학자는 정리를 증명하고 위대한 수학자는 추측을 내놓으며 가장 위대한 수학자는 정의를 만든다는 기준에서, AI의 다음 관문은 점수로 재기 어려운 영역이다.
• 갈루아의 발상은 가치가 인정되기까지 100년 가까이 걸렸다. 즉시 채점되는 보상 신호만으로는 그런 통찰을 길러내기 어렵다.
• 수학과 코딩이 유독 빠른 이유는 검증 가능성만이 아니라 같은 상태를 복제해 수천 번 병렬로 갈아 넣을 수 있는 반복 가능성 때문이라는 견해가 제시된다.
• 자기회귀 방식의 생성은 눈앞의 문맥에 끌려가기 쉬워, 서로 먼 분야를 잇는 뜻밖의 연결을 만들기에는 불리한 구조일 수 있다.
• 오히려 에이전트마다 문맥과 편향을 일부러 다르게 주고 지우는 방식이 사람에게 없는 디지털 지능의 강점이 될 수 있다.

쉽게 이해하기

3년 전 인터뷰에서 진행자는 국제수학올림피아드 금메달을 딴 AI라면 그게 곧 AGI 아니냐고 물었고, 샌더슨은 그저 또 하나의 벤치마크가 될 것이라고 답했다. 실제로 그렇게 됐다. 올림피아드 문제는 기하, 정수론, 대수, 조합론으로 나뉘는데 기하는 사실상 무차별 대입으로 풀려 몇 초 만에 처리된다. 남는 약점은 조합론이었고, 그해 조합론 문제가 두 개가 아니었다면 결과가 달랐을 것이라는 이야기까지 나온다. AI의 능력은 고르게 자라는 것이 아니라 삐죽삐죽하며, 수학 안으로 더 들어가면 그 삐죽함이 다시 프랙탈처럼 반복된다.

그렇다면 리만 가설 같은 문제가 풀린다면 어떤 모습일까. 대담은 세 가지 시나리오를 놓고 이야기한다. 첫째는 서로 멀어 보이는 두 분야를 잇는 번개 같은 해법이다. 제타 함수의 영점 통계와 무작위 행렬 이론이 닮았다는 사실이 연구소 점심 자리의 대화에서 시작됐다는 일화가 그 예다. 이런 유형이라면 여러 분야를 동시에 아는 모델이 잘할 법하고, 사람에게도 비교적 읽기 쉽다. 둘째는 페르마의 마지막 정리처럼 새로운 산을 통째로 쌓아 올려야 하는 해법이고, 셋째는 이론 없이 힘으로 밀어붙인 수천 쪽짜리 증명이다. 앞의 둘과 달리 셋째는 풀려도 우리가 이해하는 것이 늘지 않는다.

대담의 중심 질문은 그다음 관문을 어떻게 잴 것인가다. 좋은 추측을 만들고 좋은 정의를 만드는 능력은 골대가 명확한 벤치마크로 정리되지 않는다. 어떤 회사도 좋은 추측을 하나 만들어냈다는 것을 헤드라인으로 뽑기는 어렵다. 샌더슨은 그 변화가 점수가 아니라 수학자들의 말투로 나타날 것이라고 본다. 문제를 대신 풀어 준다는 이야기가 아니라, 무엇을 연구할지 정하는 단계에서 모델과의 대화가 실제로 도움이 됐다는 식으로 어조가 바뀌는 순간이라는 것이다. 그런데 벤치마크로 못 만드는 것은 지금 패러다임에서는 훈련 환경으로도 만들기 어렵다는 문제가 따라온다.

이 어려움을 보여 주는 사례가 갈루아다. 라그랑주는 다항식의 근을 바꿔 넣었을 때 식이 어떻게 변하는지를 보는 것이 옳은 질문이라는 감을 처음 잡았지만 아무것도 증명하지 못했다. 아벨은 5차 방정식의 일반 해법이 없음을 증명했고, 갈루아는 감옥에서 추상화의 층위에 관한 글을 쓰면서도 논문은 다섯 번 거절당했다. 당대의 심사자라는 검증 함수는 계속 통과 불가를 돌려줬다. 그의 노트가 정리된 것은 20년 뒤 리우빌에 의해서였고, 다시 20년쯤 지나 조르당이 지금의 군론에 가까운 형태로 다듬었다. 겔만이 군론적 질문에서 쿼크의 존재를 예측한 것은 그보다 훨씬 뒤다. 라그랑주의 직감부터 실용적 성과까지 100년이 넘는 검증 루프가 걸린 셈이다.

왜 수학과 코딩만 유독 빠른가에 대해서는 검증 가능성 외에 반복 가능성이 제시된다. 코드는 저장소를 컨테이너로 묶어 수백 번 병렬로 같은 작업을 시켜 볼 수 있고 결과가 결정적이라 무엇이 성공을 만들었는지 가려낼 수 있다. 반면 컴퓨터 사용은 검증은 쉬워도 봇 차단과 비용 때문에 같은 결제 흐름을 수천 번 돌릴 수 없다. 형식 증명 도구인 린에 대해서는 최근 성과의 사고 과정에 린이 등장하지 않았다는 점을 들어 현재 진전의 핵심은 아니라고 보면서도, 사람이 확인하지 않아도 끝없이 돌아가는 수학 라이브러리 확장 실험, 그리고 결과가 최소한 맞다는 것을 보증하는 체크 표시로서의 가치는 크다고 짚는다. 마지막으로 수학자의 역할은 정리 증명에서 무엇을 볼 가치가 있는지 고르는 큐레이션과 교육 쪽으로 옮겨 갈 것이라는 전망으로 대담은 마무리된다.

주요 인사이트

• 증명과 설명은 다르다. 대담에서는 미해결 연구 문제와 별개로 미해결 해설 문제라는 개념이 소개되는데, 이미 증명됐지만 왜 참인지 아무도 잘 설명하지 못하는 상태를 가리킨다.
• 정말 새로운 발상을 내놓는 사람이 설명도 잘하는 경향이 있다는 관찰이 나온다. 그렇다면 사람에게 남는 몫이 해설이라는 전망도 흔들린다.
• 글쓰기가 유독 뒤처지는 이유로 모듈성 부재가 지목된다. 코드는 결과만 맞으면 되지만 글은 문장 자체가 본체라, 정확히 필요한 지점에서 예측 밖의 한 수를 두는 일이 자기회귀 생성과 잘 맞지 않는다.
• 심사자 역할의 모델은 B급과 A급 글은 구분해도, A급과 정말 읽고 싶은 글은 구분하지 못하고 오히려 형식만 갖춘 쪽을 선호하는 실패가 생긴다.
• AI가 반례를 찾는 데 오래 걸린 추측들이 있었던 이유 중 하나는 사람들이 그 명제가 참이라고 믿고 증명 쪽만 시도했기 때문이다. 에이전트마다 증명과 반증을 나눠 맡기는 식으로 다양성을 인위적으로 높이는 것이 강점이 될 수 있다.

자주 묻는 질문

관련 AI 소식