생각의 사슬이 통하는 이유와 자기학습 추론, 스탠퍼드 노아 굿맨 MIT 강연 정리

핵심 메시지

• 학습 데이터가 세상의 일부만 담은 국소 관측일 때에만 생각의 사슬이 직접 답하기보다 정확했고, 모든 변수를 다 보여준 조건에서는 그 차이가 사라졌다.
• 이 성질은 트랜스포머라는 구조 때문이 아니라 순차 확률분포를 충분히 잘 학습한 추정기라면 일반적으로 성립한다는 것이 증명의 결론이다.
• 정답에 이르는 최단 경로만 학습시킨 모델보다, 되돌아가고 실패하는 탐색 과정을 통째로 학습시킨 모델이 새로운 문제에서 훨씬 잘 일반화했다.
• 모델이 스스로 만든 추론 중 정답을 맞힌 것만 골라 다시 학습시키는 STaR 방식으로, 작은 모델이 자릿수를 늘려가며 덧셈을 스스로 익혔다.
• 형식논리 검증기를 생성 과정에 끼워 넣자 언어모델의 신념 편향이 크게 줄었고, 자기학습이 무너지지 않고 이어졌다.

쉽게 이해하기

스탠퍼드대 노아 굿맨 교수가 MIT 뇌·마음·기계 연구센터에서 '추론을 학습한다는 것'을 주제로 강연했다. 그는 인지과학자로서 오랫동안 사람의 고차 인지를 연구했지만, 이제는 언어모델이라는 비교 대상이 생기면서 지능이라는 공간을 여러 지점에서 삼각측량할 수 있게 됐다고 말한다. 새의 날갯짓과 비행기를 비교하듯, 어떤 성질이 보편 원리이고 어떤 것이 우연한 특징인지 갈라보자는 것이 강연의 밑그림이다.

출발점은 '왜 언어모델은 단계별로 생각하라고 하면 더 잘 푸는가'라는 질문이다. 연구진은 100개의 참·거짓 변수로 이뤄진 인과 구조를 인공 세계로 삼고, 그 세계에서 뽑은 상태를 무작위 순서의 문장처럼 늘어놓아 작은 트랜스포머에 학습시켰다. 그리고 조건부 확률을 두 가지 방식으로 물었다. 답을 곧바로 채우게 하는 방식과, 중간 변수들을 자유롭게 생성하다가 답에 도달하게 하는 방식이다. 뒤쪽이 바로 생각의 사슬에 해당한다.

결과의 핵심은 데이터의 모양이었다. 세계의 모든 변수를 다 보여주며 학습시키면 두 방식의 정확도 차이가 거의 없지만, 한 변수 주변의 이웃만 보여주는 국소 관측으로 학습시키면 생각의 사슬 쪽 편향이 더 작았다. 사람도 세상 전체가 아니라 자기 시야에 들어온 조각만 경험한다는 점에서 착안한 설정이다. 사슬 형태의 단순한 구조에서는 이 현상이 수학적으로도 증명됐는데, 증명 어디에도 트랜스포머나 어텐션은 등장하지 않는다. 추론이란 결국 여기저기 흩어진 국소적 지식을 이어 붙여 아는 것에서 알고 싶은 것으로 건너가는 일이라는 해석이다.

강연 후반부는 '더 나은 추론을 어떻게 가르칠 것인가'로 옮겨간다. 사람은 어려운 문제를 풀 때 시도하고 틀리고 되돌아가지만, 인터넷에 남는 글은 대개 깔끔한 정답뿐이라 모델이 그 과정을 배울 기회가 없다. 연구진은 24 만들기 같은 조합 문제에서 탐색 과정 전체를 글로 적어 학습시켜 봤고, 정답 경로만 학습한 모델보다 새로운 문제에 훨씬 강해지는 것을 확인했다. 여기에 모델이 스스로 맞힌 추론만 모아 다시 학습하는 자기학습을 얹으면 성능이 조금 더 올라가지만, 어느 지점에서 정체되는 한계도 함께 드러났다.

마지막으로 그는 사람이 논리학이라는 외부 도구를 만들어 쓰듯 모델에도 형식 체계를 붙이는 실험을 소개했다. 언어모델이 특정 괄호를 열면 그 안에서는 1차 논리로 타당한 문장만 생성되도록 제약하는 방식이다. 이 도구를 붙이자 내용이 상식과 어긋나면 타당한 삼단논법도 거부하던 신념 편향이 대부분 사라졌다. 참·거짓 두 답 중 하나를 찍어도 절반은 맞는 과제에서 자기학습이 엉뚱한 근거를 강화하며 무너지던 문제도, 논리 검증을 함께 쓰자 안정적으로 개선됐고 법률 추론 과제로도 효과가 옮겨갔다.

주요 인사이트

• 생각의 사슬이 마법처럼 통하는 것이 아니라, 학습 데이터가 세상의 조각만 담고 있을 때 그 조각들을 잇는 다리 역할을 하기 때문에 효과가 난다는 설명이다.
• 증명이 모델 구조를 전혀 언급하지 않는다는 점은, 중간 생성이 주는 이득이 특정 아키텍처의 성질이 아니라 데이터와 학습 품질의 문제임을 시사한다.
• 실패와 되돌아가기가 담긴 지저분한 과정이 오히려 좋은 학습 자료라는 결과는, 사람이 남기지 않는 종류의 데이터가 모델 학습의 병목일 수 있음을 보여준다.
• 자기학습만으로는 모델이 스스로 시도하는 범위가 좁아 성능이 정체되며, 더 공격적인 탐색을 유도하는 장치가 필요하다는 것이 강연자의 진단이다.
• 형식 검증기를 생성 루프 안에 넣는 하이브리드 구조는, 모델을 더 키우지 않고도 특정 오류 유형을 구조적으로 막을 수 있는 선택지를 보여준다.

자주 묻는 질문

관련 AI 소식