메타덴드랄과 기호 기계학습의 역사: 데이터가 귀하던 1970년대에 지식으로 학습을 대체한 실험

핵심 메시지

• 메타덴드랄은 질량분석 스펙트럼에서 분자가 어떻게 쪼개지는지의 규칙을 스스로 찾아낸 기호 학습 프로그램으로, 그 결과가 심사를 거친 화학 학술지에 실렸다.
• 당시에는 새 분자 하나의 스펙트럼을 해석하는 데 대학원생 한 명이 일 년을 써야 했기에, 데이터를 늘리는 대신 화학 지식을 집어넣어 부족분을 메웠다.
• 브루스 뷰캐넌은 이것을 '데이터를 지식으로 대체할 수 있다'는 깨달음으로 정리하며, 오늘날의 흐름은 정확히 그 반대라고 짚는다.
• 그는 메타덴드랄을 알고리즘이 아니라 휴리스틱 프로그램이라고 못 박는다. 정답을 보장하는 방법이라는 의미의 알고리즘은 AI에 존재하지 않는다는 것이다.
• 논리와 과학철학을 공부하던 철학 전공자가 귀납 추론과 가설 형성이라는 질문을 따라가다 AI 연구자가 된 경로가 함께 소개된다.

쉽게 이해하기

이 대화는 기계학습이 지금에 이르기까지의 경로를 되짚는 팟캐스트의 한 회차로, 진행자 톰 미첼이 자신의 박사 지도교수였던 브루스 뷰캐넌을 초대해 진행한다. 뷰캐넌은 철학으로 훈련받은 뒤 스탠퍼드에서 20년 넘게 AI 연구자로 일했고, 1970년대 기계학습의 중요한 이정표로 꼽히는 메타덴드랄을 만든 인물이다.

이야기는 그 전신인 덴드랄에서 시작한다. 질량분석기는 시료에 강한 에너지를 쏘아 분자를 산산조각 내고, 그 조각들의 질량과 신호 세기를 막대그래프로 남긴다. 덴드랄은 이 막대그래프만 보고 원래 분자의 구조를 되짚는 프로그램이었다. 문제는 규칙을 넣는 방식이었다. 뷰캐넌은 질량분석 전문가인 포닥과 마주 앉아 그가 스펙트럼을 해석하는 과정을 말로 풀어놓게 하고 이를 규칙으로 옮겼는데, 이 방식이 곧 전문가 시스템의 발목을 잡은 '지식 획득 병목'이었다.

조슈아 레더버그가 낸 아이디어가 전환점이 됐다. 사람이 손으로 뽑던 질량분석 규칙 자체를 프로그램이 학습하게 하자는 것이었다. 덴드랄 위에 얹힌다는 뜻에서 메타덴드랄이라는 이름이 붙었다. 다만 데이터 사정은 참혹했다. 새 분자 하나에 해석을 붙이려면 대학원생 한 명이 일 년을 매달려야 했고, 특정 계열의 알려진 스펙트럼은 수십 개, 현실적으로는 열 개 남짓이었다.

그래서 이들은 데이터 대신 지식을 넣었다. 막대그래프의 숫자만으로는 질량 78의 봉우리 아래에 서로 다른 조각이 여럿 숨어 있는지조차 알 수 없었기 때문에, 막대를 분자 조각으로 다시 표현하는 작업이 먼저 필요했다. 이중 결합은 단일 결합보다 잘 끊어지지 않는다는 식의 화학 지식이 학습을 제약했고, 긴 사슬이 있으면 특정 재배열 반응을 살펴보라는 식의 계층적 조건도 들어갔다. 결과적으로 케토안드로스탄 계열 스테로이드에 대해 열 개 남짓한 스펙트럼에서 규칙을 뽑아냈고, 그 규칙이 화학 학술지에 실렸다.

당시 기계학습의 풍경도 인상적이다. 뷰캐넌은 많은 연구가 학습에 쓴 데이터를 다시 돌려 성능을 보고하던 관행을 두고 실망스러웠다고 말한다. 메타덴드랄은 처음부터 본 적 없는 새 스펙트럼으로 검증할 것을 고집했다. 다만 그는 이를 누구의 잘못으로 돌리지 않는다. 초기 기계의 메모리로는 데이터를 수백 개도 담을 수 없었고, 애초에 데이터를 얻는 비용 자체가 지나치게 높았던 시대적 제약이었다는 것이다.

주요 인사이트

• 지식과 데이터는 서로를 대체할 수 있는 자원이다. 데이터가 귀하면 지식을 넣고, 데이터가 흔하면 지식을 생략한다. 지금의 대규모 학습은 후자를 극단까지 밀어붙인 형태일 뿐 유일한 선택지는 아니다.
• 훈련 데이터와 별도의 검증 데이터를 나눈다는 원칙은 통계학에서는 이미 확립돼 있었지만 초기 AI 연구에는 잘 스며들지 않았다. 방법론의 상식이 분야 사이에서 얼마나 느리게 옮겨가는지를 보여주는 사례다.
• 뷰캐넌이 철학에서 AI로 옮겨간 이유가 흥미롭다. 손짓만 오가는 토론으로는 검증 가능한 결론에 이르지 못했지만, 아이디어를 프로그램으로 구현하면 조건을 바꿔가며 그 아이디어가 버티는지 시험할 수 있었기 때문이다.
• 정답을 보장한다는 의미의 알고리즘과, 그런 보장 없이 탐색을 이끄는 휴리스틱은 다르다. 뷰캐넌은 AI에 보장은 없다며 이 구분을 분명히 한다.
• 그가 보는 앞으로의 길은 둘 중 하나가 아니라 결합이다. 새로운 바이러스처럼 데이터가 거의 없는 문제에서는 축적된 데이터와 제1원리 지식을 함께 써야 더 강한 학습이 가능하다는 것이다.

자주 묻는 질문

관련 AI 소식