지능이란 무엇인가, 계산신경과학자 제프 벡이 말하는 행위주체성과 에너지 기반 모델

핵심 메시지

• 정책을 실행하는 것만으로 에이전트라 부른다면 돌멩이도 에이전트가 된다. 차이는 종류가 아니라 내부 계산의 정교함이라는 정도의 문제다.
• 밖에서 행동만 관찰해서는 계획과 반사실적 추론을 하는지, 정교한 함수 변환에 불과한지 구별하기 어렵다.
• 에너지 기반 모델은 입력과 출력뿐 아니라 내부 상태에도 비용 함수를 걸어 두므로, 베이즈적 사전 확률을 두는 것과 성격이 비슷하다.
• 지금 가장 부족한 요소는 지속 학습이다. 예상 밖의 상황을 만났을 때 새 개념을 만들어 붙일 수 있어야 진짜 지능에 가까워진다.
• 목표는 범용 인공지능이 아니라, 특화된 지능들이 서로 소통하며 문제를 푸는 집합적 지능이라는 것이 그의 관점이다.

쉽게 이해하기

머신러닝 스트리트 토크에 출연한 계산신경과학자 제프 벡은 행위주체성을 정의하는 문제부터 꺼냈다. 입력을 출력으로 옮기는 정책을 실행하는 것이 에이전트의 조건이라면 돌멩이도 에이전트라는 것이다. 사람들이 실제로 에이전트라고 부를 때는 계획, 반사실적 추론, 목표 지향 행동처럼 정책을 어떻게 계산하느냐에 관한 조건을 덧붙이는데, 그 차이는 종류의 차이가 아니라 내부 상태가 얼마나 정교한지의 정도 차이라는 것이 그의 정리다.

여기서 까다로운 문제가 생긴다. 어떤 시스템이 내부에서 수많은 미래를 굴려 보고 가장 나은 선택을 골랐다고 해도, 밖에서 보면 그저 입력에 대한 함수 변환으로 보인다는 것이다. 그래서 정말 계획을 하고 있는지 확인하려면 뚜껑을 열어 내부를 봐야 한다. 그는 실용적인 타협안으로, 행동을 설명하는 가장 단순한 모델이 "계획하고 반사실적으로 추론하는 것처럼" 기술될 때 그렇게 부르자는 태도를 택한다고 말했다. 흥미롭게도 그는 에이전트가 물리적 실체여야 한다고 보아, 자신을 완벽히 흉내 내는 시뮬레이션이라도 몸에 연결되지 않으면 에이전트라 부르지 않겠다고 했다.

대담의 중반은 기계학습 방법론으로 넘어간다. 그는 일반적인 신경망이 입력과 출력에만 비용 함수를 걸고 가중치만 최적화하는 데 비해, 에너지 기반 모델은 내부 상태에도 비용 함수를 건다는 점을 핵심으로 짚었다. 그래서 잠재 변수와 예측 오차 두 가지를 함께 최소화해야 하고, 이는 모든 잠재 변수에 사전 확률을 부여하는 베이즈적 접근과 통한다. 그가 가장 흔히 쓰이는 예로 든 것은 변분 오토인코더로, 입력과 출력의 차이뿐 아니라 내부 표현이 얼마나 가우시안에 가까운지도 비용에 넣는다는 점을 근거로 들었다.

요즘 화제인 테스트 시점 학습에 대해서도 평가가 갈렸다. 배포 단계에서 일부 가중치를 잠재 변수처럼 다뤄 갱신하는 발상 자체는 에너지 기반 모델 쪽으로 가는 좋은 방향이라고 반겼지만, 학습 과정 내내 그 구조를 켜 두지 않다가 마지막에 갑자기 켜는 방식은 마뜩잖다고 했다. 원래 에너지 기반 모델이라면 학습 전 과정에서 잠재 변수에 대한 최소화를 함께 수행하기 때문이다. 전처리를 따로 떼어 두는 관행에 대해서도, 신경 데이터에서 주성분분석이 변동이 작은 축을 버리다가 정작 중요한 정보를 날리는 사례를 들며 전처리와 예측 모델을 함께 학습시키는 편이 낫다고 지적했다.

마지막은 지능의 미래에 관한 이야기다. 그는 지금 가장 결정적으로 빠진 조각이 지속 학습이라고 봤다. 학습 데이터로 훈련한 뒤 배포로 끝나는 것이 아니라, 세상을 돌아다니다 이해되지 않는 것을 만나면 모델을 늘려 붙일 수 있어야 한다는 것이다. 그는 뇌의 진화도 같은 방식이었다고 설명했다. 서로 다른 문제를 풀던 영역들이 소통하는 법을 익히면서 새 능력이 생겨났고, 그래서 지능의 본질은 레고 블록처럼 모듈을 새로 조합하는 능력에 가깝다는 것이다. 같은 이유로 그는 범용 인공지능이라는 말이 적절하지 않다고 보며, 우리가 원하는 것은 특화된 지능들의 집합이라고 정리했다.

주요 인사이트

• 행위주체성의 강도를 재는 척도로 전이 엔트로피 같은 정보량 지표를 쓸 수 있지만, 그것은 결국 정책이 얼마나 정교한지를 재는 것이지 규범적인 판정 기준은 아니다.
• 과학은 예측과 데이터 압축이라는 관점에서 보면, 같은 행동을 설명하는 모델 가운데 매개변수가 훨씬 적은 쪽을 고르는 것이 곧 그것을 에이전트라 부르는 근거가 된다.
• 자기지도 학습이 중요한 이유는 무엇이 과제와 관련 있는지를 미리 알려 주지 않기 때문이다. 지도 학습은 당장의 과제에 필요 없는 정보를 버리도록 학습되기 쉽다.
• 과학적 발견의 다음 단계는 상관관계 요약이 아니라 실험 설계다. 가설을 직접 검증하는 실험을 만들어 지식의 빈틈을 메우는 일은 자동화할 수 있지만 안전 제약이 필요하다.
• 그는 AI 자체보다 사람이 그 기술로 무엇을 할지를 더 걱정한다고 말했다. 보상 함수를 손으로 대충 지정하는 것이 위험하며, 현재 결과를 재현하는 보상을 추정한 뒤 조금씩 흔들어 결과를 확인하는 편이 안전하다는 제안이다.

자주 묻는 질문

관련 AI 소식