토마소 포지오 평전: 파리 시각 연구에서 정규화 이론과 서포트 벡터 머신, 뇌·마음·기계 센터까지

핵심 메시지

• 포지오의 출발점은 컴퓨터가 아니라 파리의 시각계였고, 작은 뇌에서 복잡한 행동이 나오는 원리를 수식으로 쫓았다.
• 데이비드 마와의 협업에서 나온 분석 수준 개념은 뇌를 뉴런 하나가 아니라 여러 층위에서 봐야 한다는 관점을 세웠다.
• 정규화 이론은 뇌가 관찰한 것을 설명하는 가장 단순한 해석을 찾는다는 발상을 기계 학습과 잇는 다리가 됐다.
• 그가 세운 연구 센터에서 나온 서포트 벡터 머신은 지금도 이미지 인식과 자연어 처리에 쓰인다.
• 이 영상 자체가 NotebookLM으로 만들어진 대담 형식이라, 인물의 궤적을 훑는 개관으로 읽는 편이 알맞다.

쉽게 이해하기

이 영상은 MIT 연구자 토마소 포지오의 생애를 두 진행자의 대담 형식으로 풀어낸 기록이다. 사람이 진행하는 인터뷰가 아니라 NotebookLM으로 생성한 대담이라는 점을 감안하고 들어야 하지만, 한 연구자가 어떤 경로로 지능이라는 주제에 다다랐는지를 훑기에는 유용하다. 이야기는 이탈리아 제노바에서 시작해 독일 막스플랑크 연구소를 거쳐 MIT로 이어진다.

연구 경력의 첫 무대는 막스플랑크 연구소에서 만난 베르너 라이하르트와 파리였다. 파리를 한자리에 고정한 채 주변에 시각 장면을 투사하고, 파리가 왼쪽으로 돌려 하면 장면을 오른쪽으로 밀어 마치 스스로 움직이는 것처럼 만드는 장치를 썼다. 진행자들은 이를 파리를 위한 비행 시뮬레이터에 비유했는데, 이 실험대 덕분에 파리가 무엇을 보는지 완전히 통제한 채 반응을 관찰할 수 있었다.

여기서 나온 결과가 수식으로 정리됐다는 점이 중요하다. 파리가 작고 어두운 물체 쪽으로 날아가는 습성처럼 단순해 보이는 행동도, 방향을 유지하기 위한 시각적 기준점을 찾는 신경 메커니즘에서 나온다는 설명이 붙었다. 포지오와 라이하르트는 이 모형을 확장해 다른 파리를 추격하는 비행 경로까지 예측했고, 밝기 변화의 방향을 비교해 움직임을 읽어내는 라이하르트 검출기는 이후 여러 동물의 운동 지각을 설명하는 틀이 됐다.

MIT로 옮긴 뒤에는 데이비드 마와의 협업이 방향을 바꿔 놓는다. 마가 제시한 분석 수준 개념은 자동차를 이해할 때 엔진을 뜯어보는 일과 디자인을 살피는 일과 사회에 미친 영향을 따지는 일이 각각 다른 것을 알려 주듯, 뇌도 여러 층위에서 함께 봐야 한다는 발상이다. 두 사람은 이 틀 위에서 깊이를 지각하는 입체시와, 밝기가 어둠으로 넘어가는 지점을 뜻하는 영교차를 파고들었다. 마는 백혈병으로 일찍 세상을 떠났지만 그 영향은 이후 작업에 계속 남았다.

이후 관심은 학습 자체로 넓어진다. 알고리즘의 모든 단계를 손으로 설계하는 대신 데이터에서 규칙을 찾아내게 하자는 전환의 한복판에 그가 있었고, 정규화 이론과 학습의 안정성 개념이 그 결과다. 이 흐름은 생물학적 계산 학습 센터, 매코번 뇌 연구소, 뇌·마음·기계 센터라는 세 곳의 설립으로 이어졌다.

주요 인사이트

• 정규화 이론의 핵심 비유는 뇌를 작은 과학자로 보는 것이다. 관찰한 자료를 모두 설명하면서도 가장 단순한 해석을 고르는 방식으로 학습이 이뤄진다는 발상이며, 이것이 기계 학습과 뇌 연구를 잇는 공통 언어가 됐다.
• 학습의 안정성은 사자 갈기 모양 의상을 쓴 고양이를 예로 설명된다. 불안정한 알고리즘은 낯선 모습에 흔들려 다른 것으로 판정하지만, 안정적인 알고리즘은 변형을 넘어 핵심 특징을 붙잡는다.
• 그가 '매직 이론'이라 부른 구상은 불변성에 걸려 있다. 각도와 조명이 달라지고 머리 모양이 바뀌어도 친구의 얼굴을 알아보게 만드는 무언가를 뇌가 끊임없이 찾고 있다는 가설이다.
• 파리 연구에서 익힌 계산 원리는 종을 넘어 적용됐다. 자율주행차의 시각 시스템 작업부터, 컴퓨터 비전으로 동물의 먹기·그루밍·탐색 같은 행동을 자동 분류하는 표현형 분석까지 같은 뿌리에서 뻗어 나왔다.
• 그가 세운 생물학적 계산 학습 센터는 컴퓨터과학자와 신경과학자, 인지과학자를 한 지붕 아래 모은 초기 사례였고, 여기서 나온 서포트 벡터 머신은 지금도 이미지 인식과 자연어 처리에 널리 쓰인다.
• 항해에서 배운 교훈으로 언급된 대목도 인상적이다. 신문이 요트 경기 결과를 잘못 보도한 경험에서 읽은 것을 그대로 믿지 않고 직접 확인하는 태도를 얻었다는 이야기다.

자주 묻는 질문

관련 AI 소식