홉필드 네트워크란? 2024 노벨물리학상으로 본 신경망의 기억 저장과 에너지·확률 원리

핵심 메시지

• 홉필드 네트워크는 존 홉필드가 1980년대 초에 만든 신경망으로, 뇌가 기억을 저장하고 떠올리는 방식을 흉내 내 2024년 노벨물리학상(제프리 힌턴과 공동 수상)의 토대가 됐다.
• 변수(활동) 사이의 상관관계를 간선의 가중치로 저장한다. 함께 일어나면 양(+)의 강한 연결, 반대로 일어나면 음(-)의 연결, 무관하면 0에 가까운 연결이 된다.
• 학습은 각 데이터 행에서 정점 값의 곱을 모든 간선에 대해 더하는 것으로, 외적(outer product) 행렬들을 합쳐 대각선이 0이고 대칭인 인접 행렬을 만드는 과정이다.
• 예측은 이미 아는 정점 값에 간선 가중치를 곱해 더한 뒤 부호를 취해, 비어 있는 값(예: 오늘 커피를 마셨는가)을 +1 또는 −1로 채우는 방식이다.
• 좋은 구성은 점수가 높고 에너지가 낮으며, 확률은 에너지의 음수에 대한 지수(소프트맥스)에 비례한다. 더 복잡한 상관관계는 은닉층을 둔 제한 볼츠만 머신(RBM)으로 확장해 포착한다.

쉽게 이해하기

영상은 '책 읽기'와 '커피 마시기'처럼 일상 활동을 예로 든다. 둘을 함께 하거나 함께 안 하는 날이 많으면 두 활동은 강하게 양의 상관을 가지며, 오늘 책을 읽었다는 정보만으로 커피도 마셨으리라 추측할 수 있다. 반대로 '책 읽기'와 '달리기'처럼 한쪽을 하면 다른 쪽을 안 하는 경우는 음의 상관이고, '요리'와 '달리기'처럼 서로 무관하면 정보가 없어 추측할 수 없다. 홉필드 네트워크는 이런 상관관계를 간선의 부호와 크기로 나타낸 그래프다.

발상의 뿌리는 신경과학이다. 뇌의 여러 영역(세포)에 각 활동이 저장돼 있고, 함께 자주 하는 활동끼리는 연결이 강해지고, 결코 함께 하지 않는 활동끼리는 음의 연결이 되며, 무관한 활동은 연결이 거의 없다고 상상하는 것이다. 활동이 많아져도 같은 원리로 모든 활동 쌍 사이에 강한 양·강한 음·0에 가까운 연결이 생긴다.

학습 방법은 단순하다. 데이터의 각 날(행)에서 두 활동이 같으면(둘 다 했거나 둘 다 안 했으면) +1, 다르면 −1을 그 간선에 더한다. 여러 날을 모두 더하면 함께 움직이는 활동 쌍은 큰 양수, 반대로 움직이는 쌍은 큰 음수, 무관한 쌍은 0이 된다. 활동 값을 +1/−1로 두고 각 행을 열벡터와 행벡터의 외적으로 만들면 인접 행렬이 나오며, 이 행렬들을 모두 더하고 대각선을 0으로 두면 학습이 끝난다. 이 행렬은 항상 대각선이 0이고 대칭이다.

예측은 더 간단하다. 일부 활동을 알 때, 알려진 정점 값에 해당 간선의 가중치를 곱해 모두 더한다. 합이 양수면 +1(했다), 음수면 −1(안 했다)로 빈칸을 채운다. 예를 들어 오늘 책을 읽었고 달리지 않았다면, 커피 쪽 간선 계산에서 강한 양수가 나와 '커피를 마셨다(+1)'로 채워진다. 활동이 많은 큰 그래프에서도 채우려는 정점에 연결된 간선만 보면 된다.

여기에 점수·에너지·확률 개념이 더해진다. 간선의 상관과 잘 맞는 구성에는 높은 점수를 주고, 에너지는 점수의 음수로 정의한다. 즉 좋은(잘 맞는) 구성일수록 점수가 높고 에너지가 낮다. 물리에서 공이 낮은 곳에 있을 확률이 높듯, 낮은 에너지 상태일수록 나타날 확률이 높다. 확률은 에너지의 음수에 대한 지수를 분배 함수(partition function)로 나눈 값에 비례한다(소프트맥스). 다만 세 변수 이상이 얽힌 복잡한 상관은 홉필드 네트워크가 잡기 어려워, 힌턴이 만든 제한 볼츠만 머신(RBM)처럼 은닉층을 둬 더 깊고 복잡한 상관을 학습하는 모델로 확장한다.

주요 인사이트

• 홉필드 네트워크의 본질은 '상관관계를 간선 가중치로 저장한 그래프'이며, 학습은 외적 행렬의 합, 예측은 가중합의 부호라는 매우 단순한 연산으로 이뤄진다.
• 학습이 손실 함수와 경사하강 없이 결정론적으로 이뤄진다는 점이 일반 신경망과 다른 특징이다. 데이터 행들의 외적을 더하기만 하면 된다.
• 점수·에너지·확률은 사실 같은 것을 다른 각도에서 본 것이다. 좋은 구성=높은 점수=낮은 에너지=높은 확률로 이어진다.
• 낮은 에너지로 수렴한다는 아이디어는 물리계가 스스로 평형 상태를 찾는 과정과 닮았고, 이것이 노벨물리학상으로 이어진 물리학과의 연결 고리다.
• 두 변수 사이의 상관만 저장하는 홉필드 네트워크의 한계를 은닉층으로 넘어선 것이 RBM이며, 층을 더 쌓으면 더 깊은 상관까지 포착할 수 있다.

자주 묻는 질문

관련 AI 소식