에너지 기반 트랜스포머(EBT)란? 어려운 토큰에 더 오래 생각하는 AI 모델 원리

핵심 메시지

• 에너지 기반 모델(EBM)은 답을 직접 출력하지 않고, 입력과 후보 답의 짝에 '에너지 점수'를 매겨 잘 맞을수록 낮은 값을 준다.
• EBT는 이 EBM을 트랜스포머로 구현해, 초기 추측을 에너지에 대한 경사하강으로 여러 번 다듬은 뒤 다음 토큰을 정한다.
• 쉬운 토큰은 몇 단계, 어려운 토큰은 더 많은 단계로 계산량을 유동적으로 배분할 수 있다는 것이 핵심 장점이다.
• 에너지 점수 자체가 예측의 좋고 나쁨을 알려줘, 모델이 스스로 검증하고 불확실성을 표현할 수 있다.
• 아직 실험 규모가 작고 계산 비용이 커서, 저자와 해설자 모두 확실한 우위를 단정하지는 않는다.

쉽게 이해하기

일반적인 신경망은 입력 x를 받아 가능한 답 y에 대한 확률 분포를 곧바로 내놓는다. 반면 에너지 기반 모델(EBM)은 입력 x와 후보 답 y를 함께 받아, 이 짝이 얼마나 잘 어울리는지를 하나의 '에너지' 점수로 매긴다. 잘 맞는 답에는 낮은 에너지를, 어울리지 않는 답에는 높은 에너지를 부여한다. 즉 평가하려는 답이 출력이 아니라 입력의 일부가 된다.

에너지 기반 트랜스포머(EBT)는 이 EBM을 트랜스포머로 구현한 것이다. 학습 때는 무작위 초기 추측에서 시작해, 에너지를 낮추는 방향으로 경사하강을 여러 번 반복해 추측을 다듬는다. 이때 모델 가중치는 고정하고 입력인 추측값만 갱신한다는 점이 특이하다. 정해진 횟수만큼 다듬은 결과를 실제 정답과 비교해(주로 교차엔트로피) 그 손실로 다시 모델 파라미터를 학습한다.

이 방식은 다듬는 과정 자체가 계산 그래프 안에 들어가므로, 역전파 시 '기울기의 기울기'인 2차 미분이 필요하다. 저자들은 헤시안-벡터 곱을 이용해 이를 모델 크기에 비례하는 비용으로 효율적으로 계산한다. 추론 때는 정답이 없으므로 문맥만 가지고 무작위 추측에서 출발해, 에너지가 더 낮아지지 않을 때까지 또는 정해진 횟수만큼 다듬는다.

학습을 안정화하기 위해 세 가지 기법이 쓰인다. 갱신 단계마다 약간의 가우시안 잡음을 더하는 랑주뱅(Langevin) 방식으로 국소 최저점에 갇히는 것을 막고, 과거의 중간 추측을 저장했다가 다시 출발점으로 쓰는 리플레이 버퍼로 '다듬는 도중' 상태에 익숙해지게 하며, 스텝 크기와 횟수를 무작위로 바꿔 하나의 경로를 외우지 않도록 한다.

결과는 아직 뒤섞여 있다. 검증 퍼플렉시티에서는 초반에 일반 트랜스포머가 앞서다 EBT가 따라붙고, 같은 성능 기준 EBT는 계산량(FLOPs)이 약 10배 더 든다. 다만 학습을 늘릴수록 개선 기울기가 더 가팔라, 조 단위 토큰 규모에서는 역전 가능성도 있다는 정도다. 텍스트뿐 아니라 영상·이미지 실험도 유망해 보이지만, 해설자는 큰 규모의 검증이 없어 아직 확신하기 이르다고 평한다.

주요 인사이트

• 핵심 아이디어는 '예측을 최적화 문제로 바꾸는' 것이다. 무작위 오답을 잔뜩 보여주는 대신, 경사하강이 자연스럽게 정답으로 흐르도록 에너지 지형 전체를 빚는다.
• 토큰마다 다듬는 횟수를 조절하면 쉬운 문제는 빠르게, 어려운 문제는 더 오래 계산하는 사람다운 '느린 사고(System 2)'에 가까워진다.
• 그러나 이 논문에서는 실제로는 고정 횟수만 사용했다. EBM의 학습이 불안정하기 때문인데, 정작 강점인 '상황에 따른 유동적 계산 배분' 실험이 빠진 점이 아쉬움으로 지적된다.
• 에너지 값이 계속 높게 남으면 모델이 스스로 확신이 없음을 아는 셈이어서, 불확실성 표시나 여러 생성 결과의 품질 비교에 쓸 수 있다.

자주 묻는 질문

관련 AI 소식