과학용 파운데이션 모델과 토크나이저: 은하 이미지 64만 장으로 비교한 4가지 토큰화 방식

핵심 메시지

• 천문학은 사람이 일일이 볼 수 없는 규모의 다중 관측 데이터와 물리 법칙이라는 검증 기준을 함께 갖고 있어, 파운데이션 모델을 시험하기 좋은 무대다.
• 연구팀은 은하 이미지 64만 장과 동일한 8,900만 파라미터 트랜스포머 백본을 두고 네 가지 토큰화 방식만 바꿔 비교했다.
• 이미지를 가장 선명하게 복원한 방식과 은하의 물리량을 가장 잘 담아낸 방식이 서로 달랐다. 복원 품질이 좋은 표현이라는 보장은 없다는 뜻이다.
• 정보를 압축하며 생기는 병목이 오히려 배경 잡음을 버리고 밝은 핵심 구조를 학습하게 만들어, 물리량 예측에는 유리하게 작용했다.
• 결국 토크나이저는 하고 싶은 후속 작업과 감당할 수 있는 GPU 예산에 맞춰 고르는 설계 변수이지, 성능 좋은 하나로 통일할 대상이 아니다.

쉽게 이해하기

스탠퍼드대에서 열린 2026년 물리·AI 콘퍼런스에서 하버드 AstroAI 소속 소골 산자리푸르는 은하 이미지를 다루는 파운데이션 모델에서 '토큰화'가 얼마나 중요한지를 다룬 연구를 발표했다. 천문학은 지상·우주 망원경 덕분에 수십억 장의 은하 이미지와 수천만 개의 스펙트럼, 수십억 건의 별 위치와 밝기 변화 기록이 쌓여 있는 분야다. 사람이 일일이 분류할 수 없는 규모인 데다 같은 천체를 여러 파장과 여러 방식으로 관측한 다중 데이터가 함께 있고, 무엇보다 물리 법칙이라는 정답 기준이 존재한다는 점에서 AI 모델을 검증하기 좋은 무대라고 그는 설명했다.

발표는 언어 모델의 구조를 이미지로 옮기는 비유에서 출발했다. 문장을 단어로 쪼개듯 은하 이미지를 작은 조각으로 쪼개 토큰으로 만들면 같은 트랜스포머 구조를 그대로 쓸 수 있다는 것이다. 다만 조각을 어떻게 나누고 어떤 정보를 담아 부호화하느냐가 모델이 배우는 내용을 좌우한다. 연구팀은 이 질문을 정면으로 다루기 위해 단순한 선형 변환 방식부터 학습형 코드북을 쓰는 방식, 구글 딥마인드가 제안한 가역적 정규화 흐름 기반 방식까지 네 가지 토크나이저를 준비했다.

실험은 비교 조건을 엄격히 맞췄다. 은하 64만 장을 같은 관측 자료에서 가져오고, 12개 층에 768차원, 12개 헤드로 구성된 8,900만 파라미터 규모의 동일한 트랜스포머 백본을 쓰면서 토큰화 방식만 바꿨다. 평가는 두 축이었다. 하나는 모델이 만든 내부 표현에서 별의 질량이나 별 생성률 같은 물리량을 얼마나 잘 예측할 수 있는지, 다른 하나는 이미지를 얼마나 원본에 가깝게 복원하는지였다.

결과는 갈렸다. 복원 품질에서는 정규화 흐름 기반 방식이 압도적으로 원본에 가까운 이미지를 만들어 냈지만, 내부 표현에서 물리량을 끌어내는 능력은 코드북을 쓰는 방식이 대부분의 항목에서 가장 좋았다. 발표자는 코드북 방식이 배경의 미세한 잡음을 상당 부분 버리고 은하의 밝은 부분에 집중하는데, 이 병목이 오히려 중요한 특징만 남기도록 강제한 것으로 보인다고 해석했다. 반대로 정보를 거의 잃지 않는 방식은 필요한 물리 정보가 표현 안에 분명 들어 있는데도 밖에서 꺼내 쓰기가 어려웠다.

비용 이야기도 빠지지 않았다. 가장 좋은 복원 품질을 낸 방식은 고성능 GPU 두 장으로 여덟 시간을 학습해야 했고, 나머지 방식보다 학습 에너지 소비가 훨씬 컸다. 그래서 발표자는 질의응답에서 연구실이 쓸 수 있는 GPU 규모와 데이터 종류를 함께 고려하라고 조언했다. 스펙트럼처럼 상대적으로 단순한 데이터라면 화려한 토크나이저보다 단순한 방식이 나을 수 있다는 것이다.

주요 인사이트

• 잘 복원한다고 잘 이해한 것은 아니다. 원본에 가까운 이미지를 만들어 내는 모델이 정작 물리량 예측에서는 밀렸다는 결과는, 생성 품질을 표현 학습의 척도로 삼는 습관에 제동을 건다.
• 압축 병목은 손실이자 필터다. 코드북 방식이 배경 잡음을 잃어버리는 특성이 결과적으로 은하의 핵심 구조에 집중하게 만들었다는 해석은, 정보 손실이 항상 나쁜 것은 아님을 보여 준다.
• 후속 작업을 모를 때는 예산이 기준이 된다. 발표자는 어떤 작업에 쓸지 정해지지 않았다면 접근 가능한 GPU 자원과 데이터 종류에 맞춰 단순한 토크나이저를 고르고 백본을 더 학습시키는 편이 현실적이라고 답했다.
• 코드북 크기는 정확도와 학습 시간의 손잡이다. 항목 수를 늘리면 원본 조각과 더 가까운 후보를 고를 수 있어 매핑이 정확해지지만 학습 시간이 늘어난다.
• 천문학 데이터가 AI 연구에 주는 특별한 이점은 규모가 아니라 검증 가능성이다. 독립적으로 측정된 물리량이 있기 때문에 모델이 진짜 물리를 배웠는지 따져 볼 수 있다.

자주 묻는 질문

관련 AI 소식