적응형 깊이 연산 대회 원 레이어 디퍼: 반복 모듈러 제곱으로 트랜스포머의 한계를 시험한다

핵심 메시지

• 순차적으로 풀 수밖에 없는 문제는 결국 깊이가 난이도의 한계를 정한다. 고정 깊이 모델은 필요한 단계 수를 넘는 입력에서 무너진다.
• 대회의 초점은 토큰을 더 뱉는 사고 연쇄가 아니라, 잠재 공간에서 같은 블록을 더 오래 반복하는 적응형 연산이다.
• 깊이를 제대로 재려면 문제 자체가 순차적이어야 하고, 암기용 조회표로 우회할 수 없어야 하며, 시험 문제가 훈련보다 확실히 깊어야 한다.
• 과제로 채택된 반복 모듈러 제곱은 지름길이 사실상 막혀 있고, 중간 한 단계만 틀려도 답이 되돌아오지 않는다.
• 출제진은 초기 공개 기간에 나온 보상 해킹 시도를 실패가 아니라 기여로 보고, 규칙을 다듬으며 리더보드를 재설정하고 있다.

쉽게 이해하기

GPU MODE 108번째 강연은 새로 열린 '원 레이어 디퍼' 대회를 소개하는 자리였다. 이 대회가 묻는 질문은 단순하다. 모델이 훈련받은 것보다 더 깊은 연산을 시험 시점에 수행할 수 있는가. 발표자는 순차적으로만 풀리는 문제에서는 결국 깊이가 난이도를 결정하며, 층수가 D로 고정된 모델은 D단계를 넘는 입력을 만나는 순간 손을 들 수밖에 없다고 설명한다. 동시에 쉬운 문제에 불필요한 연산을 쏟아붓지 않는 적응성도 필요하다.

발표는 이 아이디어의 계보를 짚는다. 2016년의 적응형 연산 시간 연구는 모델이 매 반복마다 멈출 확률을 학습하되, 무한정 생각하지 않도록 숙고 비용 페널티를 붙였다. 유니버설 트랜스포머 계열은 파라미터 수를 늘리지 않고 같은 블록을 반복해 유효 깊이만 키웠다. 쉬운 문제로 훈련하고 어려운 문제에서 반복 횟수를 늘리는 외삽 연구도 이어졌는데, 작은 미로로 훈련한 모델이 더 큰 미로에서도 반복만 늘려 주면 풀어내는 사례가 대표적이다.

발표자가 강조한 것은 잠재 공간 반복의 이론적 매력이다. 사고 연쇄처럼 토큰을 더 뱉는 방식은 매 순간 연속적인 표현을 이산적인 토큰으로 눌러 담는 인위적 단계를 거치지만, 잠재 공간에서 반복하면 모델이 벡터를 계속 다듬을 수 있다. 이런 잠재 공간 적응형 추론은 사고 연쇄를 흉내 낼 수 있어 표현력 면에서 엄밀히 더 강하다는 것이 그가 제시한 근거다.

깊이를 재는 벤치마크가 어려운 이유도 짚는다. 절차가 순차적이라고 문제까지 순차적인 것은 아니다. 최대공약수는 유클리드 호제법으로 풀면 앞 단계 결과가 계속 필요하지만, 그냥 작은 수부터 전부 확인하는 무식한 방법으로도 구할 수 있다. 모델이 충분히 크면 순차적으로 보이는 과제도 조회표를 외워 우회할 수 있다는 점도 함정이다. 그래서 시험 문제는 훈련보다 반드시 더 깊어야 한다.

이 조건들을 모두 만족시키는 과제로 채택된 것이 반복 모듈러 제곱이다. 수 x와 법 n, 반복 횟수 t를 주고 x를 t번 거듭 제곱한 값을 n으로 나눈 나머지를 묻는다. 두 소수의 곱인 반합성수를 법으로 쓰면 조회표로 전부 외우는 길이 막히고, 소인수분해를 알아야만 쓸 수 있는 지수 축약 지름길도 인수분해를 숨기면 봉쇄된다. 출제진은 정답 계산법을 알고 있어 채점은 쉽지만, 참가자에게는 어렵게 남는 비대칭이 성립한다.

주요 인사이트

• 대회는 쉬움·보통·어려움 세 등급으로 나뉘고, 순위에 반영되는 것은 어려움 등급뿐이다. 쉬움은 훈련 시간 60초에 법 n을 공개하고, 보통은 10분에 결과만 비공개이며, 어려움은 1시간이지만 n과 t를 모두 숨긴 채 정확도 하나만 돌려준다.
• 고정된 것은 단일 H100 한 장과 데이터이며, 참가자가 손댈 수 있는 것은 아키텍처·옵티마이저·연산과 깊이의 배분·손실 함수다. 발표자는 적응형 연산이 학습을 불안정하게 만들기 쉬운 만큼 옵티마이저 설계가 승부처가 될 것이라고 내다봤다.
• 출제진이 원하는 것은 요령이 아니라 실험이다. 문맥 길이가 매우 짧다는 특성 때문에, 언어 모델에서는 감당하기 어려운 3차 어텐션 같은 과감한 구조도 여기서는 시도해 볼 만하다고 예시를 들었다.
• 규칙은 하드코딩을 막는 데 집중돼 있다. 학습 가능한 파라미터는 5억 개까지, 가중치에 조회표를 심는 것도, 순전파에 알고리즘을 그대로 적어 넣는 것도 금지다. 어려움 데이터셋에는 이를 막기 위한 장치를 비공개로 남겨 뒀다.
• 초기 리더보드는 보상 해킹과의 술래잡기였다. 신경망 가중치를 쓰지 않고 입력을 파싱해 파이썬으로 답을 출력하거나, 출제진이 썼을 법한 함수 후보들을 학습 중에 비교해 고르는 라우터를 만든 제출이 삭제됐다. 발표 시점에 어려움 등급의 최고 점수는 1퍼센트에도 미치지 못했다.

자주 묻는 질문

관련 AI 소식