커버리지 원리로 본 언어모델 학습, best-of-n 성능을 좌우하는 숨은 지표는 무엇인가

핵심 메시지

• 마이크로소프트 리서치의 악샤이 크리슈나무르티는 카네기멜런대 AI-SDM 세미나에서, 언어모델을 여러 번 샘플링해 쓰는 지금의 사용 방식이 학습 방식과 어긋나 있다고 지적했다.
• 그가 제시한 '커버리지'는 모델이 목표가 되는 응답을 최소 n분의 1 이상의 확률로 뽑아내는지를 재는 값으로, best-of-n 성능의 상한과 하한을 함께 설명한다.
• 크로스 엔트로피는 커버리지를 아주 느슨하게만 묶어 준다. 실험에서는 크로스 엔트로피가 계속 좋아지는 동안 커버리지와 여러 번 뽑았을 때의 정답률이 오히려 나빠지는 구간이 나타났다.
• 학습이 끝난 체크포인트들을 토너먼트 방식으로 비교하면, 지표만으로는 보이지 않던 '멈췄어야 할 지점'을 실제로 골라낼 수 있었다.
• 모델 내부의 임베딩과 실험계획법을 써서 응답을 골라 뽑자 같은 정답에 도달하는 데 필요한 샘플 수가 크게 줄었고, 같은 아이디어를 강화학습의 탐색 보너스로도 활용했다.

쉽게 이해하기

발표자는 먼저 요즘 언어모델이 만들어지는 과정을 세 단계로 나눠 설명했다. 방대한 데이터로 다음 단어를 맞히도록 가르치는 사전학습, 데이터가 적은 대신 방법이 다양한 사후학습, 그리고 추가 데이터 없이 모델을 여러 번 굴려 쓰는 추론 단계다. 문제는 세 번째 단계가 최근에야 널리 쓰이기 시작했는데 앞의 두 단계는 예전 방식 그대로라는 점이다.

추론 단계에서 가장 단순한 방법은 한 질문에 여러 답을 뽑아 그중 맞는 것을 고르는 방식이다. 발표에서 소개된 재현 실험을 보면, 샘플 수를 늘렸을 때의 정답률은 한 번만 뽑는 표준 방식보다 훨씬 높았다. 게다가 이 값은 이후 강화학습으로 추론 모델을 만들었을 때의 성능을 어느 정도 예고하는 지표로도 쓰인다. 강화학습이 실제로는 기본 모델이 이미 높은 확률로 내놓던 답만 골라 다듬는다는 분석도 함께 소개됐다.

그런데 이 지표는 이상하게 움직인다. 같은 크기의 두 모델을 비교하면 적게 뽑을 때는 신형이 낫고 많이 뽑을 때는 구형이 나은 역전이 생긴다. 더 심각한 사례로, 학습을 오래 진행할수록 한 번 뽑았을 때의 정답률은 계속 좋아지는데 여러 번 뽑았을 때의 정답률은 계속 나빠지는 결과도 있었다. 발표자는 그래서 이 값을 지배하는 다른 양을 찾아야 한다고 말한다.

그 답으로 제시된 것이 커버리지다. 목표로 삼는 응답 분포를 모델이 얼마나 자주 충분한 확률로 덮고 있는지를 재고, 이 값이 작으면 여러 번 뽑기가 잘 통한다는 상한과 하한이 모두 증명된다. 발표자는 이것을 평균값 하나가 아니라 분포 전체를 보는 지표라고 설명했다. 학습 중 벤치마킹에서 숫자 하나만 보지 말고 여러 지표를 함께 봐야 한다는 이야기다.

이론과 실험은 크로스 엔트로피만 믿을 수 없다는 쪽을 가리켰다. 그래프 경로 찾기 과제에서 문제 길이를 늘리자 크로스 엔트로피가 수렴하는 값은 함께 커졌지만 커버리지는 그렇지 않았고, 다른 과제에서는 크로스 엔트로피가 줄어드는 동안 커버리지가 도로 나빠지며 여러 번 뽑기 성능을 갉아먹었다. 발표자는 동전 던지기 확률을 추정하는 단순한 예로, 관측되지 않은 사건 때문에 크로스 엔트로피는 무한대로 튈 수 있지만 커버리지는 언제나 얌전하다는 점을 보였다.

주요 인사이트

• 지표 하나로 학습을 관리하면 위험하다. 발표에서 소개된 사례처럼 크로스 엔트로피가 계속 좋아지는 중에도 실제 사용 방식에서의 성능은 이미 꺾여 있을 수 있다.
• 커버리지는 개념적으로 유용하지만 실전에서 직접 재기는 어렵다. 데이터를 만든 쪽의 확률값이 필요하기 때문이며, 발표자도 합성 문제나 증류 상황이 아니면 측정이 어렵다고 인정했다.
• 언어모델을 '입력을 넣으면 확률적으로 답이 나오는 상자'로만 보면 놓치는 정보가 많다. 내부 임베딩을 활용해 서로 다른 방향의 응답을 고르자 같은 성능에 필요한 샘플 수가 눈에 띄게 줄었다.
• 강화학습에 탐색 보상을 더한 실험에서는 기존 방식의 강점과 기본 모델의 강점을 동시에 유지하는 결과가 나왔지만, 발표자는 이 방법 자체를 권하기보다 탐색이라는 방향을 더 파 볼 만하다고 말했다.

자주 묻는 질문

관련 AI 소식