AI 코사이언티스트 훈련법: 논문에서 추출한 루브릭 보상으로 연구 계획 능력을 강화학습

핵심 메시지

• 지금까지의 AI for science는 잘 정의된 환경과 지표를 사람이 만들어 주고 모델이 최적화하게 하는 방식이었지만, 정작 그 환경을 설계하는 일이 과학에서 가장 어려운 부분이다.
• 그래서 연구는 실험 실행이 아니라 '연구 계획 작성' 자체를 학습 대상으로 삼았다. 실행 기반 접근은 환경 구축 비용이 크고, 한 번의 검증에 몇 달이 걸리며, 화학·의학처럼 디지털 샌드박스가 없는 분야에는 적용조차 어렵기 때문이다.
• 학습 데이터는 논문에서 만들었다. 약 8,000편의 논문에서 연구 목표와 채점 루브릭, 참조 해법을 언어 모델로 추출했고 데이터셋은 공개됐다.
• 보상은 계획이 충족한 루브릭 항목의 비율이다. 채점자는 학습되지 않는 동결 사본이지만 생성 모델이 볼 수 없는 루브릭과 참조 해법을 쥐고 있어, 생성보다 검증이 쉽다는 격차를 인위적으로 벌려 놓았다.
• 지도 미세조정은 오히려 성능을 떨어뜨렸고 강화학습만 효과가 있었다. 초기 12%에서 최종 29.7%까지 올랐으며, 인간 전문가 평가에서도 다섯 기준 중 셋에서 미세조정 모델이 선호됐다.

쉽게 이해하기

발표자는 메타에서 인턴으로 수행한 연구를 소개하며, 오늘날 AI for science 연구의 전형적인 구조부터 짚는다. 연구자가 데이터와 도구와 평가 지표가 갖춰진 환경을 정성껏 만들어 두면 모델이 그 안에서 숫자를 끌어올리는 방식이다. 이 방식이 작동하는 것은 분명하지만, 사람이 환경을 정의해 주는 순간 과학에서 가장 어려운 일을 이미 대신 해준 셈이 된다는 것이 문제 제기의 출발점이다.

실행 중심 접근에는 세 가지 벽이 있다. 과제마다 특수한 환경을 새로 만들어야 해서 딥러닝이 성공해 온 '과제 수를 늘려 일반성을 얻는' 방식과 어긋나고, 언어 모델 학습처럼 한 번의 실험에 수개월과 막대한 비용이 드는 영역에서는 시행착오 자체가 불가능하며, 화학 실험실이나 임상 연구처럼 완전한 디지털 시뮬레이션이 없는 분야에는 아예 적용되지 않는다. 사람이 연구를 배우는 과정도 첫 아이디어를 곧바로 6개월짜리 실험으로 옮기는 것이 아니라 지도교수와 계획을 다듬는 데서 시작한다는 점이 착안점이 됐다.

방법은 단순하다. 연구 목표를 입력받아 계획을 생성하는 정책 모델이 있고, 학습되지 않는 동결 사본이 그 계획을 채점한다. 채점자에게는 논문에서 추출한 항목별 루브릭과 요약된 참조 해법, 일반 가이드라인이 주어지지만 생성 모델에게는 주어지지 않는다. 각 루브릭 항목은 단순 통과·실패가 아니라 '구체적일 것', '과장하지 말 것' 같은 일곱 개 일반 지침을 모두 만족했는지 중첩 검사하며, 그 비율에 분량 초과 페널티를 더한 값이 보상이 되어 GRPO로 학습된다.

학습 과정에서 드러난 사실도 흥미롭다. 참조 해법으로 지도 미세조정을 시도하면 하이퍼파라미터를 어떻게 바꿔도 학습이 진행될수록 채점 성능이 나빠졌다. 강화학습으로 전환하자 12%에서 21.7%로 올랐고, 보상 모델을 4B에서 30B로 키워 23.3%, KL 페널티를 제거하면서 한 번 더 크게 뛰어 최종 29.7%에 도달했다. 항목별 루브릭과 일반 가이드라인 중 어느 한쪽만 써도 점수는 크게 떨어져 둘 다 필요하다는 점이 확인됐다. 보상 해킹은 결국 일어난다고 전제하고, 자가 채점 점수와 더 강한 외부 모델의 채점을 나란히 그려 외부 점수가 정체·하락하는 지점에서 학습을 멈추는 방식으로 대응했다.

검증은 사람이 했다. 대학원생과 현업 머신러닝 연구자들이 100개 표본을 세 명씩 나눠 채점한 결과, 미세조정 모델의 계획은 요구사항 충족·타당성·예상 성과 세 기준에서 뚜렷하게 선호됐고 종합 점수 7.89로 통계적으로 유의한 차이를 보였다. 다만 계획이 상세해지면서 실행 방법의 명확성과 복잡도 두 기준에서는 오히려 나빠졌다. 도메인을 넘는 일반화도 관찰됐는데, 의학 논문으로만 미세조정한 모델이 머신러닝 테스트셋에서도 초기 모델을 앞섰다. 프런티어 모델 비교에서는 GPT-5 계열 추론 모델이 큰 격차로 1위였고, 30B 규모 미세조정 모델은 훨씬 거대한 모델과 사람 평가에서 대등하거나 약간 앞섰다.

주요 인사이트

• 이 연구는 과학을 AI의 응용 분야가 아니라 지능을 키우는 훈련장으로 본다. 장기 계획, 불확실성 추론, 표본 효율 같은 능력이 과학적 사고에 응축돼 있다는 관점이다.
• 신규성은 사람의 몫으로 남겨졌다. 모델은 새로운 질문을 찾는 것이 아니라 사람이 정한 연구 목표를 가장 견실하게 달성할 실험 설계를 내놓는 역할을 맡는다.
• 자가 채점 강화학습은 반드시 보상을 해킹하지만, 더 강한 외부 채점자와의 점수 괴리가 언제 멈춰야 하는지를 알려주는 신호가 된다.
• 계획을 자세하게 만들수록 복잡해지고 실행 지침은 흐려지는 상충이 인간 평가에서 그대로 드러났다. 상세함은 공짜가 아니다.
• 병목은 연산이 아니라 사람이었다. 학습 자체는 단일 노드로 끝났지만, 전문가에게 계획을 채점받는 인간 평가가 가장 비싸고 한 번밖에 돌릴 수 없는 자원이었다.

자주 묻는 질문

관련 AI 소식