LLM 평가셋 자동 생성 실습: 모델이 쓴 300문항을 걸러내는 품질 관리와 p-해킹 방지

핵심 메시지

• 직접 쓴 질문 4~5개를 20개 시드로 늘린 뒤, 모델을 이용해 300문항 규모의 평가셋을 만드는 것이 이날 실습의 목표다.
• 한 번의 호출에서 여러 문항을 한꺼번에 생성해야 다양성이 생기고, 같은 프롬프트를 여러 번 호출하면 사실상 같은 질문만 나온다.
• 생성보다 어려운 것은 품질 관리이며, 루브릭을 직접 써서 모델에게 채점시키는 과정이 평가 설계자의 생각을 정리하게 만든다.
• 모델은 질문자의 입장을 추론해 동조하는 경향이 있어, 같은 상황을 반대 관점으로 다시 쓴 문항을 함께 넣어 이 편향을 측정한다.
• 평가를 돌린 뒤 점수가 마음에 들지 않는다고 문항을 빼는 것은 금물이며, 수치는 미리 정하고 관찰한 결과를 그대로 보고해야 한다.

쉽게 이해하기

이 영상은 AI 안전 연구 인력을 길러내는 교육 과정 ARENA의 3주차 강의로, 언어모델 평가셋을 사람이 아니라 모델의 힘을 빌려 대량으로 만드는 실습을 다룬다. 강사는 전날 수강생들이 손으로 작성한 네다섯 개의 질문에서 출발해 하루 만에 300문항 규모의 데이터셋을 만드는 것을 목표로 제시한다. 방법론의 뼈대는 2022년에 발표된 '모델이 작성한 평가(model-written evals)' 논문에서 가져왔다.

강사는 그 논문에 딸린 공개 데이터셋을 직접 열어보면 정답이 잘못 붙어 있거나 질문 자체가 좋지 않은 사례가 많다고 지적한다. 다만 당시 사용된 모델보다 지금의 모델이 훨씬 낫기 때문에, 같은 방법론으로도 훨씬 쓸 만한 데이터셋을 만들 수 있다는 것이 실습의 전제다. 그래서 강의의 무게중심은 '어떻게 많이 만드느냐'가 아니라 '만들어진 것을 어떻게 거르느냐'에 놓인다.

생성 단계의 요령은 의외로 단순하다. 시드 질문 몇 개를 넣고 한 번에 네 개씩 문항을 만들게 하면 뒤로 갈수록 내용이 갈라지지만, 같은 요청을 네 번 반복하면 표현만 조금 다른 같은 질문이 돌아온다. 초반에 나오는 중복은 버리고 뒤쪽의 다양한 문항을 살리는 식이다. 온도 값도 생성 단계에서는 조금 올려 다양성을 늘려볼 만하다고 권한다.

품질 관리는 두 갈래로 진행된다. 하나는 '정답이 항상 예인가' 같은 기계적인 편향 점검이고, 다른 하나는 좋은 문항과 나쁜 문항의 기준을 담은 루브릭을 써서 모델에게 1점부터 10점까지 매기게 하는 것이다. 여기서 강사는 루브릭을 쓰는 행위 자체가 '이 맥락에서 좋은 질문이란 무엇인가'를 스스로 정리하게 만든다는 점을 강조한다.

마지막으로 강의는 평가 설계자가 빠지기 쉬운 함정을 다룬다. 문항 수, 프롬프트 문구, 온도처럼 손댈 수 있는 손잡이가 수십 개라 원하는 결과가 나올 때까지 조작하기 쉽다는 청중의 우려에, 강사는 수치를 미리 정해두고 평가를 돌린 뒤에는 데이터셋을 고치지 말라고 답한다. 예상보다 낮은 점수가 나오면 그 사실을 그대로 보고하는 것이 평가의 역할이라는 것이다.

주요 인사이트

• 평가셋 제작에서 병목은 문항 생산이 아니라 걸러내기다. 생성은 저렴하니 다섯 배로 만들고 나쁜 것을 대량으로 버리는 편이, 처음부터 좋은 문항만 뽑으려 애쓰는 것보다 낫다는 조언이 반복된다.
• 모델은 질문에 담긴 화자의 입장을 읽고 거기에 동조한다. 강사는 모델에게 '이 질문이 어떤 관점을 전제하는지' 추론하게 한 뒤 반대 관점으로 다시 쓰게 해 두 버전을 모두 넣으라고 권하는데, 이렇게 하면 동조 성향 자체가 측정 대상이 된다.
• 문체나 난이도처럼 결과를 왜곡할 수 있는 요인은 삭제 대신 메타데이터로 기록해두면, 나중에 '격식체 문항에서만 다른 행동이 나왔다' 같은 분석이 가능해진다.
• 청중은 모델이 만든 시험지로 모델을 평가하는 구조 자체를 우려한다. 강사는 모델이 자기 생성물을 선호하는 경향과 평가 상황을 알아차리는 문제를 인정하면서, 다른 모델로 문장을 다시 쓰게 하는 정도의 완화책을 제시한다.
• 프롬프트는 '영어는 유창하지만 인간 사회 맥락은 전혀 모르는 상대'에게 설명하듯 과하게 구체적으로 써야 한다. 해석의 여지를 남기면 모델은 그 여지를 원치 않는 방향으로 채운다.

자주 묻는 질문

관련 AI 소식