AI 가치 정렬 평가 방법 정리 - 객관식 벤치마크의 한계와 생성형 동적 평가, 자기진화형 검사로의 전환

핵심 메시지

• 발표자는 모델의 가치를 겉으로 드러나지 않는 잠재 변수로 보고, 이를 알면 모델이 앞으로 어떻게 행동할지를 가늠하는 대리 지표로 쓸 수 있다고 주장한다.
• 명시적으로 유해한 표본을 모두 제거한 가치 관련 데이터로 미세조정했는데도 모델의 유해성 지표가 뚜렷이 올라간 실험이 소개됐다.
• 선택지를 고르게 하는 객관식 평가는 어순과 표현에 흔들리고, 모델이 무엇이 옳은지 아는지를 잴 뿐 실제로 그렇게 행동하는지는 재지 못한다.
• 그래서 모델이 자유롭게 응답하게 하고 그 행동을 관찰하는 생성형 평가, 그리고 모델별 경계를 파고드는 문항을 자동 생성하는 동적 평가로 옮겨가야 한다는 것이 발표의 뼈대다.
• 오래된 벤치마크가 학습 데이터에 흡수돼 점수가 포화되는 문제는 문항반응이론과 적응형 검사를 결합해 난이도를 자동으로 올리는 방식으로 대응한다.

쉽게 이해하기

이 세미나는 AI 평가 국제 프로그램이 일부 강의를 외부에 공개하는 시리즈의 하나로, 마이크로소프트 리서치 아시아의 연구자가 모델의 가치를 어떻게 측정하는지를 다뤘다. 출발점은 단순하다. 프런티어 AI가 위험해지려면 능력과 의도가 모두 필요한데 능력을 낮출 수는 없으니 남은 지렛대는 의도이고, 모델의 가치 성향이 그 의도를 들여다보는 창이 된다는 것이다. 발표자는 모델의 출력이 프롬프트만이 아니라 내부의 가치 성향에도 영향받는다고 보고, 그 성향을 잠재 변수로 다룬다.

가치를 재려면 기준 체계가 필요한데, 발표자는 사회과학이 수십 년간 검증해온 가치 이론들을 빌려온다. 대표적으로 열 개 차원으로 인간의 기본 가치를 기술하는 이론이 있고, 여기에는 나라별·집단별 실제 점수까지 축적돼 있다. 같은 좌표계 위에 사람의 가치와 모델의 가치를 함께 올려놓으면, 둘의 거리를 재고 그 거리를 줄이는 방식으로 정렬을 정의할 수 있다는 발상이다.

가치를 굳이 따로 재야 하는 이유로 두 갈래 근거가 제시된다. 첫째는 위험과의 연결이다. 명시적으로 유해한 표본을 걸러낸 일반 자연어처리 데이터로 미세조정했을 때는 유해성이 거의 변하지 않았지만, 마찬가지로 유해 표본을 걸러낸 가치 관련 데이터로 미세조정하자 유해성 지표가 뚜렷하게 올라갔다. 특정 가치 차원과 특정 위험 유형 사이의 상관도 관찰됐다. 둘째는 예측력이다. 가치 성향이 다른 모델들은 안전과 무관한 질문, 예컨대 경험 중심 학습과 전통적 학습 중 무엇이 중요한가 같은 물음에도 서로 다른 입장을 내놓았다. 문화권마다 결혼과 가족을 두고 전혀 다른 답이 나온 사례도 함께 제시되며, 이는 특정 시장에 모델을 배포할 때의 적합성 문제로 이어진다.

본론은 기존 평가 방식의 한계다. 심리학 설문을 그대로 옮겨온 객관식 벤치마크는 판별형 평가에 해당하는데, 여기에는 세 가지 문제가 있다. 타당성 측면에서 이런 문항은 모델이 무엇이 옳은지 아는지를 잴 뿐이며, 사람에게 스스로 좋은 사람인지 묻는 자기 보고와 다르지 않다. 정보량 측면에서는 소방 장비 예산을 늘려야 하느냐 같은 뻔한 질문에 모든 모델이 똑같이 답해버려 모델 간 비교가 불가능해진다. 여기에 선택지의 의미와 제시 순서에 답이 흔들리는 문제도 겹친다.

대안으로 제시되는 것이 생성형 평가와 동적 평가다. 모델에게 선택지를 고르게 하는 대신 상황을 주고 자유롭게 행동하게 한 뒤 그 행동이 가치 원칙에 부합하는지 판정하는 방식이며, 심리학으로 치면 자기 보고가 아니라 관찰이다. 여기에 모델의 도덕적 경계 바로 근처를 찌르는 문항, 그리고 모델들 사이의 응답 차이를 최대로 벌리는 문항을 반복 개선으로 찾아내는 알고리즘이 결합된다. 문항 생성에 쓰는 모델을 바꾸면 다루는 지역과 최신 사회 이슈가 달라지므로, 새 모델이 나올 때마다 갈아 끼우며 오염되지 않은 문항을 계속 확보할 수 있다.

마지막 조각은 포화 문제다. 오래된 데이터셋에서 점수가 좋아진 것이 정말 모델이 안전해진 결과인지, 아니면 그 데이터셋이 학습에 들어간 결과인지 구분할 수 없다. 실제로 같은 모델을 연도가 다른 벤치마크로 재보면 최신 벤치마크일수록 성적이 나빠졌다. 발표자는 심리 측정의 문항반응이론과 컴퓨터 적응형 검사를 끌어와, 응답 이력으로 능력과 문항 난이도를 추정하고 맞히면 난이도를 올린 새 문항을 즉석에서 생성하는 자기진화형 평가를 제안한다. 난이도 추정기와 능력 추정기, 문항 생성기를 함께 학습시켜 문항을 고르는 대신 만들어내는 구조다.

주요 인사이트

• 가치를 잠재 변수로 두는 관점은 안전 평가의 범위를 넓힌다. 개별 위험 항목을 하나씩 점검하는 대신 가치 성향이라는 상위 지표로 모델 전반의 위험 윤곽을 짐작할 수 있다는 주장이며, 특정 가치와 특정 위험 유형의 상관 실험이 그 근거로 제시된다.
• 유해 표본을 모두 제거한 가치 관련 데이터가 유해성을 끌어올렸다는 실험은, 데이터 필터링을 안전 대책의 전부로 삼는 접근에 경고가 된다. 노골적으로 위험한 문장이 없어도 데이터가 실어 나르는 가치 성향은 그대로 전달된다.
• 아는 것과 하는 것 사이의 간극이라는 인지과학의 오래된 구분이 평가 설계에 그대로 적용된다. 객관식으로 잰 값이 높다고 해서 행동이 따라온다는 보장이 없으므로, 판별형 점수는 상한선이지 실측값이 아니다.
• 문항 생성 모델을 교체하면 평가가 다루는 문화권이 달라진다는 관찰은 평가 자체의 편향 문제를 드러낸다. 중국 모델로 만든 문항은 아시아·오세아니아를 폭넓게 다루지만 미국을 비껴가고, 미국 모델로 만든 문항은 아프리카를 놓치는 식이다.
• 벤치마크 포화에 대한 대응이 '더 좋은 데이터셋을 만들자'가 아니라 '난이도를 자동으로 따라 올리자'라는 점이 눈에 띈다. 모델이 계속 진화하는 이상 고정된 문항 풀은 필연적으로 성능을 과대평가하게 된다.

자주 묻는 질문

관련 AI 소식