LLM 가치 일관성 실험: 정답률 97%에도 선호가 흔들린 이유 — AI 안전 포럼 2026 발표

핵심 메시지

• 연구팀은 모델의 '능력'보다 '판단'에 주목해야 한다며, 규범적 역량이라는 틀로 상식 추론의 결함을 진단한다.
• 도덕 문제에는 정답이 없으므로 옳고 그름 대신 '합당함'을 본다. 판단이 사회가 받아들일 수 있는 범위 안에 있는지, 그 이유를 댈 수 있는지를 따진다.
• 일관성 중에서도 가장 덜 탐구된 '정합성'이 핵심이다. A를 B보다 선호한다면 A의 개선판은 더 선호해야 하고, 어떤 행위를 비난했다면 더 나쁜 판을 승인해서는 안 된다.
• 원 진술의 강도를 위아래 세 단계씩 조정한 '사다리'를 만들어 16개 모델을 시험한 결과, 짝 비교 정답률은 약 97%였지만 단조성은 무너졌다.
• 추론 기능을 켜면 정합성은 나아지지만 전부 해결되지는 않았고, 종교·개인의 자유 범주에서 특히 비정합성이 컸다.

쉽게 이해하기

발표는 연구실이 최근 공개한 프리프린트를 다룬다. 출발점은 2025년 AI 안전 보고서가 짚은 신뢰성 문제다. 보고서는 환각, 맥락 지식의 실패, 상식 추론의 실패를 신뢰성의 세 축으로 꼽았다. 발표자는 여기서 한 걸음 더 나아가, 가드레일도 벤치마크도 완벽하지 않은 상황에서 우리가 주목해야 할 것은 원시적인 능력이 아니라 모델이 내리는 '판단'이라고 주장한다.

그 판단을 다루는 틀이 규범적 역량이다. 규범을 알아보고 이유를 따져 행동을 도출하는 능력으로, 도덕적으로 중요한 요소를 알아보고 그것을 뒷받침하는 이유와 연결하는 '분석적 역량', 그리고 그렇게 도출한 이유에 따라 실제로 행동하려는 성향까지 포함하는 '실천적 역량'으로 나뉜다. 이번 연구는 우선 분석적 역량에 집중했다. 최종 목표는 실천적 역량이지만 먼저 아는 것부터 확인해야 한다는 이유에서다.

측정 방법이 문제였다. 도덕 추론에는 정답 데이터가 없고, 다원적인 사회에서 사람마다 의견이 갈리는 사안을 크라우드소싱으로 옳고 그름을 매기게 할 수도 없다. 그래서 연구팀은 정확성 대신 합당함을 본다. 판단이 사회 안에서 받아들일 만한 견해의 범위에 드는지, 그리고 그 판단을 정당화할 수 있는지를 보는 방식이다. 잘 행동하는 것뿐 아니라 왜 그렇게 행동하는지 이유를 댈 수 있어야 한다는 문제의식이다.

합당함은 다시 개별 사례 안에서 보는 국소적 기준과 여러 사례에 걸쳐 보는 전역적 기준으로 나뉜다. 전역적 기준은 일관성, 강건성, 정합성 세 가지다. 일관성은 같은 입력에 같은 판단을 내리는가, 강건성은 도덕적으로 무관한 정보가 판단을 바꾸지 않는가를 본다. 발표자가 가장 중요하게 꼽은 정합성은 여러 판단이 서로 아귀가 맞는가를 본다. A를 B보다 선호한다면 A를 개선한 A′도 B보다 선호해야 하고, 어떤 행위를 특정 수위에서 비난했다면 그보다 나쁜 판을 승인해서는 안 된다.

실험은 선행 연구를 확장하는 방식으로 설계됐다. 앞선 연구는 임의의 두 진술 중 하나를 고르게 하는 강제 선택으로 LLM에 창발적 가치가 있다고 주장했는데, 연구팀은 그 진술 목록을 그대로 가져와 대규모 검수를 거쳤다. 선호가 뒤집힐 여지가 없는 항목만 남기고, 하나의 속성을 기준으로 강도를 조절한 '사다리'를 만들었다. 원 진술을 가운데 두고 위아래로 세 단계씩, 총 일곱 단계다. 여기에 별도의 비교 진술 30개를 더해 16개 모델에 온도 0으로 시험했다.

결과는 갈렸다. 같은 사다리 안에서 두 단계를 직접 비교시키면 모델은 약 97%로 더 나은 쪽을 골랐다. 반면 강도가 올라갈수록 선호도 함께 올라가야 한다는 엄격한 단조성 시험에서는 선이 올라가다 꺾이거나, 평평하거나, 들쭉날쭉했다. 추론 기능을 켠 모델이 더 강력하지만 추론을 끈 모델보다 나은 경우도 관찰됐는데, 이는 정답률만 봐서는 드러나지 않던 차이다. 범주별로는 종교와 개인의 자유에서 비정합성이 두드러졌고, 생명이나 종에 관한 진술에서는 상대적으로 좋았다.

주요 인사이트

• 높은 정답률이 곧 안정된 가치 체계를 뜻하지 않는다는 것이 이 연구의 한 줄 요약이다. 직접 비교에서는 거의 틀리지 않던 모델도, 보지 않은 진술과 견주게 하면 선호가 흔들렸다.
• 정합성을 중시하는 이유는 예측 가능성 때문이다. 발표자는 우리가 협력할 수 있는 대상은 어느 정도 예측이 서는 상대뿐이라고 말한다. 모든 상황을 미리 시험할 수 없는 이상, 처음 보는 상황에서 어떻게 행동할지를 알려주는 지표가 필요하다.
• 정합성 검사는 정렬 학습이 실제로 먹혔는지 확인하는 감사 도구로도 쓰인다. 가치가 서로 맞물려 하나의 성격을 이룬다면, 그 맞물림이 깨졌는지 보는 것이 곧 학습 결과를 점검하는 일이 된다.
• 모델이 답을 먼저 고르고 이유를 나중에 지어내는 것처럼 보이는 현상도 정합성으로 접근할 수 있다는 지적이 나왔다. 이유가 판단을 이끌었는지, 판단 뒤에 이야기를 붙였는지를 갈라 볼 수 있다는 것이다.
• 발표자는 창발적 가치 주장을 조심스럽게 받아들이라고 권하면서, 정합성은 측정할 수 있으므로 학습 목표로 삼을 여지도 있다고 말했다. 데이터셋과 코드는 공개돼 누구나 재현해볼 수 있다.

자주 묻는 질문

관련 AI 소식