역할 지정 프롬프트 효과 검증, 1,140문항 비교에서 총점 차이는 0.008뿐이었다

핵심 메시지

• 역할 지정을 넣은 조건과 넣지 않은 조건의 총점 차이는 5점 만점에 0.008로, 통계적으로 유의해도 효과 크기는 모두 0.1 미만이었다.
• 총점이 평평했던 이유는 전문성 깊이가 3.64에서 0.29 오르는 동안 명료성이 4.90에서 4.55로 0.35 떨어져 서로를 상쇄했기 때문이다.
• 판단과 위험을 다루는 조언형 질문에서는 역할 지정이 1위였지만, 원리를 설명하는 개념형 질문에서는 역할을 아예 주지 않은 조건이 1위로 뒤집혔다.
• 이길 때 벌어지는 폭보다 질 때 뒤지는 폭(0.116)이 네 배 넘게 커서, 역할 지정은 맞으면 소폭 이득이고 틀리면 큰 손해였다.
• 동료 심사를 거치지 않은 프리프린트이고 답변 생성 모델이 하나뿐이며 채점도 사람이 아닌 모델이 했다는 한계가 함께 공개됐다.

쉽게 이해하기

프롬프트 가이드는 거의 예외 없이 "너는 20년 경력의 심장내과 전문의다" 같은 역할 지정부터 가르친다. 그런데 이 한 줄이 실제로 답을 좋게 만드는지에 대해서는 연구 결과가 갈려 왔다. 지난 5월 아카이브에 올라온 논문은 이 질문을 규모를 키워 통제 비교로 다시 잰다.

설계는 이렇다. 개방형 질문 40개와 전문가 역할 38개를 의료·심리·금융·법률·과학·기술 여섯 개 도메인에 걸쳐 준비하고, 역할을 아예 주지 않는 기본 조건, 뭉뚱그린 일반 역할, 질문에 맞는 역할을 임베딩 검색으로 골라 넣는 조건, 그리고 임베딩으로 추린 후보를 다시 다른 모델에게 고르게 하는 하이브리드까지 네 가지를 비교했다. 검색을 문서가 아니라 프롬프트에 쓴 셈이다.

총점만 보면 결과는 허무하다. 1위가 역할을 주지 않은 기본 조건(4.39), 2위가 하이브리드(4.38)였다. 하지만 정확성·전문성 깊이·관련성·안전성·명료성·시의성 여섯 항목을 따로 채점한 덕분에 평균이 덮고 있던 움직임이 드러난다. 깊이는 확실히 오르고(효과 크기 0.54, 이 논문에서 가장 큰 효과) 명료성은 그보다 더 크게 내려갔다. 기대와 달리 정확성은 역할을 주지 않은 쪽이 4.05로 오히려 조금 높았고, 역할 지정이 이긴 항목은 안전성 하나뿐이었다.

진짜 갈림길은 질문 유형이었다. 4일째 가슴이 아픈데 걱정해야 하느냐처럼 판단과 위험이 걸린 조언형 850문항에서는 하이브리드가 1위였다. 반면 금리를 올리면 왜 물가가 잡히느냐처럼 원리를 묻는 개념형에서는 순위가 완전히 뒤집혀 역할을 주지 않은 조건이 1위, 하이브리드가 3위로 밀렸다. 도메인별로 봐도 하이브리드가 이긴 곳은 질문 자체가 대부분 조언형인 의료와 심리 둘뿐이었다.

메커니즘은 답변 길이에서 드러난다. 역할을 넣으면 답이 눈에 띄게 길어지고 단서와 전문 용어, 구조화된 권고가 따라붙는다. 조언 상황에서는 이것이 신중함으로 읽히지만 설명 상황에서는 같은 습관이 그냥 장황함이 된다. 역할 검색 품질을 높인 하이브리드도 명료성 손실은 그대로였다는 점에서, 이는 검색을 잘못해서 생긴 문제가 아니라 전문가 역할을 씌우는 행위 자체의 결과에 가깝다.

주요 인사이트

• 하나의 총점으로 합치면 시스템이 실제로 무엇을 바꿨는지 보이지 않는다. 서로 반대 방향으로 움직이는 항목이 있으면 평균은 "아무 일도 없었다"고 보고한다.
• 역할 지정은 모델을 더 똑똑하게 만드는 장치가 아니라 말투와 태도를 바꾸는 장치였다. 그래서 도움이 되는 질문과 방해가 되는 질문이 따로 있다.
• 손익이 비대칭이라는 점이 실무에서 더 중요하다. 잘 맞았을 때의 이득보다 어긋났을 때의 손해가 네 배 넘게 크다면, 기본값으로 역할을 붙이는 습관은 재검토할 만하다.
• 역할 지정이 유일하게 이긴 항목이 안전성이라는 사실은, 전문가 역할이 모델에게 단서와 주의 사항을 더 붙이게 만든다는 해석과 맞아떨어진다.
• 채점을 사람이 아니라 모델이 했고 답변 생성 모델도 하나뿐이라는 한계가 공개돼 있어, 결론을 외우기보다 항목을 쪼개 재는 측정 방법 쪽을 배울 만한 연구다.

자주 묻는 질문

관련 AI 소식