합성 페르소나란? LLM으로 소비자 반응을 예측하는 방법과 실패 유형·검증 지표 정리

핵심 메시지

• '너는 ○○이다' 같은 역할 프롬프트에서 출발한 합성 페르소나는 이제 기업이 제품 콘셉트와 메시지를 시험하는 시장조사 도구로 자리 잡았고, 관련 투자도 늘고 있다
• 합성 페르소나는 사람이 아니라 예보다. 일기예보처럼 계산 자원과 데이터가 늘면서 가능해졌지만, 정확한 범위를 벗어나면 그만큼 빠르게 어긋난다
• 맥락이 비어 있으면 LLM은 없는 변수를 스스로 상상해 채운다. 가격이 오르는데 구매 확률도 함께 올라가는 이상한 곡선이 대표적인 증상이다
• 선택지 순서만 바꿔도 답이 뒤집힐 만큼 순서 편향이 크고, 사람이 '말하는 것'은 잘 맞히지만 '실제로 하는 행동'은 상대적으로 못 맞힌다
• 합성 응답을 늘려도 통계적 유의성은 올라가지 않는다. 사람 데이터와 분포를 비교하고, 사람 자체가 가진 오차를 기준선으로 잡아야 한다

쉽게 이해하기

이 발표는 AI 엔지니어 콘퍼런스 무대에서 인사이트 사이언스의 최고 AI 책임자 이샨 아난드가 '합성 페르소나'라는 신생 분야를 정리한 것이다. 발표자는 자신이 이 시장의 사업자임을 먼저 밝히면서, 그래서 모든 이야기를 공개된 연구 결과에 근거해 하겠다고 못 박는다. 이 분야를 다루는 글이 과장 아니면 무조건 무시로 갈라져 기술적인 중간 지대가 비어 있다는 문제의식에서 나온 강연이다.

핵심 비유는 일기예보다. 1950~60년대에도 컴퓨터로 유권자를 시뮬레이션하겠다고 약속한 회사가 있었지만 실패했고, 지금 다시 가능해진 이유는 계산 자원과 함께 LLM이라는 새로운 모델링 수단이 생겼기 때문이라는 설명이다. 무언가를 시뮬레이션하려면 그것을 수식으로 옮겨야 했지만, 사람의 감정과 선택은 수식에 잘 들어가지 않는다. LLM은 '언어'라는 새로운 단위로 그 대상을 다룰 수 있게 해준다는 것이 발표의 출발점이다.

실제로 작동한다는 근거로는 사람 약 1,000명을 두 시간 반가량 심층 인터뷰한 뒤 그 기록을 AI 에이전트에 넘겨 같은 설문과 성격 검사를 치르게 한 연구가 제시된다. 에이전트는 대응하는 사람과 약 83% 수준으로 일치했는데, 여기에는 중요한 전제가 붙는다. 같은 사람들을 2주 뒤 다시 불러 같은 검사를 시켰을 때 사람 자신조차 평균 80% 정도만 일관됐고, 83%라는 숫자는 그 잡음을 기준으로 보정한 값이라는 것이다.

발표의 절반은 실패 유형에 쓰인다. 첫째, 맥락이 부족하면 LLM은 고정돼 있어야 할 조건까지 스스로 추론해 버린다. 가격만 바꿔가며 구매 의향을 물은 실험에서 사람은 가격이 오를수록 구매 확률이 떨어졌지만 모델은 뒤집힌 U자 곡선을 그렸는데, 모델이 가격을 유통기한이나 경쟁 제품 가격 같은 다른 속성의 단서로 썼기 때문이었다. 사람 실험에서는 연구 설계를 참가자에게 숨기지만, LLM에게는 프롬프트 밖에 세상이 없으므로 연구 구성까지 프롬프트로 그려 줘야 한다는 결론이 나온다. 둘째는 프롬프트 민감성이다. 같은 질문에서 '예'의 위치만 바꿨더니 순서 편향이 극심해 두 결과를 평균하면 50대 50 잡음으로 사라졌다. 셋째, LLM은 사람이 말한 것으로 학습되고 사람이 한 행동으로 학습되지 않기 때문에, 설문형 태도 예측은 잘하지만 현장 실험형 행동 예측은 떨어진다.

기법과 검증 쪽에서는 세 가지 사례가 소개된다. 초기 연구는 '나는 강한 진보다'처럼 문장을 이어 쓰게 하는 방식이었고, 어떤 조합이 맞는지는 결국 사람 정답 데이터에 맞춰 실증적으로 찾아야 한다. 실제로 페르소나 설명을 더 상세하게 만들었더니 모델 안의 편향이 증폭돼 현실에서 더 멀어진 사례도 있었다. 미세조정으로 사람 응답 분포에 맞춘 연구에서는 학습에 넣지 않은 집단의 정합성까지 함께 올라갔는데, 모델이 이미 잠재적으로 알고 있던 것을 설문이라는 형식으로 표현하는 법만 배운 것으로 해석된다. 여기서 나온 세 번째 기법은 1~5점 대신 문장으로 답하게 한 뒤 사람이 쓴 예시 문장들과의 의미 유사도로 점수 분포를 복원하는 방식이다. 평균은 맞히면서 분포의 모양을 잃는 흔한 실패를 이 방법이 상당히 줄였다.

주요 인사이트

• 잘 접지되지 않은 페르소나는 LLM이 즉흥연기를 하는 것과 같다. 탁자 위 금시계를 보여주면 '여기는 보석상일 것이고 이 사람은 부유할 것'이라고 스스로 무대를 지어낸다.
• 사람 대상 실험과 반대로, LLM에게는 성격과 상황은 물론 연구가 어떻게 설계됐는지까지 프롬프트로 알려 줘야 엉뚱한 교란 변수가 끼어들지 않는다.
• 합성 응답을 천 번 더 돌려도 확실해지는 것은 '모델이 뭐라고 말하는지'일 뿐 예보 자체의 정확도가 아니다. 그래서 표본 수로 통계적 유의성을 만들 수 없다.
• 사람 정답 데이터를 다시 받을 수 없다면 그 데이터를 반으로 갈라 한쪽을 합성인 척 취급해 상관을 수백~수천 번 재보는 방식으로 오차 하한선을 추정할 수 있다.
• 합성 페르소나의 현실적인 대안은 사람 조사가 아니라 '조사 없음' 또는 '누군가의 감'인 경우가 많다. 설문에 없던 질문이 두 달 뒤 튀어나오는 상황이 흔하기 때문이다.

자주 묻는 질문

관련 AI 소식