AI 창의성 실험: 10만 명과 비교하니 GPT-4는 평균을 넘고 최상위는 못 넘었다

핵심 메시지

• AI와 사람의 창의성을 10만 명 규모로 정면 비교한 실험에서, GPT-4는 사람들의 평균 창의성 점수를 통계적으로 유의미하게 넘어섰다.
• 그러나 가장 뛰어난 AI도 '가장 창의적인 인간들'의 점수에는 미치지 못했다. 평균은 넘었지만 천장은 여전히 사람의 것이었다.
• 창의성은 모델 크기로 결정되지 않았다. 훨씬 작은 모델이 큰 모델보다 높은 점수를 냈고, 더 나중에 나온 GPT-4 터보는 이전 GPT-4보다 점수가 떨어졌다.
• 낮은 점수의 모델일수록 같은 단어를 반복했다. GPT-4 터보는 응답의 90% 이상에서 '바다'를 다시 꺼냈다.
• 온도 값을 높이거나 지시 방식을 바꾸는 것만으로 같은 모델의 창의성 점수가 통계적으로 달라졌다.

쉽게 이해하기

실험이 사용한 창의성 측정 도구는 '발산 연상 과제'다. 서로 아무 관련 없는 단어 열 개를 최대한 멀게 떠올리는 과제로, 고양이와 책보다 고양이와 민주주의가 더 멀다고 본다. 하나의 정답을 찾는 것이 아니라 아이디어를 얼마나 넓게 뻗어내는지를 보며, 사과와 사과나무처럼 붙어 있는 단어만 대면 점수가 낮아진다.

이 과제가 강력한 이유는 채점 방식에 있다. 단어의 의미를 숫자로 바꿔 사람 심사자 없이 자동 채점할 수 있어, 편향 없이 수만 명을 한 번에 비교할 수 있다. 연구는 몬트리얼 대학과 밀라(Mila), 구글 딥마인드가 함께 진행했고 딥러닝의 대가 요슈아 벤지오도 저자로 참여했다. 온라인 테스트에 참여한 일반인 10만 명의 데이터를 여러 최신 AI와 정면으로 비교했는데, 이 정도 규모로 양쪽을 맞붙인 것은 처음이라고 영상은 설명한다.

결과는 엇갈렸다. GPT-4는 사람들의 평균 점수를 통계적으로 유의미하게 넘어섰고, 제미나이 프로는 인간 평균과 통계적으로 구별되지 않을 만큼 근접했다. 반전도 있었다. 덩치가 훨씬 작은 모델 하나가 큰 모델들보다 높은 점수를 냈고, 더 나중에 출시된 GPT-4 터보는 이전 GPT-4보다 점수가 떨어졌다. 창의성이 모델 크기나 출시 순서로 결정되지 않는다는 뜻이다.

약점도 뚜렷했다. GPT-4 터보는 응답의 90% 이상에서 '바다'를 반복했고, GPT-4도 70%가 '현미경', 60%가 '코끼리'를 다시 꺼냈다. 점수가 낮은 모델일수록 같은 단어를 되풀이하는 경향이 강했다. 그리고 결정적인 반전은 상단에서 나왔다. 아무리 뛰어난 AI도 가장 창의적인 인간들의 점수에는 닿지 못했다.

연구팀은 점수를 끌어올리는 방법도 찾았다. 온도 값을 높이자 응답이 덜 뻔해지며 점수가 올랐고, 가장 높은 온도에서 GPT-4는 평균 85.6점으로 참가자의 72%보다 높은 점수를 냈다. 유의어 사전으로 어원을 바꿔가며 지시를 덧붙이는 방식도 점수를 통계적으로 바꿨다. 단어 게임만으로는 부족하다고 본 연구팀은 하이쿠, 영화 줄거리, 짧은 소설도 쓰게 했는데, 세 과제 모두에서 AI의 글과 사람의 글은 의미 공간의 서로 다른 영역에 뚜렷하게 나뉘어 모였다. AI의 글이 나쁘다는 뜻이 아니라 결이 다르다는 뜻이다.

주요 인사이트

• "AI가 인간을 넘었다"는 막연한 주장을 10만 명 규모로 냉정하게 검증했다는 점이 이 연구의 가치다. 결론은 '평균은 넘었고 정점은 아직'이라는 절반의 승리에 가깝다.
• 창작 노동 대체 논쟁에도 답의 윤곽이 보인다. 평범한 수준의 창작은 이미 AI가 해낼 수 있지만, 사람만이 도달하는 창의성의 정점은 아직 대체되지 않았다.
• 모델 크기나 최신 버전이 창의성을 보장하지 않는다. 더 나중에 나온 모델이 더 낮은 점수를 받은 사례는 '업그레이드=개선'이라는 통념을 흔든다.
• 같은 모델도 온도와 지시 방식에 따라 점수가 통계적으로 달라진다는 것은, 창의적 결과물의 상당 부분이 모델이 아니라 사용법에 달려 있음을 뜻한다.
• AI 글과 사람 글이 의미 공간에서 서로 다른 영역에 모였다는 결과는, 둘을 우열로 볼 것이 아니라 서로 보완적인 재료로 볼 근거가 된다.

자주 묻는 질문

관련 AI 소식