챗GPT 고블린 반복 현상의 원인 정리: 강화학습 보상과 SFT가 만든 말버릇 전염

핵심 메시지

• 챗GPT가 맥락과 무관한 자리에서도 '고블린'이라는 단어를 반복하는 현상이 이용자들 사이에서 포착됐다.
• 시스템 프롬프트에는 고블린을 언급하지 말라는 지시가 몰래 들어가 있었고, 오픈AI는 공식 해명 글까지 냈다.
• 원인은 강화학습이었다. 평가자들이 비유를 선호했고, 특정 페르소나 훈련에서 고블린·그렘린 비유에 높은 점수를 줬다.
• 특정 페르소나에서만 보상했는데도 습관이 모델 전체로 번졌다. 강화학습의 영향이 국소적으로 머물지 않기 때문이다.
• 이용자 대화를 다시 지도 미세조정에 넣는 구조 탓에, 이미 고블린이 섞인 답변이 다음 모델로 재유입됐다.

쉽게 이해하기

생성형 AI에는 특유의 말버릇이 있다. 자주 쓰는 어투, 이모지 집착, 이미지 색감을 누렇게 만드는 습관 같은 것들이다. 그런데 최근에는 한층 이상한 습관이 관찰됐다. 챗GPT와 대화하다 보면 '고블린'이라는 단어가 유난히 자주 튀어나오기 시작한 것이다. 처음에는 귀엽게 넘길 수 있었지만, 전혀 어울리지 않는 맥락에서까지 억지로 고블린이 등장하자 사람들이 이상함을 감지했다.

결정적 정황은 시스템 프롬프트에서 나왔다. 최신 시스템 프롬프트에는 고블린에 대해 말하지 말라는 지시가 개발자들에 의해 조용히 들어가 있었다. 결국 오픈AI가 공식 해명 글을 냈고, 이 영상은 그 설명을 따라간다. 영상에 따르면 현상은 특정 버전부터 두드러졌고, 고블린이라는 단어의 등장 빈도는 이전 버전 대비 170%가량 늘었다.

원인 파악은 의외로 간단했다. 이용자들이 나눈 대화 기록이 회사에 남아 있으니 그 안에서 '고블린'을 검색해 보면 됐다. 분석 결과 결정적 원인은 성격, 즉 답변 페르소나 설정이었다. 챗GPT에는 답변 스타일을 고를 수 있는 기능이 있는데, 초기에 제공된 'Nerdy(널디)'라는 페르소나를 지정했을 때 유독 고블린이 많이 등장했다. 그 페르소나를 없애자 단어 출현이 눈에 띄게 줄었다. 그런데 신버전이 나오자마자 이른바 '고블린 틱'이 다시 늘었다.

진짜 뿌리는 강화학습이었다. 긴 텍스트를 트랜스포머에 넣으면 다음 단어를 예측하는 모델이 되고, 여기에 질문·답변 형식의 데이터셋을 더하면 대화하는 모델이 된다. 하지만 그것만으로는 쓸 만한 제품이 되지 않아, 사람이 답변에 점수를 매기는 강화학습을 대량으로 거쳐야 한다. 문제는 사람들이 대체로 비유를 좋아한다는 점이었다. AI가 비유를 쓰면 높은 점수가 주어지는 경향이 있었고, 특히 널디 페르소나를 훈련할 때 평가자들이 고블린과 그렘린 비유에 가산점을 주는 경향이 있었다.

여기서 흥미로운 대목은 전염이다. 널디 외의 다른 페르소나에서는 고블린을 강요한 적이 없는데도 점차 같은 습관이 나타났다. 강화학습은 특정 성격에서만 보상을 줘도 그 영향이 모델 전체로 번질 수 있기 때문이다. 여기에 또 하나의 경로가 겹쳤다. 이용자와 나눈 대화를 지도 미세조정(SFT) 단계에 다시 넣는 구조여서, 이미 고블린이 잔뜩 섞인 답변이 새 모델의 학습 재료가 됐다. 영상은 이를 전염병보다는 AI가 앓는 유전병에 가깝다고 비유한다. 현재는 프롬프트로 억제해 둔 상태이고, 정작 챗GPT 본인에게 물으면 고블린을 좋아한 적이 없다고 시치미를 뗀다.

주요 인사이트

• 모델의 이상한 말버릇은 버그가 아니라, 사람이 매긴 점수가 학습에 그대로 반영된 결과일 수 있다.
• 평가자의 취향이 곧 모델의 성격이 된다. 비유를 선호하는 평가 경향이 특정 단어 편애로 굳어졌다.
• 특정 페르소나에만 준 보상이 모델 전체로 번진 사례는, 강화학습의 부작용이 국소적으로 통제되지 않음을 보여준다.
• AI가 만든 텍스트를 다시 학습에 넣는 순환 구조는 습관을 세대 간에 대물림시킨다.
• 시스템 프롬프트로 증상을 가리는 것은 대증요법일 뿐, 학습 단계에서 만들어진 성향 자체를 되돌리지는 못한다.

자주 묻는 질문

관련 AI 소식