LLM 자기수정(Self-Refine) 정리: CMU 강의로 본 성공 조건과 한계, 외부 피드백의 역할

핵심 메시지

• 언어모델은 보통 왼쪽에서 오른쪽으로 한 번에 답을 만들어 내기 때문에 길고 복잡한 출력일수록 오류가 쌓이며, 자기수정은 사람이 초고를 고쳐 쓰듯 결과를 다시 다듬게 만드는 방법이다.
• 자기수정 루프의 설계는 네 가지 선택지로 갈린다. 비평을 명시적으로 시킬지, 모델을 따로 학습시킬지, 무엇을 조건으로 삼아 고칠지, 외부 도구를 쓸지가 그것이다.
• 프롬프트만으로 작동하는 Self-Refine은 코드 가독성이나 대화 어조를 다듬는 데는 효과를 보였지만 수학 추론에서는 별 도움이 되지 않았다.
• 코드를 실제로 실행해 단위 테스트 결과를 되먹이는 자기디버깅은 표본 하나만으로도 16개를 뽑아 다수결하는 방식과 겨룰 만한 성능을 냈다.
• '대형 언어모델은 아직 스스로 추론을 고치지 못한다'는 반론 연구는 외부 피드백 없는 자기수정이 오히려 성능을 떨어뜨리는 경우가 잦다고 보고했다.

쉽게 이해하기

카네기멜런대학교 고급 자연어처리 수업의 LLM 추론 강의에서 그레이엄 뉴빅 교수는 자기수정(self-correction)과 자기정제(self-refinement)를 주제로 일곱 편의 연구를 한자리에 놓고 비교했다. 강의는 이 주제를 앞선 사고연쇄(chain of thought) 강의와 뒤이을 추론 모델 강의 사이에 놓고, 추론 모델이란 결국 사고연쇄와 자기수정을 한데 묶은 것이라는 시각을 제시했다. 명시적인 자기수정 기법은 그 자체로도 여러 상황에서 여전히 쓸모가 있다는 것이 강의의 출발점이다.

강의가 제시한 자기수정 루프의 뼈대는 단순하다. 초기 출력을 생성하고, 최대 반복 횟수를 정해 두고, 출력을 평가한 뒤 만족스럽지 않으면 다시 고치는 과정을 반복한다. 뉴빅 교수는 골격 자체는 복잡할 것이 없고 결국 세부 설계가 성패를 가른다고 말하며, 비평의 명시성, 학습 여부, 조건화 대상, 외부 도구 사용이라는 네 가지 축으로 각 연구를 갈라 놓았다.

역사적으로는 2017년의 2단계 디코딩 연구가 먼저 소개됐다. 초안을 만든 뒤 전체 맥락을 보고 다시 다듬는 방식인데, 최종 출력의 확률을 중간 출력에 조건화해 학습하려면 가능한 중간 문장이 사실상 무한해 계산이 불가능해진다. 연구진은 중간 문장을 표본으로 뽑아 근사하는 방식으로 이를 우회했고, 뉴빅 교수는 이것이 오늘날 여러 출력을 뽑아 보상이 높은 쪽에 가중치를 주는 방식과 발상이 닮았다고 설명했다.

뉴빅 교수 본인의 연구 두 편도 소개됐다. 하나는 편집 과정 자체를 모델링한 연구로, 위키백과의 문서 수정 이력과 깃허브의 코드 커밋 이력에서 데이터를 얻어 어디를 삽입·삭제·교체할지 태깅한 뒤 그 자리에만 새 내용을 생성한다. 긴 문서를 반복해 고칠 때 전체를 다시 쓸 필요가 없어 훨씬 빠르고, 과거 편집 이력을 참조하면 앞으로 어디가 고쳐질지도 예측할 수 있었다. 다른 하나는 편집의 종류 자체를 512차원 벡터로 압축해, 비슷한 성격의 수정을 찾아내도록 한 연구다.

가장 널리 알려진 Self-Refine은 학습 없이 프롬프트만으로 작동한다. 모델에게 '이 출력이 왜 좋지 않은가'를 묻고, 원래 입력과 현재 출력과 그 비평을 함께 넣어 다시 쓰게 한 뒤, 긍정적인 피드백이 나오거나 정해진 횟수에 도달하면 멈춘다. 강의는 이 방식이 잘 듣는 영역과 그렇지 않은 영역이 뚜렷하게 갈렸다는 점을 강조했다.

반대편에는 부정적 결과를 보고한 연구가 놓였다. 외부 피드백이 없는 내재적 자기수정은 자주 실패하고 성능이 되레 떨어지기도 하며, 모델이 스스로 하기 어려워하는 일은 스스로 검사하기도 어렵다는 것이다. 문법이나 문체, 서식처럼 잘 되는 영역과 수학 증명이나 다단계 추론, 아예 모르는 지식처럼 잘 안 되는 영역이 함께 정리됐고, 아주 쉬운 수학 문제에서는 멀쩡한 답을 스스로 망가뜨리기도 한다는 단서까지 덧붙었다.

주요 인사이트

• 자기수정이 잘 통하는 과제는 대체로 모델이 원래부터 아주 잘하도록 훈련되지는 않은, 문체나 형식 같은 '까다롭지만 얕은' 문제였다. 반대로 모델의 근본적인 능력 한계에 걸린 문제는 스스로 고쳐도 나아지지 않았다.
• 코드 실행이나 사실 검증처럼 모델 바깥에서 오는 신호가 붙으면 결과가 확연히 달라진다. 자기디버깅은 실행 피드백이 결정적이었고, 특히 어려운 과제일수록 효과가 컸다.
• 추론 시간에 쓸 계산 자원을 어디에 넣을지는 선택의 문제다. 여러 표본을 뽑아 다수결하는 무차별 방식 대신 외부 신호를 한 번 끌어오는 편이 더 경제적일 수 있다는 비교가 강의에서 제시됐다.
• 설계 선택지를 전부 켜는 것이 답은 아니다. 뉴빅 교수는 추론 비용과 운영 복잡도를 이유로 들었는데, 코드 샌드박스를 띄우는 일은 API 한 번 호출하는 것보다 훨씬 손이 많이 가고 고장 날 여지도 크다.
• 강한 모델일수록 자기수정에서 더 큰 이득을 봤다. 뉴빅 교수는 별도 학습 없이 스스로 고치는 능력이 자연스럽게 나타난 첫 모델을 GPT-4로 보았고, 모델이 약할수록 어딘가에 학습 과정이 반드시 끼어야 한다고 정리했다.

자주 묻는 질문

관련 AI 소식