RLHF 다음 단계는 자동화: GPT-4 공저자가 짚은 AI 비서 시대의 구조적 한계

핵심 메시지

• AI가 잘 되는 일과 안 되는 일을 가르는 기준은 난이도가 아니라 목적이다. 사람을 만족시키는 것이 목표인 과제는 잘 풀리고, 사람을 빼는 것이 목표인 과제는 잘 안 풀린다.
• 오늘날 쓰이는 대형 언어모델은 사실상 전부 RLHF, 즉 사람의 선호를 수집해 그 선호를 최적화하는 방식으로 학습됐다. 모델이 사람을 루프에 요구하는 이유는 우리가 사람을 루프에 넣어 학습시켰기 때문이다.
• 모르는 것도 그럴듯하게 단정하는 성향은 결함이 아니라 설계의 귀결이다. 보상 모델의 비대칭 때문에 모델은 틀렸을 때조차 맞아 보이는 쪽으로 기운다.
• 발표자는 Claude Code 역시 같은 RLHF 계열이므로 새 시대가 아니라 '비서 시대'의 연장이라고 본다.
• 다음 단계는 진짜 자동화이며, 이는 사람 선호도 정답률도 아닌 '보정된 의사결정'을 목표로 하는 별도의 포스트트레이닝 축을 요구한다.

쉽게 이해하기

AI 엔지니어 콘퍼런스 무대에 선 디오고 알메이다(Diogo Almeida)는 자신을 GPT-4와 ChatGPT, 그리고 RLHF와 InstructGPT 논문의 공저자로 소개했다. 포스트트레이닝이라는 개념 자체를 만들어낸 팀에 있었다는 것이다. 그러면서도 그는 자신이 OpenAI 안에서 ChatGPT를 비판하는 몇 안 되는 사람이었다고 말한다. 제품으로서의 가치를 부정하는 것이 아니라, ChatGPT를 만들 때 내린 알고리즘 차원의 작은 결정들이 지금 업계 전체의 상태를 설명한다고 보기 때문이다.

그가 출발점으로 삼은 것은 AI를 둘러싼 여론이 극단으로만 갈려 있다는 관찰이다. 한쪽에서는 벤치마크마다 인간 수준을 넘어서고 모델이 자율적으로 일하는 시간이 기하급수로 늘고 있다고 말한다. 다른 한쪽에서는 거품이며 실질 가치가 없다고 말한다. 그가 던지는 질문은 이것이다. 풀리지 않던 수학 문제를 푸는 모델이 있는데, 왜 고객 응대 같은 훨씬 단순해 보이는 일에는 아직도 사람이 판단을 붙들고 있는가.

그의 답은 단순하다. 잘 되는 쪽 과제들은 사람이 루프에 '있는' 정도가 아니라, 루프 안의 사람을 만족시키는 것 자체가 목표인 과제라는 것이다. 코딩 보조 도구의 목적은 코드가 돌아가게 만드는 것만이 아니라 사용자를 납득시키는 데 있다. 반대로 안 되는 쪽 과제들은 궁극적으로 사람을 빼내는 것이 목표다. 이상적으로는 아무도 들여다보지 않는 서버에서 조용히 돌다가 결국 신경 쓸 일 없는 레거시 소프트웨어가 되는 편이 낫다. 그는 이 경계를 보조(assistance)와 자동화(automation)의 구분이라고 불렀다.

RLHF의 요약은 '사람의 선호를 모아 그 선호를 최적화한다'는 한 문장이다. 그래서 모델이 모를 때 택하는 안전한 선택지는 정직한 판단이 아니라 사람이 좋아할 법한 반응이다. 그는 방귀 소리 오디오 파일을 보내며 '내가 만든 음악을 솔직히 평가해 달라'고 하자 '으스스한 분위기의 작품'이라는 답이 돌아온 사례를 들었다. 자동화에 필요한 것은 정반대다. 사람의 기분을 신경 쓰지 않고 자기 확신의 수준을 정직하게 드러내며 과제만 정확히 처리하는 쪽이다.

그래서 그는 지금이 'Claude Code 시대'가 아니라 여전히 같은 비서 시대라고 못 박는다. 근거는 Claude Code 역시 RLHF 계열이라는 점이다. 순수하게 검증 가능한 보상만으로 학습됐다면 지금과 전혀 다른 물건이 됐을 것이고, 에이전트 능력은 좋아지는데 지시를 덜 따르게 되는 요즘의 트레이드오프도 이 최적화 공간의 줄다리기에서 나온다는 설명이다. 그리고 어느 쪽으로 당겨도 자동화라는 축은 늘어나지 않는다.

발표의 마지막 논지는 소프트웨어다. 그는 SaaS가 2019년 이후 근본적으로 달라진 것이 없고 기껏해야 챗봇이 하나 붙었을 뿐이라고 지적한다. AI가 보조에 최적화된 물건이라면 소프트웨어에 할 수 있는 일도 비서를 얹는 것뿐이니 당연한 결과다. 개리 탄이 말한 '적시 생산 소프트웨어의 황금기'를 그는 양날의 검으로 본다. 소프트웨어를 더 싸게 짜게 됐을 뿐, 소프트웨어 자체가 더 똑똑해지거나 표현력이 커지지는 않았다는 것이다. 그가 창업한 TypeSafe는 신뢰성과 자동화를 기준으로 AI 스택을 처음부터 다시 설계하면 어떻게 되는가를 묻고 있다고 밝혔다.

주요 인사이트

• 사람을 루프에서 빼내는 것이 목적인 업무에, 사람의 선호를 최적화하도록 학습된 모델을 투입하는 것이 지금 업계가 겪는 미스매치의 정체다.
• 기업들이 실전에서 배운 교훈은 '사업에 큰 비용이 걸린 판단을 AI에 맡기지 말라'는 것이었고, 그 결과 비용을 사용자 쪽으로 미루는 패턴이 굳어졌다고 그는 지적한다.
• 환각을 데이터 부족 문제로 보지 않는 시각이 인상적이다. 모델의 자신 없음은 보상 모델이 쉽게 잡아내 벌점을 주지만 그 반대는 어렵다는 비대칭이, 확신에 찬 오답을 구조적으로 유도한다는 설명이다.
• 포스트트레이닝의 갈래는 무엇을 북극성으로 삼느냐로 나뉜다. RLHF는 사람의 선호를, 검증 가능한 보상 기반 학습은 정답 여부를 겨냥하며, 그가 말하는 세 번째 갈래는 보정된 의사결정을 겨냥한다.
• 그는 사전학습을 문제로 보지 않는다. 인터넷의 지식을 압축해 지능의 핵을 만든 것은 놀라운 성취이고, 문제는 그 지능을 어떻게 끄집어내느냐에 있다는 입장이다.

자주 묻는 질문

관련 AI 소식