오픈AI 얀 뒤부아 인터뷰: 강화학습이 경쟁 문제에서 실제 업무로 넘어온 순간과 남은 숙제

핵심 메시지

• AI 능력 자체는 완만하게 좋아졌지만 신뢰도가 어느 선을 넘는 순간 사용자에게는 계단식 도약처럼 느껴진다는 것이 뒤부아의 설명이다.
• 지난해까지 강화학습은 정답을 기계적으로 채점할 수 있는 수학·코딩 경진 문제에 머물렀지만, 지금은 지저분한 실제 업무로 옮겨 왔다.
• 모델 효율이란 같은 성능을 더 적은 사고 토큰과 더 짧은 지연 시간으로 내는 것이며, GPT-5.5는 대부분의 작업을 약 2배 빠르게 처리한다.
• 일반화는 분야가 아니라 능력 단위로 일어나기 때문에, 경진대회를 잘 푼다고 해서 정보가 부족한 현실 업무까지 잘하는 것은 아니다.
• 챗GPT 공개 3년이 지나도록 지속학습은 풀리지 않았고, 뒤부아 본인도 왜 이렇게 오래 걸리는지 모르겠다고 인정했다.

쉽게 이해하기

매트 터크가 진행하는 MAD 팟캐스트에 오픈AI의 포스트트레이닝 프론티어 팀을 이끄는 얀 뒤부아가 출연했다. 그는 GPT-5.5를 비롯해 o3와 GPT-5 씽킹 같은 추론 모델을 만든 조직에 속해 있고, 오픈AI에 오기 전에는 스탠퍼드에서 초기 포스트트레이닝 연구의 물꼬를 튼 알파카(Alpaca) 프로젝트에 참여했다.

최근 몇 달 사이 개발자들이 체감하는 도약의 정체를 그는 세 가지로 정리했다. 첫째는 신뢰도다. 에이전트형 모델은 2분마다 틀릴 확률이 조금씩 쌓이는 구조라, 오래 돌수록 최종 답이 틀릴 확률이 커진다. 그 확률을 낮추는 작업이 지난해 12월 무렵 어떤 임계선을 넘었고, 그때부터 사람들이 모델에게 실제 업무를 맡기기 시작했다는 것이다. 둘째는 자기 가속이다. 연구자들이 스스로 만든 모델로 코딩과 도구 제작을 하면서 개발 속도가 빨라졌다. 셋째는 강화학습의 무대가 바뀐 것이다.

그가 가장 강조한 변화가 세 번째다. o1과 o3 시절의 강화학습은 정답을 명확히 채점할 수 있는 이른바 검증 가능한 보상, 즉 수학 문제나 코딩 경진대회에 최적화돼 있었다. 지금은 같은 도구를 현실의 지저분한 작업에 적용해 사용자에게 돌아가는 실질적 효용을 직접 최적화한다. 뒤부아는 이를 "경쟁에서 유용함으로, 그리고 사용자에게로" 넘어온 흐름이라고 표현했다.

효율에 대한 그의 정의도 명확했다. 가로축에 사고 토큰 수 또는 지연 시간을, 세로축에 성능을 놓은 곡선을 왼쪽으로 밀어내는 일이라는 것이다. 같은 정확도를 더 적게 생각하고 더 빨리 내놓는 것이 연구의 목표다. 그는 이를 초보자와 전문가의 차이에 빗댔다. 초보자는 열 가지 방향을 다 조사하지만 전문가는 유망한 하나를 골라 바로 들어간다. 반면 프로 모델은 그 곡선을 오른쪽으로 연장해 시간을 더 쓰는 대신 정답률을 끌어올린다.

지속학습에 대해서는 솔직하게 미완성이라고 말했다. 그는 시간에 따른 유용성 곡선을 예로 들며, 오늘의 모델은 회사에 처음 들어온 신입보다 첫날 성과가 높지만 이후 거의 평평하다고 했다. 회사 지식을 축적하지도, 반복 작업에 익숙해지지도 않기 때문이다. 사람은 그 곡선이 계속 올라간다. 그는 3년 전 챗GPT가 나왔을 때 오픈AI가 6개월이면 이 문제를 풀 줄 알았지만 지금도 풀리지 않았고, 개인 사용자 한 명에 한정해도 마찬가지라고 털어놨다.

주요 인사이트

• 신뢰도는 능력과 다른 축이다. 벤치마크 점수가 완만하게 오르는 동안에도, 오래 걸리는 작업의 실패 확률이 어느 선 아래로 내려가는 순간 사용자 경험은 불연속적으로 바뀐다.
• 지도학습 미세조정(SFT)은 구조적으로 환각을 부추길 수 있다. 모델이 모르는 논문을 인용하는 정답을 그대로 따라 하게 만들기 때문이다. 반대로 강화학습은 모르는 것을 지어내 맞힐 확률이 거의 없어 그 행동이 보상받지 않는다.
• 명시적 지시 따르기와 암묵적 지시 따르기는 서로 충돌할 수 있다. 지시를 글자 그대로 잘 따르도록 다듬은 모델은 사용자가 파일명에 오타를 내면 오타가 난 그 파일을 그대로 고친다.
• 평가를 잘 만들면 곧 학습 데이터를 잘 만든 셈이라, 좋은 평가일수록 빠르게 학습에 흡수되고 그만큼 빨리 낡는다. 뒤부아가 오픈AI에서 첫 프로젝트로 데이터와 평가를 고른 이유이기도 하다.
• 모델이 좋아진다고 응용 계층이 사라지지는 않는다. 그는 병목이 순수한 지능이 아니라 권한, 커넥터 같은 마지막 1마일에 있다고 보고, 버티컬 스타트업이 할 일이 많이 남았다고 했다.

자주 묻는 질문

관련 AI 소식