AI 가설 생성과 연구자의 역할 — 페이퍼벤치·제미나이 실험이 드러낸 한계와 세대 공백 경고

핵심 메시지

• OpenAI의 페이퍼벤치는 논문 텍스트만 주고 그 코드 저장소를 그대로 구현할 수 있는지를 측정하는, 사실상 연구자 대체 가능성을 겨냥한 벤치마크다.
• 시간을 더 쓸수록 성능이 계속 오르는 인간과 달리, 모델은 한두세 시간 지점에서 최고점을 찍고 더 이상 올라가지 않았다.
• 딥마인드 실험에서는 2016년까지의 연구 자료만 받은 모델이 만든 가설 다섯 개 중 하나가 연구팀이 이미 확인했지만 공개하지 않은 가설과 비슷했다.
• 게스트는 앞으로 사람의 역할이 거대한 AI 시스템의 오류를 찾아내는 '바운티 헌팅'에 가까워질 것이라고 봤다.
• 지금 신입을 뽑지 않으면 15년 뒤 시니어가 될 사람이 없다는 논리가 개발과 연구 양쪽에 똑같이 적용된다는 경고가 나왔다.

쉽게 이해하기

테디노트 채널의 대화는 OpenAI가 공개한 페이퍼벤치라는 벤치마크에서 출발한다. 논문 스무 편 정도를 대상으로 논문 텍스트를 주고 해당 코드 저장소를 똑같이 구현할 수 있는지 평가하는 방식이다. 게스트는 채점 구조가 그래프 형태로 짜여 있고 논문 한 편당 2천~3천 개 지점에서 단위 테스트로 맞고 틀림을 확인한다고 설명했다. 이 벤치마크를 통과한다면 특정 논문을 그대로 구현할 능력이 있다고 볼 수 있을 만큼 잘 만들어졌다는 평가다. 그는 이런 시도만 봐도 OpenAI가 자기 회사의 인간 연구자까지 대체하고 싶어 한다는 생각이 든다고 말했다.

가장 인상적인 결과는 성능과 투입 시간의 관계를 그린 그래프였다. 인간과 모델을 48시간까지 비교했더니, 인간은 시간을 더 쓸수록 성능이 눈에 띄게 계속 올라갔지만 모델은 한 시간 내지 세 시간 지점에서 최고점에 도달한 뒤 정체했다. 게스트는 인간 노동력의 가장 좋은 점이 규모 확장이라고 지적했다. 한 명이 하던 일을 열 명이 하면 그만큼은 아니어도 더 많은 성과가 나오고, 한 시간짜리 일을 일주일 하면 당연히 더 많은 결과가 나온다. 그런데 최신 추론 모델조차 시간을 늘리는 방향으로는 아직 그런 확장이 되지 않는다는 것이다.

두 사람은 이 지점을 사전학습과 대비해 설명했다. 사전학습은 컴퓨트나 학습 시간을 늘리면 성능이 따라 오르지만, 테스트 시점 확장은 그렇지 않다. 최근 논문들이 말하는 확장은 생성 토큰을 1천, 4천, 8천으로 늘리는 정도의 작은 규모이고 그 정도는 길어도 몇 분이다. 이것을 한 시간이나 48시간 규모로 늘리면 같은 경향이 나타나지 않는다는 것이 페이퍼벤치가 보여 준 결론이다. 게스트는 OpenAI가 풀고 싶은 문제가 바로 여기에 있을 것이며, 이후 시리즈 모델들은 이 부분이 개선돼 나온 것일 수 있다고 추측했다.

대화의 무게는 딥마인드 사례로 옮겨 간다. 어느 대학의 연구팀이 2013년부터 진행해 2015년에 첫 논문을 내고 2023년에 새로운 발견에 도달한 생물학 연구가 있었다. 연구진은 2016년까지의 결과만 모델에게 주고 가설을 세워 보라고 했다. 모델이 만든 다섯 개 가설 가운데 하나가, 연구팀이 이미 밝혀냈지만 아직 공개하지 않은 가설과 비슷했다. 게스트는 이것이 인류가 아직 풀지 못했거나 풀었더라도 공개되지 않은 문제에 대해 모델이 가설을 만들어낼 수 있다는 뜻이라고 해석했다. 더 무서운 점은 같은 능력이 생물학에 국한되지 않는다는 것이다. 사람은 생물학에서 가설을 세우던 연구자가 수학으로 옮겨가 그렇게 하기 어렵지만 모델은 그렇지 않다.

그는 이 상황을 지식의 축적에 비유했다. 인류가 거인의 어깨 위에 올라 지식을 쌓아 왔듯 사전학습과 사후학습이 지식을 쌓는 과정이었고, 추론이 개별 주체가 그 위에서 발전을 만들어내는 단계에 해당한다는 설명이다. 그리고 그는 이 영상을 본 사람이 느꼈으면 하는 감정 중 하나가 인공지능을 조금은 무서워하는 마음이라고 말했다.

주요 인사이트

• 가설을 AI가 만들고 문제도 AI가 푼다면 사람의 자리는 어디인가라는 질문에, 게스트는 코드 취약점 바운티 헌팅에 비유해 답했다. 거대한 시스템이 못하는 것을 알아보고, 모델이 내놓은 수학 증명이 틀렸다는 것을 짚어낼 만큼 똑똑해야 하는 일이라는 것이다.
• 그는 그것이 직업이 아니라고 선을 그었다. 바운티 헌팅이 전업일 수 없듯 상시적인 일자리는 아니지만, 시스템의 경제적 파급이 워낙 커서 한 번만 성공해도 평생 먹고살 만한 보상이 나올 수 있다는 계산이다.
• 그러면서 그는 그런 산업이 이미 있다고 덧붙였다. 축구처럼 어릴 때부터 재능 있는 아이들을 모아 키우고 걸러내기를 반복해 결국 몇 명만 성공하는 구조가 될 수 있다는 것이다. 다만 이 부분은 논문 근거가 아닌 자기 생각이라고 스스로 밝혔다.
• 진행자는 인류의 순수한 지적 역량이 지금 정점에 있는 것은 아닐지 되물었다. 오류를 알아보려면 내용을 다 알고 있어야 하는데, 생성 모델에 의존해 배우는 세대는 잘 활용하는 법만 알아도 성과가 나오기 때문에 고생해서 얻는 지식이 줄어든다는 우려다.
• 그는 바이브 코딩에서 이미 이 조짐을 느낀다고 했다. 결과물은 만들어지지만 잘못돼도 잘못된 줄 모르고, 구조 개선을 시키는 방법은 알지만 직접 할 수는 없는 상태가 되면 사람은 AI의 역량 아래에 갇힐 수밖에 없다는 것이다.
• 가장 구체적인 경고는 세대 공백이다. 시니어 개발자는 하늘에서 떨어지지 않는데 지금 신입 채용이 줄면 15년 뒤 시니어가 될 사람이 없고, 그동안 AI 성능은 계속 올라간다. 그래서 대체는 극적인 사건이 아니라 자연스럽게 이뤄진다는 논리다.

자주 묻는 질문

관련 AI 소식