AI 샘플 효율성 격차, 프런티어 모델이 인간보다 100만 배 많은 데이터를 쓰는 이유

핵심 메시지

• 최근 몇 년간 AI가 좋아진 주된 이유는 학습 효율이 나아져서가 아니라 데이터의 폭과 양이 극적으로 넓어졌기 때문이다.
• 강화학습은 사실상 합성 데이터 생성 장치에 가깝다. 검증기나 채점 기준에 막대한 연산을 쏟아부어 '좋은 데이터'가 무엇인지 먼저 찾아낸 뒤 그 결과를 모델에 학습시킨다.
• 사람은 성인이 될 때까지 대략 2억 토큰을 접하지만 프런티어 모델은 수십조에서 수백조 토큰을 학습한다. 약 100만 배 차이다.
• 모델을 키워 이 격차를 메우기는 어렵다. 친칠라 논문의 상수를 그대로 쓰면 파라미터를 무한히 늘려도 필요한 데이터는 10분의 1로 줄어드는 데 그친다.
• 그럼에도 사무직 업무 자동화라는 목표에서는 비효율이 치명적이지 않다. 한 번 익힌 능력을 수십억 개의 세션에 나눠 쓸 수 있기 때문이다.

쉽게 이해하기

지능을 재는 한 가지 기준은 '표본 효율성', 즉 어떤 분야를 능숙하게 다루는 데 얼마나 적은 데이터가 필요한가이다. 이 영상의 출발점은 지난 몇 년간 학습의 표본 효율성 자체는 그다지 나아지지 않았다는 관찰이다. 대신 달라진 것은 데이터의 분포가 훨씬 넓고 좋아졌다는 점, 그리고 그 데이터를 만들어내는 데 투입되는 연산이 폭발적으로 늘었다는 점이다.

강화학습도 이 관점에서 다시 읽힌다. 검증기나 채점 기준, 혹은 심판 역할을 맡은 언어모델에 막대한 연산을 쏟아 어떤 출력이 정답인지 먼저 가려내고, 그 정답 궤적을 인터넷 텍스트의 다음 단어를 맞히듯 학습시키는 구조다. 이 과정이 작동하려면 모델이 애초에 정답을 어느 정도 떠올릴 수 있어야 하고, 그래서 다루고 싶은 분야마다 사람 전문가가 만든 방대한 궤적이 필요해진다. 문서 작업 전문가, 법률 실사 보고서 작성자, 시장조사 템플릿을 쓰는 컨설턴트를 모집하는 채용 공고들이 그 증거다.

영상은 격차의 크기를 몇 가지 비교로 보여준다. 사람이 시간당 2천 단어를 보고 듣는다고 넉넉히 잡아도 태어나서 성인이 될 때까지 약 2억 토큰이다. 사람은 스무 시간 남짓 연습하면 운전을 배우고, 로봇 팔의 원격 조작도 몇 시간이면 익힌다. 반면 자율주행 모델 학습에 쓰이는 데이터는 그보다 서너 자릿수 이상 많고, 수백만 시간의 시연을 모아도 로봇은 복잡하고 열린 과제를 해내지 못한다.

흔한 반론 세 가지도 짚는다. 첫째, 진화가 인간을 미리 학습시켜 두었다는 주장에 대해서는 인간 유전체가 3기가바이트뿐이고 그중 단백질을 만드는 부분은 1~2%에 불과해 신경망 파라미터를 담을 공간이 없다고 답한다. 진화가 정한 것은 하이퍼파라미터와 손실함수에 가깝고 연결망 자체는 살면서 만들어진다는 것이다. 둘째, 감각 데이터를 빼놓았다는 지적에는 시각이나 청각이 제한된 사람도 일반 지능을 갖는다는 사실을 든다. 셋째, 모델을 더 키우면 된다는 기대에는 스케일링 법칙에서 파라미터 항과 데이터 항이 독립적으로 더해진다는 점을 지적한다.

그렇다면 표본 효율성 문제를 못 풀어도 괜찮은가. 영상의 답은 목표에 따라 다르다는 것이다. 소프트웨어 엔지니어나 분석가, 회계사가 반복하는 흔한 업무라면 학습 분포 안으로 끌어들이기 쉽고, 사람과 달리 모델은 한 번 배운 것을 수십억 세션에 걸쳐 나눠 쓸 수 있으니 학습이 아무리 비효율적이어도 수지가 맞는다. 다만 분포 바깥의 문제를 매일 다뤄야 하는 직무는 이야기가 다르며, 발표자는 2028년에도 사람 소프트웨어 엔지니어 수요가 지금보다 많을 것이라는 쪽에 걸겠다고 말한다.

주요 인사이트

• 오픈소스 모델이 최신 모델을 넉 달 차이로 따라잡는다는 관측 자체가 데이터가 핵심 동력이라는 방증이다. 데이터는 공개 API에서 증류해 가져올 수 있지만 하이퍼파라미터나 학습 요령, 구조 최적화는 그럴 수 없기 때문이다.
• 현재 모델을 사람처럼 여러 기술을 배운 학습자로 보기보다, 정교하게 만들어진 사례 수십억 조각을 이어 붙인 결과물로 보는 편이 실제에 가깝다. 능력 하나하나가 별도의 데이터 공정에서 나온다.
• 사전학습이 끝난 뒤에도 새 기술 하나를 더할 때마다 막대한 데이터가 필요하다는 점이 핵심이다. 사람은 교육을 마치면 새 프로그래밍 언어를 배우는 데 교수 백 명이 필요하지 않다.
• 표본 효율성 문제를 사람이 못 풀면 AI 연구 자체를 자동화해 AI에게 풀게 하겠다는 것이 연구소들의 계획이지만, 사람 수준의 학습 효율이 없는 모델이 그 연구를 해낼 수 있는지는 아직 열린 질문이다.
• 전문가 라벨과 강화학습 환경을 공급하는 데이터 산업이 이미 연 수십억 달러 규모라는 사실은, 모델 성능이 어디에서 오는지를 시장이 먼저 알아봤다는 신호로 읽힌다.

자주 묻는 질문

관련 AI 소식