사라 후커 강연 정리: 사전학습 스케일링 포화와 프런티어 AI 진입장벽의 변화, 무엇이 달라지나

핵심 메시지

• 후커는 최전선 AI 연구에 이르는 길이 '지나치게 좁은 통로'였다고 표현했다. 올바른 박사 과정, 올바른 산업계 연구소, 올바른 시점의 올바른 주제를 차례로 통과해야만 기여할 기회가 열렸다는 것이다.
• 그는 대규모로 프런티어 모델을 훈련하는 법을 아는 사람이 전 세계에 현실적으로 5천 명이 채 되지 않는다고 추정했다. 그 지식은 논문으로 정리되기보다 도제식으로 전수돼 왔다는 설명이다.
• 컴퓨팅 자원이 이 장벽을 한 번 더 키웠다. 소수의 연구소가 모두가 쓰는 기술을 만들고, 성과 지도에서 통째로 빠진 지역이 생겼다는 것이 그의 문제의식이다.
• 그는 사전학습 규모가 더 이상 성능을 가장 크게 좌우하는 축이 아니라고 주장했다. 아키텍처가 포화에 가까워지면서 훨씬 작은 모델이 큰 모델을 앞서는 사례가 늘었다는 것이다.
• 사전학습 대신 사후학습과 추론 단계로 무게중심이 옮겨가면 계산 자원을 한곳에 모아 둘 필요가 줄어든다. 후커는 이 변화가 '가장 좋은 아이디어를 가진 사람이 이길 확률'을 높인다고 봤다.

쉽게 이해하기

사라 후커는 현대 컴퓨터과학이 이제 겨우 77년, 사람으로 치면 두 세대밖에 되지 않은 분야라는 점에서 이야기를 시작했다. 그 짧은 기간에도 누가 연구를 하고 어떤 주제를 다루는지는 크게 달라졌다. 과학사 전체로 보면 연구는 개인 자산가의 취미에서 왕립학회 같은 결사체로, 다시 오늘날의 형태로 이동해 왔다.

그가 문제 삼은 것은 AI 연구가 유독 좁은 관문으로 수렴했다는 점이다. 본인 역시 박사 과정을 거쳐 딥마인드를 비롯한 여러 연구소를 지나며 효율성 연구를 해 왔지만, 이 경로는 적절한 시점에 적절한 문제에 관심을 두지 못한 사람을 걸러내는 구조였다고 회고했다. 여기에 계산 자원이 겹치면서 'GPU 부자와 GPU 빈자'라는 농담이 나올 정도로 진입 장벽이 이중으로 굳어졌다.

후커는 이 구도가 결과물에도 흔적을 남긴다고 봤다. 소수의 연구소가 만든 같은 모델이 수십억 명에게 그대로 배포되는데, 이는 쉬운 문제와 어려운 문제에 똑같은 계산량을 쓰는 방식이기도 하다. 그는 스탠퍼드가 집계한 주요 성과의 지리적 분포에서 세계의 상당 부분이 비어 있다는 점을 근거로 들었다.

그가 이끄는 어댑션 랩스는 이 문제에 대한 자체 해법으로 모델 훈련 과정 자체를 자동화하는 '오토 사이언티스트'를 몇 주 전 베타로 공개했다. 데이터부터 정렬까지 전체 루프를 함께 최적화하고 도메인에 맞춰 스스로 방식을 바꾸는 것이 특징이라고 그는 설명했다. 데이터 품질을 함께 통제하기 전까지는 기대한 만큼의 성능 향상이 나오지 않았다는 경험도 덧붙였는데, 이는 아직 공개 검증이 이뤄지지 않은 자사 주장으로 받아들일 필요가 있다.

강연의 무게가 실린 두 번째 근거는 스케일링의 수익 구조 변화다. 후커는 자신이 쓴 '스케일링의 죽음' 논문을 언급하며 사전학습 규모가 가장 수익성 높은 축은 아니라는 점이 경험적으로 드러났다고 말했다. 사전학습용 계산 자원은 한곳에 모여 있어야 하고 예비 용량까지 감안해 대규모로 확보해야 하지만, 추론과 사후학습 쪽은 훨씬 분산해서 쓸 수 있고 같은 연산량 대비 효과도 크다는 것이다.

주요 인사이트

• 후커의 주장에서 핵심은 '모델이 작아진다'가 아니라 '최적화할 공간이 옮겨간다'는 쪽이다. 그는 모두가 0.8B 모델을 쓰라는 뜻이 아니라고 분명히 선을 그으면서, 크기 경쟁이 천장에 닿았기 때문에 그 안에서 무엇을 혁신하느냐가 다시 중요해졌다고 정리했다.
• 질문하는 비용이 곧 질문의 양을 결정한다는 지적이 인상적이다. 훈련 노하우가 자동화되면 시도할 수 있는 실험의 총량 자체가 달라지고, 그 결과 혁신 주기가 짧아진다는 논리다.
• 개방형 접근과 안전성에 대해 그는 이분법을 피했다. 도구가 널리 퍼지면 위험 프로필이 생기는 것은 사실이지만, 위험만 강조하면 누가 참여할 수 있는지를 제한하는 효과도 함께 따라온다며 둘을 같이 저울에 올려야 한다고 답했다.
• 증류를 통해 큰 모델의 지식을 작은 모델로 옮기는 방식이 여전히 유효하냐는 질문에는, 증류는 도움이 되지만 이미 크기의 천장에 도달했기 때문에 앞으로는 사후학습을 더 앞단으로 당기는 흐름이 강해질 것이라고 답했다.
• 검증 가능한 과제보다 정답을 기계적으로 채점하기 어려운 과제에 관심을 둔다고 밝힌 대목도 눈여겨볼 만하다. 사람들이 일상에서 실제로 하는 일 대부분이 그런 성격이기 때문이다.

자주 묻는 질문

관련 AI 소식