LLM 추론과 스케일링의 한계 — 비벡 굽타 교수 인터뷰 정리

핵심 메시지

• 굽타 교수는 추론을 '답에 이르는 이유(reason)와 단계를 제시하고, 그 단계를 따랐을 때 답에 도달하는 것'으로 정의한다 — 단순한 설명 나열은 추론이 아니다.
• 진짜 추론이라면 표(행·열)를 뒤섞어도 답이 바뀌지 않아야 한다(불변성). 현재 LLM은 많이 본 입력엔 매우 강하지만 조금만 복잡하거나 낯설면 흔들리는 '취약(brittle)' 상태다.
• 스케일 확대는 성능을 높이지만 만능이 아니다. 미래를 예측하는 일반화나 새로운 추론에는 한계가 있어, 도구·기호주의·제약을 결합해야 한다(예: 알파지오메트리, o1).
• 학계는 '적은 자원으로 더 많이 하기', 공정성·견고성 검증, 다음 세대 교육이라는 산업계와 다른 역할을 맡는다.
• 그는 범용인공지능(AGI)의 임박에는 회의적이지만, 앞으로 5년 안에 AI가 다양한 제품·산업에 '협력 파트너'로 널리 스며들 것이라고 본다.

쉽게 이해하기

이 인터뷰의 손님은 애리조나주립대 조교수로 부임한 비벡 굽타 교수로, 그는 표·차트 같은 '준정형(semi-structured) 데이터'의 추론이라는 틈새를 연구해 왔다. 그는 대다수가 텍스트나 이미지에 몰릴 때, 웹에 널려 있지만 잘 활용되지 않던 표 데이터에 주목했다고 말한다. 표는 문맥이 명시되지 않아 암묵적 이해와 상식이 필요하고 모호성이 크다는 점에서 새로운 도전이었다.

그는 NLP의 발전을 '표현(representation)'의 관점에서 설명한다. 과거에는 과제마다 손수 특징을 설계하고 전용 모델을 학습했지만, 지금은 잘 학습된 고정 표현을 두고 추론 시점에 문맥만 주어 출력을 바꾼다. 학습이 여전히 표현 공간에서 일어난다는 본질은 같지만, 대량 재학습 대신 추론 단계에서 많은 것을 할 수 있게 된 점이 큰 변화라는 것이다. 대신 환각·비견고성 같은 새로운 문제가 생겼다.

추론에 대해 그는 신중한 정의를 제시한다. 추론은 '이유를 대는 것'이며, 제시한 단계를 따랐을 때 답에 도달해야 진짜 추론이다. 사람은 두 자리 덧셈을 배우면 100자리로 일반화하지만, 현재 모델은 많이 본 입력엔 강해도 조금 더 복잡하면 무너진다. 그는 모델이 '추론한다'고 단정하기보다 '취약하고 견고하지 않다'고 표현하며, 이는 LLM 옹호자들조차 인정하는 지점이라고 말한다.

스케일링에 대해서는 균형 잡힌 시각을 보인다. 더 큰 모델은 더 많은 지식과 규칙, 예시를 담아 성능을 높이지만, 미래를 예측하거나 새 정리를 만들어 내는 수준의 일반화에는 한계가 있어 정체(plateau)할 것이라고 본다. 라마나 OLMo/Molmo 사례처럼 데이터를 깨끗이 다루면 더 적은 규모로도 좋은 성능을 낼 수 있으며, o1처럼 중간 단계에 감독을 주는 새로운 방식이 필요하다고 강조한다. '쇼핑 같은 작은 일에 4000억 파라미터 모델을 쓰는 것은 우버로 갈 거리를 로켓으로 가는 격'이라는 비유도 덧붙인다.

학계와 산업계의 역할에 대해 그는 상호보완적이라고 정리한다. 산업계는 대형 모델과 제품화, 스케일을 담당하지만 경쟁 압박 속에 '땜질식 패치'가 많다. 학계는 적은 자원으로 더 복잡한 일을 해내려 하고, 공정성·견고성·반사실성처럼 '올바른 이유로 올바르게 작동하는가'를 파고들며, 다음 세대에게 LLM의 한계까지 함께 가르친다. 그는 AGI의 정의 자체가 모호하다며 임박론에는 거리를 두면서도, AI가 곧 여러 분야의 협력 파트너로 자리 잡을 것은 분명하다고 본다.

주요 인사이트

• 추론의 시금석은 '불변성'이다 — 표의 행·열을 의미가 유지되는 선에서 뒤섞어도 답이 바뀌지 않아야 한다. 이를 추론 시점의 제약(모든 순열에서 결과가 일관되는지 검사)으로 강제할 수 있다.
• LLM은 사실뿐 아니라 '어떻게 푸는지'라는 절차·구성의 지식원이다(코드가 대표적). 문제는 그 방대한 기억을 '적절한 때에 회상하고 연결·계획하는' 능력이 아직 부족하다는 점이다.
• 굽타 교수는 미세조정(fine-tuning)보다 추론 시점 개입의 여지가 크다고 본다. 파라미터를 바꾸지 않고 문맥으로 조정하기에, 특정 데이터에 과적합되지 않아 오히려 일반화가 낫다는 것이다.
• 일반화 향상에는 '깨끗한 데이터'와 규모가 함께 작용한다. 그는 소량 데이터로 처음부터 학습한 모델보다, 대규모로 사전학습된 모델(예: BiomedCLIP 계열)이 더 잘 일반화하는 경험을 소개한다.
• 논문 폭증 시대의 신호 대 잡음 문제에 대해, 그는 워크숍처럼 작고 전문화된 발표의 장을 키우고, 세미나·강연 참석과 자신의 틈새 확립으로 탐색 공간을 줄이라고 조언한다. 좋은 아이디어는 유명 연구실이 아니어도 결국 위로 떠오른다는 것이다.

자주 묻는 질문

관련 AI 소식