2026 LLM 현황: 트랜스포머·RLVR·GRPO·추론 스케일링 총정리 (라시카 인터뷰)

핵심 메시지

• 트랜스포머는 8~9년이 지났지만 여전히 최고 성능 아키텍처이며, MoE·선형 어텐션·확산·상태공간·소형 재귀 모델은 ‘더 싸게’ 만들 뿐 성능을 대체하지는 못한다(‘공짜 점심은 없다’).
• 이제 성능 향상은 아키텍처가 아니라 후처리(post-training)에서 나온다. 사전학습은 ‘죽지 않았지만 지루하다’.
• 2025년은 RLVR과 GRPO의 해였다. RLVR은 검증 가능한 보상(수학·코드)으로 보상 모델과 가치 모델을 없애 학습을 크게 저렴하게 만들었다.
• Qwen3에 RLVR 50스텝만으로 수학 정확도가 5%→50%로 뛴 사례처럼, 강화학습은 새 지식을 가르치기보다 이미 있는 능력을 끌어낸다.
• 추론 스케일링(더 많은 토큰·병렬 샘플링·자기수정)과 도구 사용이 최근 체감 성능 향상의 큰 동력이며, 벤치마크 포화로 진전을 수치화하기 어려워졌다.

쉽게 이해하기

트랜스포머는 등장한 지 8~9년이 됐지만 라시카는 여전히 최고 성능 아키텍처라고 본다. GPT-2 모델을 몇 줄의 코드로 최신 DeepSeek 3.2 구조로 바꿀 만큼 뼈대는 그대로이며, 확산 모델이나 Mamba 같은 상태공간 모델은 저렴함을 얻는 대신 다른 대가를 치른다.

2025년에는 거의 모든 오픈 개발사가 MoE(전문가 혼합)를 채택했다. DeepSeek v3가 흐름을 되살렸고 Kimi와 유럽의 Mistral 3까지 그 구조를 차용했다. 반면 RMSNorm 위치를 바꾸는 식의 조정은 자동차에 에어필터를 바꾸는 정도의 미세 튜닝이라고 그는 표현한다.

발전의 축은 후처리로 옮겨갔다. RLHF(2022)가 GPT를 ChatGPT로 만들었다면, RLVR(검증 가능한 보상 기반 강화학습)은 채팅 모델을 추론 모델로 도약시켰다. RLVR은 사람이나 보상 모델의 선호 대신 수학 정답·코드 컴파일처럼 검증 가능한 보상을 써서 보상 모델과 가치 모델을 제거하고, GRPO(그룹 상대 정책 최적화)로 답들을 서로 비교해 비용을 크게 낮췄다. DeepSeek R1(2025년 1월)이 이를 대중화했다.

가중치를 바꾸지 않고 추론 시 연산을 더 쓰는 ‘추론 스케일링’도 큰 동력이다. 더 많은 토큰을 생성하는 추론 모델, 여러 번 물어 다수결을 내는 병렬 샘플링, 판정 모델, 자기수정, 그리고 프롬프트를 잘게 쪼개 처리하는 재귀 언어모델(RLM) 등이 여기 속한다. 도구 호출은 계산기·웹검색을 외부에 맡겨 환각을 줄이는 큰 해제이며, GPT-OSS 공개 자료에서 도구 사용 시 성능이 약 1.2배 오른다.

그는 벤치마크가 포화되고 리더보드가 정답보다 문체를 보상하는 ‘벤치맥싱’ 경향을 지적하며, 이제 벤치마크 숫자 대신 직접 며칠 써보고 판단한다고 말한다. 앞으로의 엣지는 금융·국방 같은 기업이 쌓아온 사적 데이터이며, 이들이 사내에서 대형 LLM을 직접 훈련하기 시작했다고 전한다. 지속학습은 치명적 망각 등 때문에 2026년보다 2027년의 과제로 본다.

주요 인사이트

• ‘마법의 탄환은 없다’: 2025년의 진전은 하나의 돌파구가 아니라 곳곳의 작은 요령들이 합쳐진 결과다.
• RLVR이 저렴한 이유는 정책·보상·가치 세 모델을 하나로 줄이고 정답을 알고리즘으로 검증하기 때문이다. 다만 기본형 GRPO는 불안정해 KL 항 제거 같은 여러 안정화 요령이 필요하다.
• 검증 가능한 보상은 수학·코드를 넘어, 인용의 URL을 다른 모델이 확인하는 식으로 다른 분야로도 확장될 수 있다.
• 로컬 오픈 모델이 상용 챗봇보다 덜 좋게 느껴지는 것은 모델 자체보다 프롬프트 정리·컨텍스트 관리 같은 플랫폼 엔지니어링 차이일 수 있다.

자주 묻는 질문

관련 AI 소식