2026년 LLM 아키텍처 변화: 하이브리드 모델, KV 캐시, 추론과 에이전트 시대 핵심 정리

핵심 메시지

• 최신 LLM을 기준점 삼아 한쪽으로는 에이전트에 연결하고, 다른 쪽으로는 내부 구조를 뜯어보며 양방향으로 탐구하는 방식이 유용하다.
• 2025~2026년의 뚜렷한 흐름은 트랜스포머와 맘바 같은 상태공간모델을 결합한 하이브리드 아키텍처다.
• KV 캐시의 메모리 부담을 줄이기 위해 그룹드 쿼리 어텐션 등으로 키·값을 공유하는 기법이 발전했다.
• RLVR로 학습된 추론 능력은 증류(distillation)를 통해 다른 모델의 학습 데이터로 흘러들어 생태계 전반으로 퍼진다.
• 추론 시점 스케일링(더 긴 추론, 병렬 샘플링, 자기 개선, 심판 모델)으로 추가 학습 없이도 성능을 끌어올릴 수 있다.
• 모델이 강해질수록 에이전트의 하네스(스캐폴딩)를 오히려 걷어내야 하며, 스스로를 감독하는 에이전트를 감독하는 인지 부담이 커진다.

쉽게 이해하기

이 대화는 배니싱 그래디언츠 팟캐스트에서 진행됐다. 게스트인 세바스찬 라시카는 "밑바닥부터 만드는 대규모 언어 모델"의 저자이자, "밑바닥부터 만드는 추론 모델"을 마무리 중인 독립 AI 연구자다. 그는 최신 LLM을 기준점 삼아 에이전트에 연결하는 방향과 내부 구조를 분석하는 방향으로 동시에 파고드는 것이 지금 가장 흥미롭다고 말한다.

두 사람은 에이전트 시대의 체감을 이야기한다. 자기 자신을 감독하는 에이전트들을 다시 사람이 감독해야 하는 상황을, 훈련받은 적 없는 오케스트라를 지휘하는 것에 비유하며 "AI 사이코시스"라는 표현까지 등장한다. 라우팅과 서브에이전트가 늘면서 워크플로가 복잡해지고, 잘 될 때는 마법 같지만 안 될 때는 오히려 스트레스가 크다는 점도 짚는다.

학습 파이프라인의 변화도 다룬다. 사전학습에서 얻는 쉬운 성과는 줄고, 중간학습과 사후학습의 비중이 커졌다. 특히 검증 가능한 보상을 쓰는 강화학습(RLVR)이 수학·코드처럼 정답을 검증할 수 있는 영역에서 추론 능력을 끌어올렸고, 고품질 데이터 덕분에 더 적은 데이터로도 좋은 베이스 모델을 만들 수 있게 됐다.

추론 시점 스케일링도 핵심 주제다. 더 긴 추론, 병렬 샘플링, 자기 개선, 외부 심판 모델을 조합하면 비용은 늘지만 성능이 오른다. 그래서 2025년에는 과제 난이도에 따라 추론 강도를 고르거나 모델을 자동 선택·라우팅하는 방식이 자리 잡았고, ChatGPT의 자동 모드가 그 예다.

마지막으로 아키텍처 세부를 파고든다. 토큰을 하나씩 생성할 때 키·값을 매번 다시 계산하지 않으려 KV 캐시를 쓰지만, 문맥이 길어지면 메모리 부담이 커진다. 이를 완화하는 그룹드 쿼리 어텐션과, 트랜스포머에 맘바 같은 상태공간모델을 섞는 하이브리드 구조가 최근 흐름이다. 라시카는 "구현은 거짓말하지 않는다"며 직접 만들어 보는 학습의 가치를 강조한다.

주요 인사이트

• 라시카는 자연어 텍스트 자체가 이미 LLM이 잘 소화하는 형식이라, 교육 콘텐츠에 별도의 skill 문서가 반드시 필요하지는 않다고 본다.
• 추론은 별도의 "기법"이라기보다 "행동"에 가깝다. 충분히 좋은 베이스 모델은 단계별로 설명하라고 시키기만 해도 추론 모델처럼 보인다.
• 고품질로 잘 정제된 데이터는 더 적은 양으로도 좋은 모델을 만들게 해, 남는 컴퓨트를 사후학습에 투자할 여지를 준다.
• CSS 웹사이트를 고치는 사례처럼, AI가 잘할 땐 마법 같지만 어긋날 땐 직접 코드를 다룰 줄 아는 것이 여전히 유용하다.
• 라시카의 개인 셋업은 의외로 단순하다. 맥 미니에 Codex나 Claude를 쓰고, 집필에는 체크리스트 기반 품질 검수에 AI를 활용한다.

자주 묻는 질문

관련 AI 소식