RoPE 정리: 회전 위치 임베딩의 원리와 긴 문맥으로 확장하는 PI·NTK·YaRN 기법
트랜스포머가 단어 순서를 인식하게 만드는 회전 위치 임베딩 RoPE의 원리를 정리했다. 쿼리와 키를 회전시키면 내적이 상대 거리에만 의존하는 이유, 구현 요령, 학습 길이를 넘어 문맥을 늘리는 PI·NTK·YaRN 기법까지 살펴본다.
핵심 내용 읽기 →
AI TOPIC
긴 문맥 최신 뉴스와 핵심 해설
긴 문맥 관련 핵심 뉴스와 활용 인사이트 12편을 최신순으로 모았습니다.
재귀 언어 모델(RLM) 정리: 긴 문맥 한계를 파이썬 REPL로 우회하는 추론 전략
MIT 알렉스 장이 alphaXiv 강연에서 소개한 재귀 언어 모델(RLM)은 프롬프트를 모델에 직접 넣지 않고 코드 환경 변수에 담아, 모델이 스스로 잘라 읽고 하위 호출로 처리하게 만드는 추론 전략이다.
핵심 내용 읽기 →
재귀 언어 모델(RLM)이란: 컨텍스트 부패를 넘어 1천만 토큰을 처리하는 구조와 한계
긴 문서를 넣을수록 AI 성능이 떨어지는 컨텍스트 부패 문제를, 맥락을 입력이 아니라 코드로 탐색하는 환경으로 바꿔 푸는 재귀 언어 모델을 정리했다. 45만 토큰 문서를 코드로 나눠 작은 모델에 맡기는 방식과 벤치마크 결과를 짚었다.
핵심 내용 읽기 →
선형 어텐션 원리 정리 — KV 캐시 없이 긴 문맥을 처리하는 트랜스포머의 다음 단계
트랜스포머의 소프트맥스 어텐션은 문맥이 길어질수록 KV 캐시 메모리가 함께 불어난다. 소프트맥스를 걷어낸 선형 어텐션이 메모리를 상수로 고정하는 원리와, 델타 규칙·게이팅으로 성능 격차를 좁혀 온 최근 흐름을 정리했다.
핵심 내용 읽기 →
재귀 언어 모델(RLM)이란? 긴 문맥 문제를 코드 실행으로 푸는 MIT 발 추론 기법
RLM은 LLM이 직접 파이썬 코드를 써서 긴 프롬프트를 조금씩 탐색하고 하위 에이전트를 재귀 호출하는 방식이다. 문맥 오염을 줄이고 비용까지 낮추는 원리를 정리했다.
핵심 내용 읽기 →
딥시크 V4 희소 어텐션 구조 해설: 100만 토큰 긴 문맥을 저렴하게 처리하는 원리
딥시크 V4는 토큰을 블록으로 압축하고 필요한 부분만 골라 계산하는 방식으로 100만 토큰 문맥을 감당한다. 압축 희소 어텐션과 슬라이딩 윈도, 고압축 어텐션이 층마다 어떻게 맞물리는지 쉽게 정리했다.
핵심 내용 읽기 →
GLM-5.2 분석: GRPO 대신 PPO로 훈련한 오픈 가중치 에이전트 모델과 100만 토큰 설계
MIT 라이선스로 공개된 GLM-5.2가 주목받는 이유를 정리했다. 그룹 비교 방식 GRPO 대신 비평가 모델을 쓰는 PPO로 회귀한 강화학습, 100만 토큰 문맥을 감당하는 인덱서 공유 설계를 살펴본다.
핵심 내용 읽기 →
딥시크 희소 어텐션 DSA 원리: 라이트닝 인덱서와 상위 2048 토큰 선택 구조 해설
딥시크 희소 어텐션이 값싼 라이트닝 인덱서로 중요한 토큰을 먼저 추린 뒤 선택된 상위 2048개에만 어텐션을 돌려 긴 문맥 추론 비용을 줄이는 구조를, KV 캐시 병목부터 학습 방식과 한계까지 단계별로 정리했다.
핵심 내용 읽기 →
Titans 논문 해설: 테스트 시점 메모리와 신경망 기반 기억
구글의 Titans 논문이 제안한 "테스트 시점에 기억을 학습하는" 신경망 메모리 아이디어와, 선형 트랜스포머·기존 메모리 기법과의 관계를 비판적으로 정리합니다.
핵심 내용 읽기 →
DeepSeek-V4 어텐션 구조 해설: 100만 토큰 문맥과 효율적 압축 방식
DeepSeek-V4 논문이 제안한 압축 희소 어텐션과 고압축 어텐션으로 표준 어텐션의 제곱 비용 문제를 어떻게 낮추고 100만 토큰 문맥을 다루는지 쉽게 정리했습니다.
핵심 내용 읽기 →
테스트 타임 트레이닝(TTT): 긴 문맥을 새 구조 없이 푸는 LLM 학습법 해설
스탠퍼드·버클리·엔비디아 연구진의 '엔드투엔드 테스트 타임 트레이닝' 논문을 해설한다. 새 아키텍처 대신 추론 중에도 모델을 계속 학습시켜 긴 문맥을 저렴하게 처리하는 아이디어와 그 한계를 짚는다.
핵심 내용 읽기 →
RoPE 회전 위치 임베딩이란 — 트랜스포머가 단어 순서와 긴 문맥을 처리하는 원리
같은 단어를 섞으면 뜻이 달라지는데, 트랜스포머의 어텐션은 순서를 보지 못한다. 절대 위치 인코딩의 한계와, RoPE가 상대 위치를 회전으로 담아 라마·젬마 같은 모델의 긴 문맥을 떠받치는 원리를 차근차근 풀어봤다.
핵심 내용 읽기 →