강화학습 크로스 데이터센터 — 가중치 델타 전송으로 롤아웃을 전 세계 GPU에 분산하는 법
프런티어 규모 체크포인트는 500GB에 달해 리전 간 전송에만 수 분이 걸린다. 롤아웃이 실제로 보는 가중치는 스텝당 1%도 바뀌지 않는다는 관찰에서 출발해, 강화학습 후처리를 흩어진 GPU로 분산하는 설계를 정리했다.
핵심 내용 읽기 →
AI TOPIC
GPU 인프라 최신 뉴스와 핵심 해설
GPU 인프라 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
오픈 웨이트가 전략이 된 순간: 중국 AI 모델 품절 사태와 미국의 규제 카드 해설
출시 사흘 만에 신규 구독을 중단한 중국 오픈 모델, 같은 주말 이어진 최고위급 오픈소스 지지 발언과 미국의 규제 움직임까지. 가중치 공개가 왜 선의가 아니라 유통 전략인지 세 층위로 풀어낸 해설을 정리했다.
핵심 내용 읽기 →
LLM 추론 인프라와 토큰 경제학: KV 캐시·배치·컨텍스트 가격이 결정되는 원리
LLM API의 토큰 가격과 컨텍스트 길이 티어는 왜 그렇게 정해질까. 계산 시간과 메모리 시간의 줄다리기, KV 캐시가 잡아먹는 GPU 메모리, 한 랙에 72개를 묶은 NVL72의 구조를 차례로 따라가며 추론 경제학의 뼈대를 한국어로 풀어본다.
핵심 내용 읽기 →