GPU 오케스트레이션이 필요한 이유: 쿠버네티스의 한계와 에이전트가 컴퓨트를 잡는 시대
AI 인프라 오케스트레이션 계층을 만드는 개발자가 GPU 워크로드의 구조를 설명한다. 컴퓨트를 확보하는 프로비저닝과 작업을 올리는 스케줄링의 분리, 쿠버네티스의 한계, 에이전트가 직접 컴퓨트를 잡는 흐름을 다룬다.
핵심 내용 읽기 →
AI TOPIC
쿠버네티스 최신 뉴스와 핵심 해설
쿠버네티스 관련 핵심 뉴스와 활용 인사이트 13편을 최신순으로 모았습니다.
쿠버네티스에서 웹어셈블리(WebAssembly) 실행하기 — 2MB 컨테이너 실험과 런타임 관리의 위험
브라우저를 벗어난 웹어셈블리를 쿠버네티스에서 직접 돌려 본 발표 기록. 같은 소스로 만든 컨테이너 용량을 2MB까지 줄인 방법과 설정 변경 지점, 그리고 발표 직전 예제가 깨져 버린 경험까지 솔직하게 다뤘다.
핵심 내용 읽기 →
Ray와 KubeRay로 분산 학습 확장하기 — 캐피털원의 멀티 GPU 하이퍼파라미터 튜닝 사례
캐피털원 엔지니어들이 쿠버네티스 위에서 Ray 클러스터를 운영하며 겪은 데이터 로딩 병목과 자동·수동 샤딩 선택, 시행 한 건당 시간을 3분의 1로 줄인 과정을 Ray 서밋 발표 자막을 근거로 정리했습니다.
핵심 내용 읽기 →
PARK 스택이란: 파이토치·오픈웨이트 모델·레이·쿠버네티스로 자체 AI 플랫폼 만들기
맞춤형 AI 플랫폼을 만드는 기업들이 약속이나 한 듯 같은 오픈소스 조합에 도달했다. 파이토치·오픈웨이트 모델·레이·쿠버네티스를 묶은 PARK 스택의 정체와 기업의 세 가지 선택지, 이종 하드웨어 대응까지 정리했다.
핵심 내용 읽기 →
LLM 추론 스케줄링 '토큰 슬라이스' — 긴 요청 독점을 막는 청크 디코딩 실험
긴 응답을 만드는 요청이 디코더를 붙잡으면 짧은 요청은 계속 기다린다. 파이토치 콘퍼런스 발표가 소개한 토큰 슬라이스는 운영체제 스케줄링의 시분할 아이디어를 LLM 추론에 옮긴 시도이며, 그 대가로 캐시 재계산 비용을 감수해야 한다.
핵심 내용 읽기 →
MoE 추론 WideEP와 KV 캐시 인식 라우팅 — vLLM·llm-d 개발자가 짚은 스케줄링 문제
MoE 모델을 수십 개 GPU에 펼치는 WideEP 추론에서 성능을 갉아먹는 것은 전문가 연산이 아니라 KV 캐시 위치를 무시한 라우팅이었다. vLLM과 llm-d 개발자들이 파이토치 콘퍼런스에서 밝힌 진단과 해법을 정리했다.
핵심 내용 읽기 →
허깅페이스 허브 확장 전략: 모델 300만 개 검색을 지탱하는 MongoDB·쿠버네티스 설계
허깅페이스 엔지니어가 사용자 1400만 명과 공개 모델 300만 개를 지탱하는 검색·데이터베이스·오토스케일링 구조를 공개했다. 정규식 검색을 버리고 아파치 루씬 기반 검색으로 옮긴 이유, 다음 단계인 샤딩 계획까지 정리했다.
핵심 내용 읽기 →
AI 시대에도 쿠버네티스와 데브옵스 자격증이 필요한 이유, 그리고 다중 에이전트로 만든 AI 튜터 구축기
구글 클라우드 팟캐스트 에이전트 팩토리에서 코드클라우드 창업자가 AI 시대에도 쿠버네티스와 데브옵스 자격증이 필요한 이유, 개발자 역할의 변화, 그리고 랭그래프 다중 에이전트로 만든 AI 학습 튜터의 구조와 비용 절감 방법을 설명한다.
핵심 내용 읽기 →
Gemini Cloud Assist: AI 에이전트로 쿠버네티스 장애 탐지·복구 시간을 줄이는 법
구글 클라우드와 팔로알토 네트웍스가 소개한 에이전트 기반 운영 사례. Gemini Cloud Assist와 MCP 게이트웨이로 쿠버네티스 장애를 사전에 감지하고 클릭 몇 번으로 대응해 MTTD·MTTR를 줄이는 방법을 정리했다.
핵심 내용 읽기 →
AI 코딩 에이전트 오케스트레이션 실전기 — 세 대의 머신, 다섯 번의 실패와 해법
여러 대의 머신에서 AI 코딩 에이전트를 매일 동시에 운영하며 겪은 병목과 다섯 가지 붕괴, 그리고 계층형 조직 구조와 파일 기반 상태 관리, 리뷰 게이트웨이로 이를 풀어낸 KRAFTON 엔지니어의 실전 경험을 정리했다.
핵심 내용 읽기 →
kagent - 쿠버네티스 클러스터에 AI 에이전트를 넣어 장애를 진단하는 법
오픈소스 kagent는 쿠버네티스 클러스터 안에 AI 에이전트를 넣어 자연어로 장애 원인을 찾아준다. 서비스 셀렉터 불일치와 리소스 쿼터 문제를 손으로, 또 에이전트로 잡아보는 실습을 정리했다.
핵심 내용 읽기 →
LLM-D 분산 추론 완벽 정리: 쿠버네티스로 LLM을 빠르고 싸게 서빙하기
오픈소스 프로젝트 LLM-D가 추론 게이트웨이와 프리필·디코드 분리로 LLM 추론을 어떻게 가속하는지, IBM이 공개한 지연·비용 개선 수치와 함께 정리했습니다.
핵심 내용 읽기 →
쿠버네티스 YAML 튜토리얼: apiVersion·kind·metadata·spec로 파드 만들기
쿠버네티스가 컨테이너에 고가용성과 장애 내성을 주는 이유부터 파드 개념, YAML의 키-값·딕셔너리·배열 구조, apiVersion·kind·metadata·spec 작성법까지 정리했습니다.
핵심 내용 읽기 →