PARK 스택이란: 파이토치·오픈웨이트 모델·레이·쿠버네티스로 자체 AI 플랫폼 만들기

핵심 메시지

• 자체 AI 플랫폼을 만든 기업들이 파이토치, 오픈웨이트 모델, 레이, 쿠버네티스라는 같은 조합에 독립적으로 도달했다.
• 기업의 선택지는 기존 ML 플랫폼 확장, API 의존, 자체 구축 세 가지인데 앞의 둘에는 각각 뚜렷한 한계가 있다.
• 구성 요소들이 이미 서로 맞물려 검증돼 있어 통합 부담을 기업이 직접 질 필요가 없다.
• 생성형 AI 워크로드는 데이터 종류와 하드웨어가 달라, 예측 분석용 기존 플랫폼을 늘려 쓰기 어렵다.
• 구성 요소 대부분이 리눅스 재단 아래 공개적으로 운영돼 특정 벤더 종속 위험이 낮다는 점이 근거로 제시된다.

쉽게 이해하기

그래디언트 플로우의 벤 로리카는 데이터 익스체인지 팟캐스트 진행자이자 오라일리 미디어의 전 최고데이터책임자다. 그는 기업이 AI 인프라를 두고 세 가지 선택지 앞에 있다고 정리한다. 다만 이 대화가 레이를 개발한 회사의 채널에서 진행됐다는 점은 감안하고 들을 필요가 있다.

첫째는 예측이나 시계열 분석, 이상 탐지에 쓰던 기존 머신러닝 플랫폼을 생성형 AI로 확장하는 방법인데, 데이터 종류도 워크로드도 하드웨어도 다르기 때문에 대체로 어렵다는 것이 그의 판단이다. 둘째는 벤더와 협업하거나 API 엔드포인트를 쓰는 방법으로 많은 기업이 여기서 출발하지만, 커스터마이징이 막히고 팀이 기술을 겉핥기 이상으로 익히지 못하는 문제가 따라온다. 셋째가 자체 AI 플랫폼을 처음부터 만드는 길이며, 그는 스스로를 기술 기업으로 여기지 않는 회사라도 어느 정도의 커스터마이징에서 이득을 본다고 조언한다.

그는 1년 반쯤 전부터 자체 플랫폼을 만드는 기업들의 발표를 지켜보다 공통된 구성을 발견했다고 말한다. 대부분의 회사는 모델을 처음부터 사전 학습하지 않으므로 파인튜닝이나 강화학습, 증류 같은 사후 학습에 파이토치를 쓰고 그 대상으로 오픈웨이트 모델을 쓰는데, 초기에는 라마 계열이었지만 지금은 무게중심이 중국발 오픈웨이트 모델로 옮겨갔다고 짚는다. 여기에 분산 컴퓨팅으로는 레이가, 컨테이너와 클러스터 관리로는 쿠버네티스가 공통분모였고, 그는 이 조합에 PARK 스택이라는 이름을 붙였다.

이름을 붙인 이유는 기술적이라기보다 사회적이다. 모두가 같은 프로젝트들을 쓰고 있는데 정작 그것을 중심으로 한 커뮤니티는 아무도 만들지 않고 있었고, 회사 X가 회사 Y와 같은 스택을 쓴다는 사실조차 서로 모르는 상황이었다는 것이다. 그는 동적 웹사이트 시대에 LAMP 스택이 기업들의 웹 구축 능력을 대중화하고 리눅스를 주류로 만든 일을 참조점으로 든다. 이 스택이 끈끈한 이유로는 각 구성 요소가 저마다 생태계를 거느린다는 점, 그리고 파이토치와 레이를, 레이와 쿠버네티스를 어떻게 맞물릴지 고민할 필요가 없을 만큼 상호운용성 작업이 이미 끝나 있다는 점을 든다.

이종 하드웨어와 멀티모달 데이터 이야기에서 그는 레이를 스택의 중심으로 지목하는데, 무거운 연산은 GPU로 돌리고 다음 단계는 CPU로 넘기는 식의 자원 활용이 레이가 잘하는 일이고 하드웨어가 부족할수록 가진 자원을 짜내는 플랫폼이 필요하다는 이유에서다. 이 대목은 레이 개발사 채널에서 나온 평가라는 점을 함께 놓고 읽는 편이 좋다. 하드웨어 다변화와 관련해서는 구글이 최신 모델을 자체 TPU로 학습시킨 점을 들며 레이와 쿠버네티스가 이미 TPU와 잘 맞물린다고 말하고, AMD 역시 뒤처져 있던 소프트웨어 스택이 나아지면서 ROCm이 레이와 잘 동작한다고 덧붙인다. 인재 문제에 대해서는 각 프로젝트가 자리를 잡아 인력 풀이 넓고 도구가 매년 쉬워지고 있으며, 이 조합이 실리콘밸리 최첨단 기업만의 것이 아니라 여러 현장에서 대규모로 검증됐다는 점을 마지막 메시지로 남긴다.

주요 인사이트

• 여러 기업이 독립적으로 같은 조합에 도달했다는 사실 자체가 신호다. 누가 홍보해서가 아니라 제약 조건이 비슷해서 수렴한 결과이기 때문이다.
• 기술 스택에 이름을 붙이는 일은 마케팅이 아니라 조율 장치로 작동한다. 이름이 있어야 서로가 같은 문제를 풀고 있다는 사실을 알아볼 수 있다.
• AI 인프라의 전환 비용이 높은 이유는 개별 도구가 아니라 그 위에 쌓인 생태계에 있다. 도구를 바꾸면 주변 도구와 사내 관행이 함께 흔들린다.
• 이종 하드웨어 대응은 성능 최적화 문제이자 공급망 문제다. 엔비디아 외 선택지가 실제로 돌아가는지가 조달 전략을 좌우한다.
• 오픈소스 거버넌스가 아키텍처 선택의 근거로 쓰인다. 프로젝트가 재단 아래 공개적으로 운영된다는 사실이 종속 위험을 낮추는 계약 조건처럼 취급된다.

자주 묻는 질문

관련 AI 소식