LM Studio 원격 실행으로 노트북에서 초대형 로컬 LLM 사용하기

핵심 메시지

• 초대형 로컬 모델은 메모리를 많이 요구한다. GPT-OSS 120B는 약 60GB, Llama 70B는 약 70GB, Qwen 480B는 약 251GB의 메모리가 필요하다.
• LM Studio 4.5 이상의 'LM link' 기능은 로그인 한 번으로 내가 소유한 여러 컴퓨터에서 돌아가는 모델에 접속하게 해준다.
• 이 연결은 내부적으로 Tailscale을 사용해 안전하게 이뤄지며, 방화벽·포트포워딩을 직접 설정하는 번거로움을 없애준다.
• 로컬 실행의 핵심 가치는 회사 코드 같은 민감한 데이터를 외부 서버로 보내지 않고 비공개로 처리하는 것이다.
• 가벼운 16GB 노트북에서도 원격의 512GB 맥 스튜디오나 96GB VRAM의 RTX Pro 6000에 접속해 대형 모델을 빠르게 사용할 수 있다.

쉽게 이해하기

발표자는 128GB 메모리를 가진 16인치 맥북프로에서 60GB짜리 GPT-OSS 120B, 70GB짜리 Llama 70B 같은 대형 모델을 직접 구동해 보인다. 반면 251GB에 달하는 Qwen 480B는 노트북 한 대에 담기 어려운 규모다. 이렇게 큰 모델은 가중치 전체를 메모리에 올려야 하고, 문맥(컨텍스트)까지 감안하면 더 많은 여유가 필요하다.

문제는 이동성이다. 무거운 고사양 장비를 늘 들고 다닐 수는 없다. 그래서 그는 16GB 메모리의 맥북에어만으로 초대형 모델을 쓰는 방법을 보여준다. 16GB에서는 Gemma 3 4B 같은 소형 모델은 돌아가지만 메모리를 14GB나 잡아먹고, VS Code 에이전트에 연결하면 프롬프트 처리가 눈에 띄게 느리다. 하드웨어가 약할 뿐 아니라 로컬 서버가 프롬프트와 파일을 처리하는 데 시간이 걸리기 때문이다.

왜 굳이 로컬인가? 레시피를 물어보는 정도라면 상관없지만, 회사 코드처럼 지켜야 할 데이터라면 어디에 저장될지 모르는 외부 서버로 보내고 싶지 않기 때문이다. 로컬·비공개 실행은 이런 보안 요구를 충족한다.

해법은 LM Studio 4.5 이상에 추가된 'LM link'다. 로그인을 하면 LM Studio가 뒤에서 Tailscale을 이용해 내 컴퓨터들 사이를 안전하게 연결해 준다. Tailscale을 직접 구성하는 것은 번거롭지만, 여기서는 버튼 몇 번이면 끝난다. 이렇게 하면 512GB 메모리의 맥 스튜디오에서 돌아가는 Qwen Coder 480B 모델에 가벼운 노트북으로 바로 접속할 수 있다.

성능 비교도 흥미롭다. 512GB 맥에서 480B 모델은 초당 약 26토큰, 96GB VRAM의 RTX Pro 6000에서 80B급 Qwen3-next 모델은 초당 약 152토큰을 낸다. 이미 여러 기기에 모델을 올려 두었다면 모델 간 전환에 대기 시간이 거의 없다. 발표자는 1TB 이상 메모리가 필요한 Kimi K2.5까지, 8장의 Nvidia B200이 달린 서버에서 LM Studio의 헤드리스 서비스로 구동해 보인다. LM Studio가 서버를 노출해 주기 때문에 VS Code 같은 도구에서 그대로 연결해 쓸 수 있다.

주요 인사이트

• 모델을 로컬에서 돌리는 진짜 이유는 성능 자랑이 아니라 데이터 프라이버시다. 민감한 코드나 사내 데이터를 외부로 유출하지 않는 것이 핵심이다.
• '무거운 연산은 강력한 원격 기기에, 접속은 가벼운 노트북에서'라는 분리 구조가 이동성과 성능을 동시에 잡는 열쇠다.
• 복잡한 네트워크 설정(방화벽 규칙, 포트포워딩, Tailscale 수동 구성)을 도구가 대신 처리해 주면, 로컬 AI의 진입 장벽이 크게 낮아진다.
• 프롬프트 처리 속도는 단순한 모델 크기뿐 아니라 GPU 성능에 크게 좌우된다. 같은 작업도 고성능 GPU에서 훨씬 빠르게 끝난다.
• 개인은 반백만 달러짜리 서버 대신, 실제 업무에서는 vLLM 같은 전문 추론 도구를 쓰게 될 가능성이 높다.

자주 묻는 질문

관련 AI 소식