VS Code에 로컬 AI 모델 연결하기: Ollama·BYOK 설정 방법

핵심 메시지

• VS Code가 새 언어 모델 제공자 설정을 추가해, 내 PC의 로컬 모델이나 직접 키를 넣는(BYOK) 여러 제공자를 채팅에 연결하기 쉬워졌다.
• 새 Ollama 확장을 원클릭으로 설치하면 내 컴퓨터에서 돌아가는 로컬 모델이 자동으로 연결된다.
• Anthropic·Azure·Google·OpenAI·OpenRouter·xAI 등 키를 넣거나, DeepSeek·Hugging Face 같은 제공자를 마켓플레이스에서 추가할 수 있다.
• 로컬 모델을 쓰면 모든 처리와 연산이 내 기기에서 이뤄지며, 커밋 메시지 같은 소소한 작업용 '유틸리티 모델'도 따로 지정할 수 있다.

쉽게 이해하기

영상은 VS Code 팀이 새로 추가한 '언어 모델 제공자' 설정을 소개한다. 이 기능으로 내 컴퓨터에서 돌아가는 로컬 모델이나, 직접 키를 넣어 쓰는(BYOK) 다른 제공자의 모델을 VS Code 채팅에 연결할 수 있다.

핵심은 새 Ollama 확장이다. 원클릭으로 설치하면 내 기기에서 실행 중인 Ollama의 모델들이 자동으로 연결되고, 새로고침이나 모델 진단 같은 명령도 함께 제공된다. 모델 설정에서 언어 모델 제공자 화면을 열면 Copilot뿐 아니라 다른 제공자도 한눈에 볼 수 있다.

제공자 선택지도 넓다. Anthropic, Azure, Google, OpenAI, OpenRouter, xAI 같은 곳의 API 키를 넣거나 커스텀 엔드포인트를 추가할 수 있고, 마켓플레이스에서는 Foundry, DeepSeek, Hugging Face, 그리고 새 Ollama 확장까지 골라 설치할 수 있다.

연결한 뒤에는 원하는 모델을 골라 바로 채팅에서 코딩을 시킬 수 있다. 진행자는 로컬 모델을 선택해, 앱의 스타일(예: 다크 그라디언트를 라이트·다크 테마 모두에 어울리게)을 수정하는 작업을 예로 든다. 이때 모든 연산이 로컬(예: 맥 미니)에서 처리되며, VS Code 채팅의 여러 도구도 그대로 쓸 수 있다.

커밋 메시지 작성이나 세션 제목 변경 같은 가벼운 작업에는 '유틸리티 모델'을 따로 지정할 수 있다. 또 설정에서 에이전트 호스트와 BYOK 모델 옵션을 켜면, 같은 로컬·BYOK 모델들을 에이전트 호스트 프로세스와 에이전트 창에서도 동일하게 쓸 수 있다.

주요 인사이트

• 로컬 모델을 편집기에 직접 연결하면 코드와 연산이 내 기기 안에 머물러, 프라이버시가 중요한 작업에 유리하다.
• 여러 제공자를 키로 연결하거나 마켓플레이스에서 추가하는 구조는, 특정 모델에 묶이지 않고 작업에 맞게 갈아 끼울 유연성을 준다.
• 커밋 메시지 같은 소소한 흐름에 '유틸리티 모델'을 따로 두면, 주력 모델과 역할을 나눠 비용과 효율을 조절할 수 있다.
• 설치와 연결이 원클릭·설정 토글 수준으로 단순해져, 로컬 AI 코딩의 진입 장벽이 크게 낮아졌다.

자주 묻는 질문

관련 AI 소식