올라마 Ollama 사용법 — 로컬에서 무료로 LLM 실행하고 API로 연동하기

핵심 메시지

• 올라마는 라마·미스트랄 같은 오픈소스 LLM을 내 컴퓨터에서 직접 실행하게 해주는 무료 오픈소스 도구로, 유료 호스팅 서비스 없이 프라이버시와 보안을 확보할 수 있다.
• 모델을 로컬에서 돌리려면 모델 전체를 내려받아야 하므로 저장 공간과 RAM이 충분해야 하며, 파라미터 수에 따라 필요한 사양이 크게 달라진다.
• 터미널에서 "ollama run 모델명" 한 줄이면 모델을 내려받아 바로 대화할 수 있고, 여러 모델을 설치해 자유롭게 전환할 수 있다.
• 올라마는 로컬호스트에 HTTP API 서버를 열어주기 때문에 파이썬·자바스크립트 등 어떤 코드에서든 모델을 호출할 수 있다.
• Modelfile을 작성하면 시스템 프롬프트와 파라미터를 지정한 나만의 커스텀 모델을 손쉽게 만들 수 있다.

쉽게 이해하기

올라마(Ollama)는 대형 언어 모델을 클라우드가 아닌 개인 컴퓨터에서 직접 구동하도록 돕는 무료 오픈소스 도구입니다. 유료 챗봇이나 온라인 호스팅 서비스를 거치지 않고 모델을 로컬에서 실행하기 때문에 데이터가 외부로 나가지 않아 프라이버시와 보안 측면에서 유리하다는 점이 핵심 장점으로 소개됩니다.

사용을 시작하려면 ama.com에서 자신의 운영체제(윈도우·맥·리눅스)에 맞는 설치 파일을 내려받아 설치합니다. 설치 후 데스크톱 앱을 실행하면 화면에 아무것도 뜨지 않는데, 이는 백그라운드에서 올라마 서비스 서버가 구동되기 때문입니다. 터미널에서 "ollama" 명령을 입력해 출력이 나오면 정상 설치된 것입니다.

모델은 올라마 라이브러리나 깃허브 저장소에서 고를 수 있습니다. 다만 로컬 실행이므로 모델 전체를 내려받아야 하고, 어떤 모델은 수십 기가바이트에 달합니다. 영상에서는 라마 3.1의 대형 버전(4050억 파라미터)은 64GB RAM으로도 구동이 어렵다고 설명하며, 예시로는 더 가벼운 구형 라마 2를 사용합니다. "ollama run 라마2"처럼 실행하면 모델이 없을 경우 자동으로 내려받은 뒤 바로 대화 프롬프트가 뜹니다.

진짜 활용도는 코드 연동에서 나옵니다. 올라마는 로컬호스트 11434 포트에 HTTP API를 노출하며, 데스크톱 앱이 실행 중이면 자동으로 열리고 아니면 "ollama serve"로 직접 띄울 수 있습니다. 파이썬 requests로 /api/chat 엔드포인트에 요청을 보내 스트리밍으로 응답을 실시간으로 받는 예제와, 더 간단하게 공식 ollama 파이썬·자바스크립트 패키지를 쓰는 방법이 함께 소개됩니다.

마지막으로 Modelfile을 이용한 커스터마이징을 다룹니다. "FROM 기반모델"로 베이스를 지정하고 temperature 같은 파라미터와 시스템 메시지(예: "너는 슈퍼마리오다")를 넣은 뒤 "ollama create 이름 -f Modelfile"로 나만의 모델을 만들 수 있습니다. 이렇게 만든 모델도 코드에서 그대로 호출할 수 있고, 필요 없으면 "ollama rm"으로 삭제합니다.

주요 인사이트

• 로컬 LLM의 최대 매력은 무료·프라이버시·보안이지만, 그 대가로 모델 크기에 맞는 저장 공간과 RAM이라는 하드웨어 제약을 사용자가 직접 감당해야 한다.
• 올라마가 HTTP API 서버라는 점이 단순 챗봇 도구를 넘어서는 이유다 — 터미널에서 하던 모든 작업을 curl·Postman·파이썬 등 어떤 애플리케이션에서도 호출할 수 있다.
• 공식 언어별 패키지(ollama 모듈)를 쓰면 수작업 HTTP 요청 코드를 크게 줄일 수 있어, 실제 개발에서는 직접 요청보다 패키지 사용이 실용적이다.
• Modelfile은 시스템 프롬프트와 파라미터를 코드처럼 버전 관리 가능한 파일로 고정해, 같은 성격의 모델을 반복 생성·공유하기 쉽게 만든다.

자주 묻는 질문

관련 AI 소식