지리공간 파운데이션 모델 데이터 준비, 오픈소스 테라킷으로 다섯 줄 코드에 끝내는 방법

핵심 메시지

• 지리공간 파운데이션 모델은 언어 모델과 같은 비전 트랜스포머 구조를 쓰되 위성 영상·기후 데이터 등 지구 데이터로 학습한다.
• 적은 양의 레이블만으로 미세조정이 가능해, 예전에는 몇 달 걸리던 대규모 지구관측 분석을 몇 시간 단위로 줄인다.
• 문제는 모델이 아니라 데이터다. ESA 110페타바이트, NASA 130페타바이트 등 약 0.5엑사바이트가 서로 다른 형식·출처·접근 권한으로 흩어져 있다.
• 오픈소스 파이썬 라이브러리 테라킷은 제공처별 API 차이를 감춰, 레이블에서 학습 가능한 데이터셋까지 다섯 줄 코드로 잇는다.
• 산불 흔적, 홍수 탐지, 작물 분류, 온실가스 추적, 도시 열섬, 산사태, 바이오매스 추정 등이 실제 활용 사례로 제시된다.

쉽게 이해하기

IBM의 로지 리코리시와 로미오 킨츨러가 파이토치 콘퍼런스 라이트닝 토크에서 지리공간 데이터셋 구축용 오픈소스 파이썬 라이브러리 테라킷을 소개했다. 발표는 라이브러리 설명에 앞서 왜 지리공간 파운데이션 모델이 필요한지부터 짚는다. 전통적인 모델링 기법으로는 지구관측 데이터의 규모와 복잡도를 감당할 수 없지만, 파운데이션 모델은 범용 표현을 먼저 학습해 두고 적은 레이블만으로 여러 downstream 작업에 맞춰 미세조정할 수 있기 때문이다.

시연은 인도 면적의 5%에 해당하는 센티널-2 위성 타일 위에서 이뤄졌다. 사전학습된 모델을 얹으면 코드 한 줄 없이도 작물 종류를 색으로 구분하는 의미론적 분할 결과가 나온다. 발표자들은 전통적 기법으로는 이만한 데이터를 다루는 데 몇 달이 걸렸을 일이 몇 시간, 심지어 몇 분으로 줄었다고 설명한다. 여기 쓰인 모델은 유럽우주국과 함께 개발한 다중모달 모델 테라마인드다.

그다음에 나오는 것이 진짜 병목이다. 유럽우주국이 110페타바이트, 미 항공우주국이 130페타바이트를 내놓는 등 활용 가능한 지구관측 데이터는 약 0.5엑사바이트에 이르는데, 형식도 출처도 접근 권한도 제각각이다. 테라킷은 이 지점을 겨냥해 데이터 제공처마다 다른 API 세부사항을 추상화하고, NASA Earthdata나 센티널 허브, 코페르니쿠스 기후 데이터 저장소 같은 곳에서 필요한 데이터를 내려받게 해준다.

구체적인 예로 2025년 포르투갈에서 발생한 대형 산불의 화재 흔적 외곽선을 출발점으로 삼는 과정이 제시된다. 이 레이블 하나에서 시작해 데이터 커넥터로 위성 RGB 영상을 받아오는데, 구름이 얼마나 없어야 하는지, 사건 전후 며칠 범위의 영상을 쓸지까지 설정으로 지정할 수 있다. 설정만 조금 바꾸면 같은 한 줄로 여러 API에 접근해 다중모달 학습용 데이터를 모을 수 있고, 데이터가 어디서 왔고 어떤 처리를 거쳤는지 이력도 함께 남는다.

모아진 데이터는 작은 조각으로 잘려 TorchGeo나 테라토치의 데이터 로더가 바로 읽을 수 있는 형태로 포장된다. 이후 테라마인드 같은 다중모달 모델에 넣으면 구름 때문에 광학 영상을 쓸 수 없을 때 레이더 데이터로 대체하는 식의 활용이 가능해진다. 발표자들은 새 데이터 제공처를 추가하는 일도 문서와 템플릿, 추상 클래스, 테스트가 갖춰져 있어 어렵지 않다고 덧붙인다.

주요 인사이트

• 파운데이션 모델 이야기의 무게중심이 모델에서 데이터 준비로 옮겨간 사례다. 모델은 이미 허깅페이스에 공개돼 있고, 실제 진입 장벽은 제공처마다 다른 API와 형식을 다루는 일이었다.
• 데이터 출처와 처리 이력을 함께 기록하는 기능이 기본으로 들어간 점이 눈에 띈다. 재해 대응이나 배출량 추적처럼 결과를 근거로 써야 하는 분야에서는 추적 가능성 자체가 요구사항이 된다.
• 다중모달 설계의 실용적 이유가 분명하다. 구름 없는 광학 영상을 못 구할 때 레이더 데이터로 갈아탈 수 있어야 실제 현장에서 쓸 수 있기 때문이다.
• 학습하지 않은 영역으로의 전이 사례로 달 표면 크레이터 탐지가 언급된다. 지구 데이터로 학습한 표현이 명시적 학습 없이도 다른 대상에 적용된 경우다.
• 테라킷이 데이터 준비를 다섯 줄로 줄이듯, 테라토치는 파이토치 라이트닝 기반으로 미세조정을 설정 파일 수준으로 줄인다. 두 라이브러리가 같은 사용 경험을 앞뒤로 잇는 구조다.

자주 묻는 질문

관련 AI 소식