파운데이션 모델이 많은 이유: 전이 학습과 파인튜닝, IBM·NASA 지구관측 모델 사례로 이해하기

핵심 메시지

• 파운데이션 모델은 방대한 데이터로 사전학습돼 여러 응용의 기반이 되는 대규모 신경망이다.
• 전이 학습 덕분에 한 상황에서 배운 지식을 학습하지 않은 다른 과제에도 적용할 수 있다.
• NASA는 약 70페타바이트의 지구과학 데이터를 보유하며 2030년경 300페타바이트에 이를 전망이다.
• IBM과 NASA가 만든 지구관측 파운데이션 모델은 허깅페이스에서 오픈소스로 내려받을 수 있다.
• 하나의 기반 모델을 파인튜닝해 홍수·산불 예측에서 삼림 파괴·작황 예측까지 다양한 과제로 확장할 수 있다.

쉽게 이해하기

허깅페이스에는 오픈소스만 따져도 수천 개의 파운데이션 모델이 올라와 있다. 왜 이렇게 많을까? 먼저 파운데이션 모델은 방대한 데이터로 학습돼 여러 응용의 "기반"이 되는 대규모 신경망을 뜻한다. 핵심은 전이 학습으로, 한 상황에서 배운 정보를 학습하지 않은 다른 상황에도 적용할 수 있다는 점이다.

사전학습된 파운데이션 모델은 손으로 라벨링한 소수의 예시만으로도 완전히 새로운 과제를 배울 수 있다. 적절한 데이터를 학습한 모델을 골라 알맞게 파인튜닝하면, 우리 각자의 구체적인 응용에 투입할 수 있다.

거대한 데이터의 예로 NASA가 등장한다. NASA는 위성 이미지에서 얻은 약 70페타바이트의 지구과학 데이터를 보유하고 있으며, 향후 십여 개의 새 우주 임무가 발사되면 2030년경 약 300페타바이트에 이를 것으로 예상된다. 이 방대한 데이터는 기후 관련 발견에 통찰을 줄 수 있다.

지난 6개월간 NASA는 IBM과 함께 지구 관측용 AI 파운데이션 모델을 만들었고, 누구나 허깅페이스에서 내려받을 수 있는 "IBM NASA 지오스페이셜 모델"로 공개했다. 모든 파운데이션 모델의 바탕에는 트랜스포머가 있는데, 이는 텍스트·오디오·위성 이미지 같은 원시 데이터를 기본 구조를 담은 압축 표현으로 바꾸는 아키텍처다.

전통적으로 위성 데이터 분석은 전문가가 픽셀을 일일이 "작물", "나무"로 라벨링해야 해 시간이 많이 들었다. 파운데이션 모델은 원시 이미지의 구조를 추출해 필요한 라벨 예시 수를 크게 줄인다. 이렇게 만든 홍수·산불 예측 모델은 추가 파인튜닝으로 삼림 파괴 추적, 작황 예측, 온실가스 탐지 등으로 재활용되며, 바로 이 점이 파운데이션 모델이 그토록 많은 이유다.

주요 인사이트

• 파운데이션 모델의 가치는 하나를 잘 만들면 파인튜닝으로 전혀 다른 과제에 재사용할 수 있다는 "기반"으로서의 성격에 있다.
• 전이 학습은 소량의 라벨 데이터만으로 새 과제를 익히게 해, 대규모 수작업 주석의 부담을 크게 줄인다.
• IBM·NASA 지오스페이셜 모델처럼 공개된 모델은 클라크 대학이 시계열 분할·유사도 검색 등 다른 응용으로 각색하고 있다.
• 결국 데이터 종류(코드 생성, 특정 산업 등)와 목적이 다양하기에 그에 맞춰 파운데이션 모델도 계속 늘어난다.

자주 묻는 질문

관련 AI 소식