파운데이션 모델이란 무엇인가, BERT·CLIP·DINOv2·SAM·스테이블 디퓨전으로 보는 조건

핵심 메시지

• 파운데이션 모델의 핵심 조건은 크기가 아니라 하나의 학습으로 여러 종류의 작업에 재사용될 수 있다는 점이다.
• BERT와 GPT는 2018년에 사전학습·미세조정 방식을 대중화하며 언어 분야의 기반 모델이 됐다.
• CLIP은 텍스트와 이미지를 같은 공간에 정렬해 학습한 적 없는 이미지 분류와 텍스트-이미지 검색을 가능하게 했다.
• DINOv2와 SAM은 각각 시각 표현과 분할에서, 명시적으로 배우지 않은 작업까지 해내는 재사용성을 보여준다.
• 스테이블 디퓨전은 잡음 제거 과정을 축소된 잠재 공간으로 옮겨 이미지 생성의 계산 비용을 실용적인 수준으로 낮췄다.

쉽게 이해하기

파운데이션 모델이라는 말에는 사실 엄밀한 정의가 없다. 다만 세 가지 특징으로 구별할 수 있다는 것이 이 영상의 출발점이다. 첫째는 수억에서 수십억 개에 이르는 파라미터를 가진 큰 모델이라는 점, 둘째는 라벨이 없거나 느슨하게만 붙은 수백만 규모의 사전학습 데이터를 쓴다는 점이다. 그리고 가장 중요한 셋째 조건은 재사용성이다. 한 번 학습한 모델이 가벼운 프롬프트나 최소한의 미세조정만으로 넓은 범주의 작업에 쓰일 수 있어야 한다.

언어 쪽 사례로는 BERT와 GPT가 등장한다. BERT는 트랜스포머 구조가 나온 이듬해인 2018년에 공개됐고, 기본 버전 기준으로 약 1억 1천만 개의 파라미터를 갖는다. 문장 속 일부 토큰을 가리고 맞히게 하거나 두 문장이 이어지는지를 판단하게 하는 방식으로 언어의 구조와 의미를 스스로 익힌다. 그렇게 학습된 모델은 가벼운 미세조정만으로 질의응답, 개체명 인식, 자연어 추론, 요약 같은 여러 작업에 투입된다. GPT는 인코더 대신 디코더를 쌓은 구조라는 차이가 있을 뿐 같은 논리를 따른다.

CLIP은 텍스트를 벡터로 바꾸는 인코더와 이미지를 벡터로 바꾸는 인코더를 함께 두고, 짝이 맞는 텍스트와 이미지가 서로 가까워지도록 3억 3천만 쌍의 데이터로 학습한다. 흥미로운 점은 이미지 분류를 직접 배운 적이 없는데도 분류를 해낸다는 것이다. 후보 범주를 문장으로 적어 인코딩한 뒤 어떤 문장이 이미지와 가장 가까운지 재보면 되기 때문이다. 같은 원리로 쇼핑몰 상품 이미지를 미리 벡터로 저장해두고 검색어로 찾는 텍스트-이미지 검색도 가능해진다.

DINOv2는 라벨 없이 거대한 이미지 모음만으로 시각 표현을 배운다. 이름 자체가 '라벨 없는 증류'에서 왔고, 교사와 학생이 같은 이미지의 서로 다른 조각을 보면서 서로에게 맞춰가는 방식이다. 약 1억 4천 2백만 장의 선별된 이미지로 학습된 이 모델은 분할을 배우지 않았는데도 자연스럽게 물체를 분리해내고, 이미지 자체를 질의로 삼는 시각 검색에도 그대로 쓰인다. SAM 역시 점 하나만 찍어주면 그 물체를 오려내며, 학습한 적 없는 윤곽선 검출까지 후처리만으로 해결한다.

마지막 사례인 스테이블 디퓨전은 잡음을 조금씩 걷어내며 이미지를 만들어내는 확산 방식을 쓴다. 문제는 이 과정을 픽셀 공간에서 그대로 하면 비용이 너무 크다는 점이다. 그래서 이미지를 훨씬 작은 잠재 공간으로 압축한 뒤 거기서 잡음 제거를 반복한다. 이때 텍스트를 비롯한 여러 조건을 함께 넣을 수 있어서, 문장으로 이미지를 만드는 것은 물론 대략적인 배치도를 주고 그에 맞는 이미지를 여러 장 생성하는 일까지 하나의 모델로 처리된다.

주요 인사이트

• "크면 파운데이션 모델"이 아니다. 영상이 반복해서 강조하는 기준은 규모가 아니라 하나의 학습 결과가 여러 작업으로 옮겨갈 수 있느냐다.
• 재사용성의 증거로 가장 자주 등장하는 것은 '배우지 않은 작업을 해내는 능력'이다. CLIP의 분류, DINOv2의 분할, SAM의 윤곽선 검출이 모두 같은 성격의 사례다.
• 검색 서비스를 만들 때 두 갈래 선택지가 자연스럽게 드러난다. 검색어로 찾고 싶다면 CLIP 계열을, 이미지로 비슷한 상품을 찾고 싶다면 DINOv2 계열을 쓰는 식이다.
• 확산 모델의 실용화는 알고리즘의 승리라기보다 계산 위치를 옮긴 설계의 승리다. 픽셀 공간 대신 잠재 공간에서 잡음을 제거한다는 선택 하나가 비용 문제를 풀었다.
• 분할 모델이 프롬프트를 받는다는 점은 시사적이다. 언어 모델에서 익숙한 프롬프트 개념이 이미 시각 작업의 인터페이스로도 자리 잡았음을 보여준다.

자주 묻는 질문

관련 AI 소식