BERTopic v0.16 새 기능 정리: 제로샷 토픽 모델링·모델 병합·LLM 지원

핵심 메시지

• BERTopic은 임베딩·차원 축소·군집화·표현 추출 단계를 자유롭게 갈아끼울 수 있는 모듈형 토픽 모델링 프레임워크로, v0.16에서 제로샷 토픽 모델링·모델 병합·LLM 지원이 크게 강화됐다.
• 제로샷 토픽 모델링은 사용자가 미리 정의한 주제 라벨을 문서에 매칭하면서, 동시에 사전 정의 목록에 없던 새로운 주제도 함께 발견하게 해 준다.
• 모델 병합은 서로 다른 시점·장소에서 학습한 여러 모델을 유사 주제 기준으로 합쳐, 연합 학습과 증분 학습을 자연스럽게 지원한다.
• 문서 절단(truncation)과 llama.cpp 연동으로 긴 문서와 양자화된 대규모 언어모델을 토픽 표현 생성에 손쉽게 활용할 수 있다.

쉽게 이해하기

BERTopic은 '토픽 모델링의 원스톱 도구'를 지향하는 오픈소스 라이브러리다. 기본 파이프라인은 문장 임베딩 모델(SBERT)로 문서를 벡터화하고, UMAP으로 차원을 줄인 뒤 HDBSCAN으로 군집을 만들고, c-TF-IDF 같은 가중치 방식으로 각 군집을 대표하는 단어들(=토픽)을 뽑아낸다. 다만 이 구성은 고정된 것이 아니라, HDBSCAN 대신 K-평균을 쓰거나 c-TF-IDF 위에 챗봇 계열 언어모델을 얹는 식으로 부품을 자유롭게 교체할 수 있는 것이 특징이다.

v0.16의 첫 번째 핵심 기능은 제로샷 토픽 모델링이다. 사용자가 '군집화', '토픽 모델링'처럼 문서에 있을 것이라 확신하는 주제 라벨을 직접 적어 주면, 라벨과 문서를 같은 임베딩 공간에 놓고 코사인 유사도로 매칭한다. 이때 정해진 주제에 해당하는 문서로는 지도형 모델을, 어디에도 매칭되지 않는 문서로는 새로운 모델을 만든 뒤 둘을 하나로 합친다. 덕분에 이미 아는 주제는 라벨로 고정하면서, 미처 생각하지 못했던 새 주제도 함께 찾아낼 수 있다.

두 번째는 모델 병합이다. 예컨대 '군집화'와 '대규모 언어모델' 주제를 가진 모델과, '군집화'와 '토픽 모델'을 가진 또 다른 모델이 있을 때, 겹치는 주제는 병합하고 고유한 주제는 그대로 유지한다. 새 데이터가 계속 들어오는 상황에서 매번 전체를 다시 학습하는 대신, 기존 표현을 지키면서 새 주제만 덧붙일 수 있어 실용적이다. 발표자는 이 방식이 데이터를 한곳에 모으지 않는 연합 학습, 그리고 시간이 지나며 데이터가 쌓이는 증분 학습 두 가지에 특히 잘 맞는다고 설명한다.

세 번째는 대규모 언어모델 지원 강화다. 언어모델에 문서를 넘길 때 내용이 너무 길면 처리가 어려워지는데, v0.16은 문자·단어·토큰 단위로 문서 길이를 정해 잘라 내는 절단 기능을 제공한다. 문서의 핵심은 대개 앞부분에 있으므로 적당히 잘라 주는 편이 오히려 결과 품질에 도움이 된다는 관점이다. 또한 양자화(압축)된 모델을 다루는 대표 도구인 llama.cpp가 통합되어, GGUF 형식의 경량 모델을 토픽 라벨 생성에 곧바로 쓸 수 있게 됐다.

주요 인사이트

• 모듈형 설계 덕분에 한 모델이 잘 안 맞으면 다른 모델로 갈아끼워 볼 수 있다는 점이 BERTopic의 가장 큰 강점이다.
• 제로샷 방식은 '아는 주제는 지정하고 모르는 주제는 발견한다'는 두 목표를 한 번에 달성해, 실무에서 유연하게 쓰기 좋다.
• 증분 학습에서 새로 발견된 주제만 뽑아 보면(예: 예측·공정성·적대적 공격 등) 새로 유입되는 이슈를 빠르게 포착할 수 있어, 고객 문의·티켓 분석 같은 운영 업무에 유용하다.
• 언어모델에 무조건 많은 정보를 넣기보다, 문서를 적절히 잘라 핵심만 전달하는 편이 더 안정적인 결과를 낸다는 실전 감각을 짚어 준다.

자주 묻는 질문

관련 AI 소식