BERTopic과 라마 2로 토픽 모델링 — 키워드를 사람이 읽는 주제 라벨로 바꾸기

핵심 메시지

• 토픽 모델링의 결과인 키워드 묶음은 결국 사람이 해석해야 하는데, LLM이 이 해석 단계를 대신할 수 있다.
• 문서를 임베딩해 군집화하고 각 군집의 대표 키워드를 뽑은 뒤, 그 키워드와 대표 문서를 LLM에 넘겨 주제 이름을 만든다.
• 4비트 양자화를 쓰면 130억 파라미터급 모델도 무료 노트북 환경의 GPU에 올릴 수 있다.
• 주제 라벨 생성에는 창의성이 필요 없으므로 temperature를 낮춰 일관된 결과를 얻는다.
• 원하는 출력 형태를 예시로 한 번 보여주는 것만으로 라벨 품질이 크게 올라간다.

쉽게 이해하기

토픽 모델링은 수만, 수십만 건의 문서를 몇 개의 해석 가능한 주제로 줄이는 기법이다. BERTopic을 만든 마르턴 흐로텐도르스트는 이 프레임워크에 오픈소스 LLM을 붙여, 주제를 키워드가 아니라 사람이 바로 읽을 수 있는 문장형 라벨로 표현하는 방법을 시연했다. 재료는 십만 건이 넘는 논문 초록이다. 초록은 잘 다듬어진 짧은 글이고 필요한 정보가 모두 담겨 있어 임베딩 모델이 다루기에 적합하다.

기본 파이프라인은 문서를 임베딩해 의미가 비슷한 것끼리 군집으로 묶고, 각 군집이 하나의 주제를 담고 있다고 보고 대표 키워드를 뽑는 방식이다. 문제는 그 결과가 '자동차, 자동차들, 포드' 같은 단어 나열이라 매번 사람이 무슨 주제인지 짐작해야 한다는 점이다. 여기에 LLM을 붙여 가중치가 높은 단어들과 대표 문서 몇 개를 함께 넘기면 '전기차'처럼 바로 이해되는 이름을 얻을 수 있다.

모델은 130억 파라미터 규모를 골랐다. 더 큰 모델이 정확하지만 그만큼 연산 자원이 필요하고, 이 정도가 속도와 정확도의 균형점이라는 판단이다. 그대로는 무료 노트북 환경의 GPU에 올리기 어려우므로 4비트 양자화를 적용한다. 32비트로 저장된 가중치를 훨씬 작은 표현으로 압축하는 방식이며, 정확도 손실은 방법에 따라 크지 않다는 설명이다. 실제 실행 전에 4비트 양자화가 무엇인지 모델에게 직접 물어보는 장면도 나오는데, 크레용 색을 섞어 색 수를 줄이는 비유로 답한다.

프롬프트 설계에는 세 부분이 들어간다. 먼저 모델의 역할을 정하는 시스템 프롬프트에서 주제 라벨을 붙이는 도움말 역할을 지정한다. 다음으로 예시 프롬프트에서 육류 소비와 환경 영향에 관한 문서와 키워드를 주고 '고기 섭취의 환경 영향'이라는 정답 라벨을 보여준다. 마지막으로 실제 요청에서는 문서와 키워드가 들어갈 자리만 비워 둔 틀을 만들어 주제마다 재사용한다. 한 번의 예시로 출력 형식을 학습시키는 이 방식이 라벨 정확도를 크게 끌어올린다.

결과 비교가 이 튜토리얼의 핵심이다. 기본 키워드 방식은 정책, 강화, 에이전트 같은 유용한 단어와 함께 조사나 전치사 같은 무의미한 단어를 함께 뽑는다. 키워드 추출 기법을 바꾸면 훨씬 나아지지만 여전히 해석은 사람 몫이다. 반면 LLM은 같은 군집에 '심층 강화학습'이라는 라벨을 붙였고, 다른 군집에는 음성 분리·인식이나 프라이버시 보존 연합학습 같은 이름이 나왔다. 발표자는 이해관계자에게 키워드를 나열해 설명하는 것과 이런 라벨을 보여주는 것의 소통 비용 차이를 강조한다.

주요 인사이트

• 토픽 모델링에서 진짜 병목은 군집화가 아니라 해석이다. 주제가 수백 개면 사람이 하나하나 이름을 붙이는 일 자체가 비현실적이라, 라벨 생성 자동화가 실용성을 결정한다.
• 하나의 주제를 여러 방식으로 동시에 표현해 두면 비교가 쉬워진다. 같은 군집에 대해 기본 키워드, 다양성을 높인 키워드, LLM 라벨을 함께 만들어 두고 목적에 맞게 고르는 구성이다.
• 양자화는 접근성의 문제다. 4비트로 압축하면 개인이 무료 GPU 환경에서도 백억 파라미터급 모델을 돌릴 수 있어, 실험 가능한 범위 자체가 넓어진다.
• 라벨 생성처럼 정답 형태가 정해진 작업에서는 temperature를 낮추는 편이 낫다. 모델이 창의적으로 답할수록 주제 이름은 부정확해진다.
• 군집 알고리즘 설정도 결과 해석에 직접 영향을 준다. 최소 군집 크기를 키우면 잘게 쪼개진 미세 군집이 줄어들어 다룰 만한 개수의 주제가 남는다.

자주 묻는 질문

관련 AI 소식