KeyLLM과 KeyBERT, Mistral 7B로 대규모 문서 키워드 추출 자동화 가이드

핵심 메시지

• KeyBERT·BERTopic의 저자 마르턴 그로텐도르스트가 대규모 언어모델을 키워드 추출에 활용하는 확장 KeyLLM을 공개했다.
• 오픈소스 Mistral 7B는 크기가 작으면서도 정확도가 높아, 문서에서 원하는 형식의 키워드를 안정적으로 뽑아낸다.
• 예시 하나만 보여 주는 원샷 러닝만으로도 키워드의 형식과 품질을 눈에 띄게 끌어올릴 수 있다.
• 비슷한 문서를 임베딩으로 군집화해 대표 문서 하나만 처리하면, 수천 건 규모의 키워드 추출 속도를 크게 줄일 수 있다.
• KeyBERT가 먼저 뽑은 후보 키워드를 KeyLLM으로 다듬으면, 단 세 줄 코드로 더 정확하고 읽기 쉬운 키워드를 얻는다.

쉽게 이해하기

토픽 모델링 라이브러리 BERTopic과 키워드 추출 라이브러리 KeyBERT를 만든 마르턴 그로텐도르스트가 KeyBERT의 새 확장 KeyLLM을 소개했다. KeyLLM은 대규모 언어모델(LLM)을 그대로 키워드 추출기로 활용할 수 있게 해 주며, 발표 영상에서는 새로 공개된 오픈소스 모델 Mistral 7B를 예시로 사용한다. 작은 모델이지만 정확도가 높아, LLM이 얼마나 발전했는지를 잘 보여 주는 사례라는 것이 저자의 설명이다.

실습은 구글 코랩 노트북으로 진행되며, 핵심은 무거운 모델을 가볍게 올리는 방법이다. 양자화는 모델 파라미터를 압축해 필요한 RAM·VRAM을 줄이는 기법인데, 매번 직접 양자화하는 대신 TheBloke가 미리 양자화해 둔 수백 개 모델을 CTransformers로 바로 불러오면 훨씬 편하다. 일부 레이어만 GPU에 올리는 오프로딩으로 메모리 사용량을 조절할 수 있고, 키워드 추출에는 긴 답변이 필요 없으므로 생성 토큰 수를 50개로 제한해 모델이 장황해지지 않게 한다.

LLM은 저마다 자기 방식으로 답을 내놓기 때문에, 원하는 출력 형식을 얻으려면 프롬프트 설계가 중요하다. Mistral 7B 전용 프롬프트 템플릿으로 사용자 질문과 모델 답변을 구분하면 정확도가 올라가고, 무엇보다 예시 대화를 하나 끼워 넣는 원샷 러닝이 유용하다. '이런 문서에서는 이런 형태로 키워드를 뽑아 달라'는 예시를 한 번 보여 주면, 모델이 그 형식(구분자·간격 등)을 그대로 따라 하며 결과가 훨씬 일관돼진다.

문서가 수천 건으로 늘면 효율이 문제가 된다. 실제로는 서로 비슷한 문서가 많은데, 비슷한 문서에 같은 작업을 반복하는 것은 낭비다. 그래서 KeyLLM은 문서를 임베딩으로 바꿔 거의 동일한 문서끼리 군집으로 묶고, 각 군집에서 대표 문서 하나만 키워드를 추출한 뒤 나머지에 같은 키워드를 부여한다. 임계값(threshold)을 낮추면 더 많은 문서가 한데 묶이고 높이면 덜 묶이는데, 이 방식만으로도 처리해야 할 문서 수를 절반 이하로 줄일 수 있다.

세 번째 방식은 KeyBERT와 KeyLLM을 결합하는 것이다. KeyBERT가 임베딩 기반으로 먼저 후보 키워드를 뽑아 두면, 그 임베딩과 후보를 KeyLLM에 함께 넘겨 키워드를 더 정확하고 읽기 좋게 다듬을 수 있다. 임베딩을 다시 만들 필요 없이 단 세 줄 코드로 끝나며, 저자는 이런 모듈성이야말로 변화가 빠른 NLP·LLM 분야에서 라이브러리가 오래 살아남는 힘이라고 강조한다.

주요 인사이트

• 작고 정확한 오픈소스 모델(Mistral 7B)의 등장으로, 예전에는 대형 모델이나 별도 파이프라인이 필요하던 키워드 추출을 LLM 프롬프트만으로 처리할 수 있게 됐다.
• 원샷 러닝은 추가 학습 없이 예시 한 개로 출력 형식과 품질을 통제하는 값싸고 강력한 방법이다.
• 임베딩 군집화로 '비슷한 문서는 한 번만 처리'하는 전략은, 대규모 문서에서 LLM 추론 비용을 실질적으로 줄이는 핵심 아이디어다.
• TheBloke의 사전 양자화 모델과 CTransformers를 쓰면 무거운 모델도 적은 메모리로 손쉽게 올릴 수 있어 진입 장벽이 낮아진다.
• KeyBERT·KeyLLM처럼 구성 요소를 갈아 끼울 수 있는 모듈식 설계는 새 모델이 쏟아지는 환경 변화에 유연하게 대응하게 해 준다.

자주 묻는 질문

관련 AI 소식