전통 머신러닝 vs LLM 분류 성능 비교: 보안 탐지에서 드러난 제로샷 언어 모델의 한계

핵심 메시지

• 네트워크 패킷 데이터를 악성과 정상으로 가르는 과제에서는 전통 머신러닝 모델이 정밀도와 재현율 모두에서 가장 앞섰다.
• 언어 모델은 성능에서 지더라도 별도 학습 없이 프롬프트만으로 분류하는 제로샷 방식이라는 점에서 여전히 매력적이다.
• 패킷 캡처는 텍스트가 아니어서 언어 모델에게 가장 어려운 과제였고, 프로토콜·페이로드·타임라인을 뽑는 피처 엔지니어링이 반드시 필요했다.
• 이메일처럼 텍스트성이 강한 과제에서는 언어 모델이 훨씬 잘하지만, 잘 설계된 XGBoost 단독을 이긴 사례는 아직 없었다.
• 발표자는 대체가 아니라 전통 모델과 언어 모델을 잇는 라우터·앙상블 구조를 다음 연구 방향으로 제시했다.

쉽게 이해하기

관리형 탐지·대응(MDR) 기업 익스펠(Expel)의 수석 사이버 데이터 사이언티스트인 제니아 몬트루이두는 15년 가까이 보안 데이터 과학을 해온 연구자다. 그가 오래 품어온 질문은 단순하다. 예측 모델이 잘 그려내던 '악성과 정상 사이의 경계'를 생성형 모델도 그릴 수 있느냐는 것이다. 보안에서 분류는 악성 여부를 가르는 일에 그치지 않고, '아마도 정상' 같은 애매한 다중 클래스 판단과 경보의 우선순위 결정·분류(트리아지)까지 걸쳐 있다.

그는 언어 모델을 분류기로 세워 전통 머신러닝 모델과 정면으로 비교했다. 결과는 전통 모델의 승리였다. 정밀도와 재현율 막대가 가장 높았고, 악성을 찾아내는 민감도와 오탐을 줄이는 정확성 모두에서 우위였다. 실험 데이터는 미라이(Mirai) 봇넷 트래픽으로, 이미 잘 알려진 공격인 데다 정상 활동 데이터도 충분해 라벨의 신뢰도에 의심을 남기지 않으려는 선택이었다.

그럼에도 언어 모델을 버리기 어려운 이유는 제로샷이라는 성질이다. 훈련 과정 없이 프롬프트만으로 분류가 되고, 파인튜닝으로 더 나아질 여지도 남아 있다. 다만 그는 언어 모델에 일부러 가장 어려운 조건을 줬다고 밝혔다. 패킷 캡처는 텍스트가 아니기 때문에, 암호화되지 않은 페이로드나 프로토콜, 타임라인 같은 신호를 사람이 미리 뽑아내는 피처 엔지니어링을 거쳐야만 모델이 제로샷으로 판단할 수 있었다.

그렇다면 텍스트가 본업인 영역은 어떨까. 그는 허깅페이스의 여러 피싱 데이터셋으로 후속 실험을 진행했다고 밝혔다. 이메일에서는 언어 모델이 훨씬 잘하지만, 피처 엔지니어링이 잘된 XGBoost 모델을 언어 모델 단독으로 이긴 경우는 없었다. 대신 XGBoost가 먼저 분류하고 그 결과를 언어 모델에 넘기는 라우터 실험에서 조합의 가능성을 봤다. 클로드 오퍼스 4.6으로도 시험해봤는데, 샘플 100개 수준의 적은 데이터에서는 오히려 나았지만 데이터를 더 넣자 분류 성능이 떨어졌다.

그가 남긴 결론은 기술 선택의 기준에 가깝다. 전통 모델은 애초에 경계를 찾도록 만들어졌고, 언어 모델은 그 용도로 설계된 물건이 아니라는 것이다. 앞으로의 계획은 두 계열을 섞는 앙상블과 특화 임베딩 실험이다. 특화 임베딩이 늘 이기는 것도 아니어서, 일반적인 임베딩을 쓰는 범용 모델이 더 나은 경우도 있었다고 그는 덧붙였다.

주요 인사이트

• "그냥 언어 모델한테 던지면 악성을 찾아줄 것"이라는 업계의 흔한 기대는 적어도 네트워크 데이터에서는 성립하지 않았다.
• 제로샷의 가치는 성능 축이 아니라 비용 축에 있다. 라벨링과 재학습 없이 바로 붙일 수 있다는 점이 성능 열세를 상쇄할 수 있는 조건을 만든다.
• 데이터를 더 줬을 때 언어 모델의 분류 성능이 오히려 떨어졌다는 관찰은, 이 모델이 결정 경계를 학습하는 장치가 아니라는 사실을 실무 수준에서 드러낸다.
• 과제의 '텍스트성'이 두 계열의 우열을 가르는 축이다. 이메일처럼 자연어에 가까울수록 언어 모델이 유리하고, 패킷처럼 멀어질수록 사람이 감당해야 할 피처 엔지니어링 비용이 커진다.
• 현실적인 해법은 교체가 아니라 배치다. 전통 모델을 앞단에 두고 언어 모델을 뒤에 붙이는 라우터 구조가 실험 단계에서 가장 유망한 절충안으로 제시됐다.

자주 묻는 질문

관련 AI 소식