LLM 입력 모더레이션 비용 줄이기: 별도 가드 모델 대신 모델 내부의 다층 잠재 프로토타입을 쓰는 방법

핵심 메시지

• LLM에 들어오는 위험한 질문을 걸러내는 일은 보통 라마 가드 같은 별도의 '가드 모델'이 맡는데, 지켜야 할 모델과 비슷한 크기의 모델을 하나 더 돌려야 해서 연산 비용이 두 배 이상으로 뛴다.
• 발표자가 제안한 방법은 지키려는 모델 자체의 내부 표현(은닉 상태)만 꺼내 쓴다. 안전한 입력과 위험한 입력의 '대표점(프로토타입)'을 층마다 만들어 두고, 새 입력이 어느 쪽에 가까운지 거리로 판정한다.
• 가장 좋은 층은 모델마다 다르고 '중간 층이 정답'이라는 규칙은 성립하지 않았다. 그래서 모든 층의 판정을 모은 뒤 L1 규제로 쓸모 있는 층만 자동으로 골라내는 구조를 썼다.
• 층당 저장 비용은 공유 공분산을 쓸 때 프로토타입 하나에 24킬로바이트 수준이고, 학습은 A100 40GB 한 장으로 가능하다. 새 위험 유형이 생겨도 몇 분 만에 갱신할 수 있다.
• 발표자는 이 방식을 유일한 방어선으로 쓰지 말라고 선을 그었다. 내부 표현의 품질에 성능이 종속되기 때문에, 여러 방어선 중 첫 번째 층으로 보는 편이 맞다는 것이다.

쉽게 이해하기

폴란드 AI 세이프티 커뮤니티가 격주로 여는 온라인 세미나에서 NASK 국립연구소 소속 연구자이자 바르샤바 공대 박사과정인 마치에이 흐라봉시치가 1년 넘게 붙들어 온 연구를 발표했다. 주제는 대규모 언어모델에 들어오는 입력을 어떻게 싸게, 그러면서도 정확하게 걸러낼 것인가다. 그는 논문에 담지 못한 시행착오와 직관까지 함께 풀어놓겠다며 발표를 시작했다.

그가 사후 조정(alignment)만으로는 부족하다고 보는 이유는 두 가지다. 하나는 RLHF나 DPO로 모델을 다시 미세조정하면 기존 지식을 잊어버리는 파국적 망각을 피하기 어렵다는 점이고, 다른 하나는 정렬 자체가 표면적이라는 점이다. 그는 질문을 과거형으로 바꿔 던지는 것만으로 모델이 폭탄 제조법을 술술 말하기 시작했다는 선행 연구를 대표적인 사례로 들었다. 게다가 위협의 성격도 달라져, 예전에는 혐오 발언 생성이 문제였다면 지금은 모델이 사용자의 메일함에 접근하고 대신 메일을 보내는 에이전트가 됐다.

그래서 그는 모델이 답을 만들기 전에 입력을 먼저 검사하는 쪽을 택했다. 위험한 질문을 미리 걸러내면 유해한 답이 나올 가능성 자체가 사라지고, 큰 모델이 쓸데없이 연산을 낭비하는 일도 줄어든다. 문제는 기존 가드 모델의 비용으로, 8B 모델을 서비스하려고 8B짜리 가드를 하나 더 붙이면 연산이 곱절이 되고 의료 같은 특정 도메인에 맞추려면 가드 모델 전체를 다시 미세조정해야 한다.

제안된 방법은 모델 안에서 이미 만들어지고 있는 표현을 재활용한다. 라벨이 붙은 입력들을 한 번만 통과시켜 층마다 안전·위험 표현의 평균(프로토타입)과 공분산을 계산해 두고, 새 입력이 들어오면 마할라노비스 거리로 어느 분포에 가까운지 확률을 매긴다. 단순 유클리드 거리 대신 마할라노비스를 쓴 이유는 4천 차원이 넘는 공간에서는 모든 방향을 똑같이 취급하는 것이 비효율적이기 때문이다. 발표자는 성능 향상의 가장 큰 몫이 바로 이 거리 교체에서 나왔다고 밝혔다.

핵심은 층을 하나만 쓰지 않는다는 데 있다. 라마·미스트랄·올모·큐원 계열로 층별 성능을 재보니 어떤 층이 최선인지는 모델마다 제각각이었고, 층별 판정 중 하나만 맞아도 정답으로 쳐 준 상한선 실험에서는 F1이 95%까지 올라갔다. 그래서 층별 판정 위에 L1 규제를 건 메타 모델을 올려 쓸모 있는 층만 남겼는데, 실험에서는 층 하나만 쓰는 것도 전부 쓰는 것도 최선이 아니었다. 이 방식은 여러 벤치마크 평균에서 가드 모델들을 앞섰고, 무엇보다 지키려는 모델이 커질수록 방어 성능도 함께 올라갔다. 8B 가드로 600B 모델을 감시하는 구조에서는 감시당하는 쪽이 더 똑똑해 감시자를 속일 위험이 있는데, 내부 표현을 쓰면 이 역전이 생기지 않는다는 것이 발표자가 가장 중요하게 꼽은 지점이다.

주요 인사이트

• 안전 관련 정보가 특정 층에 모여 있다는 통념은 실험에서 무너졌다. 발표자는 층별 중요도가 아키텍처와 학습 데이터에 따라 달라진다고 보고, '중간 층을 쓰라'는 경험칙을 일반 규칙으로 삼아서는 안 된다고 결론지었다.
• 안전·위험 클래스의 공분산 행렬을 따로 두는 것보다 하나로 공유하는 쪽이 언제나 더 나았다. 메모리도 프로토타입당 25메가바이트에서 24킬로바이트 수준으로 줄었다. 고차원에서 공분산을 각각 추정하는 일 자체가 어렵기 때문으로 보인다.
• 데이터 효율도 높았다. 클래스당 10개 샘플만으로도 어느 정도 작동했지만 편차가 컸고, 100개에서 안정되기 시작해 1000개 부근에서 성능이 평평해졌다. 자체 데이터로 맞춤 가드를 만들려는 조직에 현실적인 숫자다.
• 추론형 모델에서 사고 과정을 다 생성시킨 뒤 표현을 뽑아도 성능 이득은 0.5% 남짓이었다. 그 정도 이득을 위해 추론 토큰을 전부 생성하는 연산 비용을 치를 가치는 크지 않다는 것이 발표자의 판단이다.
• 오분류가 몰린 범주는 사회적 고정관념·성적 내용·사기·개인정보처럼 사람이 봐도 판단이 갈리는 영역이었다. 반대로 폭력·사이버 공격처럼 위험이 분명한 범주에서는 오분류가 가장 적었다. 학습 데이터의 라벨 품질 자체가 성능 한계를 만든다는 뜻이다.

자주 묻는 질문

관련 AI 소식