LLM 지식 편집 정리: 재학습 없이 사실을 고치는 MeLLo와 PokeMQA, CHECK 비교

핵심 메시지

• 거대 언어 모델은 학습 시점의 지식에 묶여 있어 시간이 지나면 낡거나 틀린 정보를 담게 되는데, 전체 재학습은 비용이 너무 크다.
• 언러닝이 특정 데이터의 영향을 지우는 것이라면, 지식 편집은 사실을 최신 정보로 바꾸고 그와 연결된 지식까지 함께 갱신하는 것이 목표다.
• 사실 하나를 바꾸는 것은 쉽지만, '현재 대통령의 배우자는 누구인가' 같은 멀티홉 질문에서 바뀐 지식이 논리적으로 전파되게 하는 것은 어렵다.
• 파라미터를 직접 수정하는 방식은 계산 비용이 크고 무관한 지식을 망가뜨릴 위험이 있어, 모델은 그대로 두고 외부 메모리를 검색해 답을 조정하는 방식이 주목받고 있다.
• MeLLo에서 PokeMQA, CHECK로 이어지는 흐름은 LLM에게 모든 판단을 맡기던 구조에서 외부 검출기와 타입 검증으로 추론을 통제하는 방향으로 이동해 왔다.

쉽게 이해하기

고려대 산업경영공학과 DMQA 연구실의 오픈 세미나에서 심세진 연구원이 LLM의 지식 관리 문제를 다뤘다. 사전 학습된 대형 모델은 인터넷의 방대한 데이터로 만들어지지만, 그 데이터는 시간이 지나면 낡고 오류나 편향도 함께 담긴다. 모델 전체를 다시 학습시키는 것은 막대한 자원과 시간을 요구하므로, 특정 지식만 지우는 언러닝과 특정 사실만 고치는 지식 편집이 연구 주제로 떠올랐다.

지식 편집이 어려운 이유는 사실들이 서로 얽혀 있기 때문이다. 미국 대통령에 관한 정보를 바꾸더라도 캘리포니아 날씨 같은 무관한 사실은 그대로 보존돼야 하고, 질문을 조금 바꿔 물어도 같은 답이 나와야 하며, 바뀐 사실에서 논리적으로 따라 나오는 답변도 함께 바뀌어야 한다. '대통령의 배우자는 누구인가'처럼 여러 단계를 거쳐야 하는 멀티홉 질문에서는, 앞 단계에서 예전 대통령을 떠올리는 순간 뒤따르는 답이 전부 어긋난다.

발표에서 소개한 첫 번째 방법론 MeLLo는 파라미터를 고정한 채 외부 메모리를 활용한다. 멀티홉 질문이 들어오면 LLM이 이를 하위 질문으로 쪼개고, 각 단계에서 잠정 답변을 만든 뒤 검색 모델로 외부 메모리의 수정된 사실과 충돌하는지 확인해 답을 교체한다. 파라미터를 건드리지 않으므로 API로만 접근하는 모델에도 쓸 수 있다는 장점이 있지만, 질문 분해와 답변 생성, 충돌 감지를 모두 LLM 혼자 떠맡아 판단에 실패하거나 논리 단계를 건너뛸 수 있다.

두 번째 PokeMQA는 역할을 나눈다. 위키 기반 외부 지식과 개체 연결 모델로 입력을 보강해 질문 분해를 돕고, 수정된 지식과 관련이 있는지는 별도의 검출기 두 개가 판단한다. 앞쪽 검출기는 거리 기반으로 후보를 빠르게 걸러 내고, 뒤쪽 검출기는 0과 1 사이의 값을 내어 임계값(논문에서는 0.5)을 넘으면 외부 메모리의 사실로 답을 대체한다. LLM은 추론에 집중하고 편집 여부는 탐지기가 맡는 구조다.

세 번째 CHECK는 분해된 추론 자체를 검증한다. LLM이 만든 관계 체인의 시작 개체가 사람인지 장소인지 사물인지 판정하고, 각 관계의 입력·출력 타입을 정리해 둔 템플릿과 비교해 순서가 논리적으로 맞는지 확인한다. 타입이 어긋나면 온도 값을 높여 다시 분해하게 만든다. 네 단계를 연쇄적으로 거쳐야 풀리는 어려운 멀티홉 문제에서도 최고 수준의 성능을 보였지만, 타입 템플릿을 사람이 직접 만들어야 하고 체인을 다시 만드는 비용이 따른다.

주요 인사이트

• 재학습 대신 편집이라는 접근은 비용 문제를 넘어, 모델 안에 무엇이 어떻게 저장돼 있는지 이해하려는 시도이기도 하다. 사실 하나가 다른 사실과 얽혀 있다는 점이 가장 큰 난관이다.
• 파라미터를 고치는 방식은 표면적인 사실 수정에는 성공하지만 다단계 추론에서 무너진다. 답을 외운 것과 관계를 이해한 것이 다르다는 점이 여기서 드러난다.
• 외부 메모리와 검색을 쓰는 방식은 API로만 접근 가능한 상용 모델에도 적용할 수 있고 기존 능력을 훼손하지 않는다는 점에서 실무 적용 가능성이 높다.
• 세 방법론의 흐름은 LLM의 자율성을 줄이고 외부 모듈로 검증을 강화하는 방향이다. 모델을 더 크게 만드는 대신 주변 장치를 정교하게 다듬는 접근이라 할 수 있다.
• 발표자는 현재 지식 편집 연구가 대부분 텍스트 단일 모달에 머물러 있다는 점을 한계로 짚으며, 이미지와 텍스트를 함께 잊거나 고쳐야 하는 상황을 다음 과제로 제시했다.

자주 묻는 질문

관련 AI 소식