AI 불확실성 정량화 강의: 인식적·우연적 불확실성과 컨포멀 예측, LLM 환각 줄이기

핵심 메시지

• 이 강의의 질문은 모델의 전체 성능이 아니라 '지금 이 한 번의 답을 믿어도 되는가'이다.
• 불확실성은 데이터를 더 모아도 줄지 않는 우연적 불확실성과, 지식 부족에서 오는 인식적 불확실성으로 나뉘지만 그 경계는 취할 수 있는 행동에 따라 달라진다.
• 질의가 학습 데이터에서 얼마나 떨어져 있는지를 뜻하는 '국소적 인식 불확실성'은 데이터를 늘려도 사라지지 않는 별도의 축이다.
• 분위수 회귀에 컨포멀 보정을 얹으면 분포 가정 없이도 예측 구간의 포함 확률을 보장할 수 있지만, 분포가 이동하면 그 보장은 사라진다.
• LLM 환각은 답에서 개별 주장을 뽑아 신뢰도가 낮은 것부터 지우는 방식으로 줄일 수 있는데, 목표 정확도에 도달하려면 상당한 분량을 버려야 한다.

쉽게 이해하기

이 공개 세미나는 이미 학습이 끝난 모델에 질문 하나를 던졌을 때 그 답을 신뢰해도 되는지를 다룬다. 강연자는 불확실성 정량화가 필요한 이유를 세 가지로 정리한다. 첫째는 확신이 없으면 답을 거부하게 만드는 선택적 분류, 둘째는 더 큰 시스템의 뒷단이 기대값과 위험을 계산할 수 있도록 확률 분포를 넘겨주는 것, 셋째는 모델을 어디부터 개선해야 하는지 진단하는 것이다. 자율주행차가 처음 보는 탈것을 만나거나 안개 속에서 정보가 줄어드는 상황이 대표적인 예로 제시된다.

핵심 구분은 우연적 불확실성과 인식적 불확실성이다. 앞의 것은 측정에 섞인 잡음처럼 데이터를 아무리 모아도 없앨 수 없는 부분이고, 뒤의 것은 아는 것이 부족해서 생기며 원칙적으로는 줄일 수 있다. 다만 강연자는 이 구분이 '우리가 어떤 행동을 할 수 있는가'에 달려 있다고 지적한다. 편향·분산·잡음 분해에서 데이터를 늘려 줄일 수 있는 것은 분산 항뿐이고, 편향은 모델 종류를 바꿔야 줄어든다. 붓꽃 데이터에서 중요한 특징 하나를 빼고 학습시키면, 원인은 특징 부재인데도 모델을 적합할 때는 잡음 항이 커지는 형태로 나타난다는 시연도 이어진다.

강의의 중심은 예측 구간이다. 점 추정 대신 상한과 하한을 내놓고, 구간의 폭을 신뢰도의 척도로 삼아 거부 여부를 정하자는 발상이다. 선형 회귀의 예측 구간을 뜯어보면 데이터가 늘면 줄어드는 항, 줄지 않는 잡음 항, 그리고 질의가 학습 데이터 중심에서 얼마나 떨어져 있는지를 재는 항이 곱해진 형태로 나타난다. 강연자는 세 번째를 '국소적 인식 불확실성'이라 부르며, 불확실성을 두 갈래가 아니라 세 갈래로 나누고 이들이 더해지는 것이 아니라 곱해진다는 점을 강조한다.

분포 가정을 줄이는 방법으로는 분위수 회귀와 컨포멀 예측이 소개된다. 제곱 오차 대신 핀볼 손실을 쓰면 평균이 아니라 특정 분위수를 추정할 수 있어, 입력에 따라 잡음의 크기가 달라지는 상황에서도 위아래 경계를 그릴 수 있다. 여기에 별도의 보정용 데이터로 잔차의 크기를 재어 경계를 조금씩 넓히면, 원하는 확률로 정답을 포함하는 구간이 만들어진다. 강연자가 가장 선호하는 방식이지만, 배포 환경의 분포가 보정 데이터와 달라지면 보장이 깨지고 이상치도 잡아내지 못한다는 한계를 함께 짚는다. 분류에서는 확률이 높은 순으로 클래스를 모아 예측 집합을 만드는 방법이 있으며, 감별 진단처럼 후보를 좁혀 다음 단계로 넘기는 용도에 쓸 만하다고 본다.

마지막 축은 이상치 탐지다. 손으로 만든 특징 공간에서는 최근접 이웃 거리나 아이솔레이션 포리스트 같은 방법이 의외로 잘 통하지만, 딥러닝은 학습 과제에 필요한 특징만 게으르게 배우는 탓에 처음 보는 부류의 데이터가 잠재 공간 한가운데 남아 오히려 '내부자'처럼 보이는 문제가 생긴다. 강연자는 아주 많은 데이터로 학습한 파운데이션 모델의 표현이 여기에 대한 현실적인 답이라고 본다. LLM 환각 문제에서는 답을 개별 주장으로 쪼갠 뒤 신뢰도가 낮은 것부터 지워 목표 정확도를 맞추는 접근을 소개하는데, 정답을 아는 이상적인 채점자조차 상당 비율을 버려야 하고 실제로 쓸 수 있는 점수 함수로는 훨씬 더 많이 버려야 한다. 게다가 현재 기법들은 대부분 여러 번의 호출을 요구해 비용이 크고, 학습 데이터에 접근할 수 없는 탓에 인식적 불확실성은 사실상 다루지 못한다는 것이 강연의 결론이다.

주요 인사이트

• 모델의 결함 대부분은 그 원인이 무엇이든 적합 과정에서 잡음 항이 커지는 형태로 드러난다. 앙상블의 불일치가 작다고 해서 개선할 여지가 없다는 뜻은 아니다.
• 예측 구간의 폭은 그 자체로 하나의 스칼라 신뢰도 지표가 되어, 답할지 거부할지를 정하는 문턱값으로 바로 쓸 수 있다.
• 컨포멀 예측의 보장은 보정 데이터와 배포 데이터가 같은 분포라는 가정 위에 있다. 적대적 상대처럼 우리의 대응에 맞춰 계속 움직이는 대상에는 이 가정을 세울 수 없다.
• 딥러닝의 강점인 자동 특징 학습이 이상치 탐지에서는 약점이 된다. 학습에 쓰이지 않은 부류를 구분할 특징 자체가 만들어지지 않기 때문이다.
• LLM에서 토큰 단위 확률로 볼 수 있는 것은 우연적 불확실성에 가깝다. 학습 데이터에 아예 없는 질문에서 오는 인식적 불확실성은 가중치와 데이터가 공개된 모델에서만 제대로 연구될 수 있다.

자주 묻는 질문

관련 AI 소식