AI VIDEO BRIEFING

해석가능성 기반 AI 정렬 연구 정리 — 개념 방향 제거, 예방적 조종, 훈련 데이터 귀속

해석가능성 연구가 모델 정렬에 직접 쓰일 수 있을까. 데이터를 바꾸지 않고 파인튜닝 결과를 고르는 개념 방향 제거, 페르소나 벡터를 활용한 예방적 조종, 훈련 데이터 귀속과 강화학습 필터링까지 짚는다.

출처: Neel Nanda2025년 11월 23일AI 보조 요약

파인튜닝을 조종하는 해석가능성: 데이터를 그대로 두고 모델이 배울 것을 고르는 법 영상 대표 이미지

핵심 메시지

해석가능성을 사후 분석이 아니라 훈련 과정에 직접 개입하는 도구로 쓰자는 것이 이 강연의 출발점이다.
같은 데이터로 학습해도 모델이 도달할 수 있는 해가 여러 개일 때, 어느 쪽을 배우게 할지 고르는 것이 핵심 문제로 제시된다.
개념 하나에 해당하는 방향을 지우는 시도는 잘 통하지 않았고, 대략 맞는 방향 여러 개를 한꺼번에 지울 때 효과가 나타났다.
훈련 중에 원치 않는 개념 벡터를 미리 더해 두면 모델이 그 개념을 스스로 학습할 이유가 사라진다는 예방적 조종 아이디어가 소개된다.
강화학습에서는 데이터를 거르는 대신 사고 과정이 수상한 에피소드를 버리는 방식이 가능한지가 아직 열린 질문으로 남아 있다.

쉽게 이해하기

강연자는 해석가능성이 정렬에 기여할 수 있는 통로를 크게 둘로 나눈다. 하나는 훈련 데이터를 개선하는 것이고, 다른 하나는 데이터를 전혀 건드리지 않은 채 훈련 자체에 개입하는 것이다. 후자는 다시 손실 함수를 바꾸는 방식과, 훈련 도중 모델의 내부 활성값을 직접 조작하는 방식으로 갈린다.

두 번째 갈래를 설명하기 위해 그는 모호성 문제를 든다. 위험한 의료 조언을 쓰도록 모델을 학습시키면, 모델은 '위험한 의료 조언'이라는 좁은 개념 대신 '전반적으로 나쁘게 행동한다'는 넓은 개념을 배워 버릴 수 있다. 같은 데이터를 두고도 여러 해가 존재하는 셈이고, 목표는 그중 원하는 쪽으로 학습을 밀어 넣는 것이다.

실제로 통한 방법은 다소 투박했다. 개념에 해당하는 방향 하나를 찾아 훈련 중 지우는 것만으로는 잘 되지 않았고, 대략 그 개념 언저리를 가리키는 방향을 여러 개 모아 함께 지웠을 때 효과가 나왔다. 방향은 희소 오토인코더로 찾거나, 먼저 평범하게 파인튜닝한 뒤 활성값 차이에 주성분 분석을 돌리고 각 성분을 가장 강하게 활성화하는 데이터 예시로 해석해 수상한 것을 골라내는 식으로 얻었다. 강연자는 여러 개가 필요한 이유를 데이터가 적어 방향 추정이 노이즈에 취약하기 때문으로 추정하면서도 확답은 없다고 인정한다.

다른 계열로는 페르소나 벡터 연구의 예방적 조종이 소개된다. 학습시키고 싶지 않은 특성의 방향을 훈련 중에 오히려 더해 주면, 모델은 그 특성을 스스로 익힐 필요가 없어진다는 발상이다. 프롬프트로 같은 일을 하는 접근도 언급되는데, 스페인어와 대문자가 섞인 출력을 학습시킬 때 프롬프트에서 미리 스페인어로 답하라고 지시해 두면 파인튜닝은 대문자 습관만 배운다는 식이다.

마지막 갈래는 훈련 데이터 귀속이다. 특정 데이터가 어떤 행동에 얼마나 기여했는지 점수를 매기는 기법인데, 강연자는 대부분의 방법이 결국 두 지점의 그래디언트를 거대한 벡터로 펴서 내적을 재는 것에 가깝다고 정리한다. 여기서 그가 가장 궁금해하는 것은 강화학습이다. 데이터가 아니라 환경과 에피소드로 학습이 이뤄지는 만큼, 사고 과정을 자동 평가자가 읽고 수상한 에피소드를 버리는 방식이 통할지는 아직 검증되지 않았다고 말한다.

주요 인사이트

강연자는 이 결과들을 자신의 지론, 곧 해석가능성은 정밀도가 낮다는 주장의 또 다른 근거로 본다. 방향 하나를 정확히 짚어 지우는 데는 실패했고 여럿을 뭉뚱그려 지우는 편법이 통했기 때문이다.
'프로브에 벌점을 주면 프로브만 속이는 적대적 해가 나오지 않느냐'는 질문에 대한 답이 핵심적이다. 적대적 예시를 만들 때는 나쁜 행동을 유지하라는 항이 함께 들어가지만, 여기서는 그런 항이 없고 이미 존재하는 다른 해로 살짝 밀어 주기만 하면 된다는 것이다.
문제는 두 종류로 나뉜다. 두 개의 해 중 원하는 쪽을 배우게 하는 문제와, 여러 방법을 모두 배울 상황에서 특정 방법만 쓰지 않게 하는 문제다. 후자는 회귀 모형이 특정 변수에 기대지 않게 만드는 일에 더 가깝다.
필터링 도구로 프로브를 쓸지 별도 언어 모델을 쓸지 묻자, 이미 모델을 데이터 위에서 돌리고 있다면 프로브는 사실상 공짜라는 점이 실용적 근거로 제시된다. 다만 강화학습에서는 연산이 두 배로 늘어도 정렬이 쉬워진다면 감수할 만하다고 본다.
그럼에도 그가 권하는 출발점은 언어 모델 판정자다. 먼저 가능하다는 것을 보이고 그다음에 더 싸게 만들라는 순서인데, 회의적으로 보던 기준선이 실제로는 충분히 좋은 경우가 많다는 경험이 근거다.
결국 프로브든 언어 모델이든 둘 다 분류기이고, 분류기가 얼마나 좋은지 평가하는 일 자체가 매우 어렵다는 것이 논의의 잠정 결론이다.

자주 묻는 질문

데이터를 바꾸지 않고 모델이 배우는 것을 바꾼다는 게 무슨 뜻인가?

같은 학습 데이터를 줘도 모델이 도달할 수 있는 해가 여러 개일 수 있다는 전제에서 출발한다. 강연에서는 훈련 도중 특정 개념에 해당하는 내부 방향을 지우거나, 반대로 그 방향을 미리 더해 주는 식으로 어느 해로 수렴할지를 밀어 주는 방법이 소개된다. 데이터셋 자체는 그대로 둔 채 학습 과정에만 손을 대는 접근이다.

왜 개념 방향 하나만 지우면 안 되나?

강연에 따르면 훈련 중 해당 방향으로의 업데이트를 막는 것도, 그 방향을 지우는 것도 잘 통하지 않았다. 대략 같은 개념을 가리키는 방향을 여러 개 모아 함께 지울 때만 효과가 나타났다. 강연자는 학습 데이터가 적어 방향 추정이 노이즈에 취약하기 때문일 것이라고 추정하지만, 확실한 답은 아직 없다고 밝힌다.

훈련 데이터 귀속은 실제로 어떤 결과를 보여 주나?

강연에서는 모델에게 종료해도 괜찮은지 물었을 때 거부하는 응답을 예로 든다. 어떤 데이터가 그 응답 확률을 높였는지 살펴봤더니 인공지능이 정지를 거부하는 고전 영화 관련 내용이나, 자기 보존을 포기하는 상황을 그린 텍스트 같은 것들이 올라왔다. 나쁜 행동에 기여한 데이터를 걸러내는 용도로 자연스럽게 이어진다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗