AI VIDEO BRIEFING
기계적 해석가능성 우선순위: 추론 모델·AI 심리학·평가 인식, 닐 난다가 지금 중요하다고 본 연구 방향
모델이 커진 게 아니라 성격이 바뀌었다. 추론 모델과 에이전트 시대에 기계적 해석가능성 연구가 무엇을 해야 하는지, 통제보다 이해를 우선하라는 근거는 무엇인지, 닐 난다가 연구 장학생들에게 한 강연의 논지를 정리했다.
핵심 메시지
- 지난 1~2년 사이 모델은 파라미터 수보다 성격이 달라졌다. 에이전트 작업 능력, 추론 시점 연산의 확대, 일관된 목표를 지닌 듯한 행동이 연구 대상을 바꿔 놓았다.
- 발표자는 해석가능성이 모델을 '통제'하기보다 '이해'하는 데 집중해야 한다고 주장한다. 행동을 바꾸는 일은 파인튜닝과 프롬프트가 이미 잘하는 영역이기 때문이다.
- 해석가능성은 진짜 통찰을 주지만 정밀하지도, 완전하지도 않다. 진단에 필요한 정밀도와 수정에 필요한 정밀도가 다르다는 점이 이 주장의 근거다.
- 추론 모델 해석, 모델이 어긋났는지 판별하는 방법론, 거짓말 탐지, 모델이 평가받는 중임을 알아채는 현상이 지금 가장 흥미로운 연구 영역으로 꼽혔다.
- 연구 태도로는 단순함과 기준선 비교, 그리고 "내 결과는 반증되기 전까지 틀렸다고 가정하라"는 회의주의가 강조됐다.
쉽게 이해하기
인공지능 모델의 내부를 들여다보는 기계적 해석가능성 연구는 최근 몇 년 사이 관심이 크게 늘었다. 이 강연은 그 분야에서 일하는 닐 난다가 자신이 지도하는 연구 장학생들에게 "지금 무엇이 중요한가"를 정리해 준 자리다. 그는 먼저 지난 1~2년간 인공지능에서 실제로 달라진 것들을 꼽는데, 흥미롭게도 모델 크기는 그 목록에 없다. 파라미터 수 자체는 생각만큼 늘지 않았고, 최근의 대형 공개 모델들은 희소 구조라 토큰당 실제 연산량이 오히려 적다는 것이다.
대신 그가 꼽은 변화는 네 가지다. 첫째, 모델이 에이전트 작업을 훨씬 잘하게 되면서 해석가능성 연구 자체를 자동화할 도구가 생겼다. 둘째, 모델이 일관된 믿음이나 목표, 계획 능력 비슷한 것을 지녔다고 볼 여지가 커졌다. 우려스러운 변화지만 연구자 입장에서는 연구할 현상이 많아졌다는 뜻이기도 하다. 셋째, 추론 시점에 토큰을 길게 뽑아 쓰는 추론 모델이 표준이 되면서, 한 번의 순전파를 뜯어보던 기존 방식과는 결이 다른 질문이 생겼다. 넷째, 모니터링용 프로브나 감사 용도처럼 실제로 쓸모가 확인되는 사례가 적지만 분명히 생겼다.
강연의 가장 논쟁적인 대목은 "해석가능성은 이해에 집중하고, 아주 좋은 이유가 없다면 통제에는 손대지 말라"는 주장이다. 그의 논리는 비교우위다. 머신러닝 전체가 모델 행동을 원하는 방향으로 미는 문제에 매달려 왔고, 파인튜닝은 정밀하지 않아도 놀랍도록 잘 작동한다. 반면 "모델이 왜 그렇게 했는가"를 묻는 도구는 훨씬 드물다. 그는 스티어링 벡터 논문 상당수가 파인튜닝보다 나은 이유를 대지 못한 채 쓰였다고 꼬집었다.
예외도 인정한다. 모델이 지금 평가받는 중임을 알아채는 현상은 데이터로 풀기가 유독 어렵다. 평가용 데이터란 결국 인위적으로 만든 것이고, 모델이 충분히 똑똑하면 그 인위성을 알아본다. 또 하나는 조건부 개입이다. 프로브가 반응할 때만 스티어링을 걸면, 반응하지 않는 대부분의 상황에서는 부작용이 아예 없다. 그는 여기에 조건부 LoRA를 얹는 아이디어도 구현이 어렵지 않을 텐데 왜 아직 못 봤는지 모르겠다고 덧붙였다.
그가 반복해서 강조한 것은 방법론적 태도다. 복잡한 기법을 만들었다면 세부 요소를 하나씩 빼 보라는 것, 기준선을 이겨야 한다는 것, 그리고 자기 결과는 반증되기 전까지 틀렸다고 가정하라는 것이다. 실제 서비스에 무언가를 넣으려면 연구실에서와는 다른 제약이 붙는다는 점도 짚었다. 모델 서빙 경로를 건드리는 프로브는 승인받을 사람이 많아지지만, 출력 텍스트를 읽는 별도 모델은 훨씬 쉽게 붙는다. 사전학습 구조를 바꾸는 제안은 사실상 불가능에 가깝다.
주요 인사이트
- "엑스레이로 다리를 진단했다고 해서 엑스레이로 다리를 고치지는 않는다." 진단 도구와 치료 수단이 같은 형태일 필요가 없다는 이 비유가 이해와 통제를 가르는 그의 핵심 논거다.
- 그는 한때 희소 오토인코더에 크게 기대했고 분야 전체가 그리로 쏠렸던 것을 자원 배분 실패로 평가한다. 그래서 어느 방향이 유망한지 예측하는 능력 자체를 낮게 보고, 분야가 더 다양하게 시도해야 한다고 말한다.
- 블랙박스 방법을 낮잡아 보던 입장에서 "모든 방법이 신뢰할 수 없다"는 쪽으로 옮겨 갔다는 고백이 인상적이다. 관건은 내부를 쓰느냐가 아니라 어느 정도의 불확실성을 감수할 만한가다.
- 해석가능성의 기여를 그는 다른 안전 기법을 보강하는 역할로 본다. 평가 인식을 억제해 평가 체계 전체가 조금 더 믿을 만해진다면, 나머지 95%의 일은 다른 사람들이 하더라도 그 패치의 값어치는 크다는 것이다.
- 모델이 9.11을 9.8보다 크다고 답하는 식의 사소한 오작동조차 원인을 짚고 고칠 방법을 조언하지 못한다면, 분야가 제 몫을 하고 있다고 보기 어렵다는 자기 진단이 뼈아프다.
자주 묻는 질문
기계적 해석가능성이란 무엇인가?
발표자는 해석가능성을 내부를 쓰든 겉으로 드러난 행동만 보든 모델에 대해 무언가를 이해하려는 연구로 정의하고, '기계적'이라는 수식어는 모델 내부를 근거로 삼는 쪽을 가리킨다고 설명한다. 둘이 겹치는 지점, 즉 내부를 이용해 모델을 이해하는 작업이 그가 말하는 기계적 해석가능성이다.
왜 통제보다 이해를 우선하라고 하나?
행동을 바꾸는 일은 데이터와 보상, 손실 함수로 모델을 미는 머신러닝 전체가 이미 잘하는 영역이라는 것이다. 반면 왜 그런 행동이 나왔는지 묻는 도구는 훨씬 적다. 또 수정에는 진단보다 높은 정밀도가 요구되는데, 해석가능성은 정밀하지도 완전하지도 않다고 그는 본다.
추론 모델의 해석은 왜 다른 문제인가?
기존 연구가 한 번의 순전파에서 일어나는 반사적 계산을 뜯어봤다면, 추론 모델은 스스로 만든 긴 토큰 위에 사고를 쌓아 올리고 그 과정이 강화학습으로 훈련된다. 발표자는 이 영역을 연구하는 사람이 의외로 적다며 지도하고 싶은 주제로 꼽았다.
연구를 시작하는 사람에게 그가 권한 태도는?
복잡한 기법을 만들었다면 세부 요소를 하나씩 제거해 보는 절제 실험을 하고, 사람이나 언어 모델이 그냥 추측하는 수준의 단순한 기준선을 이기는지 확인하라는 것이다. 무엇이 진짜 목표이고 무엇이 대리 지표인지 늘 구분하라는 조언도 함께 나왔다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗