AI 해석가능성 연구 철학 4가지: 기초과학·언어모델 미스터리·디버깅·실용주의 비교

핵심 메시지

• 발표자는 해석가능성 연구를 해석가능성 자체의 기초과학, 언어모델의 기초과학, 디버깅, 실용적 해석가능성 네 가지로 나눴다.
• 네 범주와는 별개로, 목표에서 거꾸로 계획을 세우는 후진 추론과 눈앞의 유망한 방향을 따라가는 전진 추론이라는 축이 존재한다.
• 같은 실험을 하더라도 동기가 무엇이냐에 따라 하루 단위의 판단과 중단 기준이 달라진다는 점이 강조됐다.
• 정량 지표만 쌓으면 지표 자체가 엉터리라는 사실을 놓치고, 정성 사례만 보면 유리한 사례만 골랐는지 알 수 없다.
• 발표자는 하나의 옳은 철학을 고르기보다 여러 관점을 이해하고 상황에 맞게 갈아타는 능력이 더 중요하다고 결론지었다.

쉽게 이해하기

이 영상은 해석가능성 연구자 닐 난다가 신진 연구자 훈련 프로그램에서 진행한 강연을 담고 있다. 그는 발표 서두에서 이 분류가 며칠 전에 급히 정리한 잠정적인 틀이며 앞으로 크게 바뀔 수 있다고 스스로 못을 박는다. 강연은 슬라이드를 따라가는 일방적 설명이 아니라 참석자들의 반론과 질문이 계속 끼어드는 토론 형식으로 진행된다.

첫 번째 철학은 해석가능성 자체의 기초과학이다. 과학사의 상당 부분은 원대한 계획을 세운 사람들이 아니라 아름다운 문제를 붙들고 이리저리 만져 본 사람들이 만들어 왔고, 정수론처럼 당대에는 쓸모가 없어 보이던 연구가 훗날 인터넷 상거래의 토대가 된 사례도 있다는 것이다. 다만 발표자는 여기에 생존 편향이 크게 작용한다는 점, 즉 운 좋게 성공한 사례만 우리 눈에 남았을 가능성도 함께 인정한다.

두 번째는 언어모델 자체의 기초과학이다. 모델은 경사하강법이 만들어 낸 기묘한 존재이고, 우리는 이들이 무엇을 할 수 있고 없는지조차 잘 모른다는 문제의식에서 출발한다. 발표자가 나열한 미스터리 목록에는 사고 과정을 길게 늘이는 모델이 왜 더 잘하는지, 모델이 계획을 세우는지, 아첨하는 성향이 어디서 오는지, 프롬프트를 조금만 바꿔도 결과가 달라지는 이유, 그리고 안전하지 않은 코드로 미세조정했더니 전혀 무관한 영역에서 극단적인 답을 내놓더라는 맥락 밖 추론 현상이 포함된다.

세 번째 디버깅은 언어모델의 기초과학과 비슷하지만 훨씬 목표 지향적이다. 특정 문제가 왜 일어나는지 파악해 고치는 것이 목적이므로, 이해 자체는 고칠 수 있을 만큼만 하면 된다. 네 번째 실용적 해석가능성은 아예 반대편에서 출발한다. 풀고 싶은 과제를 먼저 정해 두고 해석가능성이 그 과제에 맞는 도구일 때만 쓰며, 아니면 다른 방법을 쓴다. 유해한 사용 의도 탐지나 환각 탐지를 위한 프로브, 모델 활성값 기반 이상 탐지, 문제 행동을 유발한 학습 데이터 추적 등이 예로 제시된다.

강연 후반부는 전진 추론과 후진 추론의 대비, 그리고 연구자들이 실제로 다투는 지점들로 넘어간다. 발표자는 후진 추론의 극단인 순진한 공리주의, 즉 목표가 중요하니 과정의 윤리는 무시해도 된다는 태도를 가장 위험한 사고방식으로 꼽는다. 동시에 자신도 전진 추론 쪽에서 더 많은 성과를 냈다고 인정하면서, 결국 어느 한쪽에 과하게 몰입한 사람들이 서로를 이해하지 못한 채 논쟁하는 상황이 반복된다고 짚는다.

주요 인사이트

• 연구 방식이 겉으로 똑같아 보여도 동기가 다르면 판단 기준이 갈린다. 디버깅에서는 해결책을 시도하는 것 자체가 목적이지만, 기초과학에서 해결책 시도는 내 이해가 맞는지 확인하는 검증 수단일 뿐이다.
• 발표자는 기계적 해석가능성의 정의를 두고 벌이는 논쟁이 대체로 소모적이라고 본다. 그는 모델 내부를 이용해 내부에서 무슨 계산이 일어나는지 통찰을 얻는 모든 작업을 폭넓게 포함시키고, 중요한 것은 그 방법이 모델에 대한 참된 통찰을 주느냐뿐이라고 말한다.
• 증거의 형식에 대한 조언이 구체적이다. 사례를 정성적으로 분석해 관찰을 뽑고 그것을 지표로 만든 뒤 큰 규모에서 다시 확인하되, 결과를 제시할 때는 무작위로 고른 예시를 반드시 포함해 유리한 사례만 골랐다는 의심을 없애라는 것이다.
• 안전 연구가 성능 향상으로 이어지는 문제에 대해 발표자는 온라인 논평가들보다 훨씬 느슨한 입장을 취한다. 더 안전한 시스템은 더 조종하기 쉽고 상업적으로도 유용하므로, 안전 연구를 제대로 하면 성능이 함께 올라가는 일은 피하기 어렵다는 것이다.
• 질의응답에서는 짧은 시간표를 말하면서도 기초과학적 접근을 택하는 연구소의 태도가 모순처럼 보인다는 지적이 나왔고, 강력한 AI가 등장한 뒤 그 AI가 쓸 도구를 미리 갖춰 두는 전략이라면 앞뒤가 맞는다는 반론이 이어졌다.

자주 묻는 질문

관련 AI 소식