인컨텍스트 학습 해석가능성 – 모델 시스템 접근법으로 다중 예시 탈옥 전환점을 예측한 스탠퍼드 강의

핵심 메시지

• 언어 모델을 설명하는 방식은 계산·알고리즘·구현이라는 세 수준으로 나뉘며, 현재의 해석가능성 연구는 위아래 양 끝만 공략하고 가운데 알고리즘 수준이 비어 있다는 것이 강연의 출발점이다.
• 생물학이 초파리 같은 단순한 생물로 뇌를 연구하듯, 설명하려는 현상을 그대로 재현하는 작은 '모델 시스템'을 만들어 역설계한 뒤 그 결과를 큰 모델에 되돌려 검증하자는 제안이다.
• 그래프 위 무작위 걸음을 문맥으로 넣자 라마 3.1 8B의 중간층 표현에 그래프 구조가 그대로 떠올랐고, 그 시점에 다음 토큰 예측 정확도도 함께 급등했다.
• 밑바닥부터 학습시킨 2층 트랜스포머는 문맥 길이·학습 시간·데이터 다양성에 따라 네 가지 알고리즘 사이를 오갔고, 각 구간의 예측은 파이썬으로 적어 내려간 알고리즘과 KL 발산이 0일 만큼 정확히 일치했다.
• 단순성 선호와 손실 사이의 경쟁을 담은 세 매개변수 수식이 이 상전이를 재현했고, 같은 논리를 확장해 특정 모델이 몇 개의 예시 뒤에 유해한 요청에 응하기 시작하는지까지 미리 계산해냈다.

쉽게 이해하기

구드파이어의 에크딥 싱 루바나가 스탠퍼드 응용물리 강의에서 '무엇을 설명이라고 부를 수 있는가'라는 질문으로 강연을 열었다. 그는 데이비드 마르가 시각 연구에서 제시한 세 가지 분석 수준을 빌려온다. 시스템의 행동만 똑같이 재현하는 계산 수준, 어떤 변수들이 어떻게 맞물려 결과를 만드는지 적어내는 알고리즘 수준, 그리고 그 알고리즘이 뉴런에 어떻게 얹혀 있는지 파고드는 구현 수준이다.

이 틀에 현재 해석가능성 연구를 얹어보면 방향이 갈린다. 인과적 추상화는 먼저 가설을 세우고 그것이 신경망 어디에 구현돼 있는지 내려가는 하향식이고, 희소 오토인코더는 표현이 방향들의 합이라는 선형 표현 가설에서 출발해 계산 그래프로 올라가는 상향식이다. 강연자는 두 방향 모두 유용하지만 가설을 어디서 얻을지, 선형이라는 가정이 언제 깨지는지를 각각 남겨둔다고 지적한다. 실제로 그의 연구에서는 물체 회전에 따라 표현의 주성분 축이 함께 돌아가는 등 훨씬 복잡한 기하가 관찰됐다.

그가 제안하는 대안은 자연과학에서 오래 쓰인 모델 시스템이다. 인간의 뇌가 너무 복잡하면 길찾기 연구에 초파리를 쓰듯, 설명하려는 현상만 그대로 보여주는 작고 뜯어볼 수 있는 시스템을 만들어 어떤 변수가 중요한지 알아내고 그 예측을 큰 모델에 적용하는 방식이다. 사례로 고른 현상은 예시를 계속 넣다 보면 어느 순간 안전 학습을 뚫고 모델이 유해한 발화에 응하기 시작하는 다중 예시 탈옥이었다.

먼저 옥스퍼드에서 사람에게 시행했던 인지 지도 실험을 언어 모델로 옮겼다. 격자 그래프의 각 노드에 흔한 단어를 붙이고 무작위 걸음의 흔적을 문맥으로 넣자, 특정 길이를 넘기는 순간 라마 3.1 8B의 26번째 층 표현에서 격자 구조가 드러났고 다음 토큰 예측도 이웃 단어로 몰리기 시작했다. 관찰되지 않은 연결까지 구조에 포함돼 있었다는 점에서, 모델이 문맥 안에서 구조를 추론한 뒤 그 구조로 예측을 만든다는 해석이 붙는다.

다음 단계는 모델 자체를 줄이는 것이었다. 마르코프 연쇄 묶음으로 2층 트랜스포머를 처음부터 학습시키자 문맥 길이·학습 시간·데이터 다양성 축 위에 네 가지 알고리즘이 나뉘는 상 다이어그램이 나타났다. 여기서 강연자는 학습기가 제약 아래 최적으로 행동한다고 보는 인지과학의 합리적 분석을 끌어와, 학습 데이터를 외우는 예측기와 일반화하는 예측기 사이의 사후 확률 비를 스케일링 법칙과 단순성 선호로 근사했다. 그렇게 얻은 세 매개변수짜리 식이 실험의 상 경계와 거의 겹쳤고, 여기에 선형 표현 가설을 더하자 어떤 조종 강도에서 몇 토큰의 문맥이면 모델이 태도를 바꾸는지까지 예측할 수 있었다.

주요 인사이트

• 해석가능성 논쟁이 대개 '특징을 어떻게 읽어낼 것인가'에 머무는 데 비해, 이 강연은 설명의 층위를 먼저 구분하고 각 도구가 어느 층을 겨냥하는지 지도부터 그린다. 도구 선택의 문제가 아니라 빠진 층위의 문제라는 진단이다.
• 장난감 모델이 단순히 교육용 예시가 아니라 예측 장치로 쓰인다는 점이 핵심이다. 두 층짜리 트랜스포머에서 얻은 수식이 실제 대형 모델의 행동 전환 시점을 맞히면, 그 수식은 설명인 동시에 안전 정책의 근거가 된다.
• '문맥이 임계값을 넘으면 대화를 종료한다'는 식의 방어책은 탈옥 사례를 하나씩 막는 대응과 성격이 다르다. 언제 무너지는지를 미리 계산할 수 있다면 방어를 사후 대응이 아니라 설계 단계로 옮길 수 있다.
• 모델이 문맥만으로 표현 공간을 재배치한다는 관찰은, 고정된 특징 사전을 한 번 만들어 두고 계속 쓰는 해석 방식의 한계를 보여준다. 강연자의 표현대로 해석 도구 자체가 더 동적이어야 한다는 뜻이다.
• 복잡도 측정에 튜링 기계 대신 파이썬 코드의 압축 크기를 쓰는 식의 거친 근사가 실제로 통했다는 점은, 이론이 완전해지기를 기다리기보다 측정 가능한 대리 지표로 먼저 검증해보는 접근의 실용성을 보여준다.

자주 묻는 질문

관련 AI 소식