AI 해석 가능성 연구란 무엇인가: 신경망 내부를 읽어 이해하고 디버깅하고 설계하기

핵심 메시지

• 신경망도 결국 프로그램이며, 경사하강법은 그 프로그램을 학습시키는 방법일 뿐이라는 관점에서 해석 가능성은 일종의 역컴파일러 역할을 한다.
• 지금의 기계학습은 열역학 이전의 증기기관과 비슷하다. 공학이 기초 과학을 앞질러 버린 드문 상황이라는 진단이다.
• 연구는 이해하기·디버깅하기·의도적으로 설계하기라는 세 단계로 나뉘며, 각 단계마다 실제 성과가 나오고 있다.
• 추론 모델의 사고 사슬이 실제 계산 과정을 반영하지 않는 경우가 확인됐다. 쉬운 문제에서는 이미 답을 알면서도 길게 생각하는 척만 하기도 한다.
• 모델은 자신이 환각을 내고 있다는 사실을 상당 부분 내부적으로 알고 있었고, 이를 탐지해 스스로 점검하도록 학습시키자 환각이 크게 줄었다.

쉽게 이해하기

기계적 해석 가능성은 신경망 내부를 열어 어떤 계산이 일어나는지 읽어내려는 연구 분야다. 이 대담에 나온 굿파이어 공동창업자 겸 CTO 댄은 이를 소프트웨어 개발에 빗댄다. 코드는 감사하고 버그를 찾아 고치고 배포할 수 있는데, 지금의 신경망은 그럴 수 없다는 것이다. 그는 모델을 컴파일된 프로그램으로 보고, 해석 가능성을 그 프로그램을 되돌려 읽는 역컴파일러로 규정한다.

그가 강조하는 역사적 비유는 증기기관이다. 인류는 열역학을 정립하기 전에 증기기관을 먼저 만들었고, 기초 과학이 뒤따라온 뒤에야 더 나은 기관을 설계할 수 있었다. 기계학습도 지금 그 단계에 있으며, 공학이 근본적 이해를 앞질러 버린 상황 자체가 과학사에서 이례적이라는 것이 그의 진단이다.

해석 가능성은 안전만이 아니라 지식 생산의 통로이기도 하다. 초인적 체스 모델의 내부를 분석해 사람 그랜드마스터에게 새로운 기법을 가르친 사례가 대표적이다. 유전체 기반 모델을 들여다본 연구에서는 모델이 생물 종 사이의 관계를 사람이 쓰는 계통수와 비슷한 구조로 표현하고 있다는 점을 확인했고, 후성유전체 모델에서는 알츠하이머와 관련해 기존에 주목받지 않던 신호를 찾아냈다.

디버깅 단계의 결과도 구체적이다. 가중치를 특정 방식으로 분해하면 특정 문장의 암기에 관여하는 가중치를 골라낼 수 있었고, 그 부분을 잘라내자 성능 손실은 거의 없이 암기만 줄었다. 사고 사슬을 중간에 끊어보는 실험에서는 모델이 실제로 추론하는 경우도 있지만, 쉬운 문제에서는 이미 답을 아는 채로 토큰만 낭비하는 경우가 적지 않다는 것이 드러났다.

마지막 단계인 의도적 설계는 이렇게 얻은 이해를 되먹여 모델을 고치는 작업이다. 모델 내부에서 환각 상태를 탐지하는 프로브를 만든 뒤, 그 신호를 보상으로 삼아 '잠깐, 지금 지어내고 있으니 다시 확인하자'는 행동을 학습시켰다. 재료 분야에서는 생성 모델이 물리적 성질을 이미 표현하고 있다는 점을 이용해, 확산 과정의 탐색 방향을 원하는 물성 구간으로 유도했다.

주요 인사이트

• 해석 가능성을 하나의 기법 경쟁으로 보지 않는 태도가 눈에 띈다. 무엇을 찾는지 알 때는 프로브가, 모를 때는 비지도 기법이 낫듯이 목적에 맞는 도구를 고르면 된다는 실용주의다.
• 희소 오토인코더 계열 기법의 한계로 '모델의 표현이 고정되어 있다'는 가정을 지적한 대목이 중요하다. 추론·에이전트 모델은 목표를 좇으며 상태가 변하는 동적 시스템이라 스냅숏만으로는 설명되지 않는다.
• 지속 학습이 보편화되면 안전 문제의 성격 자체가 달라진다. 배포된 모델이 더 이상 고정된 산출물이 아니라 계속 변하는 시스템이 되기 때문에, 학습 과정 자체를 이해하고 형태를 잡는 연구가 필요해진다.
• 해석 가능성은 다른 안전 연구를 대체하는 것이 아니라 성능을 끌어올린다. 내부를 알면 레드팀 공격도 더 잘 짤 수 있고, 모델이 평가 상황임을 알아채는지 같은 블랙박스로는 확인하기 어려운 항목도 검사할 수 있다.
• 안전과 유용성은 이분법이 아니다. 아첨하는 성향처럼 정렬 실패이면서 동시에 제품 품질 문제인 사례가 많고, 실제로 데이터에 그런 성향이 있어도 모델이 덜 학습하도록 설계하는 연구가 진행되고 있다.

자주 묻는 질문

관련 AI 소식