로봇 파운데이션 모델 해석가능성과 안전: 뉴런 군집을 조작해 로봇 행동을 제어하는 연구

핵심 메시지

• 로봇 파운데이션 모델을 대상으로 한 첫 해석가능성 연구가 지난해 나왔고, 이후 1년 사이 약 30편의 후속 연구가 이어졌다.
• 연구진은 모델 내부 신경망 층을 토큰 사전 위에 투영해, 빠름·느림·조심스러움 같은 개념별로 뉴런을 묶어냈다.
• 추론 과정에서 특정 뉴런 군집을 과활성화하면 같은 자연어 명령에도 로봇이 훨씬 크거나 작은 동작으로 과제를 수행했다.
• 생각만 하는 시스템과 달리 실제로 움직이는 시스템은 실패가 곧바로 물리적 결과로 이어지기 때문에 위험의 표면이 한 겹 더 늘어난다는 것이 발표자의 문제의식이다.
• AI 안전 연구자와 로봇 학습 연구자를 한자리에 모으려는 워크숍이 11월에 열리며, 논문 접수는 8월 12일부터 시작된다.

쉽게 이해하기

와이컴비네이터가 스타트업 스쿨에서 연 머신러닝 행사에서, 물리 AI 안전 연구소를 세운 베어 헤이언이 버클리에서 진행한 로봇 안전 연구를 소개했다. 그는 지난해 발표한 논문이 로봇 파운데이션 모델을 대상으로 한 첫 해석가능성 연구였다고 밝혔다. 그 자체가 놀라운 일이라는 진행자의 반응에 그는 동의하면서, 이후 약 30편의 후속 연구가 나오며 훨씬 정교한 접근으로 발전했다고 덧붙였다.

연구의 출발점은 분명한 질문이었다. AI 안전 분야는 10여 년간 해석가능성과 정렬, 통제 기법을 쌓아왔지만 그 대상은 생각하고 기껏해야 디지털 세계에서 행동하는 시스템이었다. 그렇다면 생각과 물리적 행동을 함께 하는 시스템에도 같은 기법을 옮겨 구체적인 안전 성과를 낼 수 있는가 하는 것이다.

방법은 이렇다. 시각·언어·행동 모델은 사실상 미세조정된 시각언어모델이고, 그 안에는 트랜스포머 블록이, 다시 그 안에는 순전파 신경망이 들어 있다. 연구진은 이 신경망을 모델의 임베딩 층, 즉 모델이 이해하는 토큰 사전 위에 투영했다. 그러면 각 층이 어떤 토큰에 가장 강하게 반응하는지가 사전처럼 드러난다. 이 표현을 비슷한 개념끼리 묶으면 빠름, 느림, 조심스러움 같은 군집이 만들어진다.

여기서 한 걸음 더 나아가, 추론이 진행되는 도중에 특정 군집을 인위적으로 크게 활성화했다. 결과는 공개된 시연 페이지에서 확인할 수 있는데, 완전히 똑같은 자연어 명령을 주더라도 어떤 군집을 얼마나 키우느냐에 따라 로봇이 훨씬 큰 동작으로 움직이거나 훨씬 작고 절제된 동작으로 같은 과제를 수행한다. 언어가 물리적 행동으로 번역되는 과정을 들여다보는 동시에, 그 번역을 원하는 방향으로 밀어줄 수 있다는 뜻이다.

발표자는 이 작업을 안전 문제로 보는 이유를 설명했다. 세상의 모든 의미를 확률 분포로 다루는 범용 추론 모델이 현실에서 작동하기 시작하면 기존 위험이 증폭될 뿐 아니라 새로운 위험 표면이 생긴다는 것이다. 단순히 시킨 일을 제대로 할 것인가라는 질문부터, 긴 호흡의 과제가 도중에 어긋날 가능성, 나아가 언어 모델은 위험한 물질의 제조법을 아는 데 그치지만 사람 형태의 로봇에 올라탄 모델은 부품을 사러 직접 걸어 나가 만들어 특정 장소에 둘 수도 있다는 시나리오까지 폭이 넓다. 그는 이런 문제에 기술적 해법을 연구하는 사람을 늘리는 것이 연구소의 목표라고 말했다.

주요 인사이트

• 언어 모델에서 다듬어진 해석가능성 기법이 로봇으로 옮겨오는 통로가 열렸다는 점이 이 연구의 핵심이다. 내부 표현을 개념 단위로 읽어내는 순간, 읽는 데서 멈추지 않고 조종하는 것까지 이어진다.
• 같은 명령에 다른 행동이 나온다는 사실은 양날의 검이다. 안전 쪽으로 밀 수 있다는 뜻이면서, 동시에 누군가 반대 방향으로도 밀 수 있다는 뜻이기 때문이다.
• 디지털 실패와 물리적 실패의 차이가 이 분야를 별도 영역으로 만든다. 잘못된 출력은 되돌릴 수 있지만 잘못된 움직임은 그 자리에서 결과를 남긴다.
• 첫 해석가능성 논문이 불과 1년 전이라는 사실은 로봇 안전 연구가 얼마나 초기 단계인지 보여준다. 그만큼 후속 연구가 빠르게 붙는 여지도 크다.
• 워크숍이 던지는 세 질문은 이 분야의 지형도를 그대로 보여준다. AI 안전에서 무엇을 가져올지, 기구학·동역학·제어 같은 고전 로봇공학에서 무엇을 가져올지, 그리고 그 둘과 달리 로봇 파운데이션 모델은 어떻게 평가해야 하는지다.

자주 묻는 질문

관련 AI 소식