LLM 로봇 연구 체계적 리뷰 — 904편 중 사람으로 검증한 건 86편, 감지·상호작용·정렬 3축 정리

핵심 메시지

• 언어 모델을 쓴 로봇 연구는 넘쳐나지만, 검색된 904편 가운데 실제 사람과 마주 보게 하고 검증한 연구는 86편뿐이었다. 홍콩과기대 광저우 캠퍼스 연구진이 그 86편을 전부 읽고 이 분야를 처음으로 체계적으로 정리했다.
• 핵심은 로봇 연구의 질문 자체가 바뀌었다는 점이다. '거기 무엇이 있는가'에서 '거기 누가 있고 왜 그러는가'로 옮겨갔다.
• 논문은 언어 모델이 로봇을 바꾸는 방식을 감지·상호작용·정렬 세 축으로 재정리한다. 전통적인 감지-계획-실행의 일방향 순서가 아니라, 정렬 결과가 다시 감지로 되먹임되는 순환 구조다.
• 설계의 쏠림이 뚜렷하다. 음성을 쓰는 연구가 71편인 반면 촉각은 9편에 그쳤고, 사람을 닮은 휴머노이드가 39편인 데 비해 동물형 로봇은 단 2편이었다.
• 가장 큰 공백은 '어디서 연구했는가'다. 설문 70편과 실험실 실험 58편이 대부분이고 실제 현장에 배치한 연구는 17편뿐이라, 통제된 환경 밖의 증거가 부족하다.

쉽게 이해하기

로봇에 거대 언어 모델을 넣었다는 연구는 이미 셀 수 없이 많다. 그런데 그 로봇을 진짜 사람 앞에 세워 어떻게 받아들여지는지 확인한 연구는 얼마나 될까. 홍콩과기대 광저우 캠퍼스 연구진이 던진 이 질문의 답은 인상적일 만큼 적었다. 검색으로 걸러낸 904편 가운데 최종적으로 86편이 남았다.

선별 과정 자체가 이 분야의 현실을 보여준다. 시작부터 난관이 있었는데, 구글 스칼라에서 LLM을 검색하자 법학 석사 학위를 뜻하는 엉뚱한 논문이 쏟아진 것이다. 결국 검증된 학술 데이터베이스로 옮겨 검색어를 다듬었다. 이후 중복과 오래된 논문을 걷어내고 제목과 초록으로 397편까지 좁힌 뒤 전문을 모두 읽었다. 탈락 사유 중에는 로봇의 몸체가 없다는 이유가 80편, 실제 사용자 평가가 없다는 이유가 81편이었다. 이 리뷰는 물리적 몸체를 갖거나 가상 현실 안에 물리적으로 존재하는 개체만 로봇으로 인정했고, 몸이 없는 챗봇은 아무리 똑똑해도 의도적으로 제외했다.

86편을 분석한 끝에 연구진은 하나의 큰 틀을 찾아낸다. 전통적인 로봇이 감지하고 계획하고 실행하는 순서로 움직였다면, 언어 모델 시대의 로봇은 이를 감지·상호작용·정렬이라는 세 축으로 다시 짠다. 상황과 사람을 읽는 감지, 스스로 반응과 행동을 만드는 상호작용, 어긋난 것을 사람의 뜻에 맞게 바로잡는 정렬이다. 이 셋은 한 번으로 끝나지 않고 정렬의 결과가 다시 감지로 되돌아가며 계속 순환한다.

감지 단계에서 일어난 변화가 가장 근본적이다. 예전 로봇이 '거기 무엇이 있는가'를 판별했다면 이제는 '거기 누가 있고 왜 그러는가'를 읽는다. 감정이나 의도처럼 눈에 보이지 않는 상태까지 대상이 된다. 물리 세계를 읽는 방식도 사람이 상황을 글로 적어 넣던 단계에서 센서 값을 문장으로 바꿔 넣는 단계를 거쳐, 최근에는 시각 언어 모델이 장면을 직접 해석하는 쪽으로 옮겨가고 있다. 사람을 읽는 축에서는 감정을 근거 있게 해석하는 연구가 18편, 말 뒤의 진짜 의도를 파악하는 연구가 39편으로 집계됐다.

세 번째 축인 정렬은 이 논문이 새롭게 힘주어 말하는 부분이다. 언어 모델은 환각을 일으키거나 시간이 지나며 사람의 뜻에서 조금씩 어긋나기 때문에, 사람을 루프 안에 두고 이 어긋남을 계속 바로잡아야 한다는 것이다. 어긋남을 바로잡는 복구는 잘못한 행동을 고치는 행동 복구, 관계가 상했을 때의 감정 복구, 해서는 안 될 일을 걸러내는 윤리 복구로 층이 나뉜다. 정렬이 오래 유지되려면 로봇이 사람을 기억해야 하는데, 사용자에 맞춰 지속적으로 개인화하는 연구가 15편, 지난 일을 기억으로 쌓는 연구가 22편이었다. 다만 단기 기억을 안정된 인격으로 이어가는 일은 여전히 어려운 숙제로 남았다.

주요 인사이트

• 로봇이 먼저 나서는 능력이 빠르게 늘고 있다. 스스로 대화를 시작하는 연구가 24편, 필요를 미리 알아채 돕는 연구가 16편이다. 그런데 논문은 여기에 곧바로 단서를 단다. 로봇이 지나치게 나서면 사람이 오히려 부담을 느낀다는 것이다. 능동성은 그 자체로 미덕이 아니라 조절해야 할 변수라는 뜻이다.
• 자율성의 무게중심이 짧은 기간에 크게 이동했다. 완전 자율이 46편인 반면, 사람이 일일이 조종하는 순수 원격 조작은 단 3편으로 거의 사라졌다. 로봇을 조종하는 시대에서 로봇에게 맡기고 어긋나면 바로잡는 시대로 넘어간 셈이다.
• 평가 기준도 함께 바뀌었다. 얼마나 빠르고 정확한지 같은 객관 지표는 여전히 중요하지만, 사람이 느낀 관계의 질을 보는 연구가 65편에 이르러 주관적 경험이 더 크게 다뤄지고 있다. 기술이 되느냐보다 사람이 그것을 어떻게 받아들이느냐가 성적표의 중심으로 옮겨온 것이다.
• 남은 숙제 11가지 중 세 가지가 특히 무겁다. 로봇의 이해가 지연되고 예측하기 어렵다는 신뢰성 문제, 진짜로 이해한 것이 아니라 이해하는 척하는 '이해의 환상', 그리고 습관과 관계까지 추론해내는 '의미론적 감시'라는 새로운 프라이버시 위협이다. 마지막 항목은 로봇이 똑똑해질수록 커지는 종류의 위험이라 특히 눈여겨볼 만하다.
• 논문이 끝에 던지는 질문은 기술 밖에 있다. 어떤 사람은 사람 대신 로봇 동반자를 오히려 더 선호할 수 있는데, 그 이유가 바로 인간관계의 예측 불가능함과 감정적 복잡함을 피하게 해 주기 때문이라는 것이다. 편안함이 곧 좋은 결과인지는 별개의 문제로 남는다.

자주 묻는 질문

관련 AI 소식