멀티모달 AI의 한계와 현장 배치 문제: 마이크로소프트 리서치 학술 서밋 패널 정리

핵심 메시지

• 로보틱스에서는 모든 것을 하나의 종단간 모델로 푸는 대신, 언어·비전 모델로 목표를 이해하고 실제 제어는 고전적 최적 제어에 맡기는 결합 방식이 실용적이라는 발표가 나왔다.
• 의료 AI에서 성공 사례가 드문 이유로 모델 개발 단계에서 현장 배치를 고려하지 않는다는 점이 지적됐고, 발표자들은 AI가 환자를 직접 상대하지 않고 의료진을 보조하는 구조를 택했다.
• 교육용 긴 영상 질의응답 실험에서 최상위 모델조차 사실 회상 정확도가 약 50%에 그쳤고, 오픈 웨이트 모델은 더 낮았다.
• 멀티모달 모델은 언어로 설명 가능한 과제에서는 잘하지만, 직관적이고 무의식적인 과제에서는 무너진다는 관찰이 공유됐다.
• 지난 2~3년간 개념 증명은 크게 앞섰지만 배치 효율과 비용, 확장성은 오히려 뒤처져 그 간극이 벌어졌다는 진단이 나왔다.

쉽게 이해하기

이 영상은 마이크로소프트 리서치 인도가 연 학술 서밋의 '멀티모달·체화 지능' 세션으로, 인도 주요 대학 연구자 세 명의 발표와 이어지는 패널 토론을 담고 있다. 사회자는 멀티모달이 파운데이션 모델의 새로운 프런티어로 떠오르고 있으며, 특히 피지컬 AI 논의가 나오면서 그 흐름이 뚜렷해졌다고 세션을 연다.

첫 발표는 로보틱스다. 발표자는 지도 작성과 위치 추정, 경로 계획을 나눠 푸는 고전적 방식과 입력을 넣으면 제어 신호가 나오는 종단간 방식을 대비한다. 고전 방식은 해석 가능하고 매번 실제로 문제를 풀지만 모듈 사이 오차가 전파되고, 종단간 방식은 순전파 한 번으로 끝나 학습 데이터 분포에 갇히며 충돌 회피 같은 강한 제약을 다루기 어렵다는 것이다. 그래서 그의 연구실은 둘을 섞는다. 스마트 휠체어에서는 언어 명령을 파운데이션 모델이 해석해 목표 지점을 찾고, 실제 주행은 고전적 모델 예측 제어가 맡는다. 자율주행차에서도 "축구장으로 데려가 줘" 같은 학습되지 않은 질의를 개념 수준에서 이해해 지도상 위치로 옮긴다.

두 번째 발표는 인도 과학원의 의료 AI 거점 사업이다. 발표자는 대규모 언어 모델이나 금융 분야와 달리 의료에서는 큰 성공 사례가 드물다는 연구를 인용하며, 원인 중 하나로 모델 개발 시점에 배치를 고려하지 않는 관행을 꼽는다. 이들이 겨냥하는 지점은 사람들이 의료 체계에 처음 들어오는 단계다. 가장 많은 인원이 몰리고 자원 제약이 가장 큰 지점이기 때문이다. 구강암 사례에서는 3만 명, 30만 장 규모 데이터로 학습한 모델이 스마트폰에서 30초 만에 클라우드 없이 판정하며, 인허가 절차를 밟고 있다. 다만 모든 도구는 환자가 아니라 보건 인력과 의사를 향한다는 점을 분명히 했다.

세 번째 발표는 멀티모달 추론의 한계를 파고든다. 강의 영상 질의응답 연구에서 학생이 원하는 형태의 답을 만드는 일도 어려웠지만, 더 근본적인 문제는 사실 회상 정확도였다. 화면과 음성이 어긋날 때의 우선순위, 앞부분을 다시 언급하는 시간적 참조 같은 항목까지 포함해 최상위 모델조차 절반 수준에 머물렀다. 추론을 오래 연구해 온 발표자는 지각이 안 되면 추론을 논하는 것이 무의미하다고 말하며, 논리 퍼즐처럼 추론 규격이 명확한 문제로 옮겨 가 지각과 추론을 분리해 진단하는 방식을 택했다. 실제로 실패의 상당수는 초기 상태와 목표 상태를 잘못 읽는 지각 오류였다.

패널 토론에서는 배치와 비용 문제가 반복해서 등장했다. 한 패널은 지난 2~3년의 매력이 개념 증명에 있었지만 그 이야기 속에 비용이 가려져 있었고, 이제는 큰 기업들도 토큰 사용을 조이기 시작했다고 짚었다. 또 다른 패널은 자신이 참여한 프로젝트에서 저가 스마트폰으로 신생아 체중을 재는 모델을 예로 들며, 중요한 것은 파운데이션 모델 여부가 아니라 측정값이 6주 뒤가 아니라 즉시 담당자에게 전달된다는 점이라고 말했다.

주요 인사이트

• 멀티모달 모델의 구조적 한계로 "텍스트 언어 모델을 고정해 두고 모달리티마다 인코더를 붙이는" 설계가 지목됐다. 아키텍처가 원래 텍스트를 위해 만들어졌고 다른 모달리티가 거기에 맞춰 온 결과라, 지각 문제를 제대로 풀려면 더 근본적인 재설계가 필요하다는 것이다.
• 한 패널은 우리가 두 세계에 살고 있다고 표현했다. 오늘날 AGI 논의의 대부분은 웹과 디지털 공간에 관한 것이며, 방을 걸어 나와 물리 공간을 이동하는 순간 우리를 돕는 AI는 사실상 없다는 지적이다.
• 생성 모델의 발전이 학계 연구를 어렵게 만든다는 솔직한 토로도 나왔다. 특정 과제에 맞춰 큰 모델을 손보고 나면 3주 뒤 새 버전이 그 문제를 기본으로 해결해 버린다는 것인데, 그럼에도 작은 모델이 같은 일을 해낸다면 그 자체로 가치가 있다고 정리했다.
• 모델이 "모르겠다"고 말하게 만드는 연구가 소개됐다. 여러 온도에서 모델을 샘플링해 그래프 기반 지표로 불확실성을 재고, 판단을 유보해야 할 입력을 가려내는 방식이다. 의료 현장에서 의사가 근거가 더 필요하다고 말하는 것과 같은 역할을 모델에 부여하려는 시도다.
• 청중에서 나온 질문도 날카로웠다. 실제 의료에서는 언어치료사가 영상의학 판독을 하지 않는데 왜 하나의 모델로 모든 것을 하려 하느냐는 물음에, 패널은 데이터가 부족한 과제가 데이터가 풍부한 과제에서 배우게 하려는 것이지만 영역을 지나치게 넓히면 모델이 매우 취약해진다고 답했다.

자주 묻는 질문

관련 AI 소식