자율주행 3D 점유 예측에 CLIP 결합하기: 오픈 보캐뷸러리 인식 실험 세 가지 전략 비교

핵심 메시지

• 3D 점유 예측은 공간을 격자로 쪼개 각 칸이 비었는지 무엇에 차 있는지를 맞히는 방식으로, 불규칙한 장애물 표현에 유리하다.
• 기존 모델은 미리 학습한 10~20개 클래스만 인식해, 공사 자재나 특수 차량 같은 예외를 놓치면 사고로 이어질 수 있다.
• 실험은 2D 특징을 3D로 끌어올리는 과정의 어느 지점에서 언어 정렬을 걸어야 하는지를 세 가지 전략으로 비교했다.
• 언어 정보를 주입해도 기존 폐쇄형 점유 예측 성능은 떨어지지 않았고, 명시적 정렬 방식은 오히려 소폭 개선됐다.
• 다만 어느 전략도 절대 점수를 끌어올리지는 못했고, 기존 클래스 안정성과 새 객체 개방성 사이의 맞바꿈만 이동시켰다.

쉽게 이해하기

자율주행 인식은 오랫동안 물체를 직육면체 상자로 감싸는 방식에 기대 왔지만, 이 표현은 형태가 불규칙한 장애물을 담아내기 어렵다. 대안으로 등장한 3D 점유 예측은 주변 공간 전체를 정육면체 격자로 쪼갠 뒤 각 칸이 비어 있는지, 아니면 특정 객체가 차지하고 있는지를 예측한다. 현실의 기하학적 형상을 부피 단위로 재구성하는 조밀한 3차원 표현인 셈이다.

문제는 어휘다. 기존 3D 점유 모델은 사전에 학습한 10~20개 클래스만 구분할 수 있는데, 실제 도로에는 공사 자재나 특수 차량처럼 학습 데이터에 없던 것들이 수시로 등장한다. 이런 객체를 아예 인식하지 못하거나 다른 것으로 오인하면 치명적인 사고로 이어질 수 있다. 그래서 이미지와 텍스트를 같은 공간에 놓는 CLIP 같은 모델을 3D 인식에 끌어오려는 연구가 이어져 왔다.

다만 기존 접근에는 한계가 뚜렷했다. 2D 분할 결과를 3D로 증류하는 방식은 부정확한 2D 경계가 그대로 3D 학습 신호의 잡음으로 전달되고, 3D 표현을 다시 2D 뷰로 렌더링해 맞추는 방식은 계산 비용이 크다. 발표팀은 그래서 질문을 다르게 던졌다. 2D 특징이 3D 표현으로 올라가는 리프팅 과정의 어느 지점에서 언어 정렬을 적용해야, 기존 성능을 지키면서 새 어휘 인식 가능성을 높일 수 있는가 하는 물음이다.

기준 모델로는 카메라 영상만 사용하는 비전 중심 구조를 택했다. 이 모델은 3차원 공간을 격자 대신 위·앞·옆 세 개의 2D 평면으로 투영해 연산량을 크게 줄인다. 여러 대의 카메라 영상에서 2D 특징 맵을 뽑고, 이미지와 3D 공간을 잇는 교차 어텐션과 평면 사이 정보를 주고받는 어텐션을 거쳐 세 평면 표현을 만든 뒤, 위치별 특징을 합쳐 최종 점유 결과를 낸다. 팀은 이 경로 위 세 지점에 각각 언어 정렬을 걸어 비교했다.

결과는 절반의 성공이었다. 언어 정보를 주입해도 기존 폐쇄형 점유 성능은 훼손되지 않았고 일부 전략에서는 오히려 나아졌지만, 텍스트 질의로 클래스를 맞히는 절대 점수는 여전히 낮았다. 시각화에서도 물체가 어디에 있는지 같은 거시적 배치는 잘 잡아내는 반면, 각 칸이 무엇인지 세밀하게 가르는 데서는 라벨이 섞였다. 팀은 정렬 신호가 무거운 어텐션과 디코더를 통과하며 희석됐을 가능성, 패치 단위 감독이 객체 수준 의미를 담지 못한 점, 100개 장면만 사용해 생긴 편향을 원인으로 꼽으며, 3D 격자 단계에서 직접 텍스트 특징을 보존·보정하는 장치가 다음 과제라고 정리했다.

주요 인사이트

• 어디에 언어를 붙이느냐가 곧 성격을 결정한다. 가벼운 투영 헤드를 얹는 방식은 가장 개방적이었지만 기존 객체를 새 객체로 착각하는 비율이 40%를 넘었고, 특징 추출 단계에서 지식을 증류하는 방식은 오인율 2.7% 수준으로 가장 보수적이었다.
• 사전학습 백본을 CLIP 기반으로 바꾸는 가장 단순한 방법은 새 객체 인식에서는 높은 점수를 냈지만 전체 성능이 불안정했다. 백본 교체만으로 개방형 인식이 따라오지 않는다는 뜻이다.
• 학습 데이터를 늘리는 대신 고르는 전략도 실험의 일부였다. 700개 시퀀스 가운데 객체 다양성과 작은 물체 비중으로 점수를 매겨 상위 100개 장면만 골랐고, 보행자와 라바콘이 밀집한 공사장 장면이 가장 높은 점수를 받았다.
• 평가 어휘를 기존 16개에서 구급차·동물 등을 더해 25개로 넓힌 설계 자체가, 개방형 인식을 측정하려면 평가 환경부터 다시 짜야 한다는 점을 보여 준다.
• 언어 정렬이 기하학적 구조 학습과 충돌하지 않는다는 확인은 그 자체로 의미가 있다. 성능 저하 없이 의미 정보를 얹을 수 있다면, 남은 문제는 그 정보를 3D까지 온전히 전달하는 경로 설계다.

자주 묻는 질문

관련 AI 소식