SenseNova-U1 정리: 비전 인코더도 VAE도 없이 이해와 생성을 합친 통합 멀티모달 모델

핵심 메시지

• 지금까지 멀티모달 AI는 이미지를 이해하는 모델과 이미지를 만드는 모델을 사실상 다른 시스템으로 두고 결과만 이어 붙여 왔다.
• SenseNova-U1의 NEO-unify 구조는 사전 학습된 비전 인코더와 VAE를 모두 걷어내고 원본 픽셀과 텍스트에서 곧바로 학습한다.
• 하나의 트랜스포머 안에 이해용 파라미터와 생성용 파라미터를 분리해 두되, 매 층에서 서로 정보를 주고받게 설계했다.
• 통합 모델인데도 이해 성능을 희생하지 않았고, 이미지 안에 긴 문장을 정확히 써넣는 능력에서 특히 강점을 보였다.
• 다만 초거대 상용 모델과의 전면 비교는 아직 제한적이고, 로봇 행동·세계 예측 같은 확장은 초기 단계의 가능성 수준이다.

쉽게 이해하기

이미지를 “보는” 일과 “그리는” 일은 오랫동안 서로 다른 문제로 취급돼 왔다. 이해할 때는 비전 인코더를, 생성할 때는 VAE라는 별도의 압축기를 쓰다 보니 부품도 다르고 내부에서 쓰는 표현 공간도 어긋나 있었다. 두 시스템을 억지로 이어 붙이는 방식이 많았지만, 그렇게 연결한 모델은 이해와 생성이 서로의 능력을 나눠 갖지 못한다.

센스타임이 공개한 SenseNova-U1은 이 둘을 애초에 하나의 과정으로 본다. 핵심 구조인 NEO-unify는 중간 변환기를 아예 없애고 원본 픽셀과 단어에서 직접 학습해, 상황에 맞는 표현 공간을 스스로 만들어 낸다. 사람으로 치면 글을 읽는 뇌와 그림을 그리는 뇌가 따로 있는 것이 아니라, 같은 머릿속 이미지를 두고 읽기도 하고 그리기도 하는 셈이다.

첫 번째 축은 정보를 거의 잃지 않는 시각 인터페이스다. 기존 VAE 방식은 이미지를 압축된 요약으로 바꾸면서 세밀한 정보를 조금씩 흘리지만, 이 인터페이스는 두 층짜리 얇은 합성곱으로 이미지를 훑어 32×32 패치로 정리하는 가벼운 방식으로 픽셀 정보를 거의 그대로 담는다. 두 번째 축은 하나의 트랜스포머 안에 이해 담당과 생성 담당을 함께 두는 구성이다. 텍스트는 앞 단어만 보고 다음을 예측하는 인과 방식으로, 이미지는 사방을 한꺼번에 보는 양방향 방식으로 처리해 정보의 성질에 맞는 규칙을 각각 부여했다.

학습도 두 목표를 동시에 잡는다. 하나는 다음 단어 예측 손실로 이해와 설명 능력을 키우고, 다른 하나는 픽셀 공간에서의 플로우 매칭으로 노이즈에서 이미지로 가는 방향과 속도를 직접 배운다. 압축된 중간 단계를 거치지 않기 때문에 디테일이 살아 있고, 이해와 생성이 같은 자리에서 정보를 온전히 나눈다.

모델은 두 가지 크기로 만들어졌다. 하나는 80억 규모의 조밀한 모델이고, 다른 하나는 전체 300억 규모지만 이해 전문가 128명과 생성 전문가 32명 가운데 질문마다 필요한 일부만 켜서 실제로는 약 30억 규모만 동작하는 전문가 혼합 모델이다.

주요 인사이트

• 통합 모델의 오랜 걱정거리는 “생성 능력을 얻으려다 이해 성능을 잃는 것”이었다. SenseNova-U1은 종합 지식 추론 시험(MMMU)에서 80억 모델이 74.78점, 대형 모델이 80.5점을 받아 이해 전용 최상위 모델과 어깨를 나란히 했다.
• 보는 능력 자체도 최상위권이다. 일반 시각 인식 시험(MMBench)에서 90점을 넘겼고, 이미지 속 글자를 읽는 시험(OCRBench)에서는 대형 모델이 91.9점을 기록했다. 공간 이해 시험(VSI-Bench)에서는 80억 모델이 62.66점으로 오히려 대형 모델을 앞섰다.
• 지시대로 그리는 능력을 보는 GenEval에서 두 모델 모두 0.91점을 받아 비교 대상인 Qwen-Image의 0.87점을 앞섰고, 복잡한 지시 이행을 보는 DPG-Bench는 88점대, TIF는 89점대를 기록했다.
• 가장 눈에 띄는 지점은 이미지 안의 글자다. 긴 문장 렌더링 시험(LongText-Bench)에서 영어 0.979, 중국어 0.962를 기록해, 그림은 그럴듯한데 글자가 깨지던 문제를 정면으로 다뤘다. 포스터·발표 슬라이드·안내문처럼 글자가 중요한 결과물을 한 번에 만들 수 있다는 뜻이다.
• 구조가 이해와 생성을 한 몸에 두다 보니 로봇 행동이나 세계 예측 같은 “보고 행동하는” 영역으로 확장할 여지도 생긴다. 다만 이는 초기 실험에서 확인된 가능성일 뿐, 완성된 능력으로 보기는 이르다.

자주 묻는 질문

관련 AI 소식