서울대 VIP 연구실 2026 연구 소개: 생성 모델링과 추천 시스템 13개 과제 정리

핵심 메시지

• 이번 영상은 서울대 VIP 연구실의 2026년 연구 소개 두 번째 편으로, 생성 모델링 팀과 추천 시스템 팀의 발표 13건을 담았다.
• 생성 모델링 팀의 관심사는 품질보다 경로에 쏠려 있다. 확산 과정의 궤적을 곧게 펴거나, 초기 노이즈를 다시 배치하거나, 미세조정에 필요한 시뮬레이션 횟수를 줄이는 식으로 같은 결과를 더 적은 계산으로 얻으려는 연구가 다수였다.
• 한 연구는 모든 이미지의 크기를 데이터 평균으로 고정해도 의미가 거의 달라지지 않는다는 관찰에서 출발해, 이미지를 구면 위에 올려놓고 생성 궤적을 정의하는 방식을 제안했다.
• 추천 시스템 팀은 관측된 사용자 행동을 그대로 선호로 읽지 않는 쪽으로 문제를 옮기고 있다. 짧은 영상 피드에서 세션이 길어지며 쌓이는 피로도를 선호와 분리해 학습하려는 연구가 대표적이다.
• 여러 발표가 공통적으로 추론 비용을 줄이는 데 초점을 맞췄다. 결정 구조 생성에서는 두 스텝만으로도 안정적인 샘플링을 보였고, 추천에서는 반복 디노이징을 한 번의 전이로 압축하는 시도가 진행 중이다.

쉽게 이해하기

서울대학교 VIP 연구실이 2026년 연구 소개 영상의 두 번째 편을 공개했다. 첫 편이 인식과 3D, 멀티모달 언어모델 팀을 다뤘다면 이번 편은 생성 모델링 팀과 추천 시스템 팀의 차례다. 학위 과정 학생들이 직접 자기 연구를 짧게 발표하는 형식이고, 이미 국제 학회에 게재가 확정된 논문부터 아직 심사 중이거나 이제 문제를 정의하는 단계의 아이디어까지 진행 단계가 뒤섞여 있다. 연구실이 지금 무엇을 궁금해하는지가 그대로 드러난다는 점이 이 영상의 가치다.

생성 모델링 팀의 발표에서 가장 눈에 띄는 공통점은 생성 품질 자체보다 생성에 이르는 경로를 다룬다는 점이다. 한 발표는 플로우 매칭이 목표 분포의 기하 구조를 몰라 유클리드 공간을 가정할 수밖에 없다는 한계에서 출발했다. 단백질 접힘이나 분자 동역학에서는 이미 기하 구조를 활용하는데 이미지에서는 그럴 수 없었다는 것이다. 발표자는 모든 이미지의 크기를 데이터 평균값으로 통일해도 RGB 공간과 잠재 공간 모두에서 의미 차이가 거의 없다는 실험 결과를 근거로, 이미지를 초구면 위에 투영해 그 위에서 궤적을 정의하는 방법을 제안했다.

궤적을 다루는 문제의식은 다른 발표로 이어진다. 슈뢰딩거 브리지 관점에서 확산 모델을 다시 읽은 연구는, 확산 모델이 노이즈를 대량으로 주입해 시작 분포와 목표 분포를 독립으로 만들기 때문에 학습 신호의 분산이 커지고 궤적이 굽는다고 지적했다. 노이즈를 덜 주입하는 동역학으로 옮겨 문제를 두 단계로 나눠 풀자 궤적의 분산이 줄고 거의 직선에 가까워졌으며, 한 번의 스텝으로 증류하는 것도 잘 작동했다고 보고했다. 초기 노이즈를 다루는 연구도 비슷한 결이다. 고차원 랜덤 노이즈는 큰 수의 법칙에 따라 값의 분포가 서로 비슷하니 차이는 값이 아니라 값의 배치 패턴에서 온다는 가설을 세우고, 값은 그대로 둔 채 위치만 재배치해 원하는 이미지를 얻는 방법을 실험했다.

응용에 가까운 연구도 여럿이었다. 여러 대상을 동시에 개인화할 때 정체성이 섞이거나 사라지는 문제를 교사·학생 미세조정으로 풀어 국제 학회에 게재된 연구, 마스크 안의 물체를 제거해도 주변 맥락 때문에 비슷한 물체가 다시 그려지는 문제를 테스트 시점의 부정 조건으로 억제하는 연구, 참조 영상의 움직임만 가져오고 외형까지 따라가는 누수를 확률적 최적 제어로 막는 연구가 이어졌다. 도메인을 옮긴 연구도 있다. 결정 구조 생성 연구는 생성된 구조가 에너지적으로 불안정하고 학습 범위를 벗어나면 무너지는 문제를 최적 수송으로 접근해, 분포 밖 조건에서 기존 모델보다 훨씬 안정적인 결과를 얻었다고 밝혔다. 뇌 MRI 생성 연구는 사람마다 해부 구조가 비슷해 잠재 공간이 필요 이상으로 커지고 채널이 중복된다는 점을 짚어, 네 개 채널 중 세 개만 실제로 쓰이던 상황을 상관 제거 손실로 개선했다.

추천 시스템 팀의 발표는 관측된 행동을 곧이곧대로 선호로 해석하지 않으려는 시도로 요약된다. 부호가 있는 그래프에서 인접한 노드가 비슷하다는 가정 자체를 확률 모형으로 대체한 연구는 메모리 한계를 넘어서면서 수렴 속도를 크게 끌어올렸다. 속성 정보가 없을 때 아이템 동시 등장 행렬을 속성 유사도의 대체물로 쓰는 기존 방식은 관측 빈도가 적을수록 추정이 불안정한데, 한 연구는 빈도에 따라 임계값을 다르게 적용하고 잡음 성분을 줄이는 전처리로 오차 상한 자체를 낮췄다. 짧은 영상 추천 연구는 피드를 계속 넘기다 검색이나 프로필로 이동하는 행동을 세션이 끊기는 신호로 보고, 그 직전의 짧은 시청과 연속 스킵을 부정적 선호가 아니라 누적된 피로의 결과로 읽어야 한다는 가설을 제시했다.

주요 인사이트

• 이 연구실의 생성 모델링 연구를 관통하는 질문은 같은 결과를 더 짧은 경로로 얻을 수 있느냐다. 궤적을 직선에 가깝게 만들거나 초기 조건을 잘 고르면 필요한 스텝 수가 줄고, 그것이 곧 서비스 비용의 절감으로 이어진다.
• 여러 발표가 미세조정 방식으로 보상 함수를 택했다. 아름다움이나 대칭성처럼 텍스트로 설명하기 어려운 요구는 데이터셋을 새로 구축하는 대신 잘 정의된 보상 함수로 다루는 편이 낫다는 판단이다. 다만 기존 기법은 시뮬레이션 비용이 커서, 한 연구는 조건을 다듬어 같은 성능에 네 배 빨리 도달했다고 보고했다.
• 물체 제거 연구는 인페인팅 모델이 왜 실패하는지를 잘 보여준다. 모델은 마스크 밖의 맥락을 참고해 장면의 일관성을 맞추려 하기 때문에, 주변에 같은 종류의 물체가 있으면 마스크 안에도 있어야 한다고 판단한다. 무엇을 그리면 안 되는지를 명시적으로 알려주는 접근은 이 암묵적 사전 지식을 정면으로 겨냥한다.
• 의료 영상 생성에서는 압축률 자체가 딜레마다. 과하게 압축하면 진단에 중요한 미세 구조가 사라지고, 보수적으로 압축하면 잠재 공간이 데이터가 필요로 하는 것보다 커져 채널이 중복된다. 채널 사이 상관을 벌려주는 것만으로 재구성과 생성 지표가 함께 개선됐다는 결과가 흥미롭다.
• 짧은 영상 추천에서 시청 시간은 이미 여러 겹의 편향이 섞인 신호다. 영상이 길수록 시청 시간이 길어지는 편향은 기존 연구가 다뤘지만, 세션이 길어질수록 반응이 둔해지는 피로도는 아직 분리되지 않았다는 것이 이 연구의 출발점이다.

자주 묻는 질문

관련 AI 소식