영상 생성 모델 파인튜닝 방법: WAN 2.1 14B를 이미지 150장과 LoRA로 학습시키기

핵심 메시지

• 영상은 결국 연속된 이미지이므로, 영상 생성 모델은 이미지 생성 모델과 구조 대부분을 공유하고 여기에 시간 축 이해만 더한 형태다.
• 영상 모델을 학습시키는 데 반드시 영상 데이터가 필요한 것은 아니다. 캡션이 붙은 이미지 150장만으로 화풍 전이 학습이 가능했다.
• LoRA 방식의 파라미터 효율적 학습 덕분에 140억 파라미터 모델을 VRAM 36GB 안에서 미세조정할 수 있었다.
• 학습 데이터의 캡션마다 동일한 트리거 문구를 붙여 두면, 나중에 그 문구를 프롬프트에 넣는 것만으로 학습한 화풍을 불러올 수 있다.
• 결과를 보려면 인내가 필요하다. 발표자는 10~20에폭을 돌리며 중간 결과를 확인하는 데 8~12시간을 썼다.

쉽게 이해하기

영상 생성 모델을 이해하는 출발점은 의외로 단순하다. 영상은 프레임이라 부르는 이미지가 순서대로 이어진 것이고, 따라서 영상을 만든다는 것은 서로 어긋나지 않는 이미지 여러 장을 연속으로 만들어 내는 일이다. 발표자는 이 일관성을 공간과 시간을 함께 이해하는 능력이라고 설명하며, 대규모 언어 모델을 떠받치는 트랜스포머 구조가 영상의 공간적 특징과 시간적 변화를 함께 인코딩하는 데도 효과적임이 확인됐다고 말한다.

또 하나 짚어야 할 점은 이런 생성기가 단일 모델이 아니라는 사실이다. 이미지 생성 모델인 스테이블 디퓨전 XL만 해도 텍스트 인코더 두 개, 실제 생성을 담당하는 유넷, 숫자를 다시 픽셀로 되돌리는 오토인코더 등 다섯 개의 모델이 맞물려 돌아간다. 이번에 다룬 오픈소스 영상 모델도 마찬가지로 영상 인코더, 언어 인코더, 확산 모델, 디코더가 한 묶음으로 움직이며, 실제 설치할 때도 이 구성 요소를 각각 내려받아야 한다.

본론은 파인튜닝이다. 발표자는 140억 파라미터 규모의 텍스트-투-비디오 모델을 옛 서적 삽화 데이터로 학습시켜 그 특유의 판화풍 영상을 만들어 냈다. 흥미로운 대목은 학습 재료가 영상이 아니라 이미지였다는 점이다. 이미지와 텍스트 캡션 쌍은 구하기도 다루기도 훨씬 쉽고, 그가 쓴 데이터는 삽화 이미지 150장과 같은 이름의 텍스트 파일이 전부였다. 캡션 앞에는 모두 같은 문구를 붙여 두었는데, 이는 구글의 드림부스 논문에서 쓰인 방식으로 나중에 학습한 화풍을 호출하는 열쇠가 된다.

학습 환경은 VRAM 48GB짜리 데이터센터급 GPU 한 장을 대여해 구성했고, 실제 학습에는 36GB가량이 쓰였다. 140억 파라미터 모델을 이 정도 메모리로 다룰 수 있었던 이유는 전체 가중치를 건드리지 않고 그 위에 얹는 작은 어댑터만 학습하는 LoRA 방식을 썼기 때문이다. 학습은 오픈소스 도구가 대부분 자동화해 주며, 설정 파일에서 에폭 수와 체크포인트 주기, 몇 에폭마다 어댑터를 저장할지 정도만 조정하면 된다.

학습이 진행되는 동안에도 결과를 확인할 수 있다는 점이 실용적이다. 지정한 주기마다 어댑터 파일이 떨어지면 이를 노드 기반 인터페이스의 로라 폴더에 넣고 곧바로 영상을 뽑아 볼 수 있다. 발표자는 어댑터의 적용 강도를 75~90% 사이로 낮춰 시험해 보라고 권하고, 여러 번 돌려 볼 때는 해상도를 480p 정도로 낮추라고 조언한다. 그렇게 얻은 결과물은 프롬프트대로 판화풍 삽화가 움직이는 짧은 영상이었다.

주요 인사이트

• 영상 데이터 확보가 어렵다는 점이 영상 모델 커스터마이징의 가장 큰 장벽으로 여겨지지만, 화풍 전이 정도의 목표라면 이미지-캡션 쌍만으로도 충분할 수 있다는 점이 실증됐다.
• 이미지 모델은 사진 10~15장으로도 좋은 결과가 나오는 단계에 이르렀지만 영상 모델은 아직 그 수준이 아니어서, 100장 안팎의 데이터가 현실적인 출발선이다.
• 학습 캡션에 공통 트리거 문구를 심는 드림부스식 접근은 적은 데이터로도 모델이 원하는 스타일을 안정적으로 재현하게 만드는 값싼 장치다.
• 이 모델은 중국어와 영어로 함께 학습돼 커뮤니티가 다듬은 중국어 네거티브 프롬프트가 품질 향상에 쓰인다. 학습 언어 구성이 실제 사용 방식까지 바꾼다는 사례다.
• GPU 대여 환경에서는 세션이 끊겨도 학습이 이어지도록 터미널 다중화 도구를 쓰고 체크포인트를 자주 남기는 등, 모델 지식과 별개로 운영 요령이 결과를 좌우한다.

자주 묻는 질문

관련 AI 소식