HTML로 영상 만드는 AI 에이전트, 하이퍼프레임스가 증명한 것 | AI 엔지니어 컨퍼런스

핵심 메시지

• 코딩 에이전트 덕분에 제품을 만드는 일은 쉬워졌지만, 그 제품을 세상에 알리는 홍보 영상 제작은 여전히 어려운 병목으로 남아 있다.
• 헤이젠은 영상용 전용 포맷(JSON·XML·자체 DSL)을 가르치는 대신, LLM이 이미 가장 잘 아는 HTML·CSS·자바스크립트로 영상을 짜게 하는 쪽을 택했다.
• 여러 겹의 래퍼와 긴 시스템 프롬프트를 시도했지만, 결국 타이밍 정보를 담은 데이터 속성 몇 개만 붙인 '가장 얇은 래퍼'가 가장 좋은 결과를 냈다.
• 브라우저의 비동기 렌더링을 그대로 쓰면 영상이 매번 달라지므로, 시계를 멈추고 프레임 단위로 이동하며 스크린샷을 쌓는 방식으로 결정적인 MP4를 만들어낸다.
• 오픈소스로 공개된 하이퍼프레임스는 최근 90일간 130만 편 이상의 영상 렌더링에 쓰였지만, 발표자는 모델이 아직 창의적 작업에는 약하다는 점을 솔직히 인정했다.

쉽게 이해하기

헤이젠에서 하이퍼프레임스를 이끄는 제임스 러소는 AI 엔지니어 컨퍼런스 발표를 자신들의 에이전트가 한 번의 명령으로 만들어낸 영상으로 시작했다. 그가 던진 질문은 단순했다. 코딩 에이전트로 제품을 만드는 일은 누구에게나 쉬워졌는데, 왜 그 제품을 알리는 출시 영상을 만드는 일은 여전히 더 어렵게 느껴지는가. 청중 가운데 상당수가 실제로 그렇다며 손을 들었다.

헤이젠은 AI 아바타로 시작한 회사다. 러소는 아바타가 영상의 '주인공'에 해당하는 A롤일 뿐이며, 좋은 영상에는 보조 화면인 B롤과 애니메이션, 자막, 음악 같은 여러 겹이 함께 필요하다고 설명했다. 문제는 에이전트에게 이 모든 층을 한꺼번에 만들 수 있는 표현 수단을 어떻게 쥐여줄 것인가였다.

그들의 답은 HTML이었다. 러소는 HTML·CSS·자바스크립트가 LLM의 모국어라고 말한다. 학습 데이터로 긁어 모은 웹페이지가 결국 모두 이 세 가지로 되어 있기 때문이다. 새로운 DSL이나 자체 JSON 구조를 가르치는 것은 셰익스피어에게 낯선 외국어로 시를 쓰라고 요구하는 것과 같아서, 예시를 아무리 많이 줘도 최선의 결과가 나오지 않는다는 것이다.

이 결론에 이르기까지 1년이 넘게 걸렸다. 애프터이펙트나 프리미어 프로는 결과물의 품질은 최고 수준이지만 에이전트가 다루기에는 적합하지 않았고, 로티나 라이브처럼 JSON·XML 기반 포맷은 쓸 만한 결과는 내지만 모델의 모국어가 아니어서 제어와 편집이 불편했다. 리모션은 가능성을 보여줬지만 프레임워크 자체를 모델에게 가르쳐야 했고, 그 과정에서 창의성이 깎여나갔다. 반면 원하는 결과물의 예시만 던져줬을 때 모델들은 자연스럽게 HTML로 향했다.

기술적으로 가장 까다로웠던 부분은 브라우저 화면을 누구나 올릴 수 있는 MP4로 바꾸는 일이었다. 브라우저는 폰트나 이미지를 비동기로 불러오도록 설계돼 있어서 같은 페이지라도 로딩 시점에 따라 화면이 달라진다. 하이퍼프레임스는 브라우저의 시계를 멈춘 뒤 모든 순간으로 정확히 이동해 자원이 전부 준비된 것을 확인하고 스크린샷을 찍는 과정을 반복한다. 덕분에 미리보기와 최종 영상의 픽셀이 일치하고, three.js와 SVG, 셰이더, WebGL, WebGPU처럼 브라우저가 그릴 수 있는 것은 전부 영상 재료가 된다.

주요 인사이트

• 모델에게 새 형식을 가르치는 비용은 눈에 잘 띄지 않지만 실재한다. 헤이젠의 경험은 프롬프트와 예시를 늘리는 대신, 모델이 이미 유창한 표현 수단에 문제를 얹는 편이 더 나은 선택일 수 있음을 보여준다.
• 래퍼가 두꺼울수록 좋을 것 같지만 실제로는 반대였다. 작은 모델을 설계 파트너로 삼아 '작은 모델이 이해하면 큰 모델은 반드시 이해한다'는 기준으로 검증한 접근은 다른 AI 제품 설계에도 그대로 옮겨볼 만하다.
• 브라우저는 유연함을 위해 비동기로 동작하지만 영상은 매번 같은 결과를 요구한다. 목적이 다른 시스템을 재활용할 때는 어느 지점에서 결정성을 확보할지가 핵심 설계 과제가 된다.
• 하이퍼프레임스가 함께 배포하는 스킬은 프레임워크 사용법이 아니라 '좋은 영상이란 무엇인가'를 가르치는 데 집중한다. 모델이 이미 아는 것은 가르치지 않고 부족한 감각만 채우는 방식이다.
• 단발 프롬프트로도 쓸 만한 결과는 나오지만, 발표자는 뛰어난 결과에는 여전히 기획과 안목, 반복 작업이 필요하다고 강조했다. 서사를 정하고 장면별로 나눠 다듬는 과정은 AI 이전의 제작 방식과 다르지 않다.

자주 묻는 질문

관련 AI 소식