컴피UI(ComfyUI)로 이해하는 AI 이미지 생성 원리와 노드 워크플로 총정리

핵심 메시지

• 이미지·영상 생성은 모두 신경망에 기반하며, 노드 하나는 x·y+b 같은 단순 함수지만 수십억 개가 모이면 개념과 단어를 연결하는 이해가 생긴다.
• 학습은 깨끗한 이미지에 노이즈를 단계별로 더하고 그 제거 과정을 외우게 하는 것이며, 이 모든 계산은 압축된 다차원 '잠재 공간'에서 일어난다.
• 컴피UI는 무료 노드 기반 도구로, 체크포인트(모델)·CLIP 텍스트 인코딩·K샘플러·빈 잠재 이미지·VAE 디코드가 텍스트를 그림으로 바꾸는 기본 블록이다.
• K샘플러의 시드·스텝(보통 20~30)·CFG·샘플러 종류가 결과를 좌우하며, 스텝을 무작정 늘리면 전기와 시간만 낭비된다.
• 로라(LoRA)는 큰 모델을 건드리지 않고 붙이는 100MB급 경량 모델로, 특정 인물·화풍을 일관되게 재현하는 데 쓰이고, 상업 작업에선 컴피UI가 통제력에서 앞선다.

쉽게 이해하기

팟캐스트 'Denoised'의 이 에피소드는 AI 이미지 생성을 높은 수준에서 개념부터 짚은 뒤, 무료 도구 컴피UI(ComfyUI) 안에서 전형적인 워크플로가 어떻게 구성되는지 단계별로 보여준다. 진행자들은 컴피UI가 여러 AI 회사와 창작자들 사이에서 통제와 자동화를 위한 사실상의 공용 도구가 됐다고 말한다.

원리의 바탕은 신경망이다. 노드 하나는 x·y+b 같은 단순한 선형대수 함수에 불과하지만, 이를 수백만~수십억 개로 쌓으면 '해변'이라는 단어와 말리부·칸 영화제 해변 같은 실제 개념을 언어와 무관하게 연결하는 이해가 생겨난다. 학습은 깨끗한 이미지에 노이즈를 단계별로 더한 뒤, 각 단계의 노이즈 제거 방법을 외우게 하는 방식으로 이뤄진다.

이 모든 계산은 픽셀 좌표가 아니라 다차원 '잠재 공간'에서 일어난다. 진행자는 잠재 공간을 거대한 공간 속 작은 동네들에 비유한다. 각 동네가 하나의 개념(해변, 조명 등)을 담고 있어, 프롬프트가 들어오면 관련 동네들에서 특징을 끌어와 노이즈를 이미지로 안내한다. 잠재 공간을 쓰는 이유는 곧 압축이다. 픽셀 대신 벡터로 저장하면 모델을 인터넷으로 배포할 수 있을 만큼 가벼워진다.

컴피UI 실습에서는 기본 텍스트-투-이미지 템플릿의 블록들을 하나씩 뜯어본다. 로드 체크포인트는 모델을 불러오는 단계로, 단일 파일인 세이프텐서와 수정이 열려 있는 디퓨저 형식이 있고 FP8·FP16 같은 정밀도 선택지가 있다. 이어 CLIP 텍스트 인코드가 긍정·부정 프롬프트를 잠재 공간의 벡터로 바꾼다. CLIP은 단어 자체보다 단어와 연결된 사물·장소·경험의 개념을 다룬다.

이 벡터들과 모델, 그리고 생성 해상도를 정하는 빈 잠재 이미지가 모두 K샘플러로 들어간다. K샘플러는 생성의 심장으로, 시드가 최초 노이즈를 만들고 스텝 수(보통 20~30이면 충분)만큼 노이즈를 제거한다. CFG 값이 높으면 모델이 자유롭게, 낮으면 프롬프트에 충실하게 그린다. 마지막으로 VAE 디코드가 잠재 공간의 결과를 우리가 보는 픽셀 이미지로 되돌려 저장한다. 생성된 PNG에는 워크플로 전체가 JSON 메타데이터로 담겨, 이미지를 다시 끌어다 놓으면 워크플로가 그대로 복원된다.

진행자들은 응용으로 로라(LoRA)와 이미지-투-이미지도 다룬다. 로라는 큰 모델을 수정하지 않고 붙는 100MB급 경량 모델로, 거대한 크루즈선을 끄는 예인선에 비유된다. 특정 인물이나 화풍을 일관되게 재현하는 데 주로 쓰이며 수 달러면 학습할 수 있다. 이미지-투-이미지는 빈 이미지 대신 실제 이미지를 넣어 노이즈 강도로 원본 유지 정도를 조절한다. 모델과 클립은 허깅페이스나 Civitai에서 받고, 하드웨어가 없으면 런웨이·제미나이·플럭스 등에 연결하는 API 노드로 클라우드에서 생성할 수도 있다.

그렇다면 챗봇형 도구가 좋아지는데도 왜 복잡한 컴피UI를 쓸까. 진행자들은 대부분의 AI 창작자가 컴피UI와 상업 도구를 섞는 하이브리드로 간다고 본다. 소셜 게시물 정도면 간편한 도구로 충분하지만, 브랜드에 돈을 받고 납품하는 상업 작업에선 캡션·학습셋·뎁스맵 등을 직접 통제하는 컴피UI가 최고 수준의 일관성과 제어력을 준다. 다만 이 분야는 매우 빠르게 변해, 지금의 수작업이 곧 상업 서비스에 흡수될 수 있다고 덧붙인다.

주요 인사이트

• 신경망 노드 하나는 단순한 수식이지만, 규모가 수십억으로 커지면 언어와 무관하게 개념을 연결하는 '이해'가 창발한다.
• 잠재 공간을 쓰는 진짜 이유는 압축이다. 픽셀 대신 벡터로 저장해야 방대한 모델을 배포 가능한 크기로 줄일 수 있다.
• 노드 기반 워크플로는 각 단계(체크포인트→CLIP→K샘플러→VAE)를 시각화해, 웹 도구가 뒤에서 숨기는 과정을 그대로 드러낸다.
• 스텝을 무작정 늘리는 것은 품질이 아니라 전기와 시간 낭비이며, 파라미터는 워크플로에 맞춰 기본값을 존중하는 편이 낫다.
• 상업 작업의 관건은 통제와 일관성이라, 챗봇 도구가 편해져도 로라와 이미지-투-이미지를 갖춘 컴피UI의 자리가 남는다.

자주 묻는 질문

관련 AI 소식