촬영 후 초점 변경 AI 원리 해설: 착란원과 디포커스 맵으로 학습 데이터를 만드는 법

핵심 메시지

• 셔터를 누르는 순간 고정되던 초점을, 사진 한 장만으로 촬영 이후에 바꿀 수 있게 하는 모델이다.
• 핵심은 데이터를 만드는 방식이다. 선명한 사진에서 깊이 맵을 추정하고 광학 공식으로 흐림 정도를 계산해, 학습용 흐림 이미지를 합성한다.
• 흐림을 지우는 모델과 흐림을 만드는 모델을 따로 학습시키고, 사전 학습된 이미지 생성 모델을 미세 조정해 세부 묘사를 살린다.
• 합성 데이터만으로는 실제 사진의 흐림 질감이 어색해, 진짜 흐린 사진을 되돌려 만든 결과를 다시 학습에 투입하는 우회로를 쓴다.
• 범용 이미지 편집 모델과 달리 인물의 표정과 자세를 바꾸지 않고 원본 내용을 유지한 채 초점만 옮긴다.

쉽게 이해하기

연구자 지아빈 황의 채널이 촬영 이후 초점을 바꾸는 모델을 공개하면서, 결과 시연에 앞서 카메라가 어떻게 초점을 맞추는지부터 풀어냈다. 센서만 두면 각 화소가 여러 방향의 빛을 뒤섞어 받아 형체를 알 수 없는 이미지가 나온다. 작은 구멍을 뚫은 가림막, 즉 핀홀을 두면 화소마다 한 점의 빛만 들어와 선명해지지만 빛의 양이 줄어 어두워진다.

구멍을 키우면 밝아지는 대신 다시 흐려진다. 이 딜레마를 푸는 장치가 렌즈다. 렌즈는 한 점에서 나온 빛을 센서 위 한 점으로 모아 주기 때문에, 조리개를 크게 열어 빛을 많이 받으면서도 선명함을 유지할 수 있다. 영상은 얇은 렌즈의 두 성질, 즉 중심을 지나는 광선은 꺾이지 않고 평행 광선은 초점면의 한 점에 모인다는 성질만으로 가우스 렌즈 공식과 배율을 유도해 보인다.

초점면 밖의 물체는 센서에 점이 아니라 작은 원반으로 맺힌다. 이 원반이 착란원이고, 그 크기가 곧 흐림의 정도다. 닮은 삼각형으로 착란원의 크기를 물체 거리, 초점 거리, 조리개 반지름의 관계로 정리하면 어느 거리 구간까지 충분히 선명해 보이는지, 즉 피사계 심도가 나온다. 조리개를 조이면 심도가 깊어지지만 들어오는 빛은 줄어든다.

학습 데이터는 바로 이 공식에서 나온다. 전 구간이 선명한 사진을 출발점으로 삼아 화소별 거리 정보를 담은 깊이 맵을 추정하고, 렌즈 공식으로 각 지점이 얼마나 흐려져야 하는지를 담은 디포커스 맵을 계산한다. 그 맵대로 위치마다 다른 흐림을 입히면 초점면을 앞뒤로 옮긴 사진을 만들어 낼 수 있고, 선명한 원본과 흐린 결과, 디포커스 맵 세 장이 한 묶음의 학습 데이터가 된다.

모델은 두 개다. 하나는 흐린 입력에서 전 구간이 선명한 이미지를 예측하고, 다른 하나는 선명한 이미지와 원하는 디포커스 맵을 받아 흐림을 만든다. 둘 다 사전 학습된 텍스트-이미지 모델을 미세 조정해 생성 능력을 빌려 쓴다. 다만 합성으로 만든 흐림만 학습하면 실제 사진의 질감이 나오지 않아, 진짜 흐린 사진에 앞의 모델을 적용해 선명한 원본을 복원하고 그로부터 조리개와 초점면 값을 역으로 추정해 다시 학습에 넣는 방법을 썼다.

주요 인사이트

• 광학 공식을 알고 있다는 사실 자체가 데이터 문제를 푸는 열쇠가 됐다. 정답을 사람이 모으는 대신 물리 모델로 합성해 낼 수 있다면, 라벨링 비용 없이 대규모 학습 데이터가 생긴다.
• 합성 데이터의 한계를 실제 데이터로 메우는 순환 구조가 이 연구의 실질적인 기여다. 한쪽 모델의 출력이 다른 쪽 모델의 입력이 되면서, 정답이 없는 실제 사진도 학습 자원으로 바뀐다.
• 접사나 단체 사진처럼 심도를 확보하기 어려운 상황에서는 여러 장을 찍어 합치는 작업이 필요했다. 한 장으로 같은 결과를 얻는다면 촬영 단계에서 미리 계획해야 했던 선택이 사후로 미뤄진다.
• 범용 편집 모델과의 비교가 시사적이다. 초점을 옮기라는 지시를 의미적으로 이해하는 것과, 원본의 표정과 자세를 건드리지 않고 광학적으로 그럴듯하게 바꾸는 것은 다른 문제다.
• 오래된 사진에 적용하면 복원 도구가 된다. 영상에서는 입력에서 거의 알아볼 수 없던 숫자가 되살아나는 사례를 보여 준다.

자주 묻는 질문

관련 AI 소식