NeRF 신경 래디언스 필드 원리와 파이토치 구현: 볼륨 렌더링부터 위치 인코딩까지 정리

핵심 메시지

• NeRF는 여러 각도에서 찍은 2D 이미지와 카메라 위치 정보만으로, 한 번도 본 적 없는 새로운 시점의 이미지를 합성한다.
• 신경망이 하는 일은 단순하다. 3차원 좌표를 입력받아 그 지점의 색(RGB)과 밀도라는 네 개의 숫자를 내놓는 것이 전부다.
• 각 픽셀마다 카메라에서 광선을 쏘고 그 위의 점들을 표본으로 뽑아, 누적 투과도와 밀도를 곱해 색을 합성하는 볼륨 렌더링으로 픽셀 색을 예측한다.
• 볼륨 렌더링이 미분 가능하기 때문에 예측 이미지와 원본 이미지의 오차를 그대로 역전파해 학습할 수 있다.
• 위치 인코딩을 넣기 전까지는 결과가 뭉개진 덩어리로 나온다. 사인·코사인으로 입력을 고차원에 사상하자 세부가 살아났다.

쉽게 이해하기

이 영상은 신경 래디언스 필드(NeRF)를 파이토치로 처음부터 구현하며 원리를 설명한다. 발표자는 원 논문이 2020년에 나와 학계 기준으로는 오래됐지만 여전히 새로운 분야를 여는 통로였다고 소개한다. 구글 지도에서 금문교 같은 장소를 몰입형 뷰로 둘러볼 수 있는 것도 NeRF 덕분이라고 설명한다.

래디언스 필드는 3차원 공간에 촘촘히 놓인 점들이 각각 특정 방향으로 지나가는 빛 에너지를 갖는 장을 뜻한다. 여기에 '신경'이 붙는 이유는 각 점의 빛 에너지를 신경망이 추정하기 때문이다. 즉 화면에 단단해 보이는 자동차도 실제로는 신경망이 추정한 빛의 점 덩어리다.

학습 과정은 이렇다. 이미지의 픽셀마다 카메라에서 장면 안으로 광선을 쏘고, 광선 위의 점들을 표본으로 뽑아 신경망에 넣는다. 각 점에서는 세 가지를 물어야 한다. 광선이 방해받지 않고 여기까지 도달할 수 있는가, 이 지점의 밀도는 얼마인가, 그리고 이 지점의 색은 무엇인가. 이 답들을 곱해 광선 전체에 대해 적분하면 픽셀 색이 나온다.

적분을 정확히 푸는 것은 불가능하므로 광선을 여러 구간으로 나누고 각 구간에서 점을 무작위로 뽑는 층화 표본추출을 쓴다. 누적 투과도는 앞선 점들의 밀도에 좌우되는데, 앞쪽에 밀도가 높은 물체가 있으면 뒤쪽 점이 최종 색에 기여하는 정도가 줄어든다. 발표자는 해리 포터의 하늘을 나는 자동차 장면을 예로 들어, 앞유리가 뒤에 있는 머리카락 색을 살짝 물들이고 머리카락은 그 뒤 차체를 완전히 가리는 과정을 설명한다.

구현은 선형 층 아홉 개로 된 다층 퍼셉트론으로, 다섯 번째 층에 입력을 다시 이어붙이는 스킵 연결이 있다. 그런데 10에폭을 돌려도 결과가 형체 없는 덩어리로 나왔다. 신경망이 본래 저주파 함수를 학습하려는 경향이 있기 때문인데, 입력 좌표에 사인·코사인을 여러 지수로 적용해 3차원 입력을 39차원으로 확장하는 위치 인코딩을 넣자 비로소 새로운 시점을 제대로 합성했다.

주요 인사이트

• NeRF는 3D 모델을 만드는 것이 아니라 장면을 함수로 학습한다. 저장되는 것은 메시가 아니라 좌표를 색과 밀도로 바꾸는 신경망의 가중치다.
• 학습이 가능한 이유는 렌더링 자체가 미분 가능하기 때문이다. 그래픽스의 볼륨 렌더링 공식이 그대로 손실 함수의 일부가 되어 역전파가 통한다.
• 밀도와 누적 투과도는 헷갈리기 쉽지만 다른 개념이다. 밀도는 광선이 그 점에서 멈출 확률이고, 누적 투과도는 그 점까지 아예 도달할 확률이다.
• 위치 인코딩은 부가 기법이 아니라 성패를 가르는 요소였다. 같은 신경망도 입력을 고차원으로 사상하기 전에는 고주파 세부를 잡아내지 못했다.
• 발표자는 압축 효과도 짚는다. 학습에 쓴 PNG 파일 전체가 1.73메가바이트인데 모델 체크포인트는 1.77메가바이트로, 비슷한 용량에 새로운 시점을 무한히 생성할 능력까지 담긴다. 고성능 GPU 없이 M1 맥북 에어에서 몇 시간 만에 학습했다는 점도 덧붙인다.

자주 묻는 질문

관련 AI 소식