이미지 복원과 AI: MRI·암 진단 영상을 바꾸는 딥인버스 파이토치 오픈소스 라이브러리

핵심 메시지

• 오늘날 컴퓨터 비전 연구는 '이미 이미지가 있다'는 전제에서 출발하지만, 세상에서 데이터를 얻어 이미지를 만들어내는 단계가 아직 풀리지 않은 병목이다.
• 값싸고 빠른 장비로 낮은 품질의 데이터를 얻은 뒤 AI로 고품질 영상을 복원하면, MRI나 암 영상 진단의 비용과 대기 시간을 줄일 수 있다.
• 딥인버스는 이 영상 복원 문제를 다루는 오픈소스 라이브러리로 파이토치 생태계에 합류했고, 촬영 물리 모델을 파이토치 코드로 미분 가능하게 표현하는 데 초점을 둔다.
• 현장에서 실제로 쓰이는 복원 모델은 여전히 합성곱 기반이 강하다. 확산 모델은 흥미롭지만 느리고 무겁다는 것이 발표자의 평가다.

쉽게 이해하기

발표자는 '영상 획득(이미징)이 컴퓨터 비전의 마지막 관문'이라는 다소 도발적인 주장으로 발표를 열었다. 최근의 비전 연구는 대부분 픽셀이 주어진 상태에서 인식·추론·행동으로 넘어가는 단계에 집중하지만, 세상이나 몸에서 데이터를 얻어 그것을 볼 만한 이미지로 만드는 구간은 상대적으로 조명받지 못했다는 것이다.

그가 든 사례는 구체적이다. 뇌를 선명하게 찍는 MRI 장비는 방 여러 개를 차지하고 병원을 그 주변에 지어야 할 만큼 비싸고 유지도 어렵다. 핵의학 영상으로 암 위치를 찾는 검사는 하루에 수십 명밖에 처리하지 못해 대기가 길다. 값싼 장비로 품질이 낮은 데이터를 얻고 AI가 나머지를 채운다면 이 제약이 완화된다는 발상이다.

복강경처럼 좁은 통로로 들어가는 수술 카메라는 스마트폰만 한 렌즈를 넣을 수 없어 애초에 화질이 나쁜 영상을 복원해야 하고, 블랙홀 촬영처럼 한 번도 본 적 없는 대상을 이미지로 만드는 문제도 같은 범주에 속한다. 발표자는 이 영역이 파운데이션 모델과 확산 모델 같은 최신 기법이 실제로 투입되는 곳이라고 설명했다.

딥인버스는 이런 이미지 복원을 위한 오픈소스 라이브러리로, 파이토치 생태계에 합류했고 프랑스의 문서화 관련 상을 받기도 했다. 남은 과제로는 한 변이 1만 픽셀에 이르는 현미경 볼륨 같은 거대 데이터를 효율적으로 처리하는 엔지니어링, 물리학자들이 만든 촬영 장비를 파이토치 코드로 모델링해 미분 가능하게 만드는 수학·과학 쪽 문제, 그리고 허깅페이스 등 최신 모델 자산을 과학 응용에 연결하는 통합 작업이 제시됐다.

질의응답에서는 실제 성능 이야기가 나왔다. 복원 분야의 파운데이션 모델은 여전히 합성곱 기반이 가장 효율적이고 배포하기 좋으며, 확산 모델은 매력적이지만 느리고 크다는 것이다. 또한 얼굴 생성처럼 흔한 비전 과제용 사전학습 모델은 뇌 MRI 같은 응용에 그대로 쓰기 어려워 처음부터 학습해야 하는 경우가 많다고 답했다.

주요 인사이트

• AI 응용을 고를 때 '모델을 어떻게 좋게 만들까'보다 '입력 데이터를 어떻게 얻을까'가 더 큰 병목인 분야가 있다. 의료 영상이 대표적이다.
• 장비를 더 좋게 만드는 대신 장비를 싸게 만들고 소프트웨어로 보완하는 접근은, 병목이 비용과 처리량인 의료 현장에서 특히 파급력이 크다.
• 복원 모델은 촬영 장치의 물리를 알아야 하므로, 딥러닝 프레임워크 안에서 물리 모델을 미분 가능하게 표현하는 일이 핵심 기술 과제가 된다.
• 화제성 높은 기법이 항상 실전 최적해는 아니다. 확산 모델의 인기와 무관하게, 배포 관점에서는 합성곱 기반 모델이 선택되는 경우가 많다.

자주 묻는 질문

관련 AI 소식