컴퓨터 비전이란 무엇인가: 픽셀 숫자와 CNN으로 기계가 이미지를 이해하는 원리와 남은 한계

핵심 메시지

• 사람이 고양이로 보는 그림을 기계는 색 값이 담긴 삼차원 숫자 배열로 받아들이며, 그 숫자 속 패턴을 찾아내는 것이 컴퓨터 비전의 출발점이다.
• 현대 컴퓨터 비전의 주력은 합성곱 신경망으로, 앞쪽 층에서 가장자리와 색 같은 단순한 특징을 잡고 뒤로 갈수록 형태와 사물 전체로 인식을 넓혀 간다.
• 무엇이 찍혔는지 가리는 분류, 여러 사물의 위치를 찾는 검출, 픽셀 단위로 윤곽을 나누는 분할, 사람의 자세를 추적하는 작업이 모두 비슷한 구조 위에서 돌아간다.
• 이미지를 알아보는 것을 넘어 지우고 바꾸고 새로 만들어 내는 일까지 컴퓨터 비전과 생성 AI가 맞물린 영역이다.
• 특정 작업에서는 사람을 넘어섰지만, 사람이라면 속지 않을 미세한 변화에 흔들리고 장면의 맥락과 인과를 이해하는 데는 여전히 약하다.

쉽게 이해하기

컴퓨터 비전은 기계가 시각 정보를 이해하고 해석하도록 만드는 분야다. 휴대전화의 얼굴 인식 잠금 해제, 자율주행차, 의료 영상 판독처럼 이미 일상 곳곳에 들어와 있는 기술이 모두 여기에 속한다.

출발점은 이미지를 숫자로 바꾸는 일이다. 우리가 고양이로 알아보는 사진을 컴퓨터는 색 값을 담은 삼차원 숫자 배열로 받아들이며, 딥러닝 모델이 그 숫자들 사이에서 의미 있는 패턴을 학습해 낼 때 비로소 인식이 가능해진다.

이때 가장 널리 쓰이는 구조가 합성곱 신경망이다. 사람의 뇌가 시각 정보를 처리하는 방식과 비슷하게, 처음에는 가장자리나 색처럼 단순한 특징을 잡아내고 이를 결합해 더 복잡한 형태로 넘어가며 마지막에 사물 전체를 알아본다. 층이 깊어질수록 더 정교한 패턴을 배우는 셈이다.

이 구조 위에서 여러 작업이 갈라져 나온다. 이미지에 무엇이 있는지 판단하는 분류, 여러 사물을 찾아 이름표를 붙이는 검출, 픽셀 단위로 윤곽을 그려 내는 분할, 사람의 몸 위치를 추적하는 자세 추정이 대표적이다. 최근에는 사진 속 물체를 지우거나 문장만으로 새 이미지를 만들어 내는 일까지 이어진다.

대규모 데이터셋과 전용 하드웨어 덕분에 특정 시각 작업에서는 사람을 앞서는 모델도 나왔고, 널리 쓰이는 라이브러리 덕분에 진입 장벽도 낮아졌다. 그럼에도 기계가 사람처럼 보는 것은 아니다. 사람이라면 알아채지도 못할 작은 변화에 판단이 흔들리고, 장면의 맥락과 인과관계를 파악하는 능력은 아직 부족하다.

주요 인사이트

• 이미지 인식을 '그림을 알아본다'가 아니라 '숫자 배열에서 패턴을 찾는다'로 바꿔 이해하면, 왜 사람 눈에 안 보이는 미세한 변화가 판단을 통째로 뒤집을 수 있는지가 자연스럽게 설명된다.
• 분류와 검출, 분할, 자세 추정이 서로 다른 기술처럼 보이지만 바탕이 되는 구조는 공유된다. 하나를 익히면 나머지로 넘어가는 비용이 크지 않다는 뜻이다.
• 성능이 사람을 넘어섰다는 표현은 언제나 '특정 작업에서'라는 단서와 함께 읽어야 한다. 맥락과 인과 이해라는 영역이 남아 있는 한 그 격차는 좁혀졌다고 보기 어렵다.

자주 묻는 질문

관련 AI 소식