딥러닝 데이터 전처리 기초: 정규화·MFCC·데이터 증강이 모델 성능을 가르는 이유

핵심 메시지

• 모델은 입력에 존재하는 패턴만 학습할 수 있다. 전처리는 아키텍처나 최적화보다 먼저 내리는 첫 번째 공학적 결정이며, 학습이 가능한지 자체를 결정한다.
• 원본 데이터에는 학습을 어렵게 만드는 세 가지 성질이 있다. 지나치게 높은 차원, 표본마다 다른 값의 범위, 그리고 의미 없는 변이인 잡음이다.
• 오디오의 MFCC 파이프라인은 사람의 달팽이관이 이미 푼 문제를 그대로 옮긴 것이다. 짧은 구간으로 잘라 주파수로 분해하고, 멜 척도로 압축하고, 로그를 취한 뒤 다시 압축해 프레임당 열몇 개에서 마흔 개 남짓의 계수만 남긴다.
• 정규화는 선택이 아니다. 값의 범위가 제각각이면 손실 지형이 협곡 모양이 되어 경사하강법이 지그재그로 헤매지만, 정규화된 입력은 완만한 지형을 만들어 훨씬 적은 에폭으로 수렴한다.
• 증강은 일반화 격차를 줄이지만 방향을 잘못 잡으면 라벨을 망친다. 숫자를 위아래로 뒤집으면 6이 9가 되고, 흉부 엑스레이를 좌우로 뒤집으면 심장 위치가 진단적 의미를 잃는다.

쉽게 이해하기

카네기멜런대 딥러닝 과목의 리사이테이션 영상은 모델 구조나 최적화가 아니라 그 앞 단계인 데이터 전처리를 다룬다. 발표자가 반복하는 원칙은 단순하다. 모델은 입력 안에 실제로 존재하는 패턴에서만 배울 수 있다. 쓰레기를 넣으면 쓰레기를 배운다는 오래된 격언이 여기서 나온다. 오디오는 1초에 수만 개의 숫자이고 이미지는 수백만 개의 픽셀값인데, 그 자체로는 경사 최적화기에 아무 의미도 없다. 전처리는 이 원본 현실을 신경망이 배울 수 있는 표현으로 옮기는 작업이며, 아키텍처를 고르기도 전에 내려야 하는 첫 결정이다. 원본 데이터가 학습을 방해하는 방식은 세 갈래로 정리된다. 첫째는 차원이다. 1초짜리 오디오가 4만 4,100개의 숫자인데 정작 쓸모 있는 신호는 그 안 어딘가에 묻혀 있다. 둘째는 척도의 불일치다. 어떤 표본은 0에서 255까지, 다른 표본은 0에서 1까지의 값을 갖는다면 큰 값 쪽이 기울기를 지배해 학습이 왜곡된다. 셋째는 잡음이다. 배경 소음, 조명 변화, 카메라 각도 같은 변이를 모델은 의미 있는 차이와 구분하지 못하고 둘 다 배우려다 결국 어느 쪽도 제대로 배우지 못한다.

음성 처리는 이 문제를 사람의 청각에서 빌려온 해법으로 푼다. 발표자는 파형을 그대로 넣을 때의 문제를 셋으로 나눈다. 같은 음소라도 시작 시점이 조금만 달라지면 숫자로는 완전히 다르게 보여, 모델이 시간 이동 불변성을 배우는 데 연산을 낭비한다. 말소리의 본질인 주파수 관계는 시간 영역에서는 드러나지 않는다. 그리고 3초 클립이 13만 차원이 넘는데 실제로 필요한 정보는 프레임당 마흔 개 남짓이다. 달팽이관은 소리를 주파수 대역으로 분해하고, 저주파에 더 민감하도록 로그에 가깝게 배치하며, 압축된 요약만 뇌로 보낸다. MFCC 파이프라인은 이를 그대로 따라간다. 25밀리초 단위로 겹쳐 자른 뒤 푸리에 변환으로 시간-주파수 표현을 만들고, 멜 척도의 삼각 필터 마흔 개로 압축하고, 지각이 로그적이므로 로그를 취한 뒤, 이산 코사인 변환으로 상관을 없애며 계수를 줄인다.

이미지에서는 정규화가 같은 역할을 한다. 픽셀값을 0~255 그대로 넣으면 값이 200인 픽셀이 값이 10인 픽셀보다 스무 배 세게 학습을 밀어붙인다. 중요도와 무관하게 말이다. 255로 나눠 0~1로 옮기는 방법과, 평균을 빼고 표준편차로 나누는 표준화가 기본이며, 사전학습 가중치를 쓸 때는 그 모델이 학습된 데이터셋의 공개 통계값을 그대로 쓴다. 이것이 중요한 이유는 손실 지형의 모양 때문이다. 정규화하지 않은 입력은 좁고 깊은 협곡 같은 지형을 만들어 경사하강법이 벽을 튕기며 지그재그로 내려가지만, 정규화된 입력은 공에 가까운 완만한 지형을 만든다. 발표자는 이 차이를 300에폭과 30에폭, 곧 열 배의 효율 차이로 설명한다.

데이터 증강은 학습 정확도와 시험 정확도의 격차를 줄이는 도구다. 논리는 간단하다. 고양이는 뒤집어도 회전시켜도 어두운 곳에서 찍어도 고양이이므로, 모델이 그런 변화에 흔들리지 않는 표현을 배우도록 같은 라벨로 여러 변형을 보여준다. 좌우 반전은 방향 불변성을, 회전은 자세 불변성을, 색 변형은 조명 불변성을 강제하고, 무작위 크롭은 대상이 늘 화면 가운데 있지 않다는 사실을 가르치며, 컷아웃은 개를 코 하나로 알아보지 못하게 만들어 전체 패턴을 학습하도록 밀어붙인다. 다만 증강은 잘못 쓰면 데이터를 오염시킨다. 숫자 이미지를 위아래로 뒤집으면 6이 9가 되고, 흉부 엑스레이를 좌우로 뒤집으면 심장의 위치라는 진단 정보가 깨져 해부학적으로 불가능한 학습 데이터가 만들어진다. 문자 인식에서 큰 회전은 글자의 의미 자체를 바꾼다. 반대로 위성 영상처럼 정해진 방향이 없는 데이터에서는 자유롭게 뒤집고 돌려도 된다. 발표자가 제시하는 판단 기준은 하나다. 이 변환을 적용해도 라벨이 그대로 유지되는가. 확신이 없으면 쓰지 않는다.

강의는 전처리를 '도메인 지식의 인코딩'으로 재정의하며 마무리된다. 모든 전처리 선택은 문제에 대한 가설이다. 멜 필터뱅크는 저주파 해상도가 더 중요하다는 주장이고, 좌우 반전은 좌우 방향이 무관하다는 주장이며, 의료 데이터에 이미지넷 통계를 쓰는 것은 내 이미지의 분포가 이미지넷과 같다는 주장인데 이는 거의 언제나 틀리다. 그래서 자신의 학습 데이터로 통계를 다시 계산해야 한다. 실전 조언도 여기서 나온다. 성능이 나쁠 때 첫 질문은 '층을 더 쌓을까'가 아니라 '내 파이프라인이 맞는가'여야 한다. 신호가 왜곡돼 있으면 매개변수를 늘려봐야 왜곡된 특징을 더 정밀하게 배울 뿐이고, 전처리 실수는 층을 지날수록 증폭되며, 전이학습에서 전처리가 원래 학습 조건과 어긋나면 사전학습 가중치의 값어치가 사라진다.

주요 인사이트

• 전처리를 '데이터 정리'가 아니라 '가설 선언'으로 보는 관점이 핵심이다. 파이프라인의 각 단계가 어떤 주장을 하고 있는지 말로 설명할 수 없다면 그 단계를 쓰지 말라는 기준은 실무에서 바로 쓸 수 있다.
• MFCC가 임의의 공학적 선택이 아니라 청각계에서 역설계된 결과라는 설명은, 좋은 표현이 대개 문제의 구조를 반영한다는 점을 보여준다.
• 정규화의 효과를 손실 지형의 모양으로 설명하면, 한 줄짜리 코드가 왜 열 배의 학습 효율 차이를 만드는지 직관적으로 이해된다.
• 증강의 안전성은 기법이 아니라 도메인이 결정한다. 위성 영상에서는 자유로운 회전이 정답이고 의료 영상에서는 같은 조작이 데이터 오염이 된다.
• 전이학습에서 전처리 불일치는 조용한 실패다. 오류 메시지 없이 사전학습의 이점만 사라지므로, 성능이 기대에 못 미칠 때 가장 먼저 확인할 항목이다.

자주 묻는 질문

관련 AI 소식