GAN(생성적 적대 신경망)이란? 생성자·판별자의 적대 학습 원리 쉽게 이해하기

핵심 메시지

• 일반 분류 신경망은 고양이와 개를 구분할 수 있지만, 본 적 없는 새 고양이 이미지를 ‘그려내지’는 못한다. 새 표본을 만들려면 데이터의 내부 구조를 학습하는 생성 모델이 필요하다.
• 단순히 오차만 최소화하도록 학습하면 모델은 모든 답의 ‘평균’으로 수렴해 그럴듯하지 않은 결과를 낸다. 그래서 무작위 노이즈를 입력해 여러 답을 만들 수 있게 한다.
• 적대적 학습은 시스템의 약점에 집중해 훈련시키는 방법이다. 1과 7을 헷갈리는 학생에게 그 둘만 집중적으로 보여주듯, 약점을 공략하는 상대를 두면 학습자가 약점을 없애도록 강제된다.
• GAN은 진짜·가짜를 구별하는 판별자와 노이즈로 이미지를 만드는 생성자가 벌이는 미니맥스 게임이다. 판별자의 기울기를 이용해 생성자를 훈련시키는 점이 특히 영리하다.
• 충분히 학습하면 생성자는 진짜와 구별 불가능한 이미지를 만들고, 잠재공간의 방향이 ‘성별’이나 ‘선글라스 착용’ 같은 의미와 대응해 벡터 연산까지 가능해진다.

쉽게 이해하기

영상은 신발 스케치를 실제 사진처럼 바꿔주는 사례로 GAN을 소개한다. 고양이와 개를 구분하도록 훈련한 분류 신경망은 내부에 ‘고양이란 무엇인가’에 대한 모델을 갖지만, 그것으로는 분류만 할 수 있을 뿐 본 적 없는 새 고양이를 그려낼 수는 없다.

새 표본을 만들려면 주어진 데이터와 같은 분포에서 더 많은 표본을 뽑아내야 하는데, 이는 데이터의 숨은 구조를 배워야 하는 까다로운 일이다. 점들이 한 선을 따라 분포할 때 오차만 줄이려는 모델은 늘 선 위 평균값만 내놓아 누가 봐도 가짜인 결과가 된다. 정답이 하나가 아니라 무수히 많다는 점이 생성의 본질적 어려움이며, 그래서 무작위성이 필요하다.

적대적 학습은 약점에 집중하는 훈련법이다. 아이가 1과 7만 못 맞히면 그 둘만 집중적으로 가르치듯, 신경망의 오차를 최대화하려 애쓰는 상대를 두면 약점이 드러날 때마다 그곳을 파고들어 학습자가 약점을 고치도록 만든다. 게임 AI가 자기 자신과 대국하며 강해지는 것과 같은 원리로, 알파고에서 다룬 미니맥스 게임과 닮았다.

GAN은 두 신경망의 구조다. 판별자는 이미지가 진짜인지 가짜인지 0~1로 판정하는 분류기이고, 생성자는 무작위 노이즈를 받아 이미지를 만든다. 둘은 판별자의 오차율을 두고 한쪽은 낮추려, 한쪽은 높이려 다툰다. 핵심은 판별자의 기울기(경사하강)를 이용해 생성자에게 ‘가중치를 어느 방향으로 바꿔야 더 잘 속이는지’까지 알려준다는 점이다.

위조범과 감정사의 대결이 좋은 비유다. 처음엔 둘 다 서툴지만 감정사가 차이를 잡아내면 위조범은 더 정교해지고, 그러면 감정사는 또 새 단서를 찾아야 한다. 이 순환 끝에 생성자는 진짜와 구별 불가능한 이미지를 만든다. 나아가 입력 노이즈가 놓인 ‘잠재공간’에서 가까운 점은 비슷한 이미지를 내고, 특정 방향이 크기·색·성별 같은 의미와 대응한다. 실제로 ‘선글라스 쓴 남자 − 남자 + 여자’ 벡터 연산으로 ‘선글라스 쓴 여자’를 얻을 수 있다.

주요 인사이트

• 신경망은 아직 ‘감정’이 없어 약점만 끝없이 공략해도 좌절하지 않는다 — 인간 교육과 달리 적대적 훈련을 무한정 밀어붙일 수 있는 이유다.
• 생성과 분류는 본질이 다르다. 분류엔 정답이 하나지만 생성엔 유효한 답이 무수히 많아, 오차 최소화만으로는 좋은 생성이 나오지 않는다.
• 판별자는 단순히 ‘맞다/틀리다’가 아니라 ‘가중치를 어느 방향으로 바꿔야 더 속일 수 있는지’까지 기울기로 알려줘 생성자를 가르친다.
• 학습이 끝나면 판별자는 버려도 되고, 노이즈만 넣으면 무한히 새 이미지를 뽑아내는 생성자가 남는다.
• 잠재공간에서 특정 방향이 인간이 인지하는 의미(크기·색·성별·선글라스)와 대응한다는 점은, 생성자가 단순 암기가 아니라 데이터의 구조를 어느 정도 ‘이해’했음을 시사한다.

자주 묻는 질문

관련 AI 소식