퍼셉트론이란? 챗GPT의 기본 단위가 된 1950년대 학습 기계와 신경망 역사, XOR 한계까지

핵심 메시지

• 퍼셉트론은 스위치로 패턴을 입력하고 다이얼로 가중치를 조절해 결과를 판정하는 기계로, 오늘날 신경망 인공뉴런의 원형이다.
• 1957년 프랭크 로젠블랫이 만든 학습 규칙은 '정답을 분리하는 다이얼 조합이 존재하면 반드시 찾아낸다'는 보장을 가진다. 단, 그런 조합이 존재할 때만이다.
• 직선 하나로 나눌 수 없는 XOR 패턴 앞에서 퍼셉트론은 영원히 헤맨다. 이 한계가 1960~70년대 신경망 연구의 침체를 불러왔다.
• 1959년 스탠퍼드의 버나드 위드로와 테드 호프는 오차를 직접 미분하는 LMS 알고리즘에 도달했다. 오늘날 역전파와 놀랄 만큼 가깝지만 다층 학습에는 이르지 못했다.
• GPT-3의 96개 층에는 여전히 '다층 퍼셉트론'이라는 이름의 블록이 들어 있다. 인공뉴런 수로 환산하면 약 1000만 개, GPT-4급이면 1억 개 규모다.

쉽게 이해하기

Welch Labs가 만든 이 영상은 설명을 위해 퍼셉트론을 실제 하드웨어로 조립한다. 스위치를 올리면 양의 전압, 내리면 음의 전압이 나오고, 각 스위치는 다이얼에 연결된다. 다이얼을 돌리면 그 스위치의 출력에 다이얼의 숫자가 곱해지고, 계기판은 모든 다이얼의 신호를 합한 값을 보여준다. 질문은 간단하다. T 모양이 입력되면 항상 양수, J 모양 같은 다른 모양이면 음수가 나오도록 다이얼을 맞출 수 있는가. 게다가 모양의 위치는 매번 달라진다.

놀라운 사실은 그런 다이얼 조합이 존재한다면 반드시 찾아내는 절차가 있다는 것이다. 결과가 양수여야 하는데 그렇지 않으면 켜진 스위치의 다이얼은 일정한 값만큼 올리고 꺼진 스위치의 다이얼은 그만큼 내린다. 반대 경우에는 반대로 한다. 이때 조절하는 폭이 학습률이다. 이미 정답이면 그대로 둔다. 네 가지 예시를 몇 번 돌리자 기계는 모든 예시를 옳게 분류했다. 1957년 심리학자 프랭크 로젠블랫이 발견한 퍼셉트론 학습 규칙이다. 이듬해 기자회견 다음 날 뉴욕타임스는 이 기계가 걷고 말하고 보고 쓰고 스스로를 복제하며 자기 존재를 자각할 것이라고 보도했다. 로젠블랫의 기계는 20×20 입력 격자에 여러 개의 인공뉴런을 두고 모터로 다이얼을 돌려 학습을 자동화했지만, 원리는 이 손으로 만든 기계와 같았다.

한계는 입력을 좌표평면에 찍어보면 드러난다. 입력이 두 개인 단순한 퍼셉트론에서 출력이 0보다 큰 영역은 결국 하나의 직선 위쪽이다. 다이얼 값이 그 직선의 기울기와 절편을 정한다. 그래서 한쪽 스위치만 켜졌을 때만 양수로 판정하라고 요구하면 학습은 끝없이 흔들린다. 하나의 직선으로는 최소한 하나의 예시를 반드시 틀리기 때문이다. 이것이 배타적 논리합, 즉 XOR 문제이며 선형 분리가 불가능한 가장 단순한 예다. 영상은 이 문제가 억지스러운 사례가 아니라고 지적한다. 로젠블랫이 1958년에 보여준 '이미지의 왼쪽과 오른쪽 표시 구분'은 선형 분리가 가능했지만, 같은 해 그가 뉴요커 인터뷰에서 말한 고양이와 개 구분은 실제로 해보면 오차율 20% 안팎에서 불안정하게 머문다. 여러 층의 인공뉴런을 쓰면 두 개의 결정 경계를 조합해 XOR을 풀 수 있다는 것은 1960년대에도 알려져 있었지만, 가중치를 학습시킬 방법을 아무도 찾지 못했다. 단일 뉴런용 학습 규칙은 다층으로 일반화되지 않았다. 1960년대 중반 마빈 민스키와 시모어 페퍼트가 퍼셉트론의 수학적 한계를 정리한 책을 돌린 것도 신경망 연구가 기호주의 접근에 밀려나는 흐름에 힘을 보탰다.

영상의 백미는 1959년 가을 스탠퍼드에서 벌어진 장면이다. 버나드 위드로 그룹은 임시방편적인 규칙 대신 기계의 오차를 수학적으로 측정하고 최소화하려 했다. 목표값과 출력의 차이를 제곱해 항상 양수로 만들고, 다이얼을 조금씩 움직이며 그 값을 그려보면 매끄러운 포물선이 나온다. 두 다이얼을 함께 움직이면 그릇 모양이 되고, 가장 좋은 조합은 그릇의 바닥이다. 문제는 다이얼이 많아지면 모든 조합을 시험할 수 없다는 점이다. 16개 입력 퍼셉트론에서 다이얼마다 10개 값만 시도해도 10의 17제곱 번의 계산이 필요하다. 해결책은 전체 지형을 몰라도 '어느 쪽이 내려가는 방향인지'만 알면 된다는 것, 즉 기울기를 따라 조금씩 내려가는 것이다. 그때까지 위드로 그룹은 각 가중치 주변에서 오차를 계산해 기울기를 수치로 추정했다. 금요일 오후 신입 대학원생 테드 호프와 칠판 앞에서 이야기하다 그들은 오차 함수를 직접 미분하자는 발상에 이르렀다. 연쇄 법칙을 적용하면 기울기가 간단한 식으로 정리되고, 오차를 제곱해 계산할 필요조차 없어진다. 대학 물품 창고가 닫혀 있었기에 두 사람은 다음 날 아침 전자부품 상점으로 달려가 주말 동안 인공뉴런 회로를 만들었고, 일요일 저녁에는 새 알고리즘을 여러 패턴에 시험하고 있었다. 결과는 훌륭했다. 흥미롭게도 완전히 다른 방식으로 도출됐음에도 이 알고리즘은 퍼셉트론 학습 규칙과 매우 비슷하게 가중치를 갱신한다. 차이는 갱신량에 현재 오차를 곱한다는 점, 즉 고정된 학습률만큼 돌리는 대신 목표와 출력의 차이에 비례해 돌린다는 것이다. 이것이 LMS 알고리즘이다. 해가 존재해도 반드시 찾는다는 보장은 없지만, 선형 분리가 불가능한 흔한 상황에서 더 잘 작동한다. 그러나 위드로와 호프도 이 방법을 다층 신경망으로 확장하지는 못했다. 걸림돌은 활성 함수였다. 1940년대 월터 피츠와 워런 매컬럭이 제안한 인공뉴런 모형은 합이 0보다 크면 1, 아니면 0을 내놓는 전부 아니면 전무 방식이었고, 이 계단 함수의 기울기는 어디서나 0이며 원점에서는 정의되지 않는다. 연쇄 법칙이 이 지점에서 막히고 오차 지형은 평평한 고원과 수직 절벽으로 바뀐다. 해법은 뒤늦게 보면 단순하다. 계단 함수를 시그모이드처럼 덜 평평한 함수로 바꾸면 기울기가 방향을 알려준다. 1986년 데이비드 루멜하트, 제프리 힌턴, 로널드 윌리엄스는 LMS를 '델타 규칙'이라 부르며 인용하고, 이를 일반화해 오늘날의 역전파를 제시했다. 위드로와 호프가 칠판에서 시작한 계산이 거의 30년 뒤에 이어진 것이다.

마지막으로 영상은 규모를 환산한다. 2020년 오픈AI는 역전파로 GPT-3를 학습시켰다. 학습 가능한 가중치는 1750억 개이고 96개 층에 각각 두 개의 연산 블록이 있는데, 두 번째 블록의 이름은 여전히 로젠블랫이 붙인 '다층 퍼셉트론'이다. 이 블록은 첫 층 약 5만 개, 두 번째 층 약 1만 2000개의 뉴런으로 이루어진다. 첫 번째 블록은 비교적 최근 아이디어인 어텐션인데, 데이터 자신이 가중치를 조절하는 특수한 다층 퍼셉트론으로 볼 수 있고 블록당 약 5만 개의 뉴런을 쓴다. 합치면 GPT-3 전체가 약 1000만 개의 인공뉴런이고, GPT-4는 GPT-3의 열 배 규모로 알려져 있어 1억 개 수준이 된다. 손으로 만든 퍼셉트론 기계로 GPT-3를 구현하려면 1만 개가 넘는 다이얼이 달린 기계 1000만 대가 필요하다는 계산이다. 결국 오늘의 거대 모델도 언어의 복잡한 패턴을 익혀 다음 텍스트를 예측하는 패턴 인식기이며, 그 최소 단위는 70년 전의 그 기계다.

주요 인사이트

• 퍼셉트론의 다이얼은 곧 가중치이고, 출력이 0을 넘는 경계는 직선이다. 이 기하학적 그림 하나로 '선형 분리 가능성'이라는 개념이 눈에 보이게 된다.
• 학습 규칙에 '해가 존재하면 반드시 찾는다'는 보장이 붙어 있어도 실전에서는 쓸모가 제한된다. 현실 데이터에는 애초에 그런 해가 없는 경우가 많기 때문이다. 오차를 줄이는 LMS가 더 실용적이었던 이유가 여기 있다.
• 다층 신경망이 XOR을 풀 수 있다는 사실은 1960년대에도 알려져 있었다. 막힌 것은 표현력이 아니라 학습 방법이었다. AI 침체기의 원인이 아이디어 부재가 아니라 알고리즘 공백이었다는 점은 지금도 시사적이다.
• 역전파를 막고 있던 진짜 장애물이 활성 함수의 미분 불가능성이었다는 점이 인상적이다. 계단 함수를 시그모이드로 바꾸는 작은 변경이 30년의 정체를 풀었다.
• GPT-4급 모델을 인공뉴런 1억 개로 환산해 보여주는 방식은 규모 감각을 준다. 동시에 그 최소 단위가 1950년대의 단순한 판정 장치와 같다는 사실은 현재 AI를 과대·과소평가하지 않는 기준이 된다.

자주 묻는 질문

관련 AI 소식