카파시 makemore 2편 정리: 다층 퍼셉트론 언어 모델과 임베딩·학습률 튜닝

핵심 메시지

• 앞 글자 하나만 보는 바이그램 모델은 문맥을 늘릴수록 경우의 수가 27개, 729개, 약 2만 개로 지수적으로 불어나 표 방식으로는 감당할 수 없다.
• 벤지오 등의 2003년 논문은 각 단어를 저차원 벡터로 바꿔 비슷한 맥락끼리 지식을 옮기게 만들고, 학습 데이터에 없던 표현에도 일반화할 수 있게 한다.
• 임베딩 테이블에서 행을 꺼내는 것은 원-핫 벡터에 행렬을 곱하는 것과 수학적으로 같지만, 인덱싱이 훨씬 빠르다.
• 파이토치의 cross_entropy는 중간 텐서를 만들지 않아 빠르고, 로짓에서 최댓값을 빼 지수 계산의 오버플로를 막아 수치적으로도 안전하다.
• 학습률은 감으로 정하지 말고 0.001부터 1까지를 지수 간격으로 훑으며 손실 곡선의 골짜기를 찾는 방식으로 고른다.

쉽게 이해하기

이 강의는 이름 데이터로 새 이름을 만들어내는 makemore 시리즈의 두 번째 편이다. 앞 편에서 만든 바이그램 모델은 바로 앞 글자 하나만 보고 다음 글자를 예측했기 때문에 이름다운 결과를 내지 못했다. 그렇다고 문맥을 늘리자니 문제가 생긴다. 한 글자를 볼 때 27가지이던 경우의 수가 두 글자면 729가지, 세 글자면 약 2만 가지로 불어나 표의 칸마다 데이터가 거의 남지 않기 때문이다.

그래서 카파시는 벤지오 등이 2003년에 발표한 신경망 언어 모델 논문의 구조를 따라간다. 이 논문은 1만 7천 개 단어 각각에 30차원짜리 벡터를 붙이고, 학습이 진행되는 동안 이 벡터들이 공간 안에서 움직이게 한다. 의미가 비슷한 단어들이 가까운 자리에 모이면 "a dog was running in a"라는 문맥을 학습 중에 본 적이 없어도 "the dog was running in a"에서 배운 것을 끌어다 쓸 수 있다. 구조 자체는 문맥 세 단어를 30차원씩 90개 입력으로 펼치고, 은닉층과 tanh를 거쳐 소프트맥스로 다음 단어의 확률을 내놓는 형태다.

구현은 단어가 아니라 글자 단위로 한다. 글자는 27종, 문맥 길이는 3으로 잡고 3만 2천 개 이름에서 약 22만 8천 개의 학습 예시를 만든다. 여기서 카파시는 파이토치를 다루는 실전 감각을 함께 가르치는데, 임베딩을 이어 붙일 때 torch.cat은 새 메모리를 만드는 반면 view는 저장된 값을 그대로 두고 해석 방법만 바꾸기 때문에 훨씬 효율적이라는 점이 대표적이다. 손실 계산도 직접 지수화하고 정규화하는 대신 cross_entropy 한 줄로 대체하는데, 속도와 역전파 식의 단순함은 물론 로짓이 100처럼 커져도 최댓값을 빼주기 때문에 무한대가 나오지 않는다는 장점이 있다.

학습은 전체 데이터 대신 32개씩 뽑은 미니배치로 진행한다. 기울기가 정확하지는 않지만, 정확한 방향으로 적게 걷는 것보다 대략적인 방향으로 많이 걷는 편이 낫다는 설명이다. 학습률은 0.001부터 1까지를 지수 간격으로 늘려가며 손실을 기록한 뒤 곡선이 완만하게 내려가는 골짜기 부근인 0.1로 정하고, 후반부에는 10분의 1로 낮춘다. 이렇게 해서 앞 편 바이그램 모델의 2.45를 넘어 2.3까지 손실을 내린다.

다만 훈련 손실과 검증 손실이 거의 같다는 것은 과대적합이 아니라 모델이 너무 작다는 신호다. 은닉층을 300개로 키워도 2.23에서 멈추자 이번에는 임베딩 차원을 2에서 10으로 늘려 파라미터 약 1만 1천 개로 검증 손실 2.17을 얻는다. 임베딩이 2차원일 때 그림을 그려보면 모음 a, e, i, o, u가 한곳에 모여 있고 q와 문자열 끝을 나타내는 점은 멀리 떨어져 있어, 신경망이 바꿔 써도 되는 글자와 예외를 스스로 구분했음을 보여준다. 카파시는 은닉층 크기와 임베딩 차원, 문맥 길이, 배치 크기 같은 손잡이를 직접 돌려 2.17을 넘겨보라는 과제를 남긴다.

주요 인사이트

• 표를 키우는 대신 의미 공간을 만드는 것이 임베딩의 핵심이다. 문맥이 길어질수록 표는 지수적으로 커지지만, 벡터 공간에서는 비슷한 것끼리 지식을 나눠 쓸 수 있다.
• 같은 연산이라도 구현에 따라 비용이 다르다. 텐서를 이어 붙이면 새 메모리가 생기지만, view는 데이터를 그대로 두고 해석 규칙만 바꾼다.
• 손실이 낮다고 좋은 모델이 아니다. 훈련 손실과 검증 손실이 거의 같으면 오히려 모델이 작다는 뜻이므로 키워야 하고, 둘이 벌어지기 시작하면 그때부터 과대적합을 걱정한다.
• 테스트셋은 아주 드물게만 봐야 한다. 결과를 보고 무언가를 고칠 때마다 사실상 그 데이터로도 학습하는 셈이기 때문이다.
• 성능의 병목이 항상 층 크기인 것은 아니다. 은닉층을 세 배로 키워도 개선이 없던 모델이 임베딩 차원을 2에서 10으로 늘리자 비로소 손실이 내려갔다.

자주 묻는 질문

관련 AI 소식