가우시안 프로세스(GP) 원리 정리: 커널로 함수를 고르고 불확실성까지 예측하는 법

핵심 메시지

• 가우시안 프로세스(GP)는 입력을 넣으면 숫자 하나가 아니라 y에 대한 예측 분포 전체를 돌려주기 때문에, 예측의 불확실성을 그대로 의사결정에 반영할 수 있다.
• GP는 '커널'이라는 유사도 함수로 모델을 제어한다. 커널이 비슷하다고 판단한 두 입력에는 비슷한 y가 배정되며, 입력이 벡터가 아니어도 유사도만 정의되면 쓸 수 있다.
• 단순한 커널을 더하고 곱해 복잡한 모델을 조립한다. 커널의 덧셈은 샘플 함수의 덧셈과 정확히 대응하고, 곱셈은 엄밀히는 아니지만 모델링 직관으로 유용하다.
• 핵심 가정은 관측값과 예측 대상 함수값이 하나의 다변량 정규분포를 이룬다는 것이며, 공분산 자리에 커널 유사도를 그대로 채워 넣는다.
• 하이퍼파라미터는 '데이터를 보기 전의 샘플이 데이터를 얼마나 잘 설명하는가'를 최대화해 고르고, 기울기 계산이 가능해 많은 수를 한꺼번에 최적화할 수 있다.

쉽게 이해하기

대부분의 머신러닝 모델은 입력을 넣으면 예측값 하나를 돌려준다. 강연자가 꼽는 가우시안 프로세스(GP)의 첫 번째 장점은 숫자 대신 y에 대한 분포 전체를 돌려준다는 점이다. 'x가 이 값일 때 y가 이 구간에 있을 확률이 80%'처럼 말할 수 있다는 뜻이고, 투자 규모를 얼마로 잡을지 같은 결정에서는 이 불확실성 정보가 결정적일 수 있다.

왜 그런 모델이 필요한지는 선형회귀와 비교하면 분명해진다. 직선을 하나 그어 놓고 남은 잡음의 분산을 재는 방식은 '그 직선 자체가 맞는지'에 대한 불확실성을 놓친다. 베이지안 선형회귀는 데이터를 보기 전의 직선 샘플(사전 샘플)을 만들고 베이즈 정리로 데이터와 맞는 샘플(사후 샘플)로 갱신한 뒤 이를 평균 내 예측 분포를 만드는데, 그러면 데이터에서 멀어질수록 구간이 넓어지는 바람직한 형태의 불확실성이 나온다. GP는 이 구조를 그대로 쓰되 직선 대신 일반적인(대체로 매끄러운) 함수를 다룰 뿐이다.

그렇다면 어떤 함수가 잘 뽑히는지는 무엇이 정하는가. 답은 커널이다. 커널은 두 입력이 얼마나 비슷한지를 재는 함수이고, GP는 커널이 비슷하다고 본 x들에 비슷한 y를 배정한다. 가장 흔한 RBF 커널은 대각선에 가까울수록 큰 값을 주어 '가까운 x끼리 비슷하다'고 판단하며, 길이 스케일을 줄이면 샘플이 더 빠르게 요동치고 출력 스케일을 키우면 y축 방향으로 더 넓게 퍼진다. 입력이 벡터일 필요도 없어서, 유사도만 정의할 수 있다면 가변 길이 문자열이나 노드와 엣지로 된 그래프도 입력이 될 수 있다. 실제 모델링은 원점을 지나는 선형 커널이나 일정 간격마다 반복되는 주기 커널 같은 단순한 재료를 더하고 곱해 조립하는 작업에 가까운데, 덧셈은 '샘플 함수를 더하는 것'과 정확히 대응하고 곱셈은 엄밀히는 그렇지 않지만 그렇게 상상하는 편이 모델링에 도움이 된다고 말한다.

수학적으로 GP의 핵심은 하나의 낯선 가정이다. 관측된 y 벡터와 테스트 지점의 참 함수값을 이어 붙인 긴 벡터가 평균 0인 다변량 정규분포를 따르며, 그 공분산 행렬이 곧 입력들 사이의 커널 유사도라는 것이다. 데이터 전체가 이 분포의 표본 하나를 부분적으로 관측한 것에 불과하다는 점에서 다른 모델과 사고방식이 다르다. 관측된 부분이 주어졌을 때 나머지의 분포를 구하는 계산은 정규분포에서 잘 알려진 결과이며, 강연자는 이를 2차원 분포를 잘라 1차원 분포를 얻는 '슬라이싱'으로 설명한다. 잡음 분산은 관측 y에 해당하는 블록의 대각선에 더해지는데, 이 값이 크면 모델이 데이터를 무시하고 아주 작으면 데이터를 그대로 통과하는 보간에 가까워진다.

남은 문제는 하이퍼파라미터 선택이다. 기준은 가능한 함수를 모두 적분해 없앤 뒤의 y의 로그 가능도를 최대화하는 것으로, 직관적으로는 '데이터를 보기 전에 뽑은 샘플들이 데이터를 얼마나 잘 설명하는가'를 평균적으로 가장 좋게 만드는 값을 고르는 일이다. 무한히 많은 샘플을 실제로 뽑을 필요는 없고 정규분포 덕분에 정확히 계산되며, 하이퍼파라미터에 대한 기울기까지 구할 수 있어 다른 모델보다 훨씬 많은 하이퍼파라미터를 최적화할 수 있다. 다만 단점도 분명하다. 사후 분포 계산에 n×n 커널 행렬의 역행렬이 필요해 비용이 n의 세제곱으로 늘고, 설계가 상당히 경험에 의존하며, RBF 같은 커널은 최근접 이웃과 비슷해져 고차원에서 무너질 수 있다.

주요 인사이트

• GP의 매력은 정확도가 아니라 '모르는 정도를 안다'는 데 있다. 데이터가 없는 구간에서 구간이 자동으로 넓어지므로, 예측을 근거로 무언가를 걸어야 하는 문제에서 특히 값어치가 있다.
• 커널을 고른다는 것은 '무엇이 비슷한가'를 선언하는 일이다. 모델링의 언어가 파라미터가 아니라 유사성이라는 점이 GP를 다른 모델과 구분 짓는 지점이다.
• 정규분포를 가정한 덕에 조건부 분포와 주변 가능도가 닫힌 형태로 계산된다. 다른 분포였다면 비싸거나 아예 불가능했을 계산이 공짜로 풀리는 셈이다.
• 잡음 분산 하나가 모델의 성격을 바꾼다. 크게 두면 데이터를 무시하는 매끄러운 모델이, 작게 두면 데이터를 문자 그대로 따르는 보간 모델이 된다.
• n의 세제곱 비용과 고차원 취약성 때문에 GP는 만능이 아니다. 강연자는 불확실성이 중요하고 모델링 대상을 잘 이해하고 있을 때 좋은 선택이라고 선을 긋는다.

자주 묻는 질문

관련 AI 소식