베이지안 최적화란? 블랙박스 문제의 하이퍼파라미터 튜닝을 5단계 반복으로 쉽게 이해하기

핵심 메시지

• 베이지안 최적화는 내부를 알 수 없는 블랙박스 문제에서, 입력 변수를 조절해 목표값을 효율적으로 최적화하려는 기법으로 하이퍼파라미터 튜닝에 잘 맞는다.
• 과정은 초기 샘플링 → 블랙박스로 평가 → 가우시안 프로세스 회귀 학습 → 획득 함수 계산 → 다음 평가 지점 선택의 5단계를 반복한다.
• 가우시안 프로세스 회귀는 단일 함수가 아니라 여러 회귀 함수의 집합으로, 평균(예측선)과 표준편차(불확실성)를 함께 내놓는다. 샘플 지점에서는 불확실성이 없고 멀어질수록 커진다.
• 획득 함수(예: 하한 신뢰 구간)는 평균에서 표준편차×카파를 반영해 다음에 평가할 지점을 정한다.
• 카파(kappa)는 탐색의 국소·전역 성향을 좌우하는 하이퍼파라미터로, 값이 작으면 기존 점 근처를, 크면 불확실성이 큰 새 영역을 탐색한다.

쉽게 이해하기

paretos 채널은 단일 목표 문제를 푸는 데 유용한 베이지안 최적화를 단계별로 설명한다. 출발점은 블랙박스 문제다. 예를 들어 신경망은 내부에서 무슨 일이 일어나는지 정확히 알기 어렵지만, 학습률이나 배치 크기 같은 하이퍼파라미터를 학습 전에 조절해 정밀도 같은 목표값을 끌어올리고 싶어 한다. 일반화하면 '내부를 모르는 채 여러 입력 변수로 목표 출력을 최적화'하는 문제이고, 베이지안 최적화가 여기에 잘 맞는다.

전체는 다섯 단계의 반복 과정이다. ①초기 샘플링 집합을 만들고 ②각 샘플을 블랙박스로 평가한 뒤 ③그 결과로 가우시안 프로세스 회귀 모델을 학습하고 ④획득 함수를 계산해 ⑤그 함수를 최소화하는 다음 평가 지점을 고른다. 그리고 정해진 기준을 만족할 때까지 이 과정을 반복한다.

설명을 위한 예시는 입력이 0~10 범위인 단일 입력·단일 목표 문제이며, 비교를 위해 입력×sin(입력)이라는 수학 함수를 목표로 삼는다. 초기 샘플링은 라틴 하이퍼큐브, 추정, 무작위 추출 등 여러 방법이 있는데 영상에서는 무작위로 5개를 뽑아 각각 평가했다.

가우시안 프로세스 회귀는 하나의 회귀 함수를 학습하는 것이 아니라, 서로 다른 커널과 꼬리를 가진 여러 회귀 함수의 집합을 학습한다. 모든 예측의 평균이 파란 선이고, 예측들의 표준편차가 불확실성을 나타내는 노란 영역이다. 샘플이 있는 지점에서는 불확실성이 없고, 점들이 서로 멀수록 그 사이의 불확실성은 커진다.

획득 함수는 함수가 가져올 이득이나 최적화 가능성을 나타낸다. 영상에서 쓴 하한 신뢰 구간(상한 신뢰 구간으로도 불림)은 평균에서 표준편차×카파를 반영하며, 목표는 목표값을 가능한 한 작게 만드는 최소화 문제다. 카파는 하이퍼파라미터로, 값이 작으면(예: 1) 이미 평가한 점 근처를 국소적으로, 크면(예: 10) 불확실성이 큰 새 영역을 전역적으로 탐색하게 한다. 새 점을 평가하면 모델을 다시 학습하며 이를 반복하는데, 학습 비용이 크므로 횟수 제한이나 수렴을 종료 조건으로 둘 수 있다. 끝에서 보면 카파 선택이 전역 최적점을 찾느냐, 국소 최적점에 머무느냐를 크게 좌우한다.

주요 인사이트

• 베이지안 최적화의 핵심은 '비싼 평가를 최소한으로'다. 블랙박스 평가가 비용이 크기 때문에, 적은 평가로 최적점을 찾도록 다음 지점을 똑똑하게 고른다.
• 가우시안 프로세스 회귀가 내놓는 불확실성(노란 영역)이 탐색의 핵심 정보다 — 표본이 드문 곳일수록 불확실성이 커지고, 그곳을 살펴볼지 말지를 획득 함수가 판단한다.
• 카파는 탐험(exploration)과 활용(exploitation)의 균형 손잡이다. 작으면 아는 곳을 깊게 파고, 크면 모르는 곳을 넓게 살핀다.
• 획득 함수를 최소화한다는 것은 곧 '다음에 평가하면 가장 이득일 지점'을 고르는 것이다 — 모델의 예측과 불확실성을 함께 반영한 선택이다.

자주 묻는 질문

관련 AI 소식