AutoML 모델 최적화의 여섯 가지 축과 순차 탐색·결합 탐색 전략 총정리 가이드

핵심 메시지

• 모델 최적화는 하이퍼파라미터 조정만이 아니라 모델 파라미터, 모델 패러다임, 하이퍼파라미터, 아키텍처, 피처 선택, 피처 변환이라는 여섯 개 축이 얽힌 문제다.
• 여섯 축을 한꺼번에 정확히 푸는 것은 계산량 때문에 현실성이 없어서, 실무에서는 축을 나눠 순서대로 푸는 모듈식 접근을 쓴다.
• 순차 최적화는 뒤 단계가 앞 단계의 결과에 묶이기 때문에 진짜 최적해가 아니라 근사해에 머문다.
• 피처 탐색과 아키텍처 탐색처럼 서로 영향이 큰 축은 함께 최적화할 수 있지만, 그만큼 탐색 공간이 커지고 계산 비용이 급격히 늘어난다.
• 재귀적 피처 제거와 유전 알고리즘처럼 둘 다 반복형이면 한 번씩 번갈아 돌려 결합 최적화에 가까운 효과를 낼 수 있다.

쉽게 이해하기

발표자는 머신러닝 경력을 시작한 이후로 자기 일의 모든 단계를 자동화하는 데 공을 들여 왔다고 말한다. 버튼 하나로 운영에 바로 투입할 수 있는 모델이 나오지 않으면 뭔가 잘못하고 있는 것이라고 여겼다는 것이다. 그는 시니어 머신러닝 엔지니어인지 아닌지는 같은 결과를 내기 위해 얼마나 적게 일하는지로 알아볼 수 있다는 농담을 덧붙인다. 이 영상은 특정 알고리즘을 소개하는 자리가 아니라, AutoML 파이프라인을 설계할 때 어떤 각도들을 고려해야 하는지를 높은 층위에서 정리하는 자리다.

AutoML의 목표는 모델 선택 과정을 자동화하는 것이고, 여기서 자동화는 추상화와 거의 같은 뜻이다. 학습 과정의 복잡한 부분을 모듈로 떼어내 감추고, 그 위에서 최적화 절차를 돌리는 구조다. 모델 선택이란 결국 주어진 학습 데이터에서 피처 X를 목표값 Y로 옮기는 최적의 변환을 찾는 일이며, '최적'이라는 말에는 성능 지표가 전제돼 있다. 지표를 최대화하는 변환이 최적 모델이다.

발표자가 꼽은 첫 두 축은 모델 파라미터 공간과 모델 패러다임 공간이다. 파라미터 공간은 최대우도 추정이나 손실 최소화 같은 최적화 원리로 학습되는 값들의 공간인데, 모든 모델에 파라미터가 있는 것은 아니다. 예를 들어 XGBoost는 로지스틱 회귀처럼 파라미터를 최적화하는 모델이 아니라, 손실 함수를 최소화하는 최적 분할점을 찾아 트리를 키우는 방식이다. 패러다임 공간은 같은 문제를 나이브 베이즈로 풀지, XGBoost로 풀지, 신경망으로 풀지의 선택이다. 데이터셋에 따라 성능이 크게 갈리기 때문에 이것 자체가 하나의 탐색 축이 된다.

나머지 축은 하이퍼파라미터, 아키텍처, 피처, 피처 변환이다. 하이퍼파라미터는 통계적 학습으로는 구할 수 없어 사람이 정해야 하는 값으로, 과소적합과 과적합 사이의 균형점을 찾는 일이다. XGBoost의 감마가 트리의 리프 개수를 조절하고 람다가 기울기와 곡률 가운데 무엇을 얼마나 줄일지를 조절하는 식이다. 아키텍처 공간은 주로 신경망에서 문제가 되는데, 뉴런 몇 개를 빼거나 합성곱 층 일부를 덜어내는 것만으로도 조합의 수가 폭발적으로 늘어나 일반 하이퍼파라미터보다 훨씬 어려운 탐색이 된다. 피처 공간은 너무 많은 피처를 넣으면 과적합, 너무 적게 넣으면 과소적합이 되는 선택의 문제이고, 피처 변환은 인코딩이나 박스-콕스 변환처럼 데이터 자체를 손봐 성능을 끌어올리는 시도다.

여섯 축을 동시에 정확히 푸는 것은 사실상 불가능하므로, 전형적인 전략은 축을 하나씩 순서대로 최적화하는 것이다. 먼저 피처 변환으로 새로운 피처를 만들어 넣고, 그다음 피처를 고르고, 좋아진 데이터 위에서 모델 패러다임을 고른다. 고른 것이 신경망이면 아키텍처를 정하고, 그 뒤에 하이퍼파라미터를 조정한 다음 최종 학습으로 마무리한다. 이렇게 나누면 문제가 모듈로 쪼개져 여러 사람이나 팀이 나눠 작업하기 쉬워진다는 실무적 장점도 있다.

다만 순차 최적화는 근사에 그친다. 피처 선택은 '일반적으로' 좋은 피처를 고르고, 모델 패러다임은 그렇게 고른 피처를 전제로 정해지기 때문에, 다른 피처를 골랐다면 더 잘 맞았을 패러다임을 놓칠 수 있다. 그래서 피처 공간과 아키텍처 공간을 함께 푸는 시도가 드물지 않다. 문제는 결합하는 순간 탐색 공간이 훨씬 커지고 계산이 무거워진다는 점이며, 여기서 탐색의 정확도와 계산 복잡도 사이의 흔한 균형 문제가 다시 등장한다. 발표자가 제안하는 절충안은 반복형 알고리즘의 성질을 이용하는 것이다. 재귀적 피처 제거와 아키텍처 탐색에 흔히 쓰이는 유전 알고리즘은 모두 조금씩 최적해로 수렴하는 반복형이므로, 한쪽을 한 번 돌리고 다른 쪽을 한 번 돌리는 식으로 번갈아 반복하면 두 공간이 함께 다듬어지는 유사 결합 최적화를 만들 수 있다.

주요 인사이트

• '모델 튜닝'이라는 말이 흔히 하이퍼파라미터 탐색과 동의어로 쓰이지만, 실제 성능을 좌우하는 선택지는 그보다 훨씬 넓게 퍼져 있다는 점을 축의 목록이 분명히 보여준다.
• 축을 순서대로 푸는 방식의 진짜 이점은 성능이 아니라 조직적인 것이다. 문제가 모듈로 쪼개지면 담당을 나누고 병렬로 진행하기 쉬워진다.
• 순차 전략이 최적해를 놓치는 지점은 늘 같다. 뒤 단계의 선택이 앞 단계의 결과에 종속되기 때문에, 앞 단계를 다르게 골랐다면 열렸을 가능성이 닫힌다.
• 결합 최적화를 쓸지 말지는 취향이 아니라 예산 문제에 가깝다. 탐색 공간이 넓어질수록 정확도는 올라가지만 계산 비용이 함께 커진다.
• 반복형 알고리즘을 교차시키는 방법은 완전한 결합 최적화를 감당할 수 없을 때 쓸 수 있는 현실적인 타협안이다.

자주 묻는 질문

관련 AI 소식