머신러닝 트레이딩 기법 정리: 과적합과 교차검증부터 랜덤포레스트·부스팅·HMM까지

핵심 메시지

• 학습 데이터에서 높게 나온 성능은 성적표가 아니다. 테스트 구간, 즉 표본 밖 성능이 모델의 실제 가치를 결정한다.
• 테스트셋 결과를 보고 하이퍼파라미터를 되돌려 손보면 정답이 새어 나간다. 검증 구간과 테스트 구간은 끝까지 분리해야 한다.
• 피처를 잔뜩 넣은 다중 회귀보다 직전 수익률 하나만 쓴 단순 회귀가 표본 안팎 모두에서 더 나은 결과를 낸 사례가 나왔다.
• 배깅·랜덤 포레스트는 분산을 줄이고, 부스팅은 잔차를 반복 학습해 성능을 끌어올리지만 그만큼 과적합 위험을 키운다.
• 매매 비용을 넣는 순간 결과가 달라진다. 모델 정확도만이 아니라 사고파는 횟수가 최종 수익률을 좌우한다.

쉽게 이해하기

이 발표는 금융 데이터에 머신러닝을 적용하는 교재의 한 장을 스터디에서 정리한 기록이다. 발표자가 가장 먼저 꺼낸 것은 화려한 알고리즘이 아니라 숫자 두 개의 대비였다. 학습에 쓴 표본 안에서는 성능이 높게 나오는데 테스트셋에서는 뚝 떨어지는 현상, 즉 똘똘한 모델 하나로 모든 것이 해결되지 않는다는 사실이다.

전체 흐름은 단순하다. 무엇을 예측할지 정하고(다음 날 등락률, 다음 분기 실적 등) 전처리를 거쳐 학습 구간에서 모델을 만든 뒤, 분리해 둔 구간에서 검증한다. 여기서 발표자가 특히 주의를 준 지점은 테스트셋의 결과를 보고 앞단의 하이퍼파라미터를 다시 손보는 습관이다. 그렇게 하면 정답지가 유출되는 셈이라 평가가 무의미해진다.

기법은 출력 형태에 따라 갈린다. 연속적인 값을 맞추려면 단계적 회귀나 회귀 트리, 신경망을 쓰고, 상승·하락 같은 분류에는 분류 트리와 SVM을, 눈에 보이지 않는 상태와 관측 확률을 다루려면 은닉 마르코프 모델을 쓴다. 단계적 회귀는 피처를 하나씩 넣고 빼면서 평가 지표와 p값으로 남길 피처를 고르는 방식인데, 요즘은 라이브러리가 대부분 자동으로 처리해 준다.

분산을 줄이는 쪽에서는 배깅과 랜덤 포레스트가 등장했다. 배깅은 복원 추출로 원본과 같은 크기의 표본을 여러 벌 만들어 각각 모델을 학습시키고, 뽑히지 않은 데이터로 평가한 뒤 평균을 낸다. 랜덤 포레스트는 여기에 더해 사용할 피처까지 무작위로 뽑는다. 발표자는 분류 문제라면 랜덤 포레스트를 베이스라인으로 잡고 시작한다고 말했다. 반대로 부스팅은 앞 모델이 틀린 잔차를 다음 모델의 입력으로 삼아 반복하는데, 교재 하나를 오답까지 통째로 외워 버린 수험생처럼 학습 구간 오류는 줄고 테스트 성능은 오히려 떨어질 수 있다.

SVM은 데이터를 평면에 놓고 두 집단 사이 마진이 가장 큰 초평면을 긋는 방법이고, 직선으로 나뉘지 않는 경우에는 커널로 공간 자체를 변환해 평평하게 만든 뒤 나눈다. 은닉 마르코프 모델은 강세장·약세장처럼 보이지 않는 상태를 두고 전이 확률과 방출 확률을 임의값에서 시작해 실제 데이터로 반복 갱신하며, 발표자는 이 과정이 K-평균 군집화의 반복과 닮았다고 설명했다. 다만 두 기법 모두 실제 성적은 신통치 않았고, 커널까지 동원해도 단순 매수 후 보유를 이기기는 쉽지 않다는 것이 발표의 결론에 가까웠다.

주요 인사이트

• 베이스라인을 얕보지 말아야 한다. 발표에서 가장 좋은 표본 밖 성적을 낸 것은 정교한 모델이 아니라 피처 하나짜리 단순 회귀였다.
• 시계열에서는 교차검증의 설계 자체가 다르다. 순서를 섞지 않고 학습 구간을 조금씩 확장하며 검증 구간을 겹치지 않게 잘라야 한다.
• 교차검증 결과에서 가장 좋은 한 조각만 골라 쓰면 일반화라는 목적과 어긋난다. 참가자들은 여러 조각의 평균으로 하이퍼파라미터를 정하는 쪽이 분산을 줄인다고 정리했다.
• SVM처럼 거리 기반으로 경계를 긋는 모델은 정규화가 필수다. 변동성이 널뛰는 종목과 무겁게 움직이는 종목을 같은 스케일 없이 넣으면 큰 값에 결과가 끌려간다.
• 피처 선택은 전략에서 출발한다. 63일 뒤 수익률을 종목 간 비교로 맞히려면 기업 규모에 좌우되지 않는 변수를 골라야 한다는 식으로, 쓰려는 전략이 피처를 결정한다.

자주 묻는 질문

관련 AI 소식