알고리즘 트레이딩 백테스팅 함정 정리 - 룩어헤드 편향, 과최적화, 생존 편향과 통계적 검증 방법

핵심 메시지

• 개인 트레이더의 강점은 규모가 작아 시장 상황에 자유롭게 대처하고 적은 비용으로 높은 샤프 비율 전략을 찾을 수 있다는 데 있다.
• 남이 발표한 전략은 발표 시점 이후의 데이터, 즉 아웃 오브 샘플 구간에서 반드시 다시 검증해야 한다.
• 백테스트를 망치는 대표적 함정은 룩어헤드 편향, 데이터 스누핑(과최적화), 생존 편향, 그리고 시장 미시구조에 대한 무지다.
• 백테스트 결과가 실력인지 운인지는 가설 검정, 몬테카를로 시뮬레이션, 무작위 포지션 배치 같은 방법으로 따져봐야 한다.
• 최대 낙폭은 깊이보다 그 상태가 얼마나 오래 지속되는지가 더 중요하다는 지적이 나온다.

쉽게 이해하기

이 영상은 어니스트 챈의 책 《Algorithmic Trading: Winning Strategies and Their Rationale》 1장을 놓고 진행한 스터디 녹화본이다. 발표자는 저자의 첫 책이 개인이 자기만의 퀀트 알고리즘을 만들기 위한 입문서였고, 지금 읽는 두 번째 책이 전략 부분을 보강한 것이며, 세 번째 책은 머신러닝을 본격적으로 다루는 상급 단계라고 위치를 정리한다. 1장은 그중에서도 백테스팅과 자동 매매, 그리고 아마추어 퀀트가 빠지기 쉬운 함정을 다룬다.

저자는 개인 트레이더와 기관 투자자의 조건 차이에서 출발한다. 기관은 비용과 제약이 큰 반면 개인은 덩치가 작아 시장 상황에 자유롭게 대처할 수 있고, 그래서 의외로 높은 샤프 비율을 가진 전략을 적은 비용으로 얻어낼 수 있다는 것이다. 그 접근법으로 제시되는 것이 과학적 방법론이다. 시장의 설명되지 않는 현상을 관찰해 가설을 세우고, 전략으로 구현해 백테스트한 뒤, 결과를 까다롭게 검증하고 나서야 실전 매매로 넘어가는 순환 구조다.

1장에서 가장 많은 분량을 차지하는 것은 백테스트의 함정들이다. 코드에 자기도 모르게 미래 정보가 스며드는 룩어헤드 편향은 백테스트와 실전 매매를 같은 코드·같은 프레임워크에서 돌리는 것으로 막을 수 있다고 설명된다. 데이터를 들들 볶아 특정 구간에만 맞춘 전략을 만드는 데이터 스누핑, 즉 과최적화에 대해서는 파라미터 수를 최소화한 가장 단순한 모델에서 시작하고, 선형 근사가 왜 안 되는지 확인하기 전에는 비선형 모델로 넘어가지 말라는 원칙이 제시된다.

데이터 자체와 시장 구조에 대한 경고도 이어진다. 싼 데이터는 좋지 않고 좋은 데이터는 절대 싸지 않다는 말과 함께 액면분할·배당 조정이 제대로 반영된 데이터를 써야 한다는 점, 현재 상장된 종목만으로 전략을 짜면 상장 폐지된 종목이 빠져 수익률이 왜곡되는 생존 편향이 언급된다. 미국처럼 거래소가 여러 개인 시장에서는 통합 시세로 백테스트할 때 종가 주문이 실제로는 주거래소에서만 체결되는 문제가 생기고, 중앙 거래소가 없는 외환시장은 또 다른 특수성을 갖는다. 공매도의 업틱 룰이나 2008년 금융위기 당시의 공매도 금지, 선물의 롤오버 가격 보정과 체결가·정산가 차이도 같은 맥락에서 다뤄진다.

후반부는 검증과 플랫폼 이야기다. 백테스트 결과가 우연인지 실력인지를 가리기 위해 통계적 가설 검정과 p값, 수천 개의 가상 시나리오를 돌리는 몬테카를로 시뮬레이션, 실제 가격 데이터에 포지션을 무작위로 넣어보는 방법이 소개되고, 책에 실린 예제 코드는 스터디 저장소에 함께 올려두었다고 한다. 아주 높은 수익률에 낮은 샤프 비율, 회복에 지나치게 오래 걸리는 낙폭, 파라미터가 과도하게 많은 모델은 아예 백테스트할 필요조차 없는 신호로 분류된다. 마지막으로 2001년 미국 주식시장의 십진법 전환 사례처럼 시장 국면 자체가 바뀌면 통계적 유의성도 소용없다는 점, 그리고 백테스트와 실전 매매를 하나의 코드로 돌릴 수 있는 통합 아키텍처를 골라야 한다는 점이 강조된다.

주요 인사이트

• 백테스트와 실전 매매의 코드를 하나로 통일하는 것은 편의 문제가 아니라 룩어헤드 편향을 구조적으로 차단하는 장치다.
• 과최적화 방지의 실무 규칙은 복잡한 모델을 피하는 것이 아니라, 단순한 모델이 왜 실패하는지 먼저 설명하게 만드는 것이다.
• 최대 낙폭을 깊이로만 보면 감당 가능성을 오판한다. 하락 기간과 회복 기간을 나눠 보는 편이 실제 고통을 더 잘 드러낸다.
• 전략 성과를 자랑하는 숫자는 반드시 벤치마크와 함께 읽어야 한다. 단순 보유 수익률보다 낮은 성과가 성공 사례로 포장되는 일이 흔하다.
• 코드와 통계보다 먼저 필요한 것은 자신이 거래할 자산군의 미시구조를 이해하는 일이다. 체결 방식과 규제 변화를 모르면 검증 자체가 성립하지 않는다.

자주 묻는 질문

관련 AI 소식