FinRL 금융 강화학습 프레임워크와 트레이딩 대회 운영기: 구조와 실험 성과, 한계 정리

핵심 메시지

• 미국 주식 시장 거래량의 60% 이상이 알고리즘 매매라는 점에서, 연구팀은 순차적 의사결정 문제인 트레이딩에 강화학습이 잘 맞는다고 봤다.
• FinRL은 데이터·환경, 에이전트, 응용의 세 층으로 나뉜 오픈소스 프레임워크로, 코딩에 익숙하지 않은 금융 실무자도 전략을 만들 수 있게 하는 것이 목표다.
• 다우 30 종목으로 한 초기 실험에서 에이전트의 누적 수익률은 지수 상승률을 웃돌았지만, 발표자는 실거래에서는 지표가 더 낮아질 수 있다고 덧붙였다.
• 연구팀은 2023년부터 여러 학회에서 대회를 열어 200명 넘는 참가자를 모았고, 스타터 키트와 논문 심사 과정을 붙여 재현 가능한 벤치마킹 문화를 만들려 했다.
• 금융권은 블랙박스 모델과 데이터 규제 때문에 참여를 꺼려, 연구팀은 모델을 공개하지 않고도 성과를 증명하는 영지식 증명 방식을 도입하고 있다.

쉽게 이해하기

발표자들은 컬럼비아대에서 금융 강화학습을 연구하는 팀으로, 알고리즘 매매가 미국 주식 거래량의 60%를 넘는 상황에서 언제·얼마에·얼마나 사고팔지를 결정하는 문제는 본질적으로 순차적 의사결정이라고 설명한다. 전통적인 기계학습 방식은 데이터 처리, 신호 생성, 포트폴리오 최적화, 주문 집행을 각각 다른 단계로 나누지만, 강화학습 에이전트는 그중 가운데 단계들을 하나로 묶어 처리할 수 있다는 것이 이들의 출발점이다.

그래서 만든 것이 텐서플로나 파이토치처럼 쓸 수 있는 금융용 강화학습 프레임워크 FinRL이다. 구조는 세 층이다. 맨 아래 환경 층은 과거 데이터나 실시간 거래 API를 학습 환경으로 감싸고, 가운데 에이전트 층은 여러 강화학습 라이브러리의 알고리즘을 연결하며, 맨 위 응용 층은 바로 돌려 볼 수 있는 예제 과제를 제공한다. 설계 원칙으로는 모듈화와 확장성, 그리고 재현성이 강조됐다. 재현되지 않는 전략은 동료나 회사를 설득할 수 없기 때문이다.

구체적인 예로 다우 30 종목을 대상으로 한 일간 매매 실험이 소개됐다. 상태는 잔고와 보유 주식 수, 종가와 기술적 지표를 합쳐 181차원 벡터로 정의했고, 행동은 종목별 매수·매도·보유, 보상은 포트폴리오 가치의 변화로 잡았다. 공매도를 허용하지 않고 거래 비용과 유동성 제약을 반영했다. 2009년부터 2014년까지 학습하고 이후 구간에서 검증·시험한 결과, 같은 기간 다우 지수가 54% 오르는 동안 에이전트의 누적 수익률은 96%로 나타났다. 다만 발표자는 실시간 모의 거래로 넘어가면 이보다 낮아질 수 있다고 선을 그었다.

두 번째 발표자는 2023년부터 여러 학회와 함께 연 FinRL 대회를 소개했다. 과제는 주식 매매에서 시작해 암호화폐 매매, 대규모 언어모델로 뽑아낸 신호를 결합하는 문제로 확장됐다. 언어모델은 뉴스나 공시 같은 비정형 문서에서 감성 점수나 위험 수준을 뽑아 상태 변수에 넣거나 행동을 조정하는 데 쓰인다. 기술적으로는 정책이 하이퍼파라미터나 난수에 민감한 문제를 줄이기 위한 앙상블, 수천 개 시장 환경을 동시에 돌리는 병렬 학습, 긴 시계열 기억을 다루기 위한 디시전 트랜스포머가 소개됐다.

가장 현실적인 대목은 산업계와의 간극이었다. 금융권은 심층 신경망이 블랙박스라는 점, 책임 소재와 위험 통제, 데이터 규정 때문에 참여를 주저한다. 데이터 공급사들은 정책상 고품질 데이터를 제공할 수 없다고 거절했다. 그래서 연구팀은 연합학습과 차등 프라이버시, 영지식 증명 같은 기법을 도입해 모델 구조나 가중치를 공개하지 않고도 그 성과가 해당 모델에서 나온 것임을 증명하는 방식을 시도하고 있다. 평가 역시 한 가지 지표로는 부족해 누적 수익률, 샤프 지수, 최대 낙폭을 함께 본다고 밝혔다.

주요 인사이트

• 수익률 하나로 전략을 평가할 수 없다. 발표팀은 수익성과 위험을 함께 보기 위해 누적 수익률, 샤프 지수, 최대 낙폭을 병행한다고 밝혔다.
• 모의 거래와 실거래의 차이는 생각보다 크다. 모의 거래는 주문이 항상 체결된다고 가정하지만 실제로는 슬리피지와 주문 거부가 발생한다.
• 시장 전이 모델을 과거 데이터에만 의존하면 겪어 보지 못한 상황을 다룰 수 없어, 합성 데이터나 시장 시뮬레이션의 필요성이 논의됐다.
• 발표자는 여러 에이전트를 쓰는 방식이 더 낫다는 근거가 뚜렷하지 않다고 보고, 실무에서는 단일 정책 최적화 계열 알고리즘을 선호한다고 말했다.
• 대회를 학회 논문 심사와 묶은 것은 성과 경쟁이 아니라 재현 가능한 연구 관행을 만들기 위한 장치다. 참가자 상당수가 다음 대회 운영진으로 합류했다.

자주 묻는 질문

관련 AI 소식