퀀트 투자/FinRL

[FinRL] 가설(1)-3. DOW 시장 검증

SKY-STONE 2024. 1. 20. 11:34

Financial Reinforcement Learning(FinRL) Platform

Contents

  • 가설 #1: 강화학습은 시장 수익을 항상 이긴다
    • 한국 시장 검증: KOSPI & KOSDAQ
    • 미국 시장 검증: DOW & S&P500
  • 가설 #2: 애초에 시장을 이기는 종목은 없다
    • 한국 시장 검증: KOSPI vs KOSDAQ
    • 미국 시장 검증: DOW vs S&P500
  • 가설 #3: 어떤 포트폴리오 전략이든 강화학습은 항상 적용되어야 한다
    • 가치주: 평균 수익률 vs 강화학습
    • 성장주: 평균 수익률 vs 강화학습
    • 수익성주: 평균 수익률 vs 강화학습
    • 실적호전주: 평균 수익률 vs 강화학습
    • 대형 저평가주: 평균 수익률 vs 강화학습
    • 중소형 저평가주: 평균 수익률 vs 강화학습
  • 가설 #4: 패턴이 잘 보일수록 강화학습 전략은 효과적이다
    • 시가총액: 대형주 vs 소형주(패턴 우위)
    • 거래량: 고거래 vs 저거래(패턴 우위)
    • 비주도주 vs 주도주(패턴 우위)

 

가설 #1. 강화학습 능력 검증 - DOW

Introduction
  • DOW-시가총액 Top30 적용했을 때 항상 DOW 시장을  능가하는 엄청난 성능을 보임
  • 능력 검증을 위해서 아래 그램처럼 다양한 Case에 대해서 학습/평가 진행
  • 모든 DOW 시장의 경우 모든 Case에서 RL 전략이 잘 통하는 것을 알 수 있음

 

Case of DOW Index

Case 1: 급락장
  • Training Dataset: 2008-01-01 ~ 2019-12-31 (12Year)
  • Test Dataset: 2020-01-01 ~ 2021-12-31 (1Year)
  • Baseline(DOW)보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
    • Baseline(DOW) 2020 연평균 수익률/Sharp Ratio: 5.08% / 0.32
    • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 9.18% / 0.42
    • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 10.96% / 0.47
    • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 10.98% / 0.47
    • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 12.32% / 0.51
    • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 14.43% / 0.57

 

Case 2: 상승장
  • Training Dataset: 2008-01-01 ~ 2020-12-31 (13Year)
  • Test Dataset: 2021-01-01 ~ 2021-12-31 (1Year)
  • Baseline(DOW)보다 FinRL의 대부분 높은 평균 수익률을 보이며 편차가 적음
    • Baseline(DOW) 2021 연평균 수익률/Sharp Ratio: 20.73% / 1.6
    • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 23.58% / 1.73
    • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 22.14% / 1.74
    • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 22.61% / 1.79
    • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 19.28% / 1.52
    • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 22.57% / 1.79

 

Case 3: 하락장
  • Training Dataset: 2008-01-01 ~ 2021-12-31 (14Year)
  • Test Dataset: 2022-01-01 ~ 2022-12-31 (1Year)
  • Baseline(DOW)보다 FinRL의 일부 높은 평균 수익률을 보이며 하락장 대응에는 다소 약함
    • Baseline(DOW) 2022 연평균 수익률/Sharp Ratio: -9.2% / -0.39
    • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: -9.28% / -0.39
    • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: -12.5% / -0.53
    • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: -7.79% / -0.31
    • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: -8.25% / -0.32
    • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: -11.01% / -0.48

 

Case 4: 횡보장
  • Training Dataset: 2008-01-01 ~ 2022-12-31 (15Year)
  • Test Dataset: 2023-01-01 ~ 2023-12-31 (1Year)
  • Baseline(DOW)보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
    • Baseline(DOW) 2023 연평균 수익률/Sharp Ratio: 13.64% / 1.19
    • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 17.01% / 1.39
    • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 16.33% / 1.43
    • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 16.01% / 1.35
    • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 14.24% / 1.20
    • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 15.76% / 1.34