[FinRL] 가설(1)-4. S&P500 시장 검증

Financial Reinforcement Learning(FinRL) Platform

Contents

• 가설 #1: 강화학습은 시장 수익을 항상 이긴다
  • 한국 시장 검증: KOSPI & KOSDAQ
  • 미국 시장 검증: DOW & S&P500
• 가설 #2: 애초에 시장을 이기는 종목은 없다
  • 한국 시장 검증: KOSPI vs KOSDAQ
  • 미국 시장 검증: DOW vs S&P500
• 가설 #3: 어떤 포트폴리오 전략이든 강화학습은 항상 적용되어야 한다
  
  • 가치주: 평균 수익률 vs 강화학습
  • 성장주: 평균 수익률 vs 강화학습
  • 수익성주: 평균 수익률 vs 강화학습
  • 실적호전주: 평균 수익률 vs 강화학습
  • 대형 저평가주: 평균 수익률 vs 강화학습
  • 중소형 저평가주: 평균 수익률 vs 강화학습
• 가설 #4: 패턴이 잘 보일수록 강화학습 전략은 효과적이다
  • 시가총액: 대형주 vs 소형주(패턴 우위)
  • 거래량: 고거래 vs 저거래(패턴 우위)
  • 비주도주 vs 주도주(패턴 우위)

 

가설 #1. 강화학습 능력 검증 - S&P500

Introduction

• S&P500-시가총액 Top30 적용했을 때 항상 S&P500 시장을  능가하는 엄청난 성능을 보임
• 능력 검증을 위해서 아래 그램처럼 다양한 Case에 대해서 학습/평가 진행
• 모든 S&P500 시장의 경우 모든 Case에서 RL 전략이 잘 통하는 것을 알 수 있음

 

---

Case 1: 반등장

• Training Dataset: 2008-01-01 ~ 2019-12-31 (12Year)
• Test Dataset: 2020-01-01 ~ 2021-12-31 (1Year)
• Baseline( S&P500 )보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline( S&P500 ) 2020 연평균 수익률/Sharp Ratio: 14.4% / 0.57
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 28.24% / 0.86
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 29.23% / 0.87
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 29.14% / 0.88
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 27.58% / 0.84
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 25.83% / 0.8

 

Case 2: 상승장

• Training Dataset: 2008-01-01 ~ 2020-12-31 (13Year)
• Test Dataset: 2021-01-01 ~ 2021-12-31 (1Year)
• Baseline( S&P500 )보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline( S&P500 ) 2021 연평균 수익률/Sharp Ratio: 29.52% / 2.07
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 32.84% / 2.15
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 34.95% / 2.06
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 31.36% / 1.91
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 31.93% / 1.96
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 29.86% / 1.77

 

Case 3: 하락장

• Training Dataset: 2008-01-01 ~ 2021-12-31 (14Year)
• Test Dataset: 2022-01-01 ~ 2022-12-31 (1Year)
• Baseline( S&P500 )보다 FinRL의 대부분 낮은 평균 수익률을 보이며 하락장 대응에는 다소 약함
  • Baseline( S&P500 ) 2022 연평균 수익률/Sharp Ratio: -19.75% / -0.8
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: -21.73% / -0.79
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: -22.02% / -0.68
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: -21.6% / -0.72
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: -22.16% / -0.78
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: -18.94% / -0.63

 

Case 4: 상승장

• Training Dataset: 2008-01-01 ~ 2022-12-31 (15Year)
• Test Dataset: 2023-01-01 ~ 2023-12-31 (1Year)
• Baseline( S&P500 )보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline( S&P500 ) 2023 연평균 수익률/Sharp Ratio: 25.08% / 1.8
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 43.87% / 2.34
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 48.17% / 2.48
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 41.16% / 2.34
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 38.07% / 2.29
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 35.29% / 2.34