[FinRL] 가설(1)-2. KOSDAQ 시장 검증

Financial Reinforcement Learning(FinRL) Platform

Contents

• 가설 #1: 강화학습은 시장 수익을 항상 이긴다
  • 한국 시장 검증: KOSPI & KOSDAQ
  • 미국 시장 검증: DOW & S&P500
• 가설 #2: 애초에 시장을 이기는 종목은 없다
  • 한국 시장 검증: KOSPI vs KOSDAQ
  • 미국 시장 검증: DOW vs S&P500
• 가설 #3: 어떤 포트폴리오 전략이든 강화학습은 항상 적용되어야 한다
  
  • 가치주: 평균 수익률 vs 강화학습
  • 성장주: 평균 수익률 vs 강화학습
  • 수익성주: 평균 수익률 vs 강화학습
  • 실적호전주: 평균 수익률 vs 강화학습
  • 대형 저평가주: 평균 수익률 vs 강화학습
  • 중소형 저평가주: 평균 수익률 vs 강화학습
• 가설 #4: 패턴이 잘 보일수록 강화학습 전략은 효과적이다
  • 시가총액: 대형주 vs 소형주(패턴 우위)
  • 거래량: 고거래 vs 저거래(패턴 우위)
  • 비주도주 vs 주도주(패턴 우위)

 

가설 #1. 강화학습 능력 검증 - KOSDAQ

Introduction

• KOSDAQ-시가총액 Top30 적용했을 때 항상 KOSDAQ 시장을  능가하는 엄청난 성능을 보임
• 능력 검증을 위해서 아래 그램처럼 다양한 Case에 대해서 학습/평가 진행
• 모든 KOSDAQ 시장의 경우 모든 Case에서 RL 전략이 잘 통하는 것을 알 수 있음

 

---

Case 1: 반등장

• Training Dataset: 2008-01-01 ~ 2019-12-31 (12Year)
• Test Dataset: 2020-01-01 ~ 2021-12-31 (1Year)
• Baseline(KOSDAQ)보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline(KOSDAQ) 2020 연평균 수익률/Sharp Ratio: 42.04% / 1.22
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 118.81% / 2.06
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 105.98% / 1.89
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 122.26% / 2.08
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 109.43% / 1.94
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 115.57% / 2.08

 

Case 2: 변동장

• Training Dataset: 2008-01-01 ~ 2020-12-31 (13Year)
• Test Dataset: 2021-01-01 ~ 2021-12-31 (1Year)
• Baseline(KOSDAQ)보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline(KOSDAQ) 2021 연평균 수익률/Sharp Ratio: 5.16% / 0.37
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 56.48% / 1.89
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 49.87% / 1.74
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 54.25% / 1.86
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 43.91% / 1.54
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 65.28% / 2.08

 

Case 3: 하락장

• Training Dataset: 2008-01-01 ~ 2021-12-31 (14Year)
• Test Dataset: 2022-01-01 ~ 2022-12-31 (1Year)
• Baseline(KOSDAQ)보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline(KOSDAQ) 2022 연평균 수익률/Sharp Ratio: -32.89% / -1.39
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: -19.61% / -0.52
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: -16.5% / -0.41
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: -18.45% / -0.48
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: -14.35% / -0.33
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: -14.29% / -0.32

Case 4: 변동장

• Training Dataset: 2008-01-01 ~ 2022-12-31 (15Year)
• Test Dataset: 2023-01-01 ~ 2023-12-31 (1Year)
• Baseline(KOSDAQ)보다 FinRL의 항상 높은 평균 수익률을 보이며 편차가 적음
  • Baseline(KOSDAQ) 2023 연평균 수익률/Sharp Ratio: 28.04% / 1.21
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 152.14% / 3.05
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 124.38% / 2.85
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 145.54% / 3.09
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 145.68% / 3.01
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 147.2% / 3.11