[FinRL] 가설(3) 포트폴리오 구성 전략 비교

Financial Reinforcement Learning(FinRL) Platform

Contents

• 가설 #1: 강화학습은 시장 수익을 항상 이긴다
  • 한국 시장 검증: KOSPI & KOSDAQ
  • 미국 시장 검증: DOW & S&P500
• 가설 #2: 애초에 시장을 이기는 종목은 없다
  • 한국 시장 검증: KOSPI vs KOSDAQ
  • 미국 시장 검증: DOW vs S&P500
• 가설 #3: 어떤 포트폴리오 전략이든 강화학습은 항상 적용되어야 한다
  
  • 가치주: 평균 수익률 vs 강화학습
  • 성장주: 평균 수익률 vs 강화학습
  • 수익성주: 평균 수익률 vs 강화학습
  • 실적호전주: 평균 수익률 vs 강화학습
  • 대형 저평가주: 평균 수익률 vs 강화학습
  • 중소형 저평가주: 평균 수익률 vs 강화학습
• 가설 #4: 패턴이 잘 보일수록 강화학습 전략은 효과적이다
  • 대형주 vs 소형주(패턴 우위)
  • 고거래 vs 저거래(패턴 우위)
  • 비주도주 vs 주도주(패턴 우위)

 

가설 #3. 포트폴리오 검증

Introduction

• 다음 가설을 검증하기 위해서 다양한 시장 종목을 통해 실험을 진행 
  • 가설 <어떤 포트폴리오 전략이든 강화학습은 항상 적용되어야 한다> 
  • 검증 결과 <평균 수익률 vs 강화학습> 
    • 가치주 최고 수익률 결과
      
      • 동일 비중 연평균 수익률: 9.07%
      • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 22.04% / 1.46
    • 성장주 시장 최고 수익률 결과
      • 동일 비중 연평균 수익률: 30.06%
      • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 82.10% / 2.13
    • 수익성주 시장 최고 수익률 결과
      • 동일 비중 연평균 수익률: 26.22%
      • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 61.49% / 2.40
    • 실적호전주 시장 최고 수익률 결과
      • 동일 비중 연평균 수익률: 20.03%
      • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 19.11% / 1.07
    • 대형 저평가주 시장 최고 수익률 결과
      • 동일 비중 연평균 수익률: 17.11%
      • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 33.35% / 1.69
    • 중소형 저평가주 시장 최고 수익률 결과
      • 동일 비중 연평균 수익률: 19.46%
      • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 25.89% / 1.46
  • 결론 <강화학습을 통한 포트폴리오 전략은 항상 구사하자>

---

1. 가치주

• 가치주 종목에 대해서 Training(2008~2022) 후 Test(2023) 진행
• Baseline(가치주)보다 FinRL의 전체 모델이 높은 수익률을 보이며 편차가 적음
  • Baseline(가치주) 연평균 수익률: 9.07%
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 14.95% / 1.47
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 20.09% / 1.39
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 16.16% / 1.14
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 17.38% / 1.14
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 22.04% / 1.46

가치주 1년 평균 수익률

DRL Performance Results

 

2. 성장주

• 가치주 종목에 대해서 Training(2008~2022) 후 Test(2023) 진행
• Baseline(가치주)보다 FinRL의 전체 모델이 높은 수익률을 보이며 편차가 적음
  • Baseline(가치주) 연평균 수익률: 30.06%
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 66.74% / 2.07
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 39.73% / 1.55
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 65.22% / 2.04
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 56.09% / 1.79
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 82.10% / 2.13

성장주 1년 평균 수익률

DRL Performance Results

3. 수익성주

• 가치주 종목에 대해서 Training(2008~2022) 후 Test(2023) 진행
• Baseline(가치주)보다 FinRL의 전체 모델이 높은 수익률을 보이며 편차가 적음
  • Baseline(가치주) 연평균 수익률: 26.22%
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 51.20% / 2.25
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 61.49% / 2.40
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 49.76% / 2.33
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 43.54% / 2.07
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 42.67% / 2.19

수익성주 1년 평균 수익률

DRL Performance Results

 

 

4. 실적호전주

• 가치주 종목에 대해서 Training(2008~2022) 후 Test(2023) 진행
• Baseline(실적호전주)보다 FinRL의 전체 모델이 높은 수익률을 보이며 편차가 적음
  • Baseline(실적호전주) 연평균 수익률: 20.03%
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 18.26% / 1.09
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 19.11% / 1.07
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 18.64% / 1.10
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 18.60% / 1.06
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 15.45% / 0.92

실적호전주 1년 평균 수익률

DRL Performance Results

 

5. 대형 저평가주

• 가치주 종목에 대해서 Training(2008~2022) 후 Test(2023) 진행
• Baseline(대형 저평가주) 보다 FinRL의 전체 모델이 높은 수익률을 보이며 편차가 적음
  • Baseline(대형 저평가주) 연평균 수익률: 17.11%
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 26.20% / 1.55
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 28.88% / 1.53
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 27.20% / 1.58
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 33.35% / 1.69
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 29.91% / 1.72

대형 저평가주 1년 평균 수익률

DRL Performance Results

 

6. 중소형 저평가주

• 가치주 종목에 대해서 Training(2008~2022) 후 Test(2023) 진행
• Baseline(중소형 저평가주)보다 FinRL의 전체 모델이 높은 수익률을 보이며 편차가 적음
  • Baseline(중소형 저평가주) 연평균 수익률: 19.46%
  • PortfolioAllocation-A2C 연평균 수익률/Sharp Ratio: 21.61% / 1.26
  • PortfolioAllocation-DDPG 연평균 수익률/Sharp Ratio: 22.66% / 1.27
  • PortfolioAllocation-PPO 연평균 수익률/Sharp Ratio: 25.04% / 1.39
  • PortfolioAllocation-SAC 연평균 수익률/Sharp Ratio: 21.73% / 1.30
  • PortfolioAllocation-TD3 연평균 수익률/Sharp Ratio: 25.89% / 1.46

중소형 저평가주 1년 평균 수익률

DRL Performance Results