1

DEEP LEARNING JP[DL Papers]

http://deeplearning.jp/

Deep Direct Reinforcement Learning for Financial SignalRepresentation and Trading

Kunihiro Miyazaki, Matsuo Lab

• タイトル– Deep Direct Reinforcement Learning for Financial Signal Representation and Trading

• ジャーナル– IEEE transactions on neural networks and learning systems– IF: 6.108 as of 2016

• Date of Publication– 15 February 2016

• 引用数– 13

• 著者– Yue Deng, Feng Bao, Youyong Kong, Zhiquan Ren and Qionghai Dai–

• 一言で– DL RL

2017/6/2 2

• 元々金融系の研究をしている

• DLによる金融時系列情報からの特徴量抽出• RLによる金融商品トレーディング– 2

• まだDLでトレーディングを試みている論文は少ない

2017/6/2 3

• 金融における機械学習応用は様々1.2.3.4.5. etc

•

• 効率的市場仮説–

•–

•• =>DL

2017/6/2 4

• 問題設定• 提案手法• 実験と結果• 考察• 感想

2017/6/2 5

• 2つの問題設定––

• 以下の二つを統合した、• Direct Reinforcement Learningによる金融トレードシステムを

提案– Fuzzy Learning RNN– Task-aware BPTT

2017/6/2 6

Direct Reinforcement Learning

7

• R: 時間t毎の利得• δ: ポジション {1,0,-1}• c: 決済のコスト• z: 前の時刻からのリターン• u: ポジション変更のコスト

• g: NNのマッピング• a: 前の層からのインプット• o: ある層のアウトプット

Fuzzy Learning

8

• 株価にはその会社の本質の価値だけでなく、マーケットのセンチメントや会社の噂など、数多くのファクターで成り立っている

• メンバーシップ関数を用いることで、よりロバストな学習が可能– k=3

• v: メンバーシップ関数R→[0,1]

Task-aware BPTT

2017/6/2 9

• Fuzzy Learningは、実装する上で膨大な潜在変数に対処しきれない– Task-aware BPTT

• 初期値の設定– DNN Part AutoEncoder

• Task-aware BPTT– Reward BPTT time stack BP

• Reward stack

Task-aware BPTT

• Task-aware BPTTを用いるとロバストな学習ができる

10

-• 使用したデータ– IF

• 300•

–• AG• SU

–

• 特徴量– 45m 3h 5h 1d 3d 10d

• 約1年のデータをtrainとtestに分割11

TC: 決済コスト

-

12

• DLを用い、最初にFuzzy_learningを用いる程結果は良くなる–

-

13

• S&Pのデータで実験–

–

2017/6/2 14

• パラメータを変更した結果–– τ

• 結論–

•– Fuzzy Leaning

–

• 感想– DL– DL

2017/6/2 15

2017/6/2 16