[DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

18
[DL輪読会]Hybrid Reward Architecture for Reinforcement Learning 情報理工学系研究科コンピュータ科学専攻 横倉広夢 2017/06/30

Transcript of [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

Page 1: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

[DL輪読会]Hybrid Reward Architecture for Reinforcement

Learning

情報理工学系研究科コンピュータ科学専攻横倉広夢

2017/06/30

Page 2: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

書誌情報• Hybrid Reward Architecture for Reinforcement Learning

• 著者: Maluuba(MSに買収された)の研究チーム

• 13 Jun 2017

• http://www.maluuba.com/blog/2017/6/14/hra

2

http://www.maluuba.com/blog/2017/6/14/hra
Page 3: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

概要• Goal: 利得を最大化する方策を学習したい

• DNNによって低次元化した最適価値関数の近似 (e.g. DQN)

• performance objective, training objective

• 元の報酬関数を、より滑らかな最適価値関数を持つような報酬関数で置換することで効率的で安定した学習を実現する

3

スケールさせたい

価値関数が複雑で低次元で表現できない場合は？？(Ms. Pac-Man)

Page 4: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

HRA• 報酬を分割して、それぞれに対して価値関数を学習させる

• 各構成要素は特徴量全体の部分集合に依存しているはずなので、価値関数はより滑らかで低次元での近似が容易→学習効率、安定性

4

parallel

aggregator

Page 5: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

最適行動価値

• 必ずしも、環境から得られる報酬に関して最適とは限らない

• 悪い挙動だったらQ値の集約部分を変えれば解決するかも

5

Page 6: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

Loss• DQN

• HRA

6

（Sarsaでもよい）

Page 7: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

ドメイン知識の利用• 無関係な特徴量を除去する

• 得られる報酬に影響を与えない特徴は単なるノイズなので除去

• ターミナルステートを明確化する

• この価値を近似する必要がなくなるので、ネットワークの重みが効率的に利用できる

• 擬似報酬(pseudo-reward)を利用する

• 擬似報酬(Sutton et al., 2011): 特徴量に基づいた任意の有用な信号

• ポリシーの他に擬似報酬まで入力として考えた、価値関数をgeneral value function (GVF)と呼ぶ

7

Page 8: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験1• Fruit Collection task

• エージェントはできるだけ速く10x10のグリッド上にある果物を回収する

• 果物が配置され得る場所は10箇所

• エピソード毎に、10箇所中5箇所に果物が配置される

• エージェントの開始位置はランダム

• 300ステップまたは5個全て回収したらエピソードは終了

8

Page 9: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験1• DQN

• 各果物に対して報酬+1を与える

• HRA

• 10個の報酬に分割

• 各報酬はそれぞれ10箇所中の1箇所に対応する

9

Page 10: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験1• 無関係な特徴量を除去する

• エージェントの位置+対応する果物の特徴量(あるかどうか)のみ

• ターミナルステートを明確化する

• 状態の表現をかなり簡略化できた

• 擬似報酬を利用する

• エージェントが10箇所の各場所に行くように

価値関数を学習させる（各場所の果物に関した

価値を学習するのではなく）（？）

10

Page 11: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験1

• DQNに比べて、ドメイン知識の効果が顕著

11

Page 12: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験2• Ms. Pac-Man ( from Atari 2600 )

• ペレットを食べることでポイント

• ゴーストに会うと死ぬ

• 特殊なペレットを食べるとゴーストが一時的に青くなる

• 青くなったゴーストは食べることができる

• レベル毎に２回ボーナスフルーツを食べることができる

• 7種類あり、ポイントが異なる

• 全てのペレットを食べると次のレベル

• マップは4種類

12

Page 13: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験2• Arch.

• 各ペレット、各ゴースト、各青いゴースト、各フルーツ

に対して1 head

• 実験1と同様に、特定の場所に向かうようにQ値を学習する

(ように擬似報酬を設定する？)

• マップ毎に異なるGVF

• Start: 0 GVFs, 0 heads

• マップ上で新しく到達できる場所を見つけたらGVFを追加

• 新しい場所でペレットを見つけたら、headを追加

13

Page 14: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験2

• Exploration

• 探索用のheadを2タイプ

• diversification

• ランダムなQ値を区間[0, 20]の一様分布から発生させる

• 最初の50ステップ程度必要だった

• count-based

• あまり探索されていなかったstate-actionペアにボーナスを発生させる

14

Page 15: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験2• fixed start : 最初しばらく何もしない時間を設ける

• random start : 人間の軌跡に基づいた初期位置から始める

15

Page 16: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験2

16

Page 17: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

実験2

17

Page 18: [DL輪読会]Hybrid Reward Architecture for Reinforcement Learning

まとめ

• 報酬を、状態の一部に依存するように分割することで、

複雑な価値関数を低次元で近似

• 学習の効率性、安定性

• 問題サイズの削減

• ドメインの知識が有効に活用できる

18


Reinforcement Learning

Reinforcement Learning

Anchorage and Development Length. Development Length - Tension Where, α = reinforcement location factor β = reinforcement coating factor γ = reinforcement.

Anchorage and Development Length. Development Length - Tension Where, α = reinforcement location factor β = reinforcement coating factor γ = reinforcement.

Reward 2017 catalog-Exclusive - SCB S › medias › articles › promotion › Reward 2016... · OOKBEE SCBS Reward Point 1 ROP Mile 1 SCBS Reward Point 1,500 Baht Gift Voucher 500

Reward 2017 catalog-Exclusive - SCB S › medias › articles › promotion › Reward 2016... · OOKBEE SCBS Reward Point 1 ROP Mile 1 SCBS Reward Point 1,500 Baht Gift Voucher 500

Chapter 13: Reinforcement Learning

Chapter 13: Reinforcement Learning

Skripsi Reward Punishment

Skripsi Reward Punishment

Adaptive Reward-Poisoning Attacks against Reinforcement ...pages.cs.wisc.edu/~jerryzhu/pub/online_attack_on_RL.pdf · Adaptive Reward-Poisoning Attacks against Reinforcement Learning

Adaptive Reward-Poisoning Attacks against Reinforcement ...pages.cs.wisc.edu/~jerryzhu/pub/online_attack_on_RL.pdf · Adaptive Reward-Poisoning Attacks against Reinforcement Learning

[DL輪読会]Imagination-Augmented Agents for Deep Reinforcement Learning / Learning model-based planning from scratch

[DL輪読会]Imagination-Augmented Agents for Deep Reinforcement Learning / Learning model-based planning from scratch

Reinforcement learning v0.5

Reinforcement learning v0.5

Makalah Reward Bidan

Makalah Reward Bidan

Reinforcement Learning 2

Reinforcement Learning 2

[RL輪読会]Distral: Robust Multitask Reinforcement Learning

[RL輪読会]Distral: Robust Multitask Reinforcement Learning

Analisis Pengaruh Antara Extrinsic Reward dan Intrinsic ...kc.umn.ac.id/381/6/HALAMAN AWAL.pdfPENGESAHAN SKRIPSI . Analisis Pengaruh Antara Extrinsic Reward dan Intrinsic Reward Terhadap

Analisis Pengaruh Antara Extrinsic Reward dan Intrinsic ...kc.umn.ac.id/381/6/HALAMAN AWAL.pdfPENGESAHAN SKRIPSI . Analisis Pengaruh Antara Extrinsic Reward dan Intrinsic Reward Terhadap

1 Einführung in das Reinforcement Learning DFG-Forschungsprojekt Einführung in das Reinforcement- Learning.

1 Einführung in das Reinforcement Learning DFG-Forschungsprojekt Einführung in das Reinforcement- Learning.

REFERRAL REWARD PROGRAM

REFERRAL REWARD PROGRAM

Reinforcement Learningaplicadoa videojuegos

Reinforcement Learningaplicadoa videojuegos

Fiber reinforcement concrete

Fiber reinforcement concrete

Plants Reinforcement

Plants Reinforcement

2.3 Reinforcement 2015

2.3 Reinforcement 2015

[Dl輪読会]introduction of reinforcement learning

[Dl輪読会]introduction of reinforcement learning

Comparative analysis of metal reinforcement and fibre ...unistroy.spbstu.ru/index_2014_25/5_makusheva_25.pdf · Comparative analysis of metal reinforcement ... of metal reinforcement

Comparative analysis of metal reinforcement and fibre ...unistroy.spbstu.ru/index_2014_25/5_makusheva_25.pdf · Comparative analysis of metal reinforcement ... of metal reinforcement