PythonではじめるOpenAI Gymトレーニング

by icoxfog417 @ PyConJP 2016

Agenda

● OpenAI Gymを体験しよう○ OpenAIとOpenAI Gym

○ OpenAI Gymを動かしてみる

○ 簡単な「AI」を作ってみる

○ 「AI」の限界

● 「AI」を成長させよう○ 強化学習というアイデア

○ アイデアのモデル化と、最適化の方法

○ より複雑なタスクへの挑戦

● Deep Learningとの融合○ Deep Q-learningの登場

○ Deep Q-learningにおける3つのトリック

○ Deep Q-learningの実装

● おわりに

2

About Me

icoxfog417

TIS株式会社所属

業務コンサルタント出身で、サプライチェーン周りの開発を担当してました(得意技は石油化

学製品の価格改定)。kintoneエヴァンジェリストもやってます。

業務システムに先進的な技術を取り込んで活かしたいとの思いから、戦略技術センターに

異動。現在は、機械学習や自然言語処理を活用して新規サービスのプロトタイピングなど

を行っています。

Qiitaへの投稿もしてます。今日の発表は、この記事が元になっています。

icoxfog417

kintoneとWatsonを連携させた災害対策ソリューション

災害時、TwitterなどのSNSから自動で情報を収集し、kintoneに登録(重要度やカテゴリを、Watson NLCで自動判定)。

災害対策マニュアルを学習させたWatson R&Rから、必要な対策を提案。

会議診断システムさゆり

会議の様子をカメラで撮影し、リアルタイムにその会議の評価を出力する(機械学習により、評価を算定)。

戦略技術センターの活動原則はOPEN MINDであり、検証結果などはほぼ全てが公開されています。

人とロボットとの分業による、生産的な接客の実現を検証中

Robot Dash Board Human

customerA

customerB

customerC

report

take over(telepresence)

背景：生産年齢人口の現象による販売員単価増＋ネットショッピングの普及による来店者数減コンセプト：ロボットが得意なところ/できることは任せ、人は人ならでは応対に注力する

icoxfog417

対話システムシンポジウムでデモ予定

OpenAI Gymを体験しよう

OpenAIとOpenAI Gym

OpenAIは、AIの研究を行う非営利の団体です。上記の目標のとおり、AIの研究成果を自己

(特定企業の)利益のためではなく、人類全体のために活用することを目的としています。そ

のためコードも含めた研究成果は広く公開されており、今回紹介するOpenAI Gymもそのうち

の一つになります。9

目標はデジタルインテリジェンスの高度化をできるかぎり人

類全体の利益に資する形で推進すること。それが、経済的

(financial)な利益目的に制約されないことだ。

出資者の一人であるTesraのElon Musk氏

OpenAIとOpenAI Gym

10

Ilya Sutskever氏 Trevor Blackwell氏

Andrej Karpathy氏

所属する研究員の方たちは、Seq2Seqを提案したIlya

Sutskever、Segwayを発明したTrevor Blackwell、画像の

説明文生成を行ったAndrej Karpathなど、泣く子も黙る

世界的に優秀な研究員・エンジニア達が所属。

日本人はまだいないようなので、ぜひ日本人初の

OpenAI研究員を目指そう！

OpenAIとOpenAI Gym

OpenAI Gymは、強化学習を開発、評価するための

プラットフォームです。

強化学習は意思決定を行うための汎用的な仕組

みで応用性が高く、またその精度は近年飛躍的に

高まっています。

OpenAI Gymは、こうした注目を集める強化学習に

おいて標準となる実験・評価環境を提供することを

目的としています。これにより、大規模な画像デー

タセットであるImageNetにより画像分類の研究が発

展したのと同様の効果を狙っています。

12

環境を使うのはもちろん、実験結果をアップロードしたり、他の人の実行結果・実装を見たりすることも出来る

Let’s Try!

ファミリーボクシング(1987)

OpenAI Gymを動かしてみる

インストール方法は公式GitHubページを参照。

Mac/Linux(Ubuntu)が公式だが、Windowsでもbash on Windowsを利用することで動作させる

ことが可能。

利用する「ジム(=学習環境)」によって、必要となるライブラリも異なってくる。これらは、選択

的にインストールすることが可能。

※pip install gymで入るのは必要最低限のもので、Atariのゲーム環境を使う場合はpip

install ‘gym[atari]’といったように指定する

14

OpenAI Gymを動かしてみる

Gymの基本的な使い方は以下の通り。

15

import gym

env = gym.make("CartPole-v0")

for i_episode in range(20):

observation = env.reset()

done = False

while not done:

env.render()

action = env.action_space.sample()

observation, reward, done, info = env.step(action)

Environment(CartPole-v0)

Agent

action

observation, rewarddone (episode

end)

gym

episodeの単位は、各ゲームによって異なる。そのため、gymを使っていきなり強化学習に入るよりは、試しに動かし

てepisodeの単位、actionの意味を調べるのがおすすめ。

Let’s start from simple one

16

まずは簡単なAIを作ってみる

簡単な「AI」を作ってみる

17

Agent Environment

action(フン=左 & フン=右)

observation, reward

簡単な「AI」を作ってみる

18

Agent Environment

action(フン=左 & フン=右)

observation, reward

def test_funfun_defence(self):

env = Environment(env_name="Pong-v0")

agent = CycleAgent((2, 3), keep_length=20)

for episode, step, reward in env.play(agent, episode=1):

pass

簡単な「AI」を作ってみる

19

試合開始(Demo)

code here

簡単な「AI」を作ってみる

20

「AI」の限界

人が設計するアルゴリズムや、人が「正解」を与える教師あり学習

の場合、「人間の限界」がそのままAIの限界になる。

● AIを作る人間がその道のエキスパートとは限らない

● エキスパートであっても、自分の感覚を正しく実装するのはと

ても手間で、困難(途中で→)

この上限を突破するには、「人が教える」という手法から、「AI自ら

学習する」という手法へ切り替える必要がある。

そのための手法の一つが、強化学習になる。

21

「AI」を成長させよう

強化学習というアイデア

人がAIに教えるのでなく、AIが自分自身で学習するようにする。

「評価」はするが、「教育」はしない。

23

評価はしてくれるが、評価基準は教えてくれない。⇒プレイヤー(Agent)自らが発見する必要がある。

アイデアのモデル化

24

Agentが置かれている状態を、stateとする

state

Agentは、stateで可能な行動=actionをとる。actionは、戦略=policyに従い決定される。

I like right!

actionの結果、新しい状態state’へ遷移すると共に、設定された報酬=rewardを受け取る。

state’

reward

action

アイデアのモデル化

25

Agentが置かれている状態を、stateとする

state

Agentは、stateで可能な行動=actionをとる。actionは、戦略=policyに従い決定される。

I like right!

actionの結果、新しい状態state’へ遷移すると共に、設定された報酬=rewardを受け取る。

state’

reward

action

Markov Decision Process(MDP)

アイデアのモデル化: 最適化の方法

26

state

+1

-1

迷路で、以下の位置(state)にいるAgentについて考える

アイデアのモデル化: 最適化の方法

27

+1

-1action

→：GOAL!(+1でゲーム終了)←：ゴールから遠ざかる↑：その場にとどまる↓：地獄の一丁目へ

state’

state’

state’

state’

アイデアのモデル化: 最適化の方法

28

+1

-1

そこから、一歩手前の状態について考えてみる。

遷移先(state’)の報酬を使い、現状態(state)からスタートした場合の期待報酬が計算できる・遷移先では、最適な行動をとるとする・遷移先の報酬は将来の報酬のため、割引を行うつまり、「期待報酬=現状態の報酬＋割引率×遷移先の最大報酬 」

state state’

アイデアのモデル化: 最適化の方法

29

s_00

s_10

s_20

s_01

s_21

s_02

s_22

s_03

s_23

s_12 s_13

+1

-1

次に、ゴールまであと2歩の状態まで下がり、同様に報酬を計算する。

遷移先の期待報酬から、現在時点の報酬を計算する(遷移先では、最適な行動をすると仮定する)

Bellman Equation

アイデアのモデル化: 最適化の方法

30

s_00

s_10

s_20

s_01

s_21

s_02

s_22

s_03

s_23

s_12 s_13

+1

-1

これをn歩前まで・・・と繰り返していくと、期待報酬の地図を作ることができる

アイデアのモデル化: 最適化の方法

31

まとめ

各状態における、期待報酬の値を0などで初期化する。

各状態で、期待報酬の値を計算する(Bellman Equation)。

計算した期待報酬の値を元に、もう一度計算を行う。

step=1 step=2

... step=n

期待報酬の値が、step前後で変わらなくなってくる(=収束する)。これで計算終了。Agentは、期待報酬が最大の方向に行くようにすればOK！

アイデアのモデル化: 最適化の方法

32

まとめ

各状態における、期待報酬の値を0などで初期化する。

各状態で、期待報酬の値を計算する。

計算した期待報酬の値を元に、もう一度計算を行う。

step=1 step=2

... step=n

期待報酬の値が、step前後で変わらなくなってくる(=収束する)。これで計算終了。あとは、期待報酬が最大の方向に行くようにすればOK！

Value Iteration

We have done it …?

33

これで問題は解決？

Think about Rockman10

34

Question

35

問：今、状態(state)の数はどれだけあったでしょう？

Problem

36

死亡 クリア

状態数多すぎ問題

Start

状態定義の限界

複雑なタスクでは、状態数が多くその全てを列挙することは難しくなってくる。また、当然各状

態の組み合わせの数(状態遷移の数)も爆発的に増える。

⇒Value Iterationで計算しようとすると、永遠に終わらないくらい時間がかかる。

37

今まで：状態の数と、そのつながりが明

らかで、計算可能な程度の量

今：状態の数と遷移数がわけわからんくらい多く

て、計算しきるのはとても無理！

We need new idea

38

どうするか？

未知なる台地なら探索から

puhoto by Moyan Brenn

より複雑なタスクへの挑戦

40

+1

-1

よくわからないので、とりあえず行動してみる

より複雑なタスクへの挑戦

41

+1

-1

よくわからないので、とりあえず行動してみる

より複雑なタスクへの挑戦

42

+1

-1

よくわからないので（以下略）

より複雑なタスクへの挑戦

43

+1

-1

ぐはぁぁぁぁ！！(ゲーム終了)

より複雑なタスクへの挑戦

44

+1

-1

遷移先の報酬から期待報酬を計算していく

先の報酬が割り引かれるのは、Value Iteration同様

より複雑なタスクへの挑戦

45

+1

-1

探索は徐々に行われるので、最初は危ないと思っていたところも実は大きな報酬の近くだった、ということがありうる。⇒一回の探索結果をどれだけ信用するかについては、調整が必要する。

より複雑なタスクへの挑戦

46

+1

-1

探索(=行動)によって、状態と、その遷移構造を明らかにしていく。また得られた報酬を元に、期待報酬を更新していく。その、探索での更新量はパラメーターで調整する。

行き止まり

探索(=行動)によって、状態と、その遷移構造を明らかにしていく。また得られた報酬を元に、期待報酬を更新していく。ただ、その更新量はパラメーターで調整する。

より複雑なタスクへの挑戦

47

+1

-1

行き止まり

Q-learning

より複雑なタスクへの挑戦

48

+1

-1

行き止まり

報酬が得られるルートがわかっていても、もっと安全だったり、より報酬が高いルートがあるかもしれない。⇒どれだけ探索をするか、どれだけ探索結果を活用するかのバランスが重要な戦略になる。

より複雑なタスクへの挑戦

49

+1

-1

行き止まり

報酬が高いルートがわかればそれでいいけれども、もっと安全だったり、報酬が高いルートがあるかもしれない。⇒どれだけ探索をするか、どれだけ探索結果を活用するかを割合で決める。

ε-greedy法(random by ε)

We finally made it?

50

これでいけそう？

back to 状態定義の限界

ゲームを含む時系列のタスクでは、そもそも「状態」の境界線があいまい(↓は、果たして「4

つの状態」といえるか？)。

そのため、状態を連続的な値で表現したい。具体的には、以下の場合状態である「画像」を

連続値(ベクトル)で表現したい。

51

back to 状態定義の限界

画像からの特徴抽出といえば・・・

52

Clarifai

Deep Learningとの融合

Convolutional Neural Network

54

Deep Learning界において、「香川といえばうどん」と同じくらい「画像といえばCNN(Convolutional Neural Network)」は当然のこととして扱われている。

Clarifai

CNNは、画像から特徴を抽出して判断するのに優れた手法。これを応用して、以下のような仕組みを構築する。

Deep Q-learning

画像であるstateを、画像処理に優れたConvolutional Neural Network)に流し込み、「その状

態でどのactionがいい(=期待報酬が高い)か」を出力させる。

⇒期待報酬の計算プロセス(Q関数)を、Deep Learningに置き換える。これがつまるところ

・・・55

state 期待報酬

action

A

B

・・

Convolutional Neural Network

Deep Q-learning

※価値関数(Q関数)自体をニューラルネットで近似するアイデアは以前からあったものであ

り、よって学習を成功させる手法まで含めてDQNとよぶ。

DQN(Deep Q-learning)

puhoto by Chloe Muro

Deep Q-learningのプロセス

57

・・・

episode(1ゲーム終了までの期間)

experience

・・・

replay

現状態の報酬

遷移先の報酬

新しい期待報酬

誤差⇒DQN更新

DQN

定期的にコピー

行動とその結果(state/action/遷移先state/reward)を記憶

報酬のclipping報酬は-1,0,1に統一する(どんなゲームにも対応できるようにする)

Deep Q-learningのプロセス

58

・・・

episode(1ゲーム終了までの期間)

experience

・・・

行動とその結果(state/action/遷移先state/reward)を記憶

replay

現状態の報酬

遷移先の報酬

新しい期待報酬

誤差⇒DQN更新

DQN

定期的にコピー

Fixed Target Q-Network遷移先報酬を計算する際の重みはしばらく固定し、定期的に更新する

Experience Replayexperienceに蓄積したものを、シャッフルして学習データにする。⇒学習データ間の相関を除去する(普通にやると時系列に並んでいるため、強い相関がある)。

Deep Q-learningのプロセス

59

・・・

episode(1ゲーム終了までの期間)

experience

・・・

replay

stateの報酬

state’からの期待報酬

探索から算出された期待報酬

誤差⇒DQN更新

DQN

定期的にコピーFixed Target Q-Network遷移先報酬を計算する際の重みはしばらく固定し、定期的に更新する(報酬計算の安定性を高めるため)

Deep Q-learningの実装

実行結果(Open AI Gymへアップロード済み)

60

Deep Q-learningの実装

DQNは、結果が出るまでかなり時間がかかる。そのため、実際計算しないとわからないこと

以外は可能な限り事前にテストしておくことが重要。

● 感覚的にパラメーターの影響をかなり受けるため、テストしておかないと処理のミスか

パラメーターのチューニングの問題かわからなくなる。

○ 責務分担・処理の独立化を行い、手元のテストでつぶせるバグはすべてつぶして

おくこと。

○ これを怠ると、GPUの場合お財布、CPUの場合時間に致命的なダメージを負うこ

とになる

● GPUはほぼ必須(CPUの場合、いい感じかどうかわかるのに1~2日はかかる)

○ GPUインスタンスを使おう

○ OpenAI Gymを検証しているといえばAmazonから$250分もらえるらしい

61

Deep Q-learningの実装

62

Environment(gym)

DQNTrainer

DQNAgent

observation action

train

学習時

observation action

実行時

Trainerが取れるだけ

experience buffer

Q-Network

Environment(gym)

DQNAgent

Q-Network

icoxfog417/chainer_pong

Deep Q-learningの実装

63

100~250

Deep Q-learningの実装

64

DQNの実装に必要なコードの行数

Deep Q-learningの実装

アルゴリズムの実装自体にかかるコードはかなり少なくてすむ(OpenAIのメンバである

Andrej Karpathyさんのブログでは、実装にかかっているのはわずか130行(しかもコメント込

み))。加えて、昨今の機械学習系フレームワークの恩恵も受けられる。

Webアプリケーションを作ったりするより、ぜんぜん少ない行数で実装が可能。

65

Deep Q-learningの実装

66

詳細な実装方法について、ハンズオンを実施する予定です。

Comming Soon!11月上～中旬

おわりに

おわりに

OpenAI Gymは自体は、難しい知識がなくても動かして、試すことができます。数式などを理

解するところからよりも、まず環境に触れてその「面白さ」を体感してもらえればと思います。

その入り口の先にある強化学習は、人による教育の限界を超えるためのアプローチ方法で

あり、最も研究が盛んな領域の一つです（だからこそ投資が行われているとも言えます）。本

日紹介した手法も、将来、また現時点ですでに時代遅れになっているかもしれません。

ただ、ベースとなる本質的な理論(Q-learningなど)は変わっていません。その意味では、本

日セッションに参加いただいた方は、すでにAI研究の一線の入り口に立っています。

68

Welcome to AI World!

puhoto by Rog01

Thank you for listening!