yanagisawa m

マルチエージェントシステムにおける相互作用の定量的分析法に関する基礎研究

システム情報工学専攻

複雑系工学講座調和系工学分野

修士２年

柳沢紀子

背景

• 複雑な系を分析 – MASの分析：「タスク達成率」や「利得和」

タスク遂行という意味では重要な一指標である

系に特化した現象の分析でしかない

– なぜ指標が高くor低くなったのかは一側面を見るだけでは言及できない

• 複雑な系を構成

– 記述の自由度が高く、系にとって重要な部分を探ることは難しい

系に現れる複雑な現象を分析し構成に役立てるためには、系をとらえる定量的な分析が必要

関連研究

• 生命系におけるエントロピーと情報のやりとり [Adami 1998]

• 進化過程におけるエントロピーの解釈 [Pierce 2002]

• 非平衡開放系としてのMASにおけるエントロピーのふるまい [Guerin 2004]

• エージェントの行動に関するエントロピーのふるまい [Prokopenko 2003]

• エントロピーによるエージェントの類別 [Balch 2000]

• コミュニケーションによるマクロ‐ミクロ間のエントロピーのやりとり [Parunak

2001]

• エントロピーによる系の複雑さの定義 [Shiner 1999][Tononi 1994]…

自己組織化する系：エントロピーの減少散逸構造論、非平衡開放系

エントロピーが重要系をとらえる定量的な分析

物理系：エントロピー的な力（散逸）とエネルギー的な力（凝集）のつりあい

• 情報を獲得することでエントロピーが減少

• エントロピーが減った状態を維持するためには常に情報の獲得が必要

（情報エントロピー）

目的

エントロピーと相互情報量を用いた

相互作用の定量化によるMAS分析方法の検討

ある未知の系を観察し分析するために

• 系をとらえる定量的な分析としてのエントロピー

• エージェントにとっての情報の価値を定量化する相互情報量

その情報がエージェントにとって

必要なものなのか

無駄なものなのか

無い方が良いものなのか

ある系の観測

A

B

O

E

S

B

K

Z

*

ある系の観測

R

J

O

E

S

B K

H

ある系の観測

Q

P

O

E

S

B

K

G

ある系の観測

K

S

K

A

S

C

H

Y

ある系の観測

L

B

O

E

S

B

K

H

*

外部観測

入力・・・・・・・・・・・・

・・・・・・・・・・・・・・・・

・・・・・・・・・・・・・・・・

・・・・・・・・・・・・出力

入力

？出力

入力出力入力出力

未知の系

？

エージェントの内部表現にはふみ込まない

観測する状態 →エージェントの行動出力やセンサ入力

エージェントが状態をとる確率 )(xpxX

x

定量評価

• 相互情報量が大きい

– 情報がエージェントにとって意味のあるものとなっている

• 相互情報量が小さい

– 情報がエージェントにとって意味のないもとなっている

• エントロピーが減る

– 情報を獲得して行動が自己組織化

• エントロピーの低い状態が維持される

– 情報を常に獲得して行動の自己組織化に利用

• エントロピーが増える

– 情報を獲得していない

– 情報により異なる安定状態に移行している

入力出力

情報を獲得行動

入力出力

情報を獲得

行動

エージェントが行動をとる確率 )(xpxX

x

xpxpXH )(log)()( 2エントロピー

X

x

X

x

x y ypxp

yxpyxpYXI

)()(

),(log),():( 2

相互情報量

Y y

xy

yxpypyxpxp ),()(),()(

囚人のジレンマ

#D 0 ･･･

#Con

C 1 -3

D 3 -1

対戦の有無

ゲーム

ネットワーク構造で表現

ノード：エージェント

エッジ：対戦有り

対戦相手が#Con人であるエージェントの

利得行列

（#Dは対戦相手のうちDを選択した人数）

ナッシュ均衡

パレート最適

モデルとゲーム

多人数ゲーム環境特定の複数エージェントと繰り返し対戦を行う

モデルとゲーム

行動は{C, D} の２種類

Q学習を行う

入力 t-1 サイクルでの

対戦状況

（行動Ｄの数）

出力行動提示

t サイクル時

入力

出力

ボルツマン分布により行動選択

学習モデル

Q

エージェントモデル

実験Ⅰ

観測方法外部観測的状態：エージェントの行動

学習１サイクルごとに10000回繰り返しゲームを行い、

状態確率を算出する

設定

)(xp

• エージェント３人からなる系

エージェント

１

０２

• エージェントは全て学習しているように見える

エージェント

１

０２

利得利得

• エージェントは全て学習しているように見える

結果と考察エージェント

１

０２

学習回数[サイクル] 学習回数[サイクル]

• エージェントは全て自己組織化している

学習回数[サイクル]

エージェント

１

０２

エントロピー

利得

相互情報量


エントロピー

利得

相互情報量

• 0は自己組織化していない

結果と考察エージェント

１

０２


• 情報は全て意味がある


エージェント

１

０２

エントロピー

利得

相互情報量


エントロピー

利得

相互情報量


• 0,1と0,2間の情報は意味がない

結果と考察

41015.8

41013.6

41037.8

エージェント

１

０２

41074.0

41072.0

41053.5


• 情報は全て意味がある


エージェント

１

０２

エントロピー

利得

相互情報量


エントロピー

利得

相互情報量


• 0,1と0,2間の情報は意味がない

結果と考察

41015.8

41013.6

41037.8

エージェント

１

０２

41074.0

41072.0

41053.5

ランダム

エージェント学習

エージェント

実験Ⅱ

観測方法

設定 • エージェント10人からなる系全対戦数10

• エージェント100人からなる系全対戦数100

)(xp

外部観測的状態：エージェントの行動

学習1サイクルごとに10000回繰り返しゲームを行い、

状態確率を算出する

結果と考察

エージェント10人全対戦数10 全45組の相互情報量を観察

41041.3

41032.3

41079.3

41074.2 41030.5

41089.4

41047.8

41070.3

41058.3

遠い？近い？

41091.3

41057.4

41038.3

41005.5 41022.3

41083.3

41008.3

41064.3

41021.3

近い？

41015.3

41049.4

41058.3

41088.2 41094.2

41076.2

41029.3

41004.3

41031.3

近い？

遠い？

結果と考察

ランダム

レギュラー

スケールフリー

2 3 4

0 4 1 1

2

3 3

41041.3

41032.3

41079.3

41074.2 41030.5

41089.4

41047.8

41070.3

41058.3

遠い？近い？

3 2 1

0 1 2 3

4

5 4

41091.3

41057.4

41038.3

41005.5 41022.3

41083.3

41008.3

41064.3

41021.3

近い？

2 3 1

0 2 3 4

3

3 3

41015.3

41049.4

41058.3

41088.2 41094.2

41076.2

41029.3

41004.3

41031.3

近い？

遠い？


結果と考察

ランダム

横軸：最短距離

縦軸：相互情報量平均

レギュラー


2 3 4

0 4 1 1

2

3 3

41041.3

41032.3

41079.3

41074.2 41030.5

41089.4

41047.8

41070.3

41058.3

遠い？近い？

3 2 1

0 1 2 3

4

5 4

41091.3

41057.4

41038.3

41005.5 41022.3

41083.3

41008.3

41064.3

41021.3

近い？

2 3 1

0 2 3 4

3

3 3

41015.3

41049.4

41058.3

41088.2 41094.2

41076.2

41029.3

41004.3

41031.3

近い？

遠い？


結果と考察


横軸：最短距離


横軸：対戦数



まとめ

• エントロピーと相互情報量を用いたシステムの定量的分析方法を検証した

• エントロピーにより情報獲得を用いた行動の自己組織化を観察できる

• 相互情報量により、エージェントにとって情報が必要なのか不必要なのかを検証できる

• 大規模システムに適用した場合にも、最短距離（マクロ）と相互情報量（ミクロ）の関係を観察できた

• 相互情報量を用いた相互作用の定量化による系分析方法は有効な指標となると考えられる

yanagisawa m

Documents

Transcript of yanagisawa m